非结构化视频并行处理框架设计与实现

针对单机处理海量视频效率低等问题,本文自主设计了基于Hadoop集群的视频并行化处理系统并建立了试验床。重新设计了专门针对非结构化视频数据的MapReduce并行计算框架及相关的键值对和输入输出格式。实验结果表明,Hadoop集群比较适合大数据的视频处理,Hadoop集群并行化处理技术提高了行人检测与跟踪算法效率。     

基于云计算和大数据教学实训平台的设计研究

云计算、大数据是当前信息产业和教育领域的热点。云计算的核心技术是基于虚拟化的技术,而大数据的核心基础是基于集群的计算技术。论文围绕云计算与大数据的核心特点,设计实现一套适合教学实训的云计算大数据硬件实验平台。平台采用瘦终端＋集群的硬件解决方案,构建虚拟化平台,以满足普通的教学实验,并构建虚拟化实验环境;在此基础上构建多种集群计算环境,以满足大数据和高性能计算教学实训的要求。本平台融合虚拟化和集群计算的特点,提供统一的解决方案,具有一体化、高密度、多平台、高性价比等特点。     

基于性能预测的Map Reduce负载均衡优化

Hadoop作为一个开源云计算框架,因为其优秀的分布式存储能力及其上运行的Map Reduce计算框架,越来越多的公司用Hadoop处理庞大的数据。负载均衡对分布式计算的性能有重要影响,Hadoop基于最简单的hash算法对任务进行分派,并没有对异构环境及多任务运行环境的因素做过多考虑。为了解决上述存在的不足,我们提出一种负载均衡框架,对计算节点的性能情况进行监控,预测节点的计算能力,依据预测结果来对Map Reduce的计算任务进行分配,从而最大化分布式集群的计算能力。     

基于云计算环境下的信息安全技术

大数据时代,云计算作为一种新型的处理技术,全面融合了计算机技术、网络技术和信息技术的特点,能够实现对海量数据信息的自动收集、分析和处理,同时,云计算的存储空间是无限的。随着云计算平台成为主要的信息获取途径,云计算的信息安全问题受到广大用户的关注。该文简要分析了云计算环境下信息安全技术的影响因素,并介绍相关的信息安全技术,提出相应的应对策略,希望能够加强云计算环境下的信息安全。     

云计算安全研究

目前云计算当中的安全问题日益凸显,文章主要介绍了在Hadoop平台上使用Kerberos认证机制进行访问控制以避免恶意用户入侵,同时介绍对Hadoop进行灾难备份确保数据的安全性。     

大数据时代基于国密算法的银行数据安全存储研究

近年来,各行各业数据呈现急速上升的趋势,大数据技术在银行业应用也越来越广。云存储的出现在很大程度解决了数据存储问题,但数据存储安全问题却一直存在。该文主要从大数据时代银行数据安全性方面进行探究,该文的方案使用国密算法SM2、SM3和SM4的混合加密方式来保障银行数据的存储安全。使用Java语言实现国密算法,搭建Hadoop完全分布式集群做存储,采用B/S架构的方式设计并实现云存储加密系统,通过实验验证该方案的正确性和合理性。通过实验结果可得知,该方案效果良好。     

浅谈大数据云计算对企业财务管理的作用与影响

云计算涉及科学技术的飞速发展。当今社会处于数据、信息和网络时代。随着大数据云计算时代的到来,企业财务管理水平也得到了提高。为了适应时代的发展,公司正在使用大数据技术来改变其现有的财务管理条件,并更加谨慎地处理现有数据,以提高其财务管理水平。该文基于大数据云计算的概念和发展,分析了在大数据环境下企业财务管理创新的需求。接下来,该文将介绍大数据云计算在公司财务管理中的重要性,分析大数据云计算对公司财务管理的影响,并在大数据云计算的背景下分析公司财务管理的现状,提出相应的改进措施。     

Hadoop集群和单机数据处理的耗时对比实验

实验以WEB日志作为实验数据,将单机与Hadoop集群对一系列不同量级的数据进行处理,对比两者耗时情况,结果发现Hadoop框架在处理大数据时的可行性与高效性高于单机。     

Hadoop在海量数据分析中的应用

电子商务及互联网的广泛应用,产生了高达GB甚至TB规模的海量日志文件,传统的日志分析技术已经无法满足海量数据分析的需要。基于Hadoop的分布式并行处理方式在海量数据分析中表现出优越的效率,本文实现一个基于Hadoop的海量数据分析系统,可以并行分析大日志文件。     

基于BIM、RFID和云计算技术的智慧建筑研究

通过对BIM技术、RFID和云计算的分析,探讨了基于三种技术集成的智慧建筑的管理系统,利用BIM技术实现建筑物的数字化,利用RFID技术实现建筑物的自我感知,通过云计算实现数据的高效处理,从而有效实现空间管理、能源管理、设备管理、隐蔽工程管理等功能。     

云计算的核心技术与“虚拟集群”的概念分析

云计算平台主要是利用虚拟化技术以及Eucalyptus平台来构建的虚拟集群,云计算平台能够有效实现不同硬件体系结构和软件系统平台的整合,从而可以灵活地搭建满足不同需求的计算环境,不仅可以有效提高计算资源的使用效率,还可以有效解决高性能计算的问题。首先就云计算的核心技术进行系统的说明,然后就虚拟集群的概念进行系统的分析。最后就云计算和虚拟集群技术的优势进行说明。     

国内外农业大数据应用研究分析

针对农业领域数据规模大、数据结构复杂、空间数据挖掘能力不足等问题,研究了大数据开源技术在农业领域的数据分析体系中的应用。借鉴国内外学者在农业大数据的研究成果,基于农业数据时空属性的特征,结合农业数据的特点分析了Hadoop、Storm和Spark开源大数据挖掘技术,归纳性阐述了如何开发适合农业需求的大数据系统。最后,简要分析了农业大数据技术所面临的挑战和研究难题,指出需要加大力度进一步深入理论和应用研究,从而推动和实现基于数据的科学决策,为国家粮食提供安全保障。     

租赁云中的Hadoop集群环境搭建方案研究

对云计算技术中的数据存储进行研究,从系统平台的搭建到存储的优化,调试都有介绍,通过在Amazon的弹性云计算平台EC2上实施一个多节点的云计算集群环境,探索云计算的搭建实施过程和应用方法。为大家获取高效、安全的云计算环境提供一个简易,廉价,方便,快捷的途径。     

无人船测试多源数据HDFS存储优化

针对无人船测试过程中数据量大、数据源多、数据记录分散等问题,提出一种面向无人船测试的多源数据HDFS存储优化方法。首先设计基于Hadoop的无人船测试云平台架构,分析无人船测试云平台的信息流;接着提出无人船测试多源数据容错机制及重复数据删除策略,优化无人船测试多源数据HDFS存储;最后对无人船测试多源数据进行HDFS存储实验。结果表明,Hadoop集群优化后比默认系统存储效率提升约20%,可满足无人船测试多源数据的存储需求。     

微软SQL Server增加对Hadoop的支持

<正>在海量数据时代的大趋势下,微软增加了SQL Server大规模数据处理和并行数据仓库平台对开源Hadoop框架的支持。根据本周SQL Server团队的官方博客消息,配合微软数据仓库和Hadoop连接器的社区技术预览版也将会很快面世。海量数据主要来源于企业中日益增长的数据,特别是Web流量等。微软在其     

计算机数据处理中云计算技术的应用实践探究

科学技术的不断发展和进步使计算机与人们生活联系越来越紧密,这不但给人们的生活带来了一定的便捷,也使人们在进行技术研发时,更加符合实际需求,尤其是云计算技术在计算机数据处理中的使用。作为新兴科学技术,云计算技术的使用范围不断扩大,所以对云计算技术在计算机数据处理中的应用进行探究有着非常重要的意义。该文分析云计算技术在计算机数据处理中的应用情况,以期为相关人员提供参考借鉴。     

基于Hadoop集群的DDoS攻击分布式检测架构设计

针对当前存在“傀儡机”利用DDoS攻击发送虚假信息,从而占用用户带宽并进行分布式拒绝服务攻击的问题,该文设计了基于Hadoop集群的分布式入侵检测系统架构。该系统对传统检测进行改进,可精简并融合大量多源数据,随后通过自适应调整阈值实现统一分析与管理的目标。结果表明,该系统具有较强的扩展性与分布性,可以通过扩展集群规模以及调大HDFS的“块”信息来提升检测性能。与传统检测相比,该系统能够从海量数据中快速挖掘高价值信息,还可以有效提高DDoS攻击的检测率。     

产业资讯

<正>宁夏将投资140亿元建设云计算产业集群近日获悉,宁夏将投资140亿元启动实施"凌云计划"项目,在银川建设具有国际化水准的云计算产业集群。据了解,宁夏"凌云计划"由北京国采通数据系统有限公司实施,项目规划建筑面积约200万平方米。云计算产业集群将包括数据基地、电子商务基地、云     

云计算技术研究与应用

云计算技术作为网络应用的全新模式,集虚拟化、高性能、高拓展性于一体,它的运用不仅有效提高了互联网应用在储存信息、处理数据方面的计算能力,还解决了数据中心空间匮乏、计算机能量消耗大以及设备维护成本高的问题。本文从云计算概念和基本特征出发点,讨论了云计算的核心技术,后对云计算的范例展开分析,主要分析其在教育行业的有效应用。     

云存储技术及应用

云计算是近年来互联网行业迅速发展的一个方向,云存储作为云计算技术的一部分,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。本文分析了主流云存储的实现技术及其应用。