基于HADOOP分布式系统的数据处理分析

各种信息数据在迅猛增长,云计算技术的出现为海量数据的处理提供了良好的解决方案。Hadoop 是云计算技术中分布式并行编程框架的开源实现,它利用集群的并行计算和存储能力,高效的完成对海量数据的处理,云计算能够为社会创造出更大的价值。最后通过Hadoop组织廉价的计算机资源搭建了一个分布式云计算平台,具有高容错、高效性、高扩展性等优势,并完成对数据处理能力和平台可扩展性进行性能测试与分析。     

我国云计算安全问题及对策研究

盘点2011,云计算已在互联网领域风生水起,让人们坚信其必将成为未来互联网数据业务的主要发展模式。但云计算并不是一项技术创新,而是一种模式创新。亚马逊云数据中心服务中断及索尼服务器数据泄露等安全事件的发生,降低了用户对云计算的热捧,使云计算服务的安全问题成为近期关注重点。本文从云计算发展现状、存在的安全问题及相关对策建议等方面对我国云计算服务面临的安全问题进行了分析。     

民间艺术资源的云存储技术研究

我国民间艺术资源平台的建设和研究是当前文化艺术领域面临的一项重要而紧迫的课题,存在着诸多挑战。在大数据时代背景下,采用云计算和云存储技术是一个必然的趋势。文中介绍了Hadoop云计算与云存储技术,提出了基于Hadoop的民间艺术资源云存储平台建设方案。构建基于Hadoop的民间艺术资源云存储平台具有可行性和有效性。     

基于云计算的海量数据处理平台设计与实现

针对传统并行处理技术在海量数据处理中存在的实际应用问题,利用云计算技术强大的计算能力、高效的海量数据处理方式,结合关系数据库实时访问的优点,在Hadoop分布式计算框架基础上,采用Map-Reduce架构,设计并实现了基于云计算的海量数据处理平台.实践证明,该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术,能有效解决海量数据大并发访问.     

服务器虚拟化关键技术探析

服务器虚拟化是云计算基础平台的核心部分,具有降低运营成本、应用平坦化、实时迁移提高服务可用性、整合资源和绿色等多重价值优势。服务器虚拟化技术涉及CPU虚拟化、内存虚拟化设备、I/O和网口虚拟化等3个硬件虚拟关键技术和实时迁移技术1个辅助功能关键技术。通过对服务器虚拟化关键技术的解析,展示了云计算的基础IT资源的构成。同时,根据服务器虚拟性能的特点,为运营云计算的服务提供商提供了选取虚拟服务器的标准。     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

基于网络的容错MIS设计和实现

本文讨论了系统容错原理和实现容错的基本方法，并从网络硬件容错和基于信息容错两方面指出了提高基于NETWARE网络的MIS容错性能的方法，并给出基于双服务器备份的批处理过程和进行实时备份的程序。     

云计算平台的搭建与研究

云计算是当前国内外比较热门的研究课题。Hadoop开源实现了谷歌公司的GFS(Google File System),并且成为云计算平台的标准模型。本文在对Hadoop的核心组件HDFS和子项目HBase、Hive深入分析基础上,基于Hadoop+HBase+Hive搭建起云计算平台,经过实验证明云计算平台具有查询速度快和高容错性等特点。     

基于Hadoop的云计算平台安全机制研究

Hadoop作为一种开源的基础云计算框架,在企业界逐步得到了有效的应用,但其安全机制的薄弱已成为阻碍其发展的主要问题之一。文中首先归纳了传统网络的安全问题以及安全机制,分析了云计算的安全问题,然后通过对Hadoop工作模式的描述,提出了Hadoop的安全需求,最后通过对Hadoop当前安全机制的研究,分析了其中的安全隐患,并提出了相应的解决办法,为Hadoop新安全需求的企业应用提供了技术支持。     

基于Hadoop的云计算数据安全性研究

随着计算机技术的发展,云计算逐渐成为一种新型且重要的商业模式,在现代社会中扮演着越来越关键的角色。文章主要介绍了基于Hadoop数据安全的研究,首先概述了云计算技术和Hadoop技术;其次对云数据和安全情况进行了分析;最后就安全性问题及解决办法进行了论述。     

城市垃圾处理物联网系统云终端设备

系统软硬件构成 本系统主要由中心云计算服务器、云终端、GPS控制,以及RFID智能识别系统构成。中心云计算服务器中心云计算服务器是整个系统的核心,是与用户进行信息交互的窗口,其主要功能有：1）完成对现场云终端数据的收集,并对采样结果进行分析2）按照用户设定的处理方式自动进行数据处理3）可对采集的结果进行实时数据显示,     

基于Hadoop的分布式哈希算法实现

互联网的发展使得计算密集型的任务正在逐渐走向分布式和云计算。文中对Hadoop项目中的MapReduce和HDFS进行了研究,采用HDFS作为底层分布式文件系统,MapReduce作为编程框架来实现哈希算法。通过对多个节点中的测试结果的分析表明,在Hadoop上运行哈希函数的任务,能够起到在多台计算机的群集中分摊负载的效果,并且有效地减少了任务的总时间开销。以Hadoop为基础的云计算平台具有良好的可靠性和可扩展性,对于哈希算法在Hadoop平台上的实现和测试,为将来密钥恢复等系统的研究和搭建提供了良好的基础。     

基于Hadoop云平台的模糊聚类算法研究

随着信息科学技术和移动互联网技术的快速发展,各种信息数据持续呈指数级爆发式快速增长。当今数据分析主要的目标是充分发掘出隐藏在海量数据背后信息,以此来推动各行业稳定持续发展。显然,云计算技术的出现为海量数据挖掘工作提供了便利,在传统单机模式的数据挖掘基础上,Hadoop云计算平台能够将信息数据分片处理,并将数据片分配到各个节点并行处理,大大提高了数据处理的效率。文章详细研究了基于Hadoop云计算平台的模糊聚类算法,充分利用Hadoop云计算平台并行化来解决对大规模海量数据挖掘的问题,并能够为社会经济发展作出贡献。     

云计算在电信行业数据分析领域的应用

文章首先介绍了当前最热门的计算机技术之一——云计算技术,然后分析了将云计算应用于电信数据分析领域的可能,对Hadoop云计算平台作了描述,阐述了基于Hadoop的电信业务数据分析系统的构建及其优势。     

基于paxos算法的Hadoop分布式文件系统高可用性探究

针对物流集成平台Hadoop架构中Namenode结点的单点失效问题,提出采用元数据服务器集群工作方式解决Namenode单点问题。相比于Face Book提出Avatar机制,该方案具有不丢失数据、快速故障恢复、自动切换等优点。引入Paxos一致性算法,解决多服务器之间数据不一致问题。实验表明,同一时刻该方案能容忍(N-1)/2台服务器失效,具有高可用性。     

华为UPS：稳定可靠 清洁高效——访华为网络能源UPS事业部总经理蔡孟君先生

随着云计算时代的到来，数据业务得到飞速发展。IT及CT机房服务器、计算机类设备对供电质量提出了更高的要求，稳定可靠的安全供电成为用户供电系统的首要关注点。另一方面，随着能耗的急剧增加，节能低耗与绿色环保已经成为电源行业的主要发展方向。     

Hodoop集群计算在电信业BI系统中的应用

传统的数据分析方法和相关BI数据分析软件面对海量电信数据已显得力不从心。Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可扩展的优点,被广泛应用于云计算领域。文中在对云计算和Hadoop进行分析和研究的基础上。介绍了Hadoop技术及业界的一些典型应用案例,提出了Hadoop未来可以应用在电信业BI系统中的一些场景,并进行了探讨和研究。     

基于Hadoop的分布式云计算/云存储方案的研究与设计

通过介绍云计算技术的发展背景以及目前云计算技术的几种技术架构,对分布式云计算/云存储技术进行了详尽的研究,包括分布式云计算/云存储的整体架构、分布式文件系统、分布式数据库、分布式数据仓库、分布式同步软件等,并通过与并行关系型数据库、MPP数据库的对比,分析了基于Hadoop的分布式云计算/云存储架构的竞争优势,基于Hadoop的分布式云计算/云存储将更有效支撑未来电信运营商业务的发展。     

基于Hadoop云计算平台的数据挖掘分析

通过阐述Hadoop平台下的HDFS分布式文件系统数据存储及处理功能和MapReduce核心架构的数据处理模式,结合Hadoop云平台数据操作机制,探讨与分析了基于云计算平台的数据挖掘设计。     

高效节能的模块化UPS

随着通信行业的迅速发展．数据业务和IT业务不断增长．数据业务采用高集成度的刀片式服务器。目前数据中心已经成为运营商单位功耗最高的机房,数据设备的供电也成为运营商最关注的问题。如何更好地为数据设备提供优质而可靠的供电保障,是目前急需探讨的问题。