基于Hadoop的云计算基础架构分析

Hadoop是一个可实现大规模分布式计算的开源软件平台,已经被广泛应用在云计算领域.从Hadoop分布式文件系统的整体架构入手,描述了其分布式数据存储、分布式任务分配、分布式并行计算和分布式数据库四方面的核心内容,并论述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和计算过程.目的是使开发人员能深入地...     

基于Hadoop的云计算模型

Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map／Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤。     

基于Hadoop农业大数据管理平台的设计

信息技术的高速发展使得每天的数据量以TB级速度暴增,如何有效利用和管理这些爆炸式增长的大数据呢？是当前亟待处理的问题.大数据已经渗透到包括农业领域在内的各个领域,随着农业信息化建设以及物联网技术在农业生产中的应用,产生了海量的农业大数据待存储、管理和处理.本文以成都农业科技职业学院彭州葛仙山农业示范基地的农业信息化建设为背景,根据农业物联网和信息化建设要求,构建高性能基于Hadoop农业大数据管理的平台,实现农业大数据的安全可靠存储、智能管理与应用,最终达到对农业生产的智能预警、智能决策和智能分析的目的,并为农户提供专业的指导.为我国进入精细化种植、精准化控制、可视化管理、智能化决策的智慧农业时代奠定基础.     

基于Hadoop的农产品安全监控平台的设计

针对当前传统数据库已经不能满足海量农产品安全监控信息的存取及处理需求,借鉴Hadoop平台的分布式文件系统和Map/Reduce并行计算方法设计了农产品安全监控平台的框架,在此基础上,提出了一种用于监测农产品各项指标的Map/Reduce算法;最后通过Linux集群技术,搭建了一个基于Hadoop的农产品安全监控数据存储处理实验性平台,该平台能够有效地对海量农产品数据进行及时存储与处理。实验最终结果表明,相比传统的数据库,该平台能够大幅提升海量农产品数据的吞吐率及数据处理性能,由此验证了平台的合理及有效性。     

Hadoop下的分布式搜索引擎①

分析了Hadoop系统结构,提出一种改进的PageRank算法,使用Map/Reduce模式设计系统模块。实验证明,使用Hadoop框架能够设计出具有高性能、高可靠性和易扩展性的分布式搜索引擎。     

基于Hadoop的句群相似度计算

介绍了Hadoop开源框架、Map／Reduce编程模型以及语句相似度计算原理,利用Hadoop框架下的Map／Reduce编程模型实现了句群相似度并行计算方法。通过实验验证了该算法的稳定性和处理大量数据的可行性。     

Hadoop关键技术的研究与应用

针对开源通用云平台的现实需求,简要分析云计算的体系结构和基本架构,深入研究Hadoop的关键技术,提出基于Hadoop的开源通用云平台构建模型,实例搭建并成功实现此平台的应用。实验表明,该平台具有良好的海量数据分布式计算和处理性能,能满足中小型企业或学者从事云计算应用和研发的需要。     

Hadoop平台数据访问监控机制研究

针对Hadoop平台数据被任务调度感知,进行本地化处理的新特征,探索Haoop平台中Map任务数据访问监控机制。提出Hadoop平台数据访问监控不仅应服务于数据存取效率的提升,还应服务于Map/Reduce并行作业执行效率提升的基本思想,并增加对并行执行多Map任务数据访问开销均衡性的监控。基于该思想,定义Hadoop平台数据访问监控的粒度和监控信息组成;依托Hadoop平台现有结构,设计了基于master-slave的监控体系结构,并给出了监控主要功能模块的具体实现技术及测试结果。     

基于Hadoop的测试数据处理系统设计与实现

提出一种基于Hadoop软件框架进行海量测试数据处理的解决方案。在深入研究Hadoop分布式系统构架、HDFS分布式文件系统以及Map Reduce分布式编程模型的基础上,设计并实现了二进制测试数据文件到HDFS的传输机制以及基于Map Reduce的测试数据分布式格式转换系统。最后搭建实验环境,验证了整个系统的正确性并对分布式格式转换系统进行性能评估。与本地单机相比,系统在处理海量数据时具有更高的效率及更好的可拓展性。     

分布式文件系统

文件系统是计算机系统重要的组成部分，随着网络技术的发展，独立平台上的文件系统有向局域网和广域网上发展的趋势，逐渐形成分布式计算机环境中的一个支撑技术──分布式文件系统。本文首先叙述分布式文件系统的基本概念，发展历史以及几个成熟的分布式文件系统，然后介绍一下支持分布式文件系统的关键技术─—虚拟文件系统、高速缓存技术以及所需的通讯技术。     

基于移动Agent的新型分布式文件系统研究

1.引言现代分布式文件系统的发展趋势是Transparency、Scalability、Unix Semantics、Reliability、Adaptation和Securi-ty。随着技术的发展,人们希望建立一种分布式文件系统来管理更广范围的文件资源,例如管理WAN环境中的文件资源,甚至管理Web环境中的文件资源。传统分布式文件系统大多是针对高带宽、低时延的LAN设计的,不能适应低带宽、高时延的WAN环境,主要体现在:(1)文件存储协议、Cache管理机制不适合WAN。传统分布式文件系统的文件传输协议、Cache管理机制是针对高带宽、低时延的LAN设计的,在低带宽、高时延的WAN下性能很差。(2)伸缩性差。传统的单     

分布式文件系统KFS的架构与性能分析

分布式文件系统能够解决日益增加的海量存储需求,从而成为研究的热点。KFS就是一款优秀的分布式文件系统。介绍了KFS的架构以及一些实现细节,并对其读写性能进行了测试分析。     

分布式文件系统数据安全机制研究

在介绍几种分布式文件系统在解决数据安全方面采用的手段和存在的不足基础上,根据分布式文件系统的特点,设计并实现一个OFS安全框架。通过引入PKI身份认证机制、文件加密访问机制、数据完整性验证机制,研究设计一种OFS安全框架,并对设计的OFS安全框架进行分析。     

基于Peer-to-Peer的分布式文件共享系统的研究与设计

文件共享系统是P2P技术的一个重要研究领域．当前对P2P系统的结构研究已从路由次数的有效控制逐渐转向追求更为实际的时间距离．为此，本文提出了多决策队列路由模型，以期在减低宽带消耗的同时，加快传输速率，并采用分时宽带独享的P2P传输方式，既获得低网络延时．又确保了系统平衡负载的实现．     

加快分布式文件系统元数据访问的研究与实现

元数据操作是影响分布式文件系统性能的一个关键因素。笔者深入研究了分布式文件系统Lustre的元数据存储方式及其访问特点,针对提高元数据的服务效率提出了一种改进方案。该方案将指定的扩展属性(系统元数据)在扩展属性块中的地址偏移存放到元数据文件索引节点的数据区域中,减少了扩展属性遍历的开销。系统测试和分析表明,改进后的系统有更高元的数据访问效率。     

分布式系统中纠删码容错机制的研究与实现

为降低分布式系统中容错机制的存储开销,在分布式文件系统中使用纠删码容错机制。本文总结纠删码容错机制实现的几个理论基础,并分析其系统可靠性,在阐明实现该机制的具体步骤后对几个关键算法模块进行了说明,最后对该机制在分布式系统环境下进行实验。实验结果表明,该机制能够有效地恢复受损数据。在合理的缓存块大小和文件分块数策略下,该机制的编、译码率能够较好地匹配局域网中的网络传输速率,且能够节省存储空间。     

分布式文件系统存储介质评测与分析

文中分析了磁盘、SSD和DRAM的价格和能耗,测试了分布式文件系统HDFS、MooseFS和CarrierFS部署在不同存储介质上的数据吞吐率,接着提出了一种存储介质的性价比理论模型,并分析了当前、2015年和2020年不同存储介质的性价比和变化趋势. 通过性价比分析可得,DRAM具有较大的性价比优势,适合于高并发随机访问应用.随着DRAM容量的快速提升,未来DRAM有可能成为可选的数据存储介质.当前,SSD虽然具有较好的访问性能,但其价格高、容量小、性价比低于磁盘.2015年SSD的性价比将超过磁盘,有可能替代磁盘成为大规模存储系统的基本存储设备.     

面向大数据分析的分布式文件系统关键技术

大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求.设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover.该系统采用基于目录划分和一致性Hash映射的名字空间管理方法,解决了元数据扩展性问题;通过改进的两阶段提交协议,保证了多元数据服务器下分布式元数据操作的一致性;提出了基于共享存储池的高可用机制,通过热备和全局状态恢复机制提高了元数据的可靠性.评测结果表明,Clover的元数据处理能力随服务器的数量线性增长,增加单个服务器的元数据操作性能平均提升了5.13%~159.32%.由于名字空间管理和分布式事务的开销,多元数据服务器会导致复杂操作的性能下降,但是这种下降的幅度很小(小于10%).与HDFS相比,Clover的文件读写带宽与之接近,并能够保证在元数据服务器失效后文件系统快速恢复,适合于构建高可扩展和高可用的存储系统.