云计算环境下分布式文件系统的负载平衡研究

在云计算环境下,文件以块的形式分布在文件系统中。然而系统状态的更新,如节点加入和离开,会导致文件块在系统中的分布不均衡,从而对系统执行的任务产生性能上的影响。针对该分布式文件系统的文件分布不均衡问题,提出了一种完全分布式的负载平衡算法,并采用了仿真实验对所提出的算法与集中式和分布式的负载均衡算法进行了对比。结果表明,该算法在解决了集中式算法的单点瓶颈的基础上只增加了少量的额外开销,其性能明显优于分布式的负载均衡算法。     

一种结构化P2P负载均衡策略的研究

热点对象是影响P2P系统负栽均衡的一个重要方面.含有热点对象的节步不但本身成为高请求负载的节点,同时使路由路径上的节点成为高路由负栽节点.本文利用Pastry系统路由表选择性,提出了一种动态路由表的思想,减轻高负载节点路由路径上的路由负载.经实验证明,该算法有效地解决了结构化P2P系统中因热点对象引发的路由负载均衡问题.     

分布式文件系统的动态负载均衡算法

为了解决分布式文件系统的负载均衡问题,研究了多种负载均衡算法,分析各种算法的优缺点.综合了静态权重轮询算法和动态负载均衡算法两类算法的优点,提出一种自适应的综合动态负载均衡算法,它实现简单、降低了获取反馈信息的开销且不失实时性.经过试验比较,该算法能有效地降低平均响应时间和提高吞吐量,负载的分配更为均衡.     

基于结构化P2P网络的动态负载均衡算法研究

针对结构化P2P网络中可能出现的查找"热点"问题,结合基于DHT的P2P系统路由机制提出了ADLB(adaptive dy namic load balancing)算法,该算法充分利用原有Chord[4]协议的路由机制和P2P网络中各节点的异质性,通过动态控制节点加入来减轻重载节点的负载.此外还提出了一套动态监测控制节点负载的方法,最后通过性能仿真验证了算法的有效性.     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

基于可用性度量的分布式文件系统节点失效恢复算法

现有分布式文件系统中处理节点失效时采用的恢复策略耗费较多的带宽与磁盘空间资源,且影响系统的稳定性。通过研究分布式文件系统HDFS集群结构、数据块存储机制、节点与数据块状态之间的关系,定义了集群节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵为度量数据块可用性建立了基础数据模型。在实现数据块可用性度量基础上,设计了基于可用性度量的节点失效恢复算法并分析了算法的性能。实验结果表明:新算法在保证系统中所有数据块可用性的前提下比原恢复策略减少了恢复所需带宽与磁盘资源,缩短了节点恢复时间,提高了系统稳定性。     

基于博弈论的P2P系统分析

P2P系统近几年来在网络上有飞速的发展,然而随着用户对网络和P2P系统的了解,使得P2P系统中大量存在欺骗行为,从而导致效率下降。文中以解决P2P系统中的欺骗为目的,通过引入博弈论思想从宏观和微观两方面对P2P系统进行分析:宏观上通过建立数学模型分析P2P系统效率下降甚至崩溃的原因;微观上,通过合理的论证,提出一种以牙还牙机制对P2P系统的欺骗问题进行解决。     

基于博弈论的P2P系统分析

P2P系统近几年来在网络上有飞速的发展,然而随着用户对网络和P2P系统的了解,使得P2P系统中大量存在欺骗行为,从而导致效率下降。文中以解决P2P系统中的欺骗为目的,通过引入博弈论思想从宏观和微观两方面对P2P系统进行分析：宏观上通过建立数学模型分析P2P系统效率下降甚至崩溃的原因;微观上,通过合理的论证,提出一种以牙还牙机制对P2P系统的欺骗问题进行解决。     

一个可用于构造抗抖动P2P系统的负载均衡算法*

提出了一种可用于构造抗抖动的结构化P2P覆盖网系统的负载均衡算法——log N-VS algorithm。该算法基于虚拟服务器,包括节点首次加入算法、应对网络变化的节点自适应算法,以及为应对节点首次加入时有少于log N/2的VS被激活的极端情况的基于局部网络快照的节点再加入算法。仿真实验和性能分析都证明了该算法能够有效构造具有较好数据查找效率、较强的负载均衡能力和应对网络抖动能力的结构化P2P覆盖网。     

云环境下分布式文件系统负载均衡研究

Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是一种适合在通用硬件上运行的低成本、高度容错性的分布式文件系统,能提供高吞吐量的数据访问,适合针对大规模数据集上的应用。然而,HDFS中还面临一些性能优化问题,如负载均衡不足。虽然Hadoop系统自带的负载均衡器可以实现均衡调整,但需要用户预先给出静态的阈值。为了解决阈值的固定性和主观性,通过对磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率等参数的分析评估优化,形成对阈值的计算表达式,并通过理论分析和仿真实验对阈值的计算和负载均衡进行验证。实验结果表明,相比较Hadoop静态的输入阈值的算法,该方法达到了更好的平衡效果,提高了计算资源的利用率。     

神经模糊控制在船舶自动舵中的应用

针对常规模糊自动舵由于受船舶控制过程的非线性、时变性以及风浪干扰等因素影响,模糊控制规则和隶属函数需要校正,利用神经网络的自学习能力,用神经网络去实现模糊控制,设计自动舵神经模糊控制器,采用BP算法和最小二乘算法的混合学习算法实现对模糊规则和隶属函数的参数训练,提高控制器的自适应能力。仿真实验表明所设计的控制器有效可行,适应船舶在风浪干扰环境下的控制性能要求。     

面向Hadoop分布式文件系统的小文件存取优化方法

为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法--SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率。实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度。     

基于新型存储器件的分布式文件系统性能优化

新型存储器件的I/O性能通常比传统固态驱动器（SSD）高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题,对Hadoop分布式文件系统（HDFS）的数据写入流程及传输过程进行了量化分析。通过量化分析HDFS数据写入过程各阶段的时间开销,发现在写入数据的各个阶段中,节点间数据传输的时间占比较大。因此提出了对应的优化方案,通过异步写入的方式并行化数据传输与处理过程,使得不同数据包的处理阶段叠加起来,减少了数据包整体的处理时间,从而提升了HDFS的写入性能。实验结果表明,所提方案将HDFS的写入吞吐量提升了15%~24%,总体的写入执行时间降低了28%~36%。     

基于Hadoop平台的分布式重删存储系统

针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,MapReduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。     

基于Hopfield神经网络的云存储负载均衡策略

针对当前Hadoop存储效率不高,且副本故障后恢复成本较高的问题,提出一种基于Hopfield神经网络（HNN）的存储策略。为了实现系统整体性能的提升,首先分析影响存储效率的资源特征;然后建立资源约束模型,设计Hopfield能量函数,并化简该能量函数;最后,通过标准用例Wordcount测试,分析8个节点的平均利用率,并与三个常用算法包括基于资源的动态调用算法、基于能耗的算法和Hadoop默认存储策略进行性能和资源利用方面的比较。实验表明,与对比算法相比,基于HNN的存储策略在效率上分别平均提升15.63%、32.92%和55.92%。因此,该方法在应用中可以更好地实现资源负载平衡,将有助于改善Hadoop的存储能力,并可以加快检索。     

基于Hadoop的电力地理信息系统数据管理

针对传统电力地理信息系统（GIS）在存储能力、分析能力和扩展能力上的不足,将云计算技术应用到电力GIS领域,提出利用Hadoop云平台对电力GIS数据进行高效存储和管理的方案。首先对电力GIS各类数据的特点进行了分析,提出了关系型数据库与非关系型数据库相结合的数据存储策略,并在此基础上设计了基于Hadoop的电力GIS数据管理整体架构、相应的数据模型以及基于MapReduce的数据并行查询分析方法。最后,在单机和集群的环境下,对空间分析与运行数据查询的性能进行了对比与验证。实验结果表明,在数据量达到一定规模时,该方案优势明显,数据分析与查询的平均时间缩短30%以上,具有较高的效率和良好的扩展性。     

单机下Hadoop小文件处理性能分析

Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异。从Hadoop的工作流程和原理上解释了出现此性能差异的原因。通过分析得出多个小文件整合为一个数据片split有助于改善Hadoop处理小文件性能。     

Hadoop平台下的并行Web日志挖掘算法

当面对海量数据时,基于单一节点的Web数据挖掘存在时间和空间效率上的瓶颈.针对该问题,提出一种在Hadoop平台下实现Web日志挖掘的并行FP-growth算法,利用Hadoop分布式文件系统和MapReduce并行计算模型处理日志文件.实验结果表明,该算法的加速比能随着数据集的增大而提高,其执行效率优于串行FP-growth算法.     

基于GE码的HDFS优化方案

针对Hadoop分布式文件系统(HDFS)数据容灾效率和小文件问题,提出了基于纠删码的解决方案。该方案引用了新型纠删码(GE码)的编码和译码模块,对HDFS中的文件进行编码分片,生成很多个Slice并随机均匀的分配保存到集群中,代替原来HDFS系统的多副本容灾策略。该方法中引入了Slice的新概念,将Slice进行分类合保存在block中并然后通过对Slice建立二级索引来解决小文件问题; 该研究方法中抛弃了三备份机制,而是在集群出现节点失效的情况下,通过收集与失效文件相关的任意70%左右的Slice进行原始数据的恢复。通过相关的集群实验结果表明,该方法在容灾效率、小文件问题、存储成本以及安全性上对HDFS作了很大的优化。     

对等网络技术的新发展—JXTA

1.技术背景对等网络(P2P,Peer to Peer)技术是指在不同电脑用户之间不经过中继设备而直接完成数据交换或服务交换的信息控制技术。实际上,P2P不是新概念。最早的互联网应用就是实现计算机和计算机之间的对等通信。当代互联网的前身ARPANet就是建立在把计算机作为对等机(peer)而连接起来这一概念之上的,这也是ARPANet最大的技术突破之一。