云存储系统中基于分簇的数据复制策略

云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。提出了一种云存储系统中基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,设计了一种基于分簇的负载均衡副本放置方法。相关的仿真实验表明,提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。     

HDFS数据副本均衡放置策略的改进

HDFS默认的数据副本放置策略仅仅只根据磁盘空间使用单个指标进行负载衡量,无法实现各节点真正的负载均衡。提出了一种基于性能的副本负载均衡放置改进策略,从磁盘空间负载能力、CPU处理能力、内存处理能力、磁盘读写处理能力、带宽等5个方面考究节点实际工作负载,并定义了一个负载能力模型。实验结果表明,该改进策略比默认策略能更好地实现副本的均衡放置。     

多层一致性哈希的HDFS副本放置策略

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.     

基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。     

基于纠删码和动态副本策略的HDFS改进系统

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。     

基于纠删码的动态副本冗余存储研究

为保证数据的完整性和可靠性,云存储中主要采用多副本和纠删码两种存储策略对数据进行冗余保存.针对单一冗余存储策略的不足,考虑存储开销和访问质量等方面因素,根据用户访问数据的规律,提出一种基于纠删码的动态副本冗余存储方案.采用RC纠删码来存储云中海量数据,使用曲线拟合预测访问热度,适时调整副本的数量.实验结果表明,该方案空间利用率高,能有效减小用户访问的平均延迟,提高用户访问的成功率.     

基于博弈思想的副本创建策略研究

在云计算等复杂网络环境下,提高海量数据存储的可靠性和访问效率,需引入副本存储及管理技术。基于此,提出基于博弈思想的副本创建策略,应用博弈原理建立复杂网络环境下的副本创建基本模型,证明纯策略纳什均衡解的存在性及求解方法,并通过仿真分析方法验证了该策略的有效性。     

一致性哈希的数据集群存储优化策略研究

结合虚拟节点技术和均分存储区域技术,提出了嵌套循环式数据一致性哈希优化分布式集群存储的多副本放置策略．按照此优化策略,能够有序选择数据副本机架,确定数据节点存储位置,保证数据存储的均衡性分布,可以针对集群的实际要求开展扩展,并按照扩展情况制定使数据存储完成自适应优化调整,加快数据处理的速度．有效实验表明存储优化后算例的执行速度得到很大提升,能够保证解决负载均衡问题;而针对实际情况中可能出现的扩展与删减问题进行测试后表明,使用优化存储策略处理此类问题时,振荡对整体负载均衡影响不大,且执行时间与负载占比变化趋势一致.     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

基于Hadoop的访问热点副本迁移技术

提出一种云环境下的访问热点负载均衡模型：基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法;基于机架感知的机制,制定一种动态副本迁移方案。最后利用执行器下发指令给相应的数据节点,执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整。通过迅速扩散副本的方式,来增加热点文件的副本数量,使得系统能够对外提供更大的吞吐量,缩短系统反应时间。      

初始信息素筛选的蚁群优化算法在HDFS副本选择中的研究

随着社会信息化程度的不断提高,各种形式的数据急剧膨胀.HDFS成为解决海量数据存储问题的一个分布式文件系统,而副本技术是云存储系统的关键.提出了一种基于初始信息素筛选的蚁群优化算法(InitPh_ACO)的副本选择策略,通过将遗传算法(GA)与蚁群优化算法(ACO)算法相结合,将它们进行动态衔接.提出基于初始信息素筛选的ACO算法,既克服了ACO算法初始搜索速度慢,又充分利用GA的快速随机全局搜索能力.利用云计算仿真工具CloudSim来验证此策略的效果,结果表明:InitPh_ACO策略在作业执行时间、副本读取响应时间和副本负载均衡性三个方面的性能均优于基于ACO算法的副本选择策略和基于GA的副本选择策略.     

基于Swift的副本数据自适应备份策略研究

冗余数据备份是保证云数据中心下数据可靠性的重要保障机制之一,OpenStack是一种开源的云计算IaaS层私有云服务搭建平台,目前已经在行业界广泛应用。OpenStack的Swift模块使用一致性哈希算法,采用Ring环选取副本备份节点的方式来完成负载均衡和数据备份。本文通过对Swift的实现机理和代码进行分析研究,指出其在副本放置节点选取上的不足,并进而提出优化选取策略ABS（Adaptive Backup Strategy）。该机制在实时监控当前存储节点的负载情况基础之上,根据预先设定的阈值上、下限,自适应选取最近可用的节点完成备份,以优化整体备份效率。通过与现有副本备份策略进行对比和实验验证表明,ABS在保持数据副本分配均衡性的基础之上,将系统存储的4种读写性能分别提高了3.4%~9.1%,达到了优化存取的目的。     

基于纠删码技术的云存储数据块部署方案

针对云存储系统中因忽视集群中存储节点之间的差异而引起的存储代价过高、可靠性较低、节点负载能力不足等问题,提出了段排序交换算法（FSSA）.首先对数据块部署问题进行数学建模;然后根据各个节点的负载情况进行分段,并在各个分段中依据数据可靠性的需求对节点进行初步选择;最后根据数学模型中对目标函数的分析在分段选择的结果中选取适当的节点进行数据部署.仿真结果表明,采用FSSA算法可以在保证数据存储可靠性的基础之上,降低数据存储代价、增强系统负载均衡能力.     

智能网络磁盘集群负载平衡研究

智能网络磁盘（IND）是一种存储体系结构的新构思,IND集群是一种海量存储的新途径,为维护系统的自动负载平衡,用基于访问频数的动态调整和适时迁移策略相结合,精心设计算法,合理布局数据,使系统高效稳定运行,长期实践表明,这种负载平衡的灵活调度策略,对IND集群存储系统的实现是必要而有利的,对高性能计算的海量存储尤为重要。     

面向大规模数据接入系统的负载平衡机制

当前分布式系统负载平衡算法存在问题：1）算法建立的系统中各节点角色固定,系统不具有自适应性;2）算法的通用性不高;3）负载迁移任务巨大,且负载平衡周期过长等。针对这些问题,提出了混合式负载平衡算法。首先,设计了一个分布式系统接收模型。模型将系统任务分为三层：接收层、处理层和存储层。在接收层使用了自定义的通信协议提高系统的接收性能。然后,负载平衡算法采用随机负载迁移策略,根据系统中节点的负载状态,对负载任务进行随机迁移。通过这种策略解决负载平衡周期过长和负载回迁问题。最后,通过分布式控制节点选择策略,使系统中节点具有自适应性。实验结果显示,在百万数据源以下,系统各层平均延迟处于毫秒级,系统负载平衡平均耗时在3 min以下。实验证明了所提出的负载平衡机制具有周期短、任务响应迅速等特点,能够提高分布式系统的接收性能。     

服务化软件系统的运行时资源动态分配方法

Web软件是一种典型的基于Internet的软件形态,它自身的特点决定了其运行时的可靠保障以及质量优化都需要系统具有一定的自适应能力。对于服务化的Web软件系统而言,各服务之间的动态资源分配是实现运行时自适应的重要基础。针对这一问题,构建了一个基于Web的在线购物系统,并在此基础上对基于Web服务资源动态分配及负载均衡的Web软件系统运行时自适应技术进行了研究。对Web软件系统的运行时自适应管理问题进行了分析,提出并实现了资源动态分配及负载均衡方法,在此基础上针对在线购物系统进行了有效性验证。实验结果表明,优化的资源动态分配及负载均衡方法可以有效地提高Web软件系统的运行质量。     

A real-time distributed cluster storage optimization for massive data in internet of multimedia things

With the rapid growth of massive data in the Internet of Multimedia Things, there are some problems of insufficient storage space and unbalanced load in the current methods. For the problem of massive real-time data storage, a distributed cluster storage optimization method is proposed. Considering the impact of replica cost and the generation of intermediate data on the replica layout, a replica generation and storage strategy is given with consideration of cost and storage space. In the data center, the data sensitivity and data access frequency is used as migration factors to achieve massive data migration. The improved collaborative evolution method is used to code the task scheduling particle swarm in massive data storage to obtain the optimal solution, and achieve massive real-time data distributed cluster storage for the Internet of things. The experimental results showed that the cost of data management by this method was only between 10 and 15, which showed that this method can effectively improve data access speed, reduce storage space, lower cost and better load balancing.

     

Exploration on the Load Balancing Technique for Platform of Internet of Things

In recent years, the Internet of Things technology has developed rapidly, and smart Internet of Things devices have also been widely popularized. A large amount of data is generated every moment. Now we are in the era of big data in the Internet of Things. The rapid growth of massive data has brought great challenges to storage technology, which cannot be well coped with by traditional storage technology. The demand for massive data storage has given birth to cloud storage technology. Load balancing technology plays an important role in improving the performance and resource utilization of cloud storage systems. Therefore, it is of great practical significance to study how to improve the performance and resource utilization of cloud storage systems through load balancing technology. On the basis of studying the read strategy of Swift, this article proposes a reread strategy based on load balancing of storage resources to solve the problem of unbalanced read load between interruptions caused by random data copying in Swift. The storage asynchronously tracks the I/O conversion to select the storage with the smallest load for asynchronous reading. The experimental results indicate that the proposed strategy can achieve a better load balancing state in terms of storage I/O utilization and CPU utilization than the random read strategy index of Swift.     

基于结构网格的增升构型失速特性大规模并行数值模拟

针对民机增升构型失速特性的数值模拟,我们基于贪婪负载平衡算法的剖分工具对多块结构网格进行区域分割,在某新型超级计算机系统上完成求解软件的移植、优化和测试,采用 2 亿量级的计算网格开展大规模并行计算研究,测试完成了万核级负载平衡的网格区域分割,实现了增升构型失速特性的 4 096 核数并行计算,并行效率达到 50% 以上,提高了工程应用中对复杂流动现象的数值模拟能力。数值模拟结果加深了对增升构型失速流动机理的理解,可以为增升装置设计优化提供有意义的参考依据。     

一种改进的混合范围划分方法

混合范围划分方法给出了计算数据分置节点数的公式以及数据划分的方法;加强的混合范围划分方法通过引入可变范围的数据分块,达到了节点间数据存储量的一致,解决了混合范围划分方法的数据倾斜问题。为了达到系统运行时节点间的查询负载平衡,本文对上述方法进行了改进,引入了热度的概念来反映查询负载,通过对系统初始阶段的数
数据划分方法和系统运行阶段的数据迁移方法的改进,来达到上述目的。