Swift云存储环境下基于I/O负载均衡的读取策略

Swift是开源云计算平台OpenStack中云存储服务组件,为平台提供廉价、可靠、安全的云存储服务.针对Swift没有充分利用存储系统的备份数据来实现并行读取操作及负载均衡的这一问题,提出了基于I/O负载均衡的并发读策略.实验结果表明,该策略不仅能够充分利用备份数据来达到存储设备读操作的负载均衡,而且能够实现数据的并行读取,提高平台整体读性能.     

存储中的副本分级存储调度策略

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。     

读写频繁云存储网络应用的数据备份方法

文章根据读写频繁的云存储网络应用的数据存储特点,提出了一种新的数据备份方法,旨在最优化地利用已有的系统资源,为用户提供更好的用户体验。文章中的数据备份方法包括基于数据节点废弃度计算与用户访问预测的副本创建机制和基于存储平衡预测算法与副本健康度计算的负载调整机制。文章的数据备份方法与现有技术相比针对日益流行的社交类云存储网络应用进行了优化,将多种数据参数加权计算作为衡量数据节点优劣和副本文件价值的标准,在保证用户使用体验的前提下使各数据节点达到负载的均衡,并且避免了云服务器端将有限的计算资源浪费在频繁的副本调整过程中。     

一致性哈希的数据集群存储优化策略研究

结合虚拟节点技术和均分存储区域技术,提出了嵌套循环式数据一致性哈希优化分布式集群存储的多副本放置策略．按照此优化策略,能够有序选择数据副本机架,确定数据节点存储位置,保证数据存储的均衡性分布,可以针对集群的实际要求开展扩展,并按照扩展情况制定使数据存储完成自适应优化调整,加快数据处理的速度．有效实验表明存储优化后算例的执行速度得到很大提升,能够保证解决负载均衡问题;而针对实际情况中可能出现的扩展与删减问题进行测试后表明,使用优化存储策略处理此类问题时,振荡对整体负载均衡影响不大,且执行时间与负载占比变化趋势一致.     

面向海量空间数据存储的元数据管理机制

为了有效管理海量空间数据存储的元数据,引入了一种基于一致性哈希的分布式元数据服务器管理架构,并在此基础上提出了一种元数据轮式备份策略,将经过一致性哈希算法散列后存储元数据的节点按轮转方式进行数据备份,有效缓解了元数据管理的单点问题与访问瓶颈.最后对轮式备份策略进行测试,得出最佳元数据节点个数备份方案,与单点元数据服务器相比提高了元数据的安全性,降低了访问延迟,并结合虚拟节点改善了分布式元数据服务器的负载均衡.     

基于OpenStack的对象存储性能实验及研究

随着云计算的不断发展,基于OpenStack的开源云得到了国内外IT厂商的广泛关注。从服务响应时间和服务吞吐量两个维度来对比万兆网卡和千兆网卡对OpenStack Swift对象存储方案性能的影响。在此基础上,模拟Swift采用万兆网卡适配器后在各种场景下的性能表现。进一步,采用固态硬盘检验其对Swift存储性能的影响。最后进行代理节点和存储节点的配比实验,挖掘云存储技术的价值,设计更加符合最终用户需要的云存储解决方案。     

云存储环境下副本选择策略研究

云存储服务提供商为了满足各类云用户的存储需求,一般采用划分固定大小的数据块、冗余备份等技术来存储数据,关于块放置、最佳副本选择、副本粒度等存储机制的研究一直是加快大文件存取速度的重要内容。面向云存储系统中存储节点的异构性,设计了一种采用层次分析法对节点性能指标加权并依据加权指标改进粒子群算法的策略(AHPPSO)。通过引入与存储节点性能相关的加权评价矩阵,使得粒子群算法向综合性能较高的节点进化,在不增加存储空间成本的基础上,加快了存取数据的速度。在自主搭建的云存储系统中实现了该策略,实验结果显示该策略能够适应多种用户需求,并且在一定程度上实现系统负载均衡。     

基于竞标模式和访问热度的副本创建策略

研究典型数据副本创建策略,提出一种以节点在线率和节点存储能力作为价格的竞标模型副本创建策略。根据对基于访问热度的典型副本创建策略和基于竞标模型的典型副本创建策略的具体分析,改进典型副本创建策略对节点性能考虑的单一性,综合考虑节点的访问热度和负载等性能,实现基于竞标模式和访问热度相结合的副本创建策略。并通过基于网络带宽利用率和系统响应时间的实验,将该副本创建策略与两种典型副本创建策略进行实验对比,验证提出的基于竞标模式和访问热度的副本创建策略具有较好的性能。     

一种优化的Hadoop副本放置策略

Hadoop分布式文件系统默认采用三副本策略实现较为简单,未对数据节点负载进行充分考虑。为了改善HDFS中集群负载的均衡性,提高数据节点的资源利用率,提出一种优化的副本放置策略。该策略综合考虑数据节点的实时负载信息和工作进程数,选择负载最小的节点存放数据。实验结果表明,与默认策略相比,优化的Hadoop副本放置策略能使副本分布更加合理,集群的均衡性更加良好,并能减少数据上传响应时间。     

基于纠删码和动态副本策略的HDFS改进系统

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。     

云存储副本优化选择策略

为了提高云计算环境中系统的整体数据调度效率,对云存储系统中的副本选择问题进行研究,提出一种基于蚁群觅食原理的云存储副本优化选择策略。该策略利用蚁群算法在解决优化问题上的优势,将自然环境中蚁群的觅食过程与云存储中的副本选择过程相结合;再充分应用信息素的动态变化规律以及高斯概率分布特性优化副本的选择方式,得出一组副本资源的最优解,从而为数据请求响应合适的副本。在OptorSim仿真平台上对该算法进行实现,实验结果表明该算法具有不错的表现,如在平均作业用时这一性能指标上相比原始蚁群算法提升了18.7%,从而在一定程度上减少了副本选择过程的时间消耗,降低了网络负载。     

面向流媒体基于蚁群的副本选择算法

本文针对流媒体Cloud-P2P存储模式中的副本选择,提出一种基于蚁群算法的改进算法（replica selection algorithm in Cloud-P2P based on ant colony algorithm,C²P²RSA²）,建立副本选择度量标准（副本节点的网络带宽、网络延时等）与蚁群信息素的映射,定义了副本信息素概率,最后得到一组副本资源的最优解.实验表明,与PARSA算法（Pheromone-base Ant colony Replica adaptive Selection Algorithm in cloud storage）和最佳副本选择算法比较,在平均访问时间增加2%–5%的情况下,本文的算法对云副本节点的负载率减少15%–25%.     

基于Hadoop的访问热点副本迁移技术

提出一种云环境下的访问热点负载均衡模型：基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法;基于机架感知的机制,制定一种动态副本迁移方案。最后利用执行器下发指令给相应的数据节点,执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整。通过迅速扩散副本的方式,来增加热点文件的副本数量,使得系统能够对外提供更大的吞吐量,缩短系统反应时间。      

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

初始信息素筛选的蚁群优化算法在HDFS副本选择中的研究

随着社会信息化程度的不断提高,各种形式的数据急剧膨胀.HDFS成为解决海量数据存储问题的一个分布式文件系统,而副本技术是云存储系统的关键.提出了一种基于初始信息素筛选的蚁群优化算法(InitPh_ACO)的副本选择策略,通过将遗传算法(GA)与蚁群优化算法(ACO)算法相结合,将它们进行动态衔接.提出基于初始信息素筛选的ACO算法,既克服了ACO算法初始搜索速度慢,又充分利用GA的快速随机全局搜索能力.利用云计算仿真工具CloudSim来验证此策略的效果,结果表明:InitPh_ACO策略在作业执行时间、副本读取响应时间和副本负载均衡性三个方面的性能均优于基于ACO算法的副本选择策略和基于GA的副本选择策略.     

云环境下副本优化放置策略研究

为了提高云计算数据调度和副本访问的效率,对副本策略中的副本放置问题进行研究,提出一种基于蚁群算法的副本放置策略。根据自然界中蚁群觅食的原理,把蚁群算法应用于副本放置的整个过程; 利用信息素的动态更新以及拉普拉斯概率分布改进的蚁群算法得出一组最优解进行副本放置。在CloudSim平台上进行了仿真模拟,实验结果表明,提出的方案在平均作业完成时间、网络利用率和负载均衡度上均优于原始蚁群算法,并在一定程度上降低了副本放置的时间消耗和网络负载。     

Scalable replica selection based on node service capability for improving data access performance in edge computing environment

The replica strategies in traditional cloud computing often result in excessive resource consumption and long response time. In the edge cloud environment, if the replica node cannot be managed efficiently, it will cause problems such as low user’s access speed and low system fault tolerance. Therefore, this paper proposed replica creation and selection strategy based on the edge cloud architecture. The dynamic replica creation algorithm based on access heat (DRC-AH) and replica selection algorithms based on node service capability (DRS-NSC) were proposed. The DRC-AH uses data block as replication granularity and Grey Markov chain to dynamically adjust the number of replicas. After the replica is created, when client receives the user’s request, the DRS-NSC selects the best replica node to respond to the user. The experiments show that the proposed algorithms have significant advantages in prediction accuracy, user’s request response time, resource utilization, etc., and improve the performance of the system to a certain extent.

     

Exploration on the Load Balancing Technique for Platform of Internet of Things

In recent years, the Internet of Things technology has developed rapidly, and smart Internet of Things devices have also been widely popularized. A large amount of data is generated every moment. Now we are in the era of big data in the Internet of Things. The rapid growth of massive data has brought great challenges to storage technology, which cannot be well coped with by traditional storage technology. The demand for massive data storage has given birth to cloud storage technology. Load balancing technology plays an important role in improving the performance and resource utilization of cloud storage systems. Therefore, it is of great practical significance to study how to improve the performance and resource utilization of cloud storage systems through load balancing technology. On the basis of studying the read strategy of Swift, this article proposes a reread strategy based on load balancing of storage resources to solve the problem of unbalanced read load between interruptions caused by random data copying in Swift. The storage asynchronously tracks the I/O conversion to select the storage with the smallest load for asynchronous reading. The experimental results indicate that the proposed strategy can achieve a better load balancing state in terms of storage I/O utilization and CPU utilization than the random read strategy index of Swift.