基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

基于HBase的工业时序大数据分布式存储性能优化策略

在自动化的工业场景中，大量工业设备产生的时序性日志数据量呈爆炸式增长，业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据，但由于未考虑特定业务场景中数据与访问行为特征的关联，现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题，基于分布式存储系统HBase，利用工业场景中数据与访问行为特征的关联性，提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题，提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型（LR）对数据进行冷热分类，并将热数据分散存储在不同节点；同时，为进一步降低存储集群中跨节点的通信开销，以提升工业时序数据高维索引的查询效率，提出索引主数据同Region化策略，设计索引RowKey字段及拼接规则，将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明，引入优化策略后的数据负载分布倾斜度降低28.5%，查询效率提升27.7%，验证了所提优化策略能够有效地挖掘特定时序数据的访问模式，合理地分配负载，降低数据访问开销，有能力满足对特...     

基于固态硬盘的云存储分布式缓存策略

为满足海量数据存储的需求,提出一种基于低功耗、高性能固态硬盘的云存储系统分布式缓存策略.该策略对不同存储介质的硬盘虚拟化,将热点访问数据的缓存与存储相结合,实现在不同存储介质之间的热点数据迁移,解决热点元数据的访问一致性与存储服务器的动态负载均衡问题.工作负载压力测试结果表明,该策略可使云存储系统的读峰值速率最高提升约86％,并且能提高存储服务器的吞吐量.     

基于负载均衡的多源流数据实时存储系统

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。     

基于AHP的云存储负载均衡研究

针对云存储系统节点在数据分布策略和系统响应时间方面的综合负载计算问题,提出了一种云存储系统的负载均衡算法,并对该算法进行了验证。算法基于层次分析法（Analytic Hierarchy Process,AHP）,通过建立综合评估指标体系,从可用存储空间、可用CPU、可用内存和访问热度四个方面,计算各个存储节点的综合负载,并据此对数据存取进行均衡调度。验证结果表明,通过调整不同指标的权重,算法能够很好地满足不同的应用需求,同时,该算法能够很好地反应各节点的综合负载,实现云存储系统整机性能的优化,尤其适用于一些高并发的大数据存储。     

面向存算联调的跨云纠删码自适应数据访问方法

日益旺盛的跨云存算联调需求对跨云数据访问速度提出较高要求.因此,跨云数据访问速度较高的基于数据冗余技术（纠删码和多副本）的跨云数据访问方法逐渐受到关注.其中,基于纠删码的跨云数据访问方法因其存储开销较低、容错性较高而成为当前研究热点.为通过缩短编码块传输用时以提高数据访问速度,现有基于纠删码的跨云数据访问方法尝试引入缓存技术并优化编码数据访问方案.然而,由于现有方法的缓存管理粒度较粗且未协同优化缓存管理与编码数据访问方案,导致其存在缓存命中量低、缓存命中增效低、低传输速度编码块访问量大等问题,使得其编码块传输用时仍较长.为此,首先提出了一种基于星际文件系统（interplanetary file system,IPFS）的跨云存储系统框架（IPFS-based cross-cloud storage system framework,IBCS）,可基于IPFS数据分片管理机制实现细粒度的缓存管理,从而可提高缓存命中量.然后,提出一种面向存算联调的跨云纠删码自适应数据访问方法（adaptive erasure-coded data access method for cross-clou...     

基于冷热数据的MongoDB自动分片机制

MongoDB数据库中的自动分片(Auto-Sharding)机制仅通过数据量来进行分片迁移,会导致负载不均衡的问题。为此,提出一种基于数据冷热访问特征的Auoto-Sharding优化机制。通过朴素贝叶斯算法对数据的访问特性进行冷热数据判定,将数据分片中热数据的所占比重作为热负载值以确定数据迁移时机,并根据数据片之间的热负载差异建立新的数据迁移策略。实验结果表明,在高并发条件下,该优化机制的数据吞吐量高于原有的AutoShading机制。     

云存储系统中基于分簇的数据复制策略

云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。提出了一种云存储系统中基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,设计了一种基于分簇的负载均衡副本放置方法。相关的仿真实验表明,提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。     

云存储智能多数据副本放置机制

数据副本管理机制是云存储系统的重要组成部分。为了提高云存储系统的可伸缩性、可靠性,同时改善用户访问时间,通常采用多数据副本机制,并且需要解决数据副本放置问题。为此,提出了一种用于云存储系统的智能多数据副本放置机制。该机制基于p-中心模型,以最小化访问代价为优化目标,基于遗传算法（genetic algorithm,GA）确定优化的数据副本放置方案,基于生物地理学优化（biogeography-based optimization,BBO）算法确定用户访问请求对数据副本的优化分配。基于CloudSim进行了仿真实现和性能评价,结果表明,云存储智能多数据副本放置机制是可行和有效的。     

负载自适应的存储池数据重构策略

大数据时代各应用领域对计算机存储系统的性能和可靠性需求与日俱增。新型存储介质为计算机存储系统的性能提升提供了良好的机遇,基于固态盘的存储阵列（RAIS）已在各种存储系统中广泛使用。传统RAIS系统中当一块固态盘出现故障时,通过数据重构操作恢复故障盘的数据,重构时间长,且影响对上层应用提供I/O访问服务的能力。针对该问题,设计实现了基于多线程并发处理的存储池架构,该架构能够并发处理存储池中的I/O请求,提高用户I/O和数据重构I/O的访问性能。提出了一种负载自适应的I/O调度策略,能够在保证用户I/O服务质量的同时,提升数据重构效率。实验结果表明,基于存储池的多线程并发I/O处理架构能够提升数据重构性能,负载自适应的I/O调度策略能够根据用户I/O的负载情况动态调整用户I/O和数据重构I/O的调度比例,在保证用户I/O服务质量的同时,提升数据重构效率。     

面向云端Key/Value存储系统的开销敏感的数据迁移方法

Key/Value存储系统在大规模、高性能云应用支撑方面扮演了重要的角色,对云端Key/Value存储系统而言,数据迁移是实现节点动态扩展与弹性负载均衡的关键技术.如何降低迁移开销,是云服务提供商需着力解决的问题.已有研究工作大多针对非虚拟化环境下的数据迁移问题,这些方法对于云端Key/Value存储系统而言往往并不适用.为应对上述挑战,将数据迁移问题纳入负载均衡场景解决.提出一种基于面积的迁移开销模型,该模型可以有效感知底层VM性能干扰状况,权衡迁移时间与性能衰减值.进一步提出一种开销敏感的数据迁移算法,该算法基于开销模型与均衡度制订数据迁移计划,选取最优的迁移操作.基于雅虎的云服务基准测试工具YCSB验证了该方法的有效性.     

并行实时测控数据存储系统设计与实现

随着测控设备数量增加、数据码率的不断提高,传统的测控中心实时存储系统采用的串行化处理逻辑已经难以适应高负载的测控任务需要。采用SPMD（Single Program Multiple Data）思想,基于OpenMP和Qt设计并实现了一套并行实时测控数据存储系统框架。该系统通过引入M/M/1模型的排队系统,设计了一种适合并行实时测控数据存储系统的静态负载均衡算法,基于互斥锁完成了线程间的细粒度通信同步机制,借助于事件循环机制将Qt的信号与槽特性成功地嵌入OpenMP线程,保留了Qt图形界面良好的人机交互性能。实验结果表明该系统在高负载的情况下,相比串行测控数据存储系统而言具有更好的扩展性和实时性,能更好地利用现行单机多核系统的计算资源,获得更好的实时性能。     

NoSQL非关系型数据库负载均衡的实现

NoSQL数据库以其支持数据高并发读写,海量数据高效率存储和访问,以及高扩展性和高可用行的特点在分布式存储系统中得到了广泛的应用。通过对分布式存储系统负载均衡的研究,提出了使用一致性哈希函数来实现系统负载均衡,并通过添加为集群节点添加虚拟节点的方式来增加缓存的命中率。     

基于JPPF的分布式并行检索系统研究

为解决传统串行检索方式在面对海量数据进行处理和查询时效率低下的问题,提出基于JPPF的分布式并行检索策略。JPPF是一种基于Java的功能强大的并行处理框架,其并行环境易于搭建、简单实用。通过分析JPPF的框架结构和分布式工作流程,利用其在执行队列管理及负载均衡方面的优势,设计和实现了一个基于JPPF的检索系统。采用对比实验的方法,以数据库查询为例,比较了串行检索和JPPF并行检索的效率。实验结果表明在数据规模较大的情况下,JPPF并行方式较之串行方式可以显著提高检索效率。     

基于迁移的存储系统热点问题处理*

针对存储系统中由于访问集中等原因引起系统性能下降的热点问题,提出了一种基于数据迁移的解决算法。通过对存储系统访问频率的统计以及迁移算法确定数据迁移的源地址和目标地址,通过迁移来消除热点。并通过模拟的环境和实验,结果表明算法有效地消除了系统出现的热点,并在一定程度均衡了负载,提高了系统性能。     

一种元数据服务器集群的负载均衡算法

在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章.本文中采用元数据请求的响应时间来衡量一个元数据服务器的负载情况,首先从映射算法上实现静态负载均衡,并针对元数据热度差别大而引起的负载不均衡引入动态负载均衡,通过仿真结果显示其有效性.     

基于异构分布式存储系统的动态反馈负载均衡技术

Samba分布式存储系统通过根服务器向用户提供全局名字空间,当用户提出访问请求时,根服务器只按照静态的方式返回逻辑名对应的物理目标位置.当存在多个物理目标时,大多数用户的访问请求都将被定位在一台服务器上.多目标只保证了服务可用性,而没有对系统的负载均衡作出贡献.针对这一问题,提出了一种基于服务器性能指标的动态反馈负载均衡策略,并给出了基于Samba分布式存储系统的实现方案,旨在提高整个系统的存储能力、网络吞吐率、服务平均响应时间等指标.实验表明,优化后系统的I/O性能得到了很大提升.     

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。     

MapReduce中连接负载均衡优化研究

数据分析和处理是大规模分布式数据处理应用中的重要任务。由于简单易用和具有灵活性, MapReduce编程模型逐渐成为大规模分布式数据处理系统（如Hadoop系统）的核心模型。由于所处理的数据可能不是均匀分布的,MapReduce编程模型在处理连接操作时,会出现数据倾斜问题。数据倾斜问题严重降低了MapReduce执行连接操作的效率。针对MapReduce中连接操作的数据倾斜问题,分析了造成MapReduce连接性能瓶颈的原因并建立负载均衡代价模型,提出了用范围分割方法控制连接过程中的数据倾斜问题实现负载均衡的策略。实验结果表明,所提方法明显提高了连接的效率。     

基于Nginx的DRC集群动态负载均衡策略

面向数据的体系架构（DOA）为海量异构数据流通共享提供了新的有效解决方案。而数据注册中心（DRC）作为DOA的核心部件,它的访问性能尤为关键。针对高并发访问带来的DRC集群服务过载问题,采用Nginx反向代理负载均衡技术处理高并发访问。对Nginx的负载策略进行分析优化,提出一种由动态配置、负载收集、算法调度组成的动态负载均衡策略,并在负载调度模块对Nginx加权最小连接调度算法（WLC）进行改进,通过自适应权值不断调度下一个周期内性能最优的节点来处理请求。通过高并发性能测试验证了所提出的负载均衡策略在DRC集群中能更有效处理大流量的访问需求,提高集群的资源利用率和缩短请求响应时间。