一种基于数据热点的MongoDB负载均衡策略

MongoDB作为一种新兴的NoSQL数据库,以其模式自由、文档式存储、故障自动恢复、良好的水平扩展、自动负载均衡等特点深受国内外市场的青睐.MongoDB自带的负载均衡策略能使各个节点数据量达到平衡.但是在实际的生产环境中,节点之间数据访问热度不同也会导致负载失衡,特别是出现节点过热的情况.针对这一问题,引入Markov随机过程,提出一种基于Markov预测模型的负载均衡策略,根据Markov模型的稳态概率向量预测各个分片的负载并进行数据迁移.通过实验,验证了当各个分片间出现节点过热时,所提出的负载均衡策略能够很好地使分片间的负载达到基于访问热点的均衡.     

基于HBase的工业时序大数据分布式存储性能优化策略

在自动化的工业场景中，大量工业设备产生的时序性日志数据量呈爆炸式增长，业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据，但由于未考虑特定业务场景中数据与访问行为特征的关联，现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题，基于分布式存储系统HBase，利用工业场景中数据与访问行为特征的关联性，提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题，提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型（LR）对数据进行冷热分类，并将热数据分散存储在不同节点；同时，为进一步降低存储集群中跨节点的通信开销，以提升工业时序数据高维索引的查询效率，提出索引主数据同Region化策略，设计索引RowKey字段及拼接规则，将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明，引入优化策略后的数据负载分布倾斜度降低28.5%，查询效率提升27.7%，验证了所提优化策略能够有效地挖掘特定时序数据的访问模式，合理地分配负载，降低数据访问开销，有能力满足对特...     

分布式存储中基于局部修复码的负载均衡方法

针对分布式存储中热数据访问性能低下的问题,提出一种基于局部修复码（LRC）的负载均衡方法,采用编码的方式规避节点的集中式访问,并提高热数据的访问效率。首先,利用平衡不完全区组设计（BIBD）构造一类适用于小规模存储系统的特殊LRC,从而为编码数据提供多种访问方式;然后,分别基于里所（RS）码和随机阵列码将LRC推广到更大规模,并使它满足存储系统一定的容错需求;最后,提出一种热数据访问算法以降低热数据的访问压力,并结合合理的数据布局方案实现存储系统在高频访问场景下的负载均衡。理论分析和实验结果表明,所提方法能以极小的代价实现负载均衡,明显优于传统方法中利用多副本及最大距离可分（MDS）码实现的负载均衡方法,尤其是解决了因冷热数据访问不均带来的负载失衡问题,可以有效提高热数据存储系统的访问效率。     

视频访问负载的分级存储及迁移算法研究

为了使分布式分级混合存储系统高效、快速响应的工作,达到优化系统性能和减少系统资源消耗的目标,通过研究负载的模式,同时考虑数据访问局部性和系统响应时间,提出了相应于负载识别、以及基于频率策略和带宽策略的分级存储迁移算法,提出了一种目标函数为(带宽节省率/命中率)的新评价标准。频率策略是根据访问的周期频率特性来进行数据分级存储迁移,带宽策略是根据在访问中考虑迁移带宽消耗特性来进行数据分级存储迁移。结合实例,模拟仿真实验结果表明,两种策略都能有效地到达目标。频率策略带来的访问次数及命中率较高,而带宽策略可以减少分级存储并发瓶颈数量。     

数据库系统应用分片中间件

随着国家电网信息化系统一级部署的陆续实施, 业务数据库的表越来越多, 表中的数据量越来越大. 海量数据的存储与访问对数据库造成了相当大的负载, 数据处理能力和访问能力均遭遇瓶颈. 本文针对国家电网一级部署数据量快速增长的特点, 提出了数据分片中间件UAPDS(UAP DB Sharding). UAPDS以集群、分区、分片三层拆分模式, 通过读写分离、单库分表、多库分表等多种解决方案将数据按照一定的规则切分到不同的库或表中, 有效的缓解了对数据库的压力, 提高了数据访问效率, 在实际应用中取得了较好的效果.     

基于内存迭代拷贝的Xen虚拟机动态迁移机制研究

为减少虚拟机动态迁移时间,Xen采用了Pre-Copy算法来选择合适的时间进行停机拷贝,以保证在低负载或空负载时的虚拟机迁移的优越性能,但在高负载环境下,Pre-Copy算法对内存页的重复迭代严重影响了虚拟机迁移的效率。基于Xen虚拟机内存迭代拷贝算法,提出了一种内存分片迭代拷贝机制,即通过缩短迭代拷贝的终止时间来减少虚拟机动态迁移所花费的时间。实验结果表明,内存分片迭代机制可以有效提升Xen虚拟机动态迁移的性能。     

基于Hadoop的访问热点副本迁移技术

提出一种云环境下的访问热点负载均衡模型：基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法;基于机架感知的机制,制定一种动态副本迁移方案。最后利用执行器下发指令给相应的数据节点,执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整。通过迅速扩散副本的方式,来增加热点文件的副本数量,使得系统能够对外提供更大的吞吐量,缩短系统反应时间。      

一种全分布式的数据迁移算法DBDS

数据迁移是大规模存储系统实现负载平衡的重要手段,可有效提高数据访问的性能。然而,现有数据迁移机制大多依赖于集中式算法,存在扩展性方面的不足。提出一种全分布式的数据迁移算法DBDS(Dimension By Dimension Spreading)来解决系统扩展性方面的问题。仿真实验表明,该算法在保证负载全局均衡性的同时,可有效降低迁移过程的消耗,适用于大规模分布式存储系统。     

适应冷热数据存储的多编码架构的设计与实证

随着互联网技术的发展,数据爆炸性增长,互联网的实际应用也已广泛依赖于海量数据的存储。实际的互联网应用往往需要存储多种类型数据,根据数据被访问频率差异可以将数据划分为冷热数据。然而,现有的编码存储机制往往只能采用固化的实现机制,无法适应多种数据类型的编码存储,导致存储系统性能(如数据访问时间)恶化。考虑到冷热存储数据的不同,提出一种基于多数据编码机制的存储系统框架。对于冷数据,该框架可以采用冗余度较低的编码,从而提高空间利用率;对于热数据,该框架可以采用解码速度较快的编码,从而提高数据访问速度。基于HDFS-RAID设计了这一框架并将之实现为真实系统,实际部署在一个Hadoop集群中。另外基于一个实际系统的用户数据轨迹,在搭建的集群中进行了试验,实验结果表明该框架可以满足不同类型数据同时高效存取的需求,并对编码机制具备高扩展性。     

分布式文件系统数据块聚类存储节能策略

针对分布式文件系统中由于数据块随机放置而导致的服务器利用率低、能耗管理复杂的问题,建立了数据块访问特征向量模型描述用户对数据块的随机访问,运用K-means算法对数据块进行聚类计算,根据计算结果将数据节点划分为多个区域以存储不同聚类簇的数据块,在系统负载较低时进行数据块动态重配置,关闭不必要节点达到节能的目的。为使得策略适用于对能耗和资源利用率有不同要求的场景,算法中聚类簇间隔参数可灵活设置。实验通过和冷热区划分算法进行比较表明:按照聚类结果进行数据块重配置后,能耗节省效率优于冷热区划分算法,节省能耗35%~38%。