面向云端Key/Value存储系统的开销敏感的数据迁移方法

Key/Value存储系统在大规模、高性能云应用支撑方面扮演了重要的角色,对云端Key/Value存储系统而言,数据迁移是实现节点动态扩展与弹性负载均衡的关键技术.如何降低迁移开销,是云服务提供商需着力解决的问题.已有研究工作大多针对非虚拟化环境下的数据迁移问题,这些方法对于云端Key/Value存储系统而言往往并不适用.为应对上述挑战,将数据迁移问题纳入负载均衡场景解决.提出一种基于面积的迁移开销模型,该模型可以有效感知底层VM性能干扰状况,权衡迁移时间与性能衰减值.进一步提出一种开销敏感的数据迁移算法,该算法基于开销模型与均衡度制订数据迁移计划,选取最优的迁移操作.基于雅虎的云服务基准测试工具YCSB验证了该方法的有效性.     

分级存储系统中一种数据自动迁移方法

分级存储系统通过将数据在不同性能设备间动态迁移以达到高性能.已有分级存储系统未能充分利用负载信息导致数据迁移严重影响应用性能.提出了一种分级存储系统中的数据自动迁移方法AutoMig,目标是提高前台应用的I?O性能.AutoMig综合文件访问历史、文件大小、设备利用情况等参数,对文件进行动态分级,并使用LRU队列维护快速存储设备中的文件状态;挖掘关联文件用于自动预取;针对不同文件迁移操作采取不同的速率控制策略.对降级操作,根据负载变化动态调整迁移速率,对回迁操作则采取尽力而为的策略.在分级存储系统中的应用表明,与已有方法相比,AutoMig有效缩短了前台I?O响应时间.     

一种海量数据分级存储系统TH-TS

随着数据存储规模的飞速增长,降低存储系统的总拥有成本,提高数据访问性能成为构建海量存储系统的关键.设计并实现了一个海量数据分级存储系统TH-TS(Tsinghua Tiered Storage),由多级存储设备构成一体化的数据存储环境.该系统提出了Cute Mig数据迁移方法:采用基于升级成本和升级收益的升级迁移策略和基于剩余空间的文件自适应降级选择策略,解决了传统on-demand迁移方法中迁移数据量大、访问性能不佳的问题.评测结果表明,TH-TS采用Cute Mig迁移方法的系统平均I/O响应时间比传统的LRU和GreedyDualSize方法分别降低了10%和39%左右,数据升级迁移量分别降低了32%和59%左右,降级迁移量分别降低了47%和66%左右.     

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。     

基于ESS自适应数据迁移的研究与实现

进化存储系统(ESS)是一种能实现存储性能、存储容量不断提高,数据组织结构不断进化的新型存储系统.本文研究并实现了一种满足ESS动态数据迁移需求的数据迁移解决方案,该方案借鉴生物学中的进化理论和控制理论中的反馈控制技术,依据ESS不同应用场景执行相应的数据迁移策略,并且可以根据系统状态的变化动态调整迁移策略.经过对照试验的数据分析证实,该方案能高效地实现ESS数据迁移.     

分层存储中数据迁移时间的设计

分析了数据迁移时间设计中存在的问题.引入了数学公式来判断存储使用量的变化趋势,由变化趋势、存储系统的传输速率和存储容量来判断迁移时间,这为迁移时间的设计提供了理论方式.同时开发了数据迁移监控器,结合迁移时间制定了相应的迁移策略.在高性能计算的环境下,搭建了两层存储的测试系统,部署了该迁移策略.实验结果表明,迁移时间的设计能实现分层存储中数据及时迁移,并可有效缓解迁移堵塞、提高存储层的使用率.     

一种全分布式的数据迁移算法DBDS

数据迁移是大规模存储系统实现负载平衡的重要手段,可有效提高数据访问的性能。然而,现有数据迁移机制大多依赖于集中式算法,存在扩展性方面的不足。提出一种全分布式的数据迁移算法DBDS(Dimension By Dimension Spreading)来解决系统扩展性方面的问题。仿真实验表明,该算法在保证负载全局均衡性的同时,可有效降低迁移过程的消耗,适用于大规模分布式存储系统。     

基于iSCSI存储集群的设计与实现

为了节约成本,提高系统的可用性,通过研究iSCSI与存储集群的特点,提出将iSCSI应用到存储集群中的方案.分析了心跳检测、故障迁移、数据镜像等技术,在设计心跳检测时,通过增加失效点阀值提高检测的正确性,故障迁移利用ARP欺骗原理来完成,数据镜像则使用同步模式来保障数据的一致性.最后实现了一款高可靠、高可用基于iSCSI的存储集群系统,并对存储系统性能进行了测试.     

DSM中基于遗传算法的页迁移

在分布式共享存储系统（Distributed Shared Memory，DSM）中，远程数据不命中时间和同步时间是两个最主要的开销。本文在分析页迁移技术以及分布式系统性能开销的基础上，提出基于遗传算法的动态页迁移技术以提高数据的局部性。实验结果表明，该方法能在一定程度上提高数据的局部性，且适用于规模较大的程序。     

海量网络数据智能分级存储技术研究

随着网络的普及和应用,诞生了海量的网络数据,因此针对海量网络数据实施有效的存储,可以提高数据的访问效率和安全性。文章详细地分析了海量网络数据智能分级存储现状,提出了一种智能分级存储系统,并且研究了智能分级存储的数据分类技术、数据放置技术、数据迁移技术等关键技术。     

视频访问负载的分级存储及迁移算法研究

为了使分布式分级混合存储系统高效、快速响应的工作,达到优化系统性能和减少系统资源消耗的目标,通过研究负载的模式,同时考虑数据访问局部性和系统响应时间,提出了相应于负载识别、以及基于频率策略和带宽策略的分级存储迁移算法,提出了一种目标函数为(带宽节省率/命中率)的新评价标准。频率策略是根据访问的周期频率特性来进行数据分级存储迁移,带宽策略是根据在访问中考虑迁移带宽消耗特性来进行数据分级存储迁移。结合实例,模拟仿真实验结果表明,两种策略都能有效地到达目标。频率策略带来的访问次数及命中率较高,而带宽策略可以减少分级存储并发瓶颈数量。     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

基于海量数据存储系统多级存储介质的热点数据区分方法

海量数据的应用导致文件读写压力变大,必然需要考虑文件I/O带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同,而且数据访问具有时间和空间局部性,因此需要进行分级存储.考虑到数据存在着周期性的变化规律,数据访问的热度是变化的,海量存储系统中相当大比例的数据静止不动,而且高性能存储设备有限,因此基于分级存储技术进行数据迁移,并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景,用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估,经过对Web服务器并发访问响应时间的测试验证,与常规迁移方法相比该算法的确改进了系统的性能.     

虚拟机快速全系统在线迁移

虚拟机全系统在线迁移对于广域网或者没有共享存储的局域网中的虚拟化平台非常重要.然而,全系统映像一般在几十吉字节(gigabyte,GB)量级,迁移这些数据需占用大量I/O带宽且时间开销很大.快速全系统在线迁移方法具有如下特点:文件系统感知的磁盘同步,利用文件系统的磁盘块分配位图,只拷贝实际使用的磁盘块,显著减少了第1阶段同步的磁盘映像数据量;异或压缩,利用映像数据的自相似性,快速有效地减少了迁移最后两个阶段拷贝的数据量;流水迁移,流水化迁移各个阶段,使得读写映像、压缩解压映像、网络收发各阶段充分并行.实验表明,与传统压缩迁移相比,快速迁移可以减少50%的迁移时间,最好情况和平均情况下,能分别降低21.68%和14.48%的停机时间.在网络带宽受限或虚拟机负载过重等极限条件下,快速迁移同样有效.     

面向复杂网络存储系统的元胞自动机动力学分析方法

大规模网络存储系统中复杂的数据传输行为隐藏着一定的动力学规律性.针对基于对象的大规模网络存储系统,结合存储对象的智能性和主动性特征,分别在宏观与微观两个层次上提出了用于复杂网络存储动态行为规律分析的存储元胞自动机模型SNCA和OSDCA.在SNCA模型中,对网格拓扑结构的存储网络,结合存储对象的生命周期属性,可在宏观上分析网络存储系统的数据流动规律,确定存储网络拥塞程度,仿真结果揭示数据对象流动和存储网络中的相变具有全局相关性;在OSDCA模型中,综合热点数据的迁移和复制机制,在微观上分析I/O负载动态分布特性和存储热点迁移规律,仿真结果表明对象存储系统中的数据分布具有一定的自组织特性.     

基于业务分割的并行式大数据迁移策略研究

 大数据处理是目前研究的一个热点问题,大数据给数据存储、数据管理、数据检索带来巨大的挑战,它对存储硬件、存储策略、检索方法等研究提出了更高的要求。针对大数据处理问题,提出基于业务分割的、并行式数据迁移策略,并在此基础上开发数据迁移平台。实验结果表明：该平台在数据访问速度、占用系统内存等方面,比传统的数据迁移方法拥有更大的优势。目前该平台已在某银行收支核查系统中取得了很好的使用效果。     

基于QoS的数据迁移模型的设计

结合对象存储的特点,提出基于QoS的存储系统模型。该模型将迁移任务划分为细粒度的迁移请求,使对象存储设备在实现数据迁移的同时能响应I／O请求。元数据服务器按相同的标准给I／O请求和迁移请求分配相应的收益,使对象存储设备能采用收益最大算法调度I／O请求和迁移请求,从而提供更高的服务质量。通过收益预测和带宽预留实现在线最大收益调度算法。实验表明,最大收益算法与通常的迁移优先算法和固定平均迁移率算法相比,对系统的I／O性能影响最小。