存储中的副本分级存储调度策略

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。     

云计算架构下的动态副本管理策略

为有效管理云计算环境中的数据副本,减少系统带宽消耗、最小化响应时间和平衡负载,提出了一种动态副本管理策略.通过建立文件可用性和副本数量间的关系模型来计算系统应维持的最小副本数量;基于数据被请求访问的次数和传输花费进行副本放置;数据被请求时结合节点间带宽和节点效用选择副本.实验结果表明了该策略的正确性有效性.     

内存云分级存储架构下的数据迁移模型

为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。     

基于迁移的存储系统热点问题处理

针对存储系统中由于访问集中等原因引起系统性能下降的热点问题,提出了一种基于数据迁移的解决算法。通过对存储系统访问频率的统计以及迁移算法确定数据迁移的源地址和目标地址,通过迁移来消除热点。并通过模拟的环境和实验,结果表明算法有效地消除了系统出现的热点,并在一定程度均衡了负载,提高了系统性能。     

基于海量数据存储系统多级存储介质的热点数据区分方法

海量数据的应用导致文件读写压力变大,必然需要考虑文件I/O带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同,而且数据访问具有时间和空间局部性,因此需要进行分级存储.考虑到数据存在着周期性的变化规律,数据访问的热度是变化的,海量存储系统中相当大比例的数据静止不动,而且高性能存储设备有限,因此基于分级存储技术进行数据迁移,并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景,用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估,经过对Web服务器并发访问响应时间的测试验证,与常规迁移方法相比该算法的确改进了系统的性能.     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

分级存储系统中一种数据自动迁移方法

分级存储系统通过将数据在不同性能设备间动态迁移以达到高性能.已有分级存储系统未能充分利用负载信息导致数据迁移严重影响应用性能.提出了一种分级存储系统中的数据自动迁移方法AutoMig,目标是提高前台应用的I?O性能.AutoMig综合文件访问历史、文件大小、设备利用情况等参数,对文件进行动态分级,并使用LRU队列维护快速存储设备中的文件状态;挖掘关联文件用于自动预取;针对不同文件迁移操作采取不同的速率控制策略.对降级操作,根据负载变化动态调整迁移速率,对回迁操作则采取尽力而为的策略.在分级存储系统中的应用表明,与已有方法相比,AutoMig有效缩短了前台I?O响应时间.     

基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。     

基于Hadoop的访问热点副本迁移技术

提出一种云环境下的访问热点负载均衡模型：基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法;基于机架感知的机制,制定一种动态副本迁移方案。最后利用执行器下发指令给相应的数据节点,执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整。通过迅速扩散副本的方式,来增加热点文件的副本数量,使得系统能够对外提供更大的吞吐量,缩短系统反应时间。      

位置相关信息服务中的一种数据预取方法

位置相关信息服务中访问数据涉及到复杂的空间计算,导致访问数据的延迟时间较长,而数据预取能够显著提高数据的访问速度,缩短访问数据的时间。基于LDD的预取策略如DDP考虑了数据距离,但是没有考虑数据的访问概率和更新频率及数据大小。针对以上问题提出基于价值的数据预取（CDP）策略,一些重要的数据预取因素如访问概率、更新频率、数据项大小、数据距离和有效范围等都包含在价值函数里,根据价值函数值的大小来选择被预取的数据。通过实验对比,CDP比DDP策略能更有效的提高缓存命中率。     

面向本地分布式存储系统的动态副本策略

针对本地分布式存储系统的拓扑结构与存储组成单元的特性,提出了一种基于频度的动态副本算法FBDR。FBDR分别采用基于密度的单次频度分析和基于区间长度的两次频度聚合的方法对文件访问流进行分析,作为确定热点文件的依据,具有较高的命中率。在副本创建位置选择上,综合考虑了存储单元的可用空间、负载、IO性能等因素,使热点文件获得更高的IO速率,同时兼顾了存储单元之间的负载与资源利用的平衡。     

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。     

一种对象存储设备中自适应动态预取策略

在对象存储系统中,对象存储设备具有很高的智能和处理能力,它负责对象及其属性的数据组织和管理,向外提供基于对象的访问接口。每个对象均具有属性,它反映了对象的某些特征。通过为每个对象自定义一个预取属性页,对用户访问对象存储设备的规律进行智能的自我学习,从而实现一种高效的、自适应的动态预取算法,可以提高对象存储设备的预取命中率,从而提高对象存储设备的性能。     

基于竞标模式和访问热度的副本创建策略

研究典型数据副本创建策略,提出一种以节点在线率和节点存储能力作为价格的竞标模型副本创建策略。根据对基于访问热度的典型副本创建策略和基于竞标模型的典型副本创建策略的具体分析,改进典型副本创建策略对节点性能考虑的单一性,综合考虑节点的访问热度和负载等性能,实现基于竞标模式和访问热度相结合的副本创建策略。并通过基于网络带宽利用率和系统响应时间的实验,将该副本创建策略与两种典型副本创建策略进行实验对比,验证提出的基于竞标模式和访问热度的副本创建策略具有较好的性能。     

基于虚拟存储层的缓存控制软件设计

缓存加速技术可以利用固态硬盘(SSD,solid state disk)随机访问性能高的优势,提升机械硬盘的随机读写性能;传统的缓存加速技术难以适应大数据背景下高并发、间歇性频繁访问等热点数据访问需求;为了提升缓存整体性能,提出一种基于虚拟存储层的缓存策略(CVSL,cache policy based on the virtual storage layer),将缓存技术和分层存储技术相结合,通过热度统计、数据逻辑迁移,实现基于数据逻辑分层的缓存控制;实验结果表明,相对传统的缓存策略,CVSL策略的随机读写性能提升了9％～10％,未见明显波动,在缓存命中率方面具有良好的效果,达到了预期设计目标.     

基于P2P在线信息聚合的存储策略研究

利用P2P节点的在线信息,设计存储策略,使得在没有副本迁移的情况下具有比较高的可靠性,减少频繁的副本迁移带来的带宽压力。节点根据历史在线信息利用Cluster-Based Predictor预测模型对未来一段时间的在线情况进行预测,当本地节点存储文件时搜集邻居节点的在线信息,然后基于这些聚合的在线信息通过三种存储策略选择副本进行存储。实验结果表明在线行为相似策略可以在没有副本迁移的情况下有很高的可靠性。     

基于混合策略的低成本云存储方案

为了保证云存储系统数据的高可用性、降低数据存储成本和带宽成本、缩短数据对象的访问时间,提出一种称为缓存大小自适应确定(CAROM)的新方案。CAROM结合传统的基于缓存策略的方法和纠错码方法来提高云文件系统的弹性和效率。另外,为了在缓存大小及其效益间实现平衡,提出一种基于总体成本凸函数特性的自适应方法来实现缓存大小的自适应选择。在基于现实世界文件系统数据的性能评估中,CAROM方案的存储成本和带宽成本分别比复制策略和纠错码策略下降60%和43%,同时访问延时与复制策略相当。结果表明,CAROM方案在支持当前云文件系统语义一致性的同时,兼具带宽成本低、存储成本低和访问成本低等特性。     

移动边缘计算中的内容分发加速策略

针对移动边缘计算(MEC)中的内容分发加速问题,考虑MEC服务器存储空间受限对内容缓存的影响,以移动用户获取对象延时为优化目标,根据用户群对不同对象的兴趣的差异,提出了一种基于兴趣的内容分发加速策略(ICDAS)。该策略根据MEC服务器的存储空间、移动用户群对不同对象的兴趣以及对象的文件大小,选择性地在MEC服务器上缓存对象,并及时对MEC服务器上缓存的对象进行更新,最大限度地满足移动用户群的内容需求。仿真结果表明,所提策略具有良好的收敛性能,其缓存命中率相对稳定且明显优于现有策略;当系统运行达到稳定后,相较于现有策略,该策略可使用户获取对象数据的时延减少20%。     

基于分级Cache的透明计算系统

设计并实现一个基于分级Cache的透明计算系统HCTS,在系统客户端和服务端采用两级缓存来提升I/O性能。在缓存的管理策略上,针对透明计算应用环境,以提高缓存命中率为主要目标,提出一种基于访问频率计数阈值的改进LRU置换算法LRU-AFS。测试结果表明,当网络环境中的客户主机数不断增加时,与普通透明计算系统TS相比,HCTS能够在减少网络流量的同时大幅缩短客户机启动时间,提高随机读写吞吐量。