基于访问趋势的热点副本创建策略

在分析动态副本创建策略的基础上,对集中式的动态创建策略进行改进,将热点数据副本的创建与数据访问的历史记录相结合。最后通过数据网格模拟器进行模拟实验,得出并分析了实验结果。     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

基于热点数据块的动态副本调整策略

副本管理策略对于分布式存储系统的可用性、可靠性和系统整体性能有至关重要的作用。本文针对基于文件的动态副本调整策略的不足,提出了一种基于热点数据块的动态副本调整策略。根据时间局部性原理和数据访问规律,通过对历史访问周期和当前周期赋予不同的权重,数据块下一周期的预测进行访问频率计算,接下来基于计算出的预测访问频率对数据块进行热点判定。结合HDFS中数据访问规律近似二八定律的特点和热点数据块的判定结果,来确定数据块的调整阈值。最后,分3个步骤对基于热点数据块的动态副本调整策略进行性详细设计。实验结果表明,本文提出的基于热点数据块的动态副本调整策略在数据访问效率和集群存储资源利用率两方面有了明显提升。     

基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。     

基于访问频率的网格副本创建策略

提出了一种基于访问频率的副本创建策略。该策略主要依据网格用户对文件副本的访问频率进行副本创建,在替换副本时也依据频率值,将不经常访问的副本删除。这种策略能够很好地满足用户访问所需副本的要求,并能提高副本的传输速率与带宽的利用率。文章根据网格结构的特点和算法的环境要求对网格模拟器OptorSim的模块进行了改进,并对该算法进行了测试。测试结果表明,基于访问频率的副本创建算法提高了用户访问副本的效率。     

基于HDFS的动态副本策略设计与实现

针对HDFS的副本方式难以满足动态的数据变化及用户需求,在原有HDFS的管理架构之上对其进行优化,定义了一种算法模型去定量的分析系统可用性参数,提出了一种动态副本调整策略,实现了针对数据存储资源的动态调度服务。模拟实验结果表明：当文件访问量变化的时候,该策略中的副本数量能动态地增加减少,从而验证了该策略的正确性和有效性。     

云数据中心操作系统副本分布算法的设计与实现

介绍云数据中心操作系统(云海OS)中的副本分布算法,该算法用于解决云存储环境下的副本分布问题,将存储节点的选择问题转化为一个多指标决策问题(MCDM),使用TOPSIS进行求解。算法能够充分利用云计算环境下的多种检测数据,结合灵活的权重分配方式,适应多数云存储环境。模拟实验表明,云海OS算法在负载均衡和副本创建时间方面优于传统的Least和Ran-dom算法。     

基于纠删码的动态副本冗余存储研究

为保证数据的完整性和可靠性,云存储中主要采用多副本和纠删码两种存储策略对数据进行冗余保存.针对单一冗余存储策略的不足,考虑存储开销和访问质量等方面因素,根据用户访问数据的规律,提出一种基于纠删码的动态副本冗余存储方案.采用RC纠删码来存储云中海量数据,使用曲线拟合预测访问热度,适时调整副本的数量.实验结果表明,该方案空间利用率高,能有效减小用户访问的平均延迟,提高用户访问的成功率.     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

基于面向对象存储系统的对象及数据副本布局方法设计

面向对象存储是近年来存储系统领域的研究热点之一。与传统存储系统相比,面向对象存储系统具有高性能、可伸缩、更安全、更可靠的特点。针对面向对象存储的特点,本文给出了一种对象和数据副本的布局方法,并在原型系统上验证了实现。实验测试表明,这一布局方法能够很好地实现系统的负载均衡和可伸缩性。     

支持动态操作的多副本数据完整性验证方案

针对云存储环境下外包数据面临的安全隐患，并结合现有云数据完整性验证方案的不足，提出了支持动态操作的多副本数据完整性验证方案。方案考虑了多副本应用场景，并在现有云数据完整性验证方案的基础上以较小的代价实现了文件的多副本验证，并通过引入认证的数据结构—基于等级的Merkle哈希树，实现了文件的可验证动态更新。通过对多副本进行关联，可以实现多个副本的同步更新。安全性分析与实验表明了该方案的安全性与有效性，实现了数据的安全存储与更新，并有效保证了数据多副本的隐私安全。     

基于可审计多副本的云存储差错副本恢复机制

针对具备可审计特性的多副本云存储系统的差错副本恢复问题，在多副本云存储完整性审计方案的基础上，从总体流程、影响因素、恢复策略、故障定位和计算模型5个方面阐述差错副本恢复机制，将差错副本恢复策略归纳为全副本下载上传、全副本差值上传、故障块上传和故障段上传4种，并对影响恢复效率的因素进行了量化，提出通信开销、计算开销和总开销的计算模型。针对一个具体的多副本云存储完整性审计方案，对不同策略和参数下纠正一个数据块随机差错的开销进行量化分析。实验结果表明，当带宽分别为1 Mb/s、10 Mb/s、100 Mb/s和1 Gb/s时，实验中最优策略的耗时分别只有全副本差值上传策略的0.34%、2.44%、15.27%和46.93%。可见所提模型可用于为可审计多副本云存储系统选择合适的策略与参数，以提高差错副本恢复效率，尤其适用于网络带宽受限的情况。     

基于预测的云计算热点数据副本因子决策算法

为了提高数据的可用性和集群的整体性能,目前的HDFS(Hadoop Distributed File System)采用了副本数目固定的副本放置技术,然而由于文件热度存在较大差异,对那些具有较高热度文件的访问将影响作业的执行。为克服上述问题,本文提出一种基于预测的热点数据副本因子决策算法。根据数据的最近访问特征,基于灰色预测技术,采用马尔科夫预测模型修正因数据波动和突发访问造成的预测偏差,获取文件的未来访问热度,并基于预测值建立有限通道服务模型,寻找满足用户需求的最小副本因子。实验表明,较之现有的副本管理策略和基于实时热度调整副本因子策略,本策略可以有效减少热点数据的访问冲突,减少热点数据作业的执行时间和网络负载。     

海量存储网络中的虚拟盘副本容错技术

大规模存储网络中的数据可用性和读写性能越来越重要．在海量存储虚拟化系统的基础上,实现了多副本虚拟盘技术来提高网络存储的数据容错能力．同时,通过多副本选择调度与异步副本更新以及副本盘空间布局的动态调整算法,提高了系统的数据读写能力．测试结果表明,加入虚拟盘副本后,在设备数量充足情况下的读性能可提高26％;即使少量磁盘失效,读写操作也能正确执行,且读性能仍然比无副本时提高10％以上．     

基于Paillier加密的数据多副本持有性验证方案

云存储服务中,用户将数据存储在不可信的云储存服务器上,为检查云存储中服务提供商(CSP)是否按协议完整地存储了用户的所有数据副本,提出一种 支持对数据副本进行动态操作 的基于Paillier加密的数据多副本持有性验证方案, 即DMR-PDP方案。该方案为实现多副本检查,将文件块以文件副本形式存储在云服务器上,将各副本编号与文件连接后利用Paillier密码系统生成副本文件以防止CSP各服务器的合谋攻击。利用BLS签名实现对所有副本的批量验证。将文件标志和块位置信息添加到数据块标签中,以保证本方案的安全性,支持对文件的动态更新操作。安全性分析和仿真实验结果表明,该方案在安全性、通信和计算开销方面的性能优于其他文献提出的方案,极大地提高了文件存储和验证的效率,减少了计算开销。     

大数据环境下的数据迁移技术研究

数据是信息系统运行的基础和核心,是机构稳定发展的宝贵资源。随着信息系统数据量成几何级数增加,特别是在当前大数据环境和信息技术快速发展情况下,海量数据迁移是企业解决存储空间不足、新老系统切换和信息系统升级改造等过程中必须面对的一个现实问题。如何在业务约束条件下,快速、正确、完整地实现海量数据迁移,保障数据的完整性、一致性和继承性,是一个关键研究课题。从海量数据管理的角度,阐述了海量数据迁移方法,比较了不同数据迁移的方案特点。     

存储中的副本分级存储调度策略

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。     

基于多属性度量的数据分级访问模型研究

随着云计算的迅速发展,云存储已成为企业关键信息服务的重要途径。但是,受限于存储资源性能以及大数据等影响,用户往往需要忍受较长的访问延时。为了缓解这种情况,人们提出了智能数据管理技术,用于有效管理大量数据以及降低用户的访问延迟,提高云计算的服务质量。提出一种基于多属性分析的存储端数据分级访问模型。模型通过对被管理数据对象的动态、静态属性进行统计分析来提取属性中的关键信息,并依此进行数据管理决策,将冷/热数据迁移至对应层级,以便能够在合理规划存储资源的同时提高存储系统的访问性能。性能测试实验的结果表明,该模型具有较好的整体性能。     

基于竞标模式和访问热度的副本创建策略

研究典型数据副本创建策略,提出一种以节点在线率和节点存储能力作为价格的竞标模型副本创建策略。根据对基于访问热度的典型副本创建策略和基于竞标模型的典型副本创建策略的具体分析,改进典型副本创建策略对节点性能考虑的单一性,综合考虑节点的访问热度和负载等性能,实现基于竞标模式和访问热度相结合的副本创建策略。并通过基于网络带宽利用率和系统响应时间的实验,将该副本创建策略与两种典型副本创建策略进行实验对比,验证提出的基于竞标模式和访问热度的副本创建策略具有较好的性能。     

基于GLOBUS的教育网格副本创建策略研究

教育网格是教育信息化的主要发展方向,对教育网格拓扑结构以及副本创建策略进行了研究.在基于周特网的教育网格环境中,基于GLOBUS平台对整个网格系统进行了划分,将其划分为若干个存储子域,在此基础上提出了域内和域间副本创建策略,并对该策略进行了分析与探讨.分析表明,该策略有效地改善了用户访问时间和因特网的带宽消耗.