云存储智能多数据副本放置机制

数据副本管理机制是云存储系统的重要组成部分。为了提高云存储系统的可伸缩性、可靠性,同时改善用户访问时间,通常采用多数据副本机制,并且需要解决数据副本放置问题。为此,提出了一种用于云存储系统的智能多数据副本放置机制。该机制基于p-中心模型,以最小化访问代价为优化目标,基于遗传算法（genetic algorithm,GA）确定优化的数据副本放置方案,基于生物地理学优化（biogeography-based optimization,BBO）算法确定用户访问请求对数据副本的优化分配。基于CloudSim进行了仿真实现和性能评价,结果表明,云存储智能多数据副本放置机制是可行和有效的。     

基于移动Agent的代价驱动的云端存储模型

针对当前云存储系统副本策略对商业利益追求的考虑不够充分,构建基于移动agent的代价驱动的云端存储模型,引入商业相关概念并给出定义及计算公式,提出代价驱动的移动agent自适应策略。移动移动agent携带数据及副本以用户良好体验及高"收益"原则进行决策计算及判断在云平台异构节点间移动、复制或销毁,实现商业利益最大化的动态存储。给出移动agent自适应动作的算法实现。实验结果表明,该模型在负载均衡和"收益"方面都优于传统静态副本策略。     

基于AHP的云存储负载均衡研究

针对云存储系统节点在数据分布策略和系统响应时间方面的综合负载计算问题,提出了一种云存储系统的负载均衡算法,并对该算法进行了验证。算法基于层次分析法（Analytic Hierarchy Process,AHP）,通过建立综合评估指标体系,从可用存储空间、可用CPU、可用内存和访问热度四个方面,计算各个存储节点的综合负载,并据此对数据存取进行均衡调度。验证结果表明,通过调整不同指标的权重,算法能够很好地满足不同的应用需求,同时,该算法能够很好地反应各节点的综合负载,实现云存储系统整机性能的优化,尤其适用于一些高并发的大数据存储。     

读写频繁云存储网络应用的数据备份方法

文章根据读写频繁的云存储网络应用的数据存储特点,提出了一种新的数据备份方法,旨在最优化地利用已有的系统资源,为用户提供更好的用户体验。文章中的数据备份方法包括基于数据节点废弃度计算与用户访问预测的副本创建机制和基于存储平衡预测算法与副本健康度计算的负载调整机制。文章的数据备份方法与现有技术相比针对日益流行的社交类云存储网络应用进行了优化,将多种数据参数加权计算作为衡量数据节点优劣和副本文件价值的标准,在保证用户使用体验的前提下使各数据节点达到负载的均衡,并且避免了云服务器端将有限的计算资源浪费在频繁的副本调整过程中。     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

具有细粒度访问控制和低存储空间开销的云存储系统

针对目前公有云存储系统中存在的数据机密性和系统性能问题,提出了一个安全高效的方案,并将其应用于基于密文策略属性基加密(CP-ABE)的具有细粒度访问控制的密码学的云存储系统中。在这个方案中,原始的数据首先会经过一个(k,n)算法分割成小块,然后随机选择其中部分小块进行加密,最后发布到云上,且只保存一份副本。该方案能够提升用户撤销操作的性能和降低存储空间的开销,同时安全性分析也证明了这个系统在计算上是安全的。通过分析对比,实验结果表明:该方案优化了用户撤销,减少了数据拥有者对数据管理的时间,由于只需要保存一份数据副本,因此有效地减少了数据的存储空间。该方案实现了公有云存储中敏感数据的安全共享和高效存储。     

一类高效的数据库系统安全存储策略研究

针对云存储环境下多副本方案存储效率低下的问题,设计了一种高效的数据安全存储策略;该策略采用了并行思想,设计了高效的数据同步存储算法;该算法将用户的存储请求同时转发给多个工作者,由这多个工作者同时向每个副本服务器写入数据;该策略将云端设计为整体协调、并行处理模式,即多个工作者由管理者统一分配调度,各个工作者独立地服务于对应的副本存储服务器,由管理者与用户进行交互处理,并且这多个工作者对用户来说是透明的,该设计模式并没有增加用户使用云存储的复杂度;实验结果表明,提出的数据安全存储策略在保证副本冗余的情况下可以有效地降低额外的时间损耗,保证用户读写云端数据的效率不低于单副本情况下的效率;该方案用于云存储环境下高效的数据安全存储是可行的、有效的。     

云存储副本优化选择策略

为了提高云计算环境中系统的整体数据调度效率,对云存储系统中的副本选择问题进行研究,提出一种基于蚁群觅食原理的云存储副本优化选择策略。该策略利用蚁群算法在解决优化问题上的优势,将自然环境中蚁群的觅食过程与云存储中的副本选择过程相结合;再充分应用信息素的动态变化规律以及高斯概率分布特性优化副本的选择方式,得出一组副本资源的最优解,从而为数据请求响应合适的副本。在OptorSim仿真平台上对该算法进行实现,实验结果表明该算法具有不错的表现,如在平均作业用时这一性能指标上相比原始蚁群算法提升了18.7%,从而在一定程度上减少了副本选择过程的时间消耗,降低了网络负载。     

基于Paillier加密的数据多副本持有性验证方案

云存储服务中,用户将数据存储在不可信的云储存服务器上,为检查云存储中服务提供商(CSP)是否按协议完整地存储了用户的所有数据副本,提出一种 支持对数据副本进行动态操作 的基于Paillier加密的数据多副本持有性验证方案, 即DMR-PDP方案。该方案为实现多副本检查,将文件块以文件副本形式存储在云服务器上,将各副本编号与文件连接后利用Paillier密码系统生成副本文件以防止CSP各服务器的合谋攻击。利用BLS签名实现对所有副本的批量验证。将文件标志和块位置信息添加到数据块标签中,以保证本方案的安全性,支持对文件的动态更新操作。安全性分析和仿真实验结果表明,该方案在安全性、通信和计算开销方面的性能优于其他文献提出的方案,极大地提高了文件存储和验证的效率,减少了计算开销。     

自认证可信云存储框架与算法设计

为了使用户获得可信的云存储服务,通过对云存储系统的用户数据机密性和数据完整性的数据保护策略进行研究,设计了一个自认证可信的云存储框架.在无第三方参与的情况下用户直接对存储到云存储系统上的数据进行审计,规避了第三方验证的云存储策略的安全风险.在该框架中,设计了两级Merkle哈希树更有效地实现了用户数据安全的读、写、更新等功能,设计了实现以上功能的详细算法.比较分析结果显示,该框架的具有更高的安全性和运行效率.     

Scalable replica selection based on node service capability for improving data access performance in edge computing environment

The replica strategies in traditional cloud computing often result in excessive resource consumption and long response time. In the edge cloud environment, if the replica node cannot be managed efficiently, it will cause problems such as low user’s access speed and low system fault tolerance. Therefore, this paper proposed replica creation and selection strategy based on the edge cloud architecture. The dynamic replica creation algorithm based on access heat (DRC-AH) and replica selection algorithms based on node service capability (DRS-NSC) were proposed. The DRC-AH uses data block as replication granularity and Grey Markov chain to dynamically adjust the number of replicas. After the replica is created, when client receives the user’s request, the DRS-NSC selects the best replica node to respond to the user. The experiments show that the proposed algorithms have significant advantages in prediction accuracy, user’s request response time, resource utilization, etc., and improve the performance of the system to a certain extent.

     

基于多属性最优化的海洋监测数据副本布局策略

数据的完整性和可靠性是保证其能被高效访问的关键,尤其是在云存储环境中,数据副本策略是影响系统性能和保障数据可用性的核心。从数据副本布局的角度,提出了基于多属性最优化的数据副本布局策略(Data Replica Layout Strategy based on Multiple Attribute Optimization,MAO-DRLS)。该策略根据数据的访问热度和存储节点的关键属性特点,为每个数据设置动态的副本数,并选择合适的节点对副本进行布局。实验表明,MAO-DRLS策略能够有效地提升数据副本的利用率,缩短系统的响应时间。     

基于Swift的副本数据自适应备份策略研究

冗余数据备份是保证云数据中心下数据可靠性的重要保障机制之一,OpenStack是一种开源的云计算IaaS层私有云服务搭建平台,目前已经在行业界广泛应用。OpenStack的Swift模块使用一致性哈希算法,采用Ring环选取副本备份节点的方式来完成负载均衡和数据备份。本文通过对Swift的实现机理和代码进行分析研究,指出其在副本放置节点选取上的不足,并进而提出优化选取策略ABS（Adaptive Backup Strategy）。该机制在实时监控当前存储节点的负载情况基础之上,根据预先设定的阈值上、下限,自适应选取最近可用的节点完成备份,以优化整体备份效率。通过与现有副本备份策略进行对比和实验验证表明,ABS在保持数据副本分配均衡性的基础之上,将系统存储的4种读写性能分别提高了3.4%~9.1%,达到了优化存取的目的。     

云数据中心操作系统副本分布算法的设计与实现

介绍云数据中心操作系统(云海OS)中的副本分布算法,该算法用于解决云存储环境下的副本分布问题,将存储节点的选择问题转化为一个多指标决策问题(MCDM),使用TOPSIS进行求解。算法能够充分利用云计算环境下的多种检测数据,结合灵活的权重分配方式,适应多数云存储环境。模拟实验表明,云海OS算法在负载均衡和副本创建时间方面优于传统的Least和Ran-dom算法。     

Network and data location aware approach for simultaneous job scheduling and data replication in large-scale data grid environments

Data Grid integrates graphically distributed resources for solving data intensive scientific applications. Effective scheduling in Grid can reduce the amount of data transferred among nodes by submitting a job to a node, where most of the requested data files are available. Scheduling is a traditional problem in parallel and distributed system. However, due to special issues and goals of Grid, traditional approach is not effective in this environment any more. Therefore, it is necessary to propose methods specialized for this kind of parallel and distributed system. Another solution is to use a data replication strategy to create multiple copies of files and store them in convenient locations to shorten file access times. To utilize the above two concepts, in this paper we develop a job scheduling policy, called hierarchical job scheduling strategy (HJSS), and a dynamic data replication strategy, called advanced dynamic hierarchical replication strategy (ADHRS), to improve the data access efficiencies in a hierarchical Data Grid. HJSS uses hierarchical scheduling to reduce the search time for an appropriate computing node. It considers network characteristics, number of jobs waiting in queue, file locations, and disk read speed of storage drive at data sources. Moreover, due to the limited storage capacity, a good replica replacement algorithm is needed. We present a novel replacement strategy which deletes files in two steps when free space is not enough for the new replica: first, it deletes those files with minimum time for transferring. Second, if space is still insufficient then it considers the last time the replica was requested, number of access, size of replica and file transfer time. The simulation results show that our proposed algorithm has better performance in comparison with other algorithms in terms of job execution time, number of intercommunications, number of replications, hit ratio, computing resource usage and storage usage.     

云存储性能评测技术研究

随着网络和存储技术的发展, 提供可共享和便捷使用云存储服务已成为互联网的一种重大新型应用模式和发展趋势。但由于系统规模巨大且存储内容多变, 传统的性能评价及测试方法已不适用于云存储平台。提供云存储系统性能评测的思路, 建立面向不同用户、适用于不同阶段的多指标三维评测体系, 采用云测试云的方案测试不同物理位置上的节点访问性能。     

基于竞标模式和访问热度的副本创建策略

研究典型数据副本创建策略,提出一种以节点在线率和节点存储能力作为价格的竞标模型副本创建策略。根据对基于访问热度的典型副本创建策略和基于竞标模型的典型副本创建策略的具体分析,改进典型副本创建策略对节点性能考虑的单一性,综合考虑节点的访问热度和负载等性能,实现基于竞标模式和访问热度相结合的副本创建策略。并通过基于网络带宽利用率和系统响应时间的实验,将该副本创建策略与两种典型副本创建策略进行实验对比,验证提出的基于竞标模式和访问热度的副本创建策略具有较好的性能。     

云环境下元数据弹性分级一致性保障机制研究 *

云存储环境下,元数据提供数据定位与资源描述服务,云存储系统利用副本技术保障元数据的可用性。为了解决元数据的动态更新导致的元数据副本的不一致,本文从云存储系统中不同元数据对一致性强度需求的差异性出发,提出了基于元数据弹性分级的一致性保障机制。根据元数据访问频率以及更新属性敏感度对元数据更新弹性分级,结合基于读优化的Quorum算法实现元数据更新的分级一致性保障。实验证明该机制可以有效权衡元数据副本可用性、一致性和系统开销,相比单一的一致性策略更为灵活。     

异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。