云计算环境下基于用户体验的成本最优存储策略研究

为了提高大数据文件的存取效率,满足各类用户的需求,通常采用对该文件进行分块、冗余副本等机制进行存储,关于设置块大小、副本个数和块部署等存储机制的研究一直是该领域研究重点.根据用户对内容块兴趣需求,我们定义了数据块的热度并提出了一种满足用户需求的存储数据块的最小服务成本策略（MCSB）.在成本矩阵的基础上,通过引入与数据块热度相关的成本矩阵调整因子,使得热度较低的数据块被优先部署,实现了在不改变存储数据块的最小服务总成本的情况下,内容存取服务性能的提高.基于该策略,以Hadoop中的缺省数据块存储策略为控制组,通过在HDFS系统中实现MCSB,并对MCSB进行了较为详细的分析.实验结果显示MCSB策略能够在满足最小服务成本的情况下,具有更短的系统平均响应时间.进一步考虑到数据存储节点由服务器集群承担的事实,对基于不同负载下的数据存储策略进行了深入探讨,在分析现有机制对性能影响的基础上,给出了一种自适应的数据节点内的存储数据块的最小服务成本策略AMCSB,实验表明,本文所提出的AMCSB策略能够在降低服务成本的同时,有利于系统的负载均衡,并提高该系统的服务性能.     

Cloud-P2P云存储结构的模型建立与性能分析

基于Cloud-P2P云存储结构,针对云中心和P2P节点存储层数据副本的访问机制,考虑节点存储层数据副本的修复过程,建立一个三维连续时间Markov链模型。使用矩阵几何解方法导出该模型的稳态解,并给出节点存储层传输率,数据访问延迟和副本修复率等系统性能指标的表达式。通过数值实验和系统仿真定量刻画数据副本数等系统参数对Cloud-P2P云存储结构性能的影响。构造利润函数,进行用户存储层副本数的优化设置。     

Swift的哈希一致性副本数据备份节点自适应选取研究

冗余数据备份是云数据中心下数据可靠性的重要保障机制之一,OpenStack是一种开源的云计算IaaS层私有云服务搭建平台,目前已经在行业界广泛应用。OpenStack的Swift模块采用一致性哈希算法,通过Ring环选取副本备份节点的方式完成负载均衡和数据备份。通过对Swift的实现机理和代码进行分析研究,指出其在副本放置节点选取上的不足,进而提出优化选取策略ABS。该机制在实时监控当前存储节点的负载情况基础上,根据预先设定的阈值上、下限自适应选取最近可用的节点完成备份,以优化整体备份效率。通过与现有副本备份策略进行对比和实验验证表明,ABS在保持数据副本分配均衡性的基础上,将系统存储的四种读写性能分别提高了3.4%～9.1%,达到了优化存取的目的。     

基于HDFS的分布式存储策略分析

本文重点围绕HDFS机架感知和副本存放策略方面对HDFS分布式存储进行剖析.副本存放策略和机架感知主要通过Datanode节点形成的树状网络拓扑图来让Namenode节点获取,从而确定副本存放的位置,这种方式保证了对于数据的极高的容错性的同时也兼顾了数据本地化,即提高了数据在集群网络中的传输效率.基于此,提出一个设想,希望通过对副本存放策略的深入挖掘,根据Datanode数据节点的实时状态信息,实现对于数据块副本的定向存储,再由数据驱动任务分配,来为每一个Datanode数据节点分配更适合的任务,从而达到负载均衡提高资源利用率的作用.     

云存储系统中数据副本服务的可靠性保障研究

以数据节点与网络链路的可靠性因素分析为基础,提出了云存储系统的数据副本服务可靠性模型。根据访问可靠性与数据副本数量、用户访问量之间的关系,设计数据服务可靠性、副本生成时机、存储节点选择的确定方法,实现了副本分布、删除算法,并在云存储系统ERS-Cloud上进行一系列实验,结果表明该方法能够有效保障数据服务的可靠性,进一步降低副本的冗余存储数量。     

SaaS多租户数据放置的优化调整策略研究

采用副本技术的SaaS多租户数据为满足租户访问及服务提供商管理的需求,在云中多节点必须合理放置。针对多租户数据特征和节点负载情况,对负载超重节点或超轻节点,通过调整数据副本数目和位置进行放置策略维护及优化,在满足所有租户SLA需求的同时最小化服务提供商的成本代价,实现服务质量与管理成本2个目标的均衡。并通过实验与随机放置策略和贪婪放置策略进行比较,证明该策略的可行性和有效性。     

基于FAHP的hadoop平台移动终端云存储优化研究

Hadoop云存储架构的设计初衷是实现大文件的高效存储处理,但在处理移动终端下诸如图片等小文件时会引起名称节点索引提取速度过慢和数据节点存储空间利用率不高等问题.针对这一问题,提出一种小文件归档的方案FHAR.方案综合考虑移动终端用户访问的实时性、名称节点服务器内存使用率、数据节点存储空间利用率等方面,利用双层索引的归档技术结合FAHP（模糊多属性决策理论）的系统负载预测算法实现系统的负载均衡,提高服务效率.同时利用数据预取机制对访问操作进行优化.仿真结果表明,该方案有效提高了节点的存储效率与用户访问的实时体验性.     

基于InfluxDB与Grafana的物联网监测系统设计

随着监测系统使用时间的增加与物联网设备的不断接入,系统内数据量增长十分迅速,现有的单一存储模式已无法满足海量数据的存取需求。文中针对物联网异构数据海量性、时序型、低修改性和高写入性等特点,提出使用时序型数据库InfluxDB作为数据持久层存储核心业务数据的新思路。在此基础上,视图层增添Grafana组件用于业务数据可视化展示,并提出一种具备设备接入、设备监控、数据分析与展示功能的物联网监测系统。该系统易于操作,耦合程度低,可使用容器化部署方式降低后期运维成本。实验结果表明,系统存储海量物联网数据后,仍可在极短时间内提供服务,实现了海量物联网数据的高效存取,具有较高的研究价值与现实意义。     

基于剩余负载率的动态负载均衡研究

为进一步提高集群系统服务的性能,在对静态负载均衡和动态负载均衡的优缺点分析的基础上,提出一种基于剩余负载率的动态均衡机制.该均衡机制采用剩余负载率作为负载状态的评价标准;针对服务器各节点性能的不同,提出采用BP神经网络训练节点;并设计了一种基于流表的静态分配策略和基于负载预测的动态分配策略相结合的任务分配策略来实现任务在集群系统各节点间的动态分配,从而降低了服务器各节点之问任务重新调度的次数,提高了集群系统的服务性能.实验结果表明,该均衡机制是可行的、有效的.     

基于存储联盟的双层动态副本创建策略—SADDRES

针对面向企业的数据网格应用,给出了平民数据网f格DGHB的概念,并提出了针对DGHB网格的一种基于存储联盟的双层动态副本创建策略—SADDRES.通过在数据网格模拟工具OptorSim中的模拟,分析、比较了SADDRES策略与基于缓存的副本创建策略、基于经济模型的副本创建策略等多种策略的性能.实验结果表明,SADDRES策略在面向企业的数据网格应用中具有更好的系统性能.     

一种面向边缘计算的可扩展网络I/O框架

作为当前的研究热点,边缘计算可以在网络边缘部署计算、存储和网络资源,为用户提供云化服务,以满足新兴应用的处理需求。但是,当前网络I/O模型的扩展性问题使得运行在边缘节点上的边缘应用难以有效地利用丰富的边缘物理资源处理海量用户的网络请求。针对边缘计算场景下网络I/O模型的数据竞争和负载不均衡问题,提出了一种新的可扩展网络I/O模型。通过试验可以看出,利用该模型的边缘应用具有良好的性能和可扩展性。     

冷数据存储研究

全面分析典型存储介质的技术特征,提出磁盘是当前冷数据存储适用介质的观点,并围绕降低系统成本、提升存取能力等冷数据存储核心需求,对磁盘系统相关的硬件材料和软件算法两方面的关键技术进行阐述,最后总结和探讨冷数据存储的典型应用场景和业界主流服务提供商在该领域的进展.     

RAID系统扩容方案研究综述

随着云计算、物联网和人工智能等IT技术驱动数字经济产业的繁荣发展,现代企业信息化需求对数据中心存储能力提出了更高的要求和挑战.RAID系统因具备良好的数据存储可靠性和磁盘阵列可扩展性而得到广泛应用.为了满足海量数据对存储容量日益增长的需求,业界普遍采用扩容现有RAID系统以应对海量数据的存储问题.电子商务、Web服务和金融等行业对数据的实时访问,使得数据中心必须为用户提供7*24的高质服务响应,然而数据迁移量,负载均衡和扩容开销等因素都会影响扩容的效率,因此如何设计出一种高效的扩容方案越来越受到科研人员的关注.本文根据研究对象的不同将RAID扩容方案分为：基于块存储、对象存储、文件系统存储的扩容方案,同时根据RAID扩容方案研究历程和优化策略的不同,又可分为优化数据迁移过程和减少数据迁移量的扩容方案.文章结合不同的应用场景介绍了典型和常见的扩容方案,并从评价扩容方案性能各项重要指标的角度详细分析了现有的RAID扩容方案,并指出各种扩容方案的不足以及未来可能的发展方向.如何权衡影响扩容方案性能的各项因素,设计出数据迁移少,负载均衡好,扩容开销低的高效扩容方案,将会是今后相当长一段时间海量数据存储研究的热点问题.     

基于DDCT表的多副本完整性审计方案

在云存储环境下,云数据采用多副本存储已经成为一种流行的应用.针对恶意云服务提供商威胁云副本数据安全问题,提出一种基于DDCT（Dynamic Divide and Conquer Table）表的多副本完整性审计方案.首先引入DDCT表来解决数据动态操作问题,同时表中存储副本数据的块号、版本号和时间戳等信息;接下来为抵制恶意云服务商攻击,设计一种基于时间戳的副本数据签名认证算法;其次提出了包括区块头和区块体的副本区块概念,区块头存储副本数据基于时间戳识别认证的签名信息,区块体存放加密的副本数据;最后委托第三方审计机构采用基于副本时间戳的签名认证算法来审计云端多副本数据的完整性.通过安全性分析和实验对比,本方案不仅有效的防范恶意存储节点之间的攻击,而且还能防止多副本数据泄露给第三方审计机构.     

基于动态获知节点状态的间断连接网络拥塞控制机制

间断连接网络中通常是利用多副本数据转发方式来提高数据成功投递概率;但多副本的数据转发易导致冗余数据副本出现的频率升高。对此,设计了动态获知节点状态的间断连接网络拥塞控制机制(SCCS,State-aware Congestion Control Strategy)。引入平滑数学模型,结合节点间的相遇历史信息,构造了效用函数,从而以间接获知网络信息的方式预测下一时刻网络的拥塞情况,进而以分布式的方式动态选择较为合适的中继节点,以更加合理地利用有限的网络资源。仿真结果表明:与当前性能较好的拥塞控制机制相比,该机制的数据成功投递概率更高,而网络负载率更低。     

基于聚类的动态副本创建策略

为了达到动态地根据用户的需求来实现数据的预取和缓冲的目的,提出了基于聚类的动态副本创建策略(DRCC).该策略根据用户的访问历史来抽取访问数据的特征,判断这些文件之间的相关性,并通过聚类操作形成用户的相关文件类集合,然后根据该集合进行数据文件副本的创建.实验结果表明,DRCC策略可以有效地识别出客户节点的访问需求,并据此进行文件的复制,从而缩短了客户应用的访问时间,提高了访问效率,同时该策略还具有较强的应用适应性.     

一种改进的动态反馈负载均衡算法

在集群系统中,负载均衡算法是影响系统性能的关键因素之一.为了进一步提高集群系统的性能,有必要对负载均衡算法进行优化.通过对最小连接算法和DFB(Dynamic Feed-Back)算法的详细分析,提出了一种改进的动态反馈负载均衡算法.该算法通过收集每台服务器的实时性能参数,动态地计算出各服务节点的分配概率,并由此决定用户请求分配给哪一个服务节点.通过对上述三种算法性能的测试,得出了该算法能够有效提高集群系统性能的结论.     

基于超级节点的P2P模型副本管理策略

随着计算机和网络技术的迅猛发展,对大容量分布式存储系统的研究已经成为当前热点.在分布式存储系统中,副本技术是一种最为常用的分布式数据管理机制.通过为系统中的文件增加副本,保存冗余的文件数据,可以十分有效地提高文件的可用性和可靠性.提出一种含超级节点的P2P模型,将大量分散的存储节点组织成一个逻辑存储网络.超级节点不仅用于存储"热点"文件的副本,而且还采用RAID技术进行数据备份,以进一步提高系统存储资源利用率和系统可靠性;针对一般节点的惰性,依据文件被查询到的概率,采用方根复制策略进行数据备份,在保证资源下载成功率的同时,进一步提高系统空间利用率.     

改进一致性哈希优化存储邮政数据算法的研究

随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统（HDFS）存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。     

基于Hadoop的电子通信数据快速存储系统设计

在Hadoop云平台进行数据云存储系统的优化设计,提高大容量数据快速存取能力,构建基于Hadoop的大容量数据快速存储系统,采用负载均衡调度和云存储优化方法进行存储系统构架,进行Hadoop云平台的海量大数据进行信息融合处理,对Hadoop云平台大容量数据信息流进行非线性时间序列重组,采用特征空间降维方法降低存储开销,优化存储结构,提高存储和调度的速度。仿真结果表明,采用该方法进行Hadoop大容量云存储系统设计,提高了数据存储的吞吐性能和快速存取性能。