虚拟网络存储系统自适应数据分配策略

在虚拟网络存储系统中通常包含各种异构的存储设备节点。基于同构系统的传统数据分配和放置策略并不能针对异构存储设备的性能差异来进行数据分配,降低了虚拟网络存储系统的性能。该文提出一种自适应的数据分配策略,能够根据存储设备节点的性能差异有效地进行数据分配。实验证明,该策略能够充分发挥异构存储设备的性能,有效解决虚拟网络存储系统的数据放置不平衡问题,提高虚拟网络存储系统的利用率。     

基于网格存储系统的自适应数据分配策略

在网格存储系统中通常包含各种异构的存储设备节点.基于同构系统的传统数据分配和放置策略并不能针对网格存储系统中异构存储设备的性能差异来进行数据分配,降低了网格存储系统的性能.提出一种自适应的数据分配策略(AD).通过运用基于虚拟磁盘性能的自适应分配策略和自适应的数据副本创建策略,AD能够根据存储设备节点的性能差异有效的进行数据分配.实验证明,自适应的数据分配策略能够充分发挥异构存储设备的性能,有效解决网格存储系统的数据放置不平衡问题,提高网格存储系统的利用率.     

分布式存储中的一种数据放置策略

研究了动态网络环境下基于分布式存储系统的数据放置策略,分析了现有的数据放置策略,提出了一种基于Gossip算法的数据放置策略。该策略在一定程度上避免了服务端结点故障造成的数据丢失,提高了系统的容错能力,保证了数据的可靠性。     

非均质性海量复杂异构数据的混合云存储技术

在信息技术背景下,针对非均质性的海量复杂异构数据繁多、处理和存储困难等问题,提出了新型混合云存储系统架构.采用的方法是在该系统中设置数据管理中心、客户端、云端数据接口、网络数据融合算法模型、负载均衡器和多协议转换器,实现复杂数据的处理和计算,并采用网络数据融合算法实现非均质性的海量复杂异构数据的融合和计算,使系统具有较好的兼容性,提高了数据的存储能力.本研究还采用了加权最少连接调度算法,能够将接收到的数据请求分配到最合适的服务器中,提高了数据分配能力.     

动态自适应网络存储系统的设计与实现*

为了达到网络的稳定高效运行及数据存取服务的持续可用性的目的,基于线性预测模型,建立了一种动态网络存储系统模型,引入网络监控与调整机制,采用由观测样本建立预测模型,根据预定义的约束条件和策略对存储系统自身作出自适应性调整,使存储节点负载平衡,并提高网络稳定性。通过测试其网络自动调节能力及与当前流行的网络存储系统作对比,可得出该网络存储系统模型的服务稳定性与自适应性有较大提高。     

一种异构磁盘系统的数据分配方法

随着各种存储系统应用和技术的不断发展 ,出现了异构磁盘系统 .如果采用同构系统的数据分配和放置方法如 striping来管理异构系统 ,并不能针对异构系统中各个磁盘的性能差异来进行数据分配 ,降低了异构系统的性能 .提出了一种新的异构系统数据分配方法 .这种方法能够根据异构系统中磁盘的差异有效的进行数据分配 .它通过把系统中的磁盘划分成带宽相同的逻辑盘 ,并使用在同构系统中很成熟的 striping方法来对这些盘进行管理 ,实验证明这种方法能够有效的提高异构系统的吞吐率     

虚拟盘阵系统中的自适应负载平衡

集群环境中经常采用虚拟盘阵方式来构建其存储系统。虚拟盘阵系统是一种并行系统,负载平衡对其性能影响非常大;同时虚拟盘阵系统一般都是异构的。本文研究了异构盘阵的负载平衡标准,并提出了基于请求的负载重构策略,在负载重构时机上对传统磁盘冷却算法进行了改进。模拟试验表明,该算法对虚拟异构盘阵是有效的。     

海量存储系统中基于BUFFER的虚拟存储池的构造

网络磁盘阵列通过实行命令与数据的分离极大地提高了系统的吞吐能力和服务器的平均响应速度 .本文基于原有的网络磁盘阵列的研究成果 ,采用虚拟技术 ,在服务器端构造了一个虚拟存储池 ,使得构成虚拟存储池的多台异构接口的物理存储设备 (这里为网络磁盘阵列 )可以通过其网络通道并行传输数据 ,实现扩容和增速同步 ,文件集中管理与数据分布存储 ,从而构造了一种新型海量存储系统     

多层一致性哈希的HDFS副本放置策略

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.     

基于通用带权分布式哈希表的数据放置算法研究

研究了动态网络环境下基于网络的存储系统的数据放置算法,分析了现有的数据放置算法,提出了通用带权分布式哈希表算法.与相容哈希算法和对数算法定义的评判函数相比,考虑了各个节点的存储空间、数据分发节点与数据存储节点之间的物理距离、网络带宽等的限制.仿真结果表明,该算法能够实现数据的公平分发.     

大规模网络存储系统的数据布局算法研究

可扩展和可靠的数据管理是实现大规模网络存储系统的关键技术,需要一个能够自适应存储规模变化、公平、冗余、高可用的数据布局算法。本文根据不同的设计目标以及存储环境的同构和异构特性,分析了四类布局算法:同构的布局算法、非冗余的异构布局算法、冗余的异构布局算法和高可用的布局算法。对现有布局算法存在的问题进行了讨论,并指出了未来的研究方向。     

改进的云存储系统数据分布策略

针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足,提出一种高效的数据分布策略。一方面,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点进行存储资源分配;另一方面,该策略采用了一种基于节点容量感知的负载均衡方法,有效地优化了系统性能,提高了系统可扩展性。通过实验分析,不管在同构还是异构的云存储架构中,该策略改善了存储资源负载均衡程度,有效优化了系统整体性能。     

FC-SAN中的数据放置和访问路径选择的代价模型

网络化存储通过引入网络的概念将存储独立于服务器甚至通信网络,已经成为传统存储方式的有力替代者.然而,FC-SAN虚拟存储方式的存储性能依赖于存储对象的某些属性,在某些情况下,其性能甚至不如传统的LAN数据共享方式.就FC-SAN虚拟存储方式中的数据放置和访问路径选择对这一问题进行了研究.首先通过分析虚拟存储原理提出了一个数据访问耗时的线性模型;然后,就数据放置和访问路径选择提出了一个决策方法;并在进一步探讨这一方法的过程中，定义了“虚拟存储代价当量”的概念，用以评价FC-SAN虚拟存储环境中的数据放置的代价，从而为评价以及如何选择数据放置和访问路径提供了一种定量的手段.最后，在数字图书馆的一个海量存储原型系统中对上述的理论分析、各种条件进行了实验验证，并结合实际给出了“虚拟存储代价当量”的计算方法，验证了所提出的方法的有效性.     

异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。     

异构大数据网络的多维关联细粒度数据挖掘算法

为了解决具有密度高、关联复杂的异构大数据网络的数据挖掘效率低下问题,基于多维关联架构,结合细粒度控制提出了数据挖掘算法.首先,在异构大数据网络存储与转发、处理的数据个性特征和差异化的基础上,给出了异构大数据网络数据定义和多维关联模型.接着,基于大数据网络多维关联初始化进程,通过大数据单位重构、维度置换、细粒度化和粒度均衡等,提出了多维关联细粒度数据挖掘算法.最后,通过与粗粒度算法、线性化结构数据挖掘算法对比了在不同网络规模和数据规模下的执行效率.实验结果表明,所提算法具有更佳的执行效率.     

AVSS:可适应性虚拟存储系统

设计和实现了一种具有适应能力的虚拟存储系统--AVSS,同时提供存储系统容量虚拟化和性能虚拟化管理.AVSS具有如下特征:1)采用扩展的YFQ算法控制带宽资源分配.实现虚拟设备间的性能隔离和性能保证;2)采用分级结构和动态映射机制灵活有效地管理异构存储资源,为资源按需分配提供基础;3)通过数据访问频度统计和应用动态行为分析指导存储布局重组.测试结果表明了设计的正确性,AVSS能够隔离不同应用避免性能干扰,可以按照应用行为调整存储布局,在提高存储系统性能的同时提高了存储资源的利用率.