分布式存储中的一种数据放置策略

研究了动态网络环境下基于分布式存储系统的数据放置策略,分析了现有的数据放置策略,提出了一种基于Gossip算法的数据放置策略。该策略在一定程度上避免了服务端结点故障造成的数据丢失,提高了系统的容错能力,保证了数据的可靠性。     

分布式存储中数据放置策略的研究

分布式存储统系统的可靠性主要取决于系统采用何种数据放置策略来保证数据在网络中各结点的有效分配。总结了设计数据放置策略所需考虑的关键问题和衡量数据放置策略的标准,重点讨论了已有的几种放置策略,在Gossip副本更新算法思想的基础上,提出一种可适应动态网络环境的基于存储转发的随机放置策略,并通过测试验证了该策略对系统可靠性和性能的影响。     

基于均衡数据放置策略的分布式网络存储编码缓存方案

为了保证网络存储的负载平衡并避免在节点或磁盘故障的情况下造成不可恢复的损失,提出一种基于均衡数据放置策略的分布式网络存储编码缓存方案,针对大型高速缓存和小型缓存分别给出了不同的解决办法。首先,将Maddah方案扩展到多服务器系统,结合均衡数据放置策略,将每个文件作为一个单元存储在数据服务器中,从而解决大型高速缓存问题;然后,将干扰消除方案扩展到多服务器系统,利用干扰消除方案降低缓存的峰值速率,结合均衡数据放置策略,提出缓存分段的线性组合,从而解决小型缓存问题。最后,通过基于Linux的NS2仿真软件,分别在一个和两个奇偶校验服务器系统中进行仿真实验。仿真结果表明,提出的方案可以有效地降低峰值传输速率,相比其他两种较新的缓存方案,提出的方案获得了更好的性能。此外,采用分布式存储虽然限制了将来自不同服务器的内容组合成单个消息的能力,导致编码缓存方案性能损失,但可以充分利用分布式存储系统中存在的固有冗余,从而提高存储系统的性能。     

异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。     

Alluxio数据随机访问方法的研究

为保证系统的可扩展性和容错性，Alluxio简化了文件系统实现，不支持数据随机访问，但在实际情况中仍有许多应用需要数据随机访问。Alluxio原生Java接口灵活性较差，不支持传统应用，不能完全发挥内存的高速性能。因此在深入分析Alluxio数据读写原理后，提出了新式数据随机访问方法，其核心思想是改变原有数据访问和缓存时机，将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写，从而实现对数据的随机访问。在此基础上，还可以使用内存映射技术进一步提高本地文件的读写性能。测试结果表明，该方法的数据读取性能提升了14.5%，写入性能提升了1.4倍以上。在实际应用场景中合理使用Alluxio及新式数据随机访问方法，可获得数倍至数十倍的性能提升。     

分布式磁盘阵列的结构及冗余策略

分布式磁盘阵列对于提高数据存储的可靠性、带宽和容量，具有十分重要的意义。本文介绍了分布式磁盘阵列的两种连接方式，磁盘分布连接到计算机和磁盘阵列连接到网络，以及在分布式磁盘阵列中得到应用的两种冗余策略，Chained declustering和RAID-x。     

基于XML与.Net Remoting的分布式异构数据转换

本文主要介绍.Net框架体系下,.remoting分布式应用解决方案的体系结构和具体实施.以及在异构数据库转化过程中使用的中介XML(eXtensible Markup Lanuage可扩展标签语言).主要是以.Net Remoting构建分布式平台,利用XML作为异构数据库转化的中介,实现分布式异构数据的转换.     

流媒体服务中即时响应的层次存储数据放置策略

为了获得较高的性能价格比,流媒体服务器通常采用层次存储技术。由于三级存储设备的机械特性,访问层次存储系统(HSM)中的数据需要很长的响应时间。本文提出了具有即时响应性能的数据放置方法：把流媒体对象特定长度的头部数据预先放置在磁盘上,而数据请求首先从HSM的磁盘上得到响应,在读取磁盘数据期间进行三级存储设备的准备。在特定的头部数据长度以及读取算法下,可以消除访问三级存储设备需要的等待时间。本文给出了此头部数据长度的计算方法以及HSM的数据读取算法。仿真试验表明,只需较小的存储代价,就可以使得HSM系统的响应时间大大降低,而且数据具有良好的连贯性,从而提高了整个系统的性能。     

FC-SAN中的数据放置和访问路径选择的代价模型

网络化存储通过引入网络的概念将存储独立于服务器甚至通信网络,已经成为传统存储方式的有力替代者.然而,FC-SAN虚拟存储方式的存储性能依赖于存储对象的某些属性,在某些情况下,其性能甚至不如传统的LAN数据共享方式.就FC-SAN虚拟存储方式中的数据放置和访问路径选择对这一问题进行了研究.首先通过分析虚拟存储原理提出了一个数据访问耗时的线性模型;然后,就数据放置和访问路径选择提出了一个决策方法;并在进一步探讨这一方法的过程中，定义了“虚拟存储代价当量”的概念，用以评价FC-SAN虚拟存储环境中的数据放置的代价，从而为评价以及如何选择数据放置和访问路径提供了一种定量的手段.最后，在数字图书馆的一个海量存储原型系统中对上述的理论分析、各种条件进行了实验验证，并结合实际给出了“虚拟存储代价当量”的计算方法，验证了所提出的方法的有效性.     

基于贝努利大数定律的数据分布算法

数据量的快速增长,使得研究能够自动适应存储节点动态变化的数据分布方法成为分布式文件系统领域的难点和热点。基于贝努利大数定律提出一种自适应存储节点规模动态变化的数据分布算法,通过理论分析和实验证明,该算法能够实现在节点规模动态变化过程中数据分布的均衡性,并能保证迁移的数据量从统计意义上最优。     

一种聚类欠采样策略的随机森林优化方法

针对随机森林分类效果受样本集类间不平衡、类内不规则的影响,提出一种聚类欠采样策略的随机森林优化方法。该方法对原始数据大类样本聚类,得到与小类样本个数相同的子类簇;从每个子类簇中随机有放回抽取一个样本与小类样本合并,形成平衡样本集;对平衡样本集进行有放回随机抽样,形成单棵决策树的训练样本集并完成建树;将两次未被抽中的样本作为袋外数据,用于模型测试;重复上述过程多次,形成随机森林。使用10组非平衡数据集进行实验验证,结果表明,该方法在这10组数据集上的分类能力及稳定性均优于传统随机森林。     

基于MapReduce的高能物理数据分析系统

将MapReduce思想引入到高能物理数据分析中,提出一个基于Hadoop框架的高能物理数据分析系统。通过建立事例的TAG信息数据库,将需要进一步分析的事例数减少2~3个数量级,从而减轻I/O压力,提高分析作业的效率。利用基于TAG信息的事例预筛选模型以及事例分析的MapReduce模型,设计适用于ROOT框架的数据拆分、事例读取、结果合并等MapReduce类库。在北京正负电子对撞机实验上进行系统实现后,将其应用于一个8节点实验集群上进行测试,结果表明,该系统可使4×106个事例的分析时间缩短23%,当增加节点个数时,每秒钟能够并发分析的事例数与集群的节点数基本呈正比,说明事例分析集群具有良好的扩展性。     

基于预读策略的节能数据访问技术

传统节能策略通过控制组件状态切换来节省能耗,但状态切换本身需要耗费一定能量。为此,提出一种基于预读策略的节能数据访问技术。引入文件系统数据访问中的预读方式,读取数据并将其聚合到一起进行访问,减少设备组件的状态切换,从而实现降低能耗的目的。实验结果表明,在多媒体数据访问方式下使用该技术能节省70%以上的磁盘能耗。     

基于随机森林的卫星快变遥测数据建模

现代卫星已逐渐成为国家重大基础设施,为了解其在轨运行状态,需要对遥测数据进行分析;其中快变遥测数据包含了大量卫星服务情况信息,对该数据进行基于机器学习算法的分析建模,可以更好利用特征维度高、数据量大的快变遥测数据,为人工智能在卫星数据建模、运维方面提供一种可能方案;提出一种基于随机森林算法对在轨卫星快变遥测数据进行建模的方法,并引入改进的二次网格搜索方法对模型参数进行调优;使用模型对某频点功率测量值进行预测,结果显示R2值达到0.98以上,预测值误差较小,建立了效果较好的快变遥测数据模型,为实现基于机器学习的快变遥测数据分析提供了一种可能的方案;     

基于预分区策略的装备数据分布式存储方法

随着传感器技术和计算机技术的发展,装备在研制生产过程中会产生大量的数据,这些数据是海量的、多源的和异构的,企业需要考虑如何将数据进行快速处理和存储管理,进而利用加工后的数据提升装备生产制造能力。对卫星、飞机等典型装备数据进行了研究,提出了一种基于预分区策略的分布式数据存储方法。该方法研究HBase的预分区机制和装备数据模型特点,研究装备数据快速存储的影响因子,并给出了数据快速存储算法,使海量装备数据可以负载均衡地、快速地存储在HBase数据库里。最后,对模型的数据存储性能、负载均衡性、各类装备的适用性进行了评估试验。试验结果表明,该方法可以覆盖多种类型的装备数据,并在数据存储效率上有良好的表现。     

分布式计算中可靠的数据放置方法

数据放置活动在以计算为主的分布式计算中被看作是次要的任务。文章将数据放置工作与计算工作区别对待,定义分布式计算过程中的数据放置模型,给出数据放置协议和可靠的数据传输算法,使得数据放置活动在分布式计算中像计算工作一样被排列、调度、监控、管理以及检测。对数据放置方法进行了系统的评价,取得了较好的效果。     

基于热点数据块的动态副本调整策略

副本管理策略对于分布式存储系统的可用性、可靠性和系统整体性能有至关重要的作用。本文针对基于文件的动态副本调整策略的不足,提出了一种基于热点数据块的动态副本调整策略。根据时间局部性原理和数据访问规律,通过对历史访问周期和当前周期赋予不同的权重,数据块下一周期的预测进行访问频率计算,接下来基于计算出的预测访问频率对数据块进行热点判定。结合HDFS中数据访问规律近似二八定律的特点和热点数据块的判定结果,来确定数据块的调整阈值。最后,分3个步骤对基于热点数据块的动态副本调整策略进行性详细设计。实验结果表明,本文提出的基于热点数据块的动态副本调整策略在数据访问效率和集群存储资源利用率两方面有了明显提升。