基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

虚拟网络存储系统自适应性研究

在虚拟网络存储系统中通常包含各种异构的存储设备节点,传统数据放置策略往往侧重于研究对系统I/O性能的影响。该文在分析了虚拟网络存储系统特点的基础上,提出了一种提高系统自适应性的均分hash算法,实验证明,该算法能有效地解决异构网络存储环境的数据放置不平衡问题,从而提高了系统的自适应性。     

异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。     

基于存储虚拟化的存储资源管理模型的研究

随着SAN中数据量的快速增长,要满足存储资源的管理、异构平台的数据共享、存储系统可用性和可扩展性等方面的要求,就必须采用存储虚拟化技术。存储资源管理是存储虚拟化实现的核心问题。文章结合现有的存储资源管理模型,提出了一种存储资源管理与调度系统分级模型。     

SAN网络级存储虚拟化实现方式的研究与设计

随着SAN中数据量的快速增长，要满足存储资源的管理、异构平台的数据共享、存储系统可用性和可扩展性等方面的要求，就必须采用存储虚拟化技术。目前网络级存储虚拟化是主流技术。分析了网络级存储虚拟化的实现方式及关键技术，并提出了一种具体设计。     

一种新的自适应并行预取算法

研究了并行存储预取优化算法，根据并行存储的主要访问模式，提出要同时对文件内数据块访问和文件间访问进行建模，并对文件内数据块访问和文件间访问建模分别提出了E_IS_PPM算法和Last_N_Successor算法。最后将两个算法结合起来，提出了文件预取综合算法，算法根据计算和存储的可重叠程度以及文件预取页面的可获得性，自适应地决定预取深度。     

基于随机森林的高能物理数据放置策略

随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境下基于随机森林算法的数据放置策略,根据存储设备性能差异划分快慢存储池,同时对后期文件的读写访问场景进行预测和识别,综合考虑当前设备负载为数据找到最佳的放置位置。使用真实物理实验数据验证了算法的有效性。     

基于Kademlia的负载平衡云存储算法

针对采用主从式结构的主流云存储系统可能出现的性能瓶颈和可扩展问题,基于分布式哈希表(DHT)技术的完全分布式云存储系统成为一种新的选择。解决好节点的负载平衡问题,是此类技术获得推广的关键。研究了Kademlia算法应用于云存储系统的负载平衡性能。考虑到算法在异构环境下负载平衡性能有明显下降,改进算法在Kademlia找出的候选存储节点中根据节点的存储能力来分配负载。仿真结果表明,改进后算法的负载平衡性能有非常明显的提高,在系统模拟运行时间足够长(如1500 h以上)时,过载节点平均下降7.0%(轻载)和33.7%(重载);文件保存成功率平均提高27.2%(轻载)和35.1%(重载),而增加的通信开销可接受。     

连续媒体存储技术的研究

分析了连续媒体存储面临的问题和技术现状，提出了一种创新的存储软件/硬件架构－虚拟分级存储架构(VHSA)。VHSA是分级存储技术和存储虚拟化技术的结合，支持异构的存储系统结构，可提高复杂存储系统的性能和效率，针对巨大的视听内容进行数字归档，并可与媒体资产管理系统实现无缝集成。     

多维数据的Z-Ordering存储映射算法及其缓存调度优化

多维数据以线性形式在存储系统中进行访问操作,二维及以上维度空间中的相邻节点被不同的映射算法映射到一维空间的不相邻位置。高维空间中进行相邻节点访问时,其一维存储映射位置有着不同的访问距离和访问延迟。提出了基于空间填充曲线Z-Ordering的存储映射方法及其访问距离的度量指标,并和常规优先算法进行了对比,发现能更好地将高维相邻的数据节点簇集到一维存储位置,加强了局部性。调整缓存空间中用于预取的空间大小,可以利用增强的局部性,提高了缓存命中率。实验结果表明,改善了多维数据的访问速度,优化了系统性能。     

一种面向SSD-HDD混合存储的热区跟踪替换算法

固态驱动器(SSD)读写性能优越,但成本高,因此在实践中人们往往利用SSD和普通硬盘(HDD)构建混合存储系统以获取较高的性价比.在混合存储系统中,如何使更多的IO请求能够命中SSD是充分利用SSD性能的关键.针对多任务共享存储环境下集中访问和随机访问IO存取模式并存,且通常情况下IO工作流大部分请求相对集中于有限区域内的特点,本文提出一种基于热区跟踪(HZT)的缓存替换算法.HZT算法充分考虑了IO工作流的空间局部性和时间局部性,利用IO工作流的历史访问信息,跟踪当前热区,并为热区数据块赋予更高的驻留SSD的优先级,能够有效提高混合存储中SSD缓存的命中率.经测试,在典型多任务共享存储环境下HZT算法可以使SSD缓存的命中率比使用LRU(Least Recently Used)算法的系统提高12%.采用适当的预取策略,该算法的命中率与LRU算法相比可获得23%的提升.     

基于聚类和ARMA时间序列的I/O区域预取

预取是提高存储系统性能的主要手段之一.但现有存储系统的设备层并不知道任何I/O访问的语义信息,因而不能充分利用I/O访问的语义来预取下一时刻要访问的数据,只能利用较简单的方式如I/O访问的局部性、顺序访问和循环访问等特性来实现简单的预测.为此,本文根据存储系统的特点提出了实用且高效的基于连续度的聚类算法来发现密集读请求访问的区域,并采用ARMA时间序列模型来预测密集读请求可能访问的区域及访问时刻,为正确的预取提供了准确的信息.为提高预取的准确性,并采用了动态参数估计的策略.通过大量实验的结果验证了这两种算法的正确性和预测的准确性,能较大的提高存储系统的预取效率.     

基于DM642的光纤中心定位算法优化

大规模的数据存取是制约数字信号处理器系统效率的主要因素之一。在传像光纤束成像系统中,为提高出端光纤束在光纤中心定位过程中数据存取的效率,提出DM642平台下的光纤中心定位优化方法。在存储器配置方面,设置二级储存器缓存与片内随机存储器的模式,预取部分片外数据到片内随机存储器。在数据传输方面,设计数据存储动态偏移量,自适应迭代,避免重复读入。实验结果表明,优化后的算法实现了光纤中心的定位,时间开销降低了1/4,提高了系统的运行效率。     

多模态医疗数据中海量小文件存储优化方法

Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase的海量小文件存储优化方法.在小文件合并时,使用可扩展哈希函数构建索引文件存储桶,使索引文件可以根据需要进行动态扩展,实现文件追加功能.在每个存储桶中,使用MWHC哈希函数存储每个文件索引信息在索引文件中的位置,当访问文件时,无须读取所有文件的索引信息,只需读取相应存储桶中的索引信息即可,从而能够在O(1)的时间复杂度内读取文件,提高文件查找效率.为了满足多模态医疗数据的存储需求,使用HBase存储文件索引信息,并设置标识列用于标识不同模态的医疗数据,便于对不同模态数据的存储管理,并提高文件的读取速度.为了进一步优化存储性能,建立了基于LRU的元数据预取机制,并采用LZ4压缩算法对合并文件进行压缩存储.通过对比文件存取性能、NameNode内存使用率,实验结果表明,所提出的算法与原始HDFS、HAR、MapFile、TypeStorage以及...     

多线程环境下基于多预取点的文件预取

为解决当前Linux内核的预取算法在多线程情况下出现预取误判的问题,依据多线程环境下进程对磁盘文件的访问特点,提出一种基于多预取点的预取算法。在Linux内核原有的预取算法的基础上,结合多线程环境下应用程序对数据的访问模式,在Linux内核的页面缓存层进行了实现。实验和分析表明,在IOzone单线程测试中,该算法和Linux内核原预取算法性能相当;在多线程测试中,读取相同大小的文件,耗时比Linux内核原预取算法至少少1/3。新算法对于提高I/O并行度,从而提高整个计算机系统并行化很有帮助。     

多核计算机上非递归并行计算矩阵乘积

提出延迟隐藏的数据预取模型,实现计算与访存的重叠操作,以达到共享二级缓存零缺失;给出基本块的概念,以简化算法的数据结构和减少存储开销;按基本块连续存储方式存储矩阵元素,从存储层次上优化算法,显著地减少页表缓冲缺失;采取非递归调度基本块的策略,充分利用多核计算机的共享二级缓存来减少访问主存的次数,并且不局限于某种特定的存储结构,实现算法缓存无关.多核计算机上的实验结果表明,给出的非递归计算矩阵乘积的线程级并行算法高效、可扩展.     

Strip-oriented asynchronous prefetching for parallel disk systems

Sequential prefetching schemes are widely employed in storage servers to mask disk latency and improve system throughput. However, existing schemes cannot benefit parallel disk systems as expected due to the fact that they ignore the distinct internal characteristics of the parallel disk system, in particular, data striping. Moreover, their aggressive prefetching pattern suffers from premature evictions and prolonged request latencies. In this paper, we propose a strip-oriented asynchronous prefetching (SoAP) technique, which is dedicated to the parallel disk system. It settles the above-mentioned problems by providing multiple novel features, e.g., enhanced prediction accuracy, adaptive prefetching strength, physical data layout awareness, and timely prefetching. To validate SoAP, we implement a prototype by modifying the software redundant arrays of inexpensive disks (RAID) under Linux. Experimental results demonstrate that SoAP can consistently offer improved average response time and throughput to the parallel disk system under non-random workloads compared with STEP, SP, ASP, and Linux-like SEQPs.     

多Markov链预取模型在网络内存系统中的应用

主机通过高速网络访问远程内存的性能已经达到或远高于访问本地磁盘的性能，通过各种优化手段，网络内存系统的性能能得到更好的提升。该文基于一个Linux网络内存系统(LNMS)，在客户端一级提出了一种新的预取算法m-ppm，该算法发展了多Markov链预取模型，使之更适合LNMS。在LNMS上实现了另2种常用的预取算法以作比较，实验数据表明，m-ppm算法对多用户模式更有效。