基于模糊逻辑的数据分级存储模型研究

数据分级存储是智能数据管理的重要途径,利用分级存储能够有效地平衡存储资源与不同数据之间的存取关系,最大程度地提高存储系统的整体性能。但是,在数据分级过程中对于数据特征的发现以及热点数据的判断一直是数据分级存储的瓶颈。提出一种基于模糊逻辑的数据分级存储特征模型FLM,该模型将反映数据冷热程度的关键特征作为输入量,利用模糊逻辑对热度特征量进行推理获得输出量,从而平滑热点数据与非热点数据的边界,避免尖锐边界问题,以利于数据迁移的平顺性,降低数据管理中出现的抖动问题。     

基于海量数据存储系统多级存储介质的热点数据区分方法

海量数据的应用导致文件读写压力变大,必然需要考虑文件I/O带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同,而且数据访问具有时间和空间局部性,因此需要进行分级存储.考虑到数据存在着周期性的变化规律,数据访问的热度是变化的,海量存储系统中相当大比例的数据静止不动,而且高性能存储设备有限,因此基于分级存储技术进行数据迁移,并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景,用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估,经过对Web服务器并发访问响应时间的测试验证,与常规迁移方法相比该算法的确改进了系统的性能.     

基于ESS自适应数据迁移的研究与实现

进化存储系统(ESS)是一种能实现存储性能、存储容量不断提高,数据组织结构不断进化的新型存储系统.本文研究并实现了一种满足ESS动态数据迁移需求的数据迁移解决方案,该方案借鉴生物学中的进化理论和控制理论中的反馈控制技术,依据ESS不同应用场景执行相应的数据迁移策略,并且可以根据系统状态的变化动态调整迁移策略.经过对照试验的数据分析证实,该方案能高效地实现ESS数据迁移.     

基于LGDFG模型的系统级存储优化方法

提出了一种基于LGDFG（粗颗粒度数据流图）的系统级存储优化方法,该方法为被优化的程序建立LGDFG模型,把每个程序段作为该模型的一个节点,分析前后节点之间的数据产生消耗关系,从而得到不同数据块对应的生存周期,对于生存周期相互间不重叠的数据段可以实现存储共享。以音频AC3解码程序为例,用LGDFG模型分析了程序中不同数据块之间的产生消耗关系,从而实现不同数据块间的存储共享。试验结果表明使用该方法AC3解码程序数据存储容量减少了25.8%,有效地减少了数据存储容量。     

文件Cache自适应策略研究

Linux系统在被不同大小的数据块访问时,系统读写性能有差异。在少数特定访问数据块大小的应用中,Linux系统读写性能较差。文件Cache算法的性能是导致该问题的原因之一。在分析访问数据块大小对文件Cache算法性能的影响的基础上,提出了一种文件Cache自适应策略。该策略考虑了预取算法对于页面置换算法的影响,增强了页面置换算法对访问数据块大小变化的适应性,达到了提高Linux系统读写性能的目标。Linux系统读写性能测试实验表明,该策略可以使Linux系统在被不同大小的数据块访问时保持稳定且更优的读写性能。     

内存云分级存储架构下的数据迁移模型

为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。     

基于固态硬盘的云存储分布式缓存策略

为满足海量数据存储的需求,提出一种基于低功耗、高性能固态硬盘的云存储系统分布式缓存策略.该策略对不同存储介质的硬盘虚拟化,将热点访问数据的缓存与存储相结合,实现在不同存储介质之间的热点数据迁移,解决热点元数据的访问一致性与存储服务器的动态负载均衡问题.工作负载压力测试结果表明,该策略可使云存储系统的读峰值速率最高提升约86％,并且能提高存储服务器的吞吐量.     

基于Hadoop的访问热点副本迁移技术

提出一种云环境下的访问热点负载均衡模型：基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法;基于机架感知的机制,制定一种动态副本迁移方案。最后利用执行器下发指令给相应的数据节点,执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整。通过迅速扩散副本的方式,来增加热点文件的副本数量,使得系统能够对外提供更大的吞吐量,缩短系统反应时间。      

基于动态布局的块级网络存储系统VISA

高性能、可扩展的网络存储系统在当今数据密集型应用中日益重要.分布式RAID作为一种存储体系结构,被广泛应用在集群和分布式计算环境中,但其机械的数据放置策略会导致在数据一致性维护中读写性能的下降.基于分布式RAID和存储虚拟化的理念,提出了一种新型块级网络存储系统VISA(virtual interface storage architecture).VISA系统不仅可以实现本地和远程的快速存储访问,而且可以根据当前各存储节点的负载状况和数据布局策略,将用户I/O请求的逻辑块地址动态映射到物理块地址,从而达到负载均衡与高性能的统一.测试结果显示,使用这种动态映射策略的VISA系统与传统的采用分布式RAID结构的IP-SAN相比,顺序写性能提高了78.66%～141.77%,顺序读性能提高了34.89%～51.73%.     

一种海量数据分级存储系统TH-TS

随着数据存储规模的飞速增长,降低存储系统的总拥有成本,提高数据访问性能成为构建海量存储系统的关键.设计并实现了一个海量数据分级存储系统TH-TS(Tsinghua Tiered Storage),由多级存储设备构成一体化的数据存储环境.该系统提出了Cute Mig数据迁移方法:采用基于升级成本和升级收益的升级迁移策略和基于剩余空间的文件自适应降级选择策略,解决了传统on-demand迁移方法中迁移数据量大、访问性能不佳的问题.评测结果表明,TH-TS采用Cute Mig迁移方法的系统平均I/O响应时间比传统的LRU和GreedyDualSize方法分别降低了10%和39%左右,数据升级迁移量分别降低了32%和59%左右,降级迁移量分别降低了47%和66%左右.     

云计算环境中数据安全存储协同模型*

针对云计算环境中来自数据中心或存储区域内部的攻击,以及适应更复杂的存储管理的需求。从分布式体系设计角度提出一个实现存储控制平面和数据存储平面融合的协同体系模型。为协同存储安全模型设计详细的多级可信管理、密钥管理和数据同步方案。实验结果表明对于大量中等文件的读写性能较好,数据安全管理造成的性能损失在可接受范围内。而且具有较好的可扩展性,能够适应大规模分布式存储系统的应用环境。     

基于同态加密的多关键词检索方案

随着云存储服务的发展,越来越多的数据拥有者选择将数据外包给云服务商存储。为了保证数据的安全性,云服务器上的数据应该以密文形式存储。现有的多关键词密文检索技术不能兼顾准确性和安全性的问题,提出一种利用改进的向量空间模型和同态加密技术进行多关键词检索的方案。性能分析表明该方案能够有效地解决密文的多关键词检索问题。     

基于SSD的机群文件系统元数据存储系统

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.     

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。     

多种存储环境下压缩数据库的缓存优化

近年来,各行业数据量增速提升,对承担数据存储任务的数据库系统进行性能优化的需求也越来越强烈。利用关系型数据库I/O密集型、服务器CPU相对空闲的特点,在数据库中引入数据压缩技术,节省了数据存储空间和I/O传输带宽。但当今主流数据库系统的压缩技术都是针对传统的存储和运行环境设计,并未考虑固态硬盘（SSD）等新型存储设备和云数据库等虚拟化运行环境对系统性能的影响,因此,以数据库压缩系统在不同存储环境的缓存优化作为切入点,对系统整体性能的影响进行分析,给出了数据库压缩系统性能的分析模型,并以MySQL为例进行具体分析,给出了对应的缓存优化措施。在内核虚拟机（KVM）和MySQL数据库测试平台上的性能评估结果表明,所提出的优化方法使得系统性能最高有超过40%的提升,在某些配置下获得了优于物理机的性能。     

基于Kubernetes的云原生海量数据存储系统设计与实现

为应对云原生技术的日益发展与普及伴随的云上数据量的激增及该技术在性能与稳定性等方面所出现的瓶颈,提出了一种基于Haystack的存储系统。该存储系统在服务发现、自动容错与缓存方面进行了优化,更适用于云原生业务,以满足数据采集、存储与分析行业不断增长且频次较高的文件存储与读写需求。该存储系统使用对象存储模型来满足高频海量的文件存储,为使用该存储系统的业务提供简单而统一的应用程序接口,应用了文件缓存策略提升资源利用率,同时利用Kubernetes丰富的自动化工具链使该存储系统比其他存储系统更容易部署和扩展且更稳定。实验结果表明,该存储系统在读多于写的大规模碎片数据存储情境下相比目前主流的对象存储与文件系统均有一定的性能与稳定性提升。     

云存储性能评测技术研究

随着网络和存储技术的发展, 提供可共享和便捷使用云存储服务已成为互联网的一种重大新型应用模式和发展趋势。但由于系统规模巨大且存储内容多变, 传统的性能评价及测试方法已不适用于云存储平台。提供云存储系统性能评测的思路, 建立面向不同用户、适用于不同阶段的多指标三维评测体系, 采用云测试云的方案测试不同物理位置上的节点访问性能。     

一种云存储环境下的安全网盘系统

随着云存储的迅速推广,有越来越多的用户开始使用网盘系统存放数据.然而,最新的研究结果却表明：现有网盘系统普遍存在着安全漏洞.近年来,网盘泄漏用户数据的事件更是印证了这些漏洞的存在.为此,提出一种云存储环境下的安全网盘系统架构,并在此架构上设计实现了CorsBox 系统.CorsBox 系统采用一种基于目录树的同步方式,在提高安全性的同时保证了共享操作的最终一致性,为用户提供访问权限控制、大数据断点传输、版本控制等功能.测试结果表明,安全机制仅给系统带来了很少的额外开销,说明CorsBox 系统在提高数据安全性的同时依然具有良好的性能.     

基于变色龙hash的区块链可扩展存储方案

区块链中的节点以副本形式保存数据,随着时间的推移,区块链中的区块数不断增加,导致节点承受的存储压力随之增大,存储压力成为区块链应用落地的瓶颈之一。为了解决区块链中存储压力问题,提出了基于变色龙hash的区块链可扩展存储方案,该方案利用节点被攻击成功的概率和改进的温度模型,将区块分为高低安全性的冷热区块;基于变色龙hash算法和改进的Merkle tree,对高安全性的冷区块进行部分节点存储。在存储过程中,除高安全性冷区块的区块体信息被重构外,其余数据保持不变。仿真实验表明,在不改变区块链结构和安全性能的情况下,所提出的方案可减少区块链中数据的存储总量,减少存储节点的存储压力;且区块数量越多,其优势越明显。     

Hybrid hierarchy storage system in MilkyWay-2 supercomputer

With the rapid improvement of computation capability in high performance supercomputer system, the imbalance of performance between computation subsystem and storage subsystem has become more and more serious, especially when various big data are produced ranging from tens of gigabytes up to terabytes. To reduce this gap, large-scale storage systems need to be designed and implemented with high performance and scalability.MilkyWay-2 (TH-2) supercomputer system with peak performance 54.9 Pflops, definitely has this kind of requirement for storage system. This paper mainly introduces the storage system in MilkyWay-2 supercomputer, including the hardware architecture and the parallel file system. The storage system in MilkyWay-2 supercomputer exploits a novel hybrid hierarchy storage architecture to enable high scalability of I/O clients, I/O bandwidth and storage capacity. To fit this architecture, a user level virtualized file system, named H²FS, is designed and implemented which can cooperate local storage and shared storage together into a dynamic single namespace to optimize I/O performance in IO-intensive applications. The evaluation results show that the storage system in MilkyWay-2 supercomputer can satisfy the critical requirements in large scale supercomputer, such as performance and scalability.