海量存储系统中的元数据分级索引算法*

海量存储系统中,高效的元数据索引是减少查找元数据所需时间与空间开销的重要手段。针对现有元数据管理方法存在查找元数据所需时间与空间开销大和性能波动大等问题,设计了元数据分级索引算法。依据元数据的生命周期,将元数据分为活跃和非活跃两级;使用Bloom Fliter对均衡的活跃元数据分区生成摘要串,并使用B-树建立活跃元数据分区的索引;使用类似的方法对非活跃元数据分区,并为每个分区选择各自的哈希函数。从查找元数据所需时间与空间开销、适应能力两方面对元数据分级索引算法进行了分析,并与现有元数据管理算法进行了比较。最后实现了元数据分级索引算法的原型系统,使用真实数据集进行了测试与分析,结果表明,元数据分级索引算法能减少查找元数据所需的时间与空间开销,并具有很强的适应能力。     

基于属性分频的元数据索引算法

高效的元数据索引是提高海量存储系统性能的重要手段.针对现有元数据管理方法存在的时间与空间开销大和性能不稳定等问题,我们设计了基于属性分频的元数据索引算法.依据元数据中属性被访问的频率等因素,分解元数据分别存储到高频元数据属性集和低频元数据属性集中,使用KD-tree建立高频元数据属性集的索引,满足多条件混合查询高频元数据属性的要求;使用人工免疫算法建立低频元数据属性集的索引,在保持较高查询性能的同时,避免大量额外的存储空间.实现了算法的原型系统,使用两个真实数据集进行了测试与分析,结果表明基于属性分频元数据索引算法具有时间与空间开销小、适应能力强的特性.     

内容感知存储系统中的两阶段检索策略

随着存储系统规模的不断扩大,如何有效组织、管理和查询存储系统中的资源,成为了研究者必须应对的一个问题。目前存储系统中的查询需求主要来自系统管理员对元数据的查询以及普通用户对关键字内容的查询等两个方面。而内容感知存储系统自身所具备的重复数据删除和块相似性检测能力并没有被用于优化上述查询过程。为了充分利用存储系统感知到的上层语义和底层重复数据块信息,为使用者提供高效、便捷的查询服务,提出了内容感知网络存储系统中的两阶段检索策略。该策略将上层基于元数据和关键字的查询与底层存储系统的块相似性查询相结合,利用两次查询相关度的加权平均值作为相似度评价指标。最终的实验结果表明了该策略在降低失效性、提高查全率等方面的有效性。     

基于属性分频的元数据索引算法

高效的元数据索引是一个重要手段,提高大容量存储系统的性能,在时间和空间上的开销日本性能不稳定现有的元数据管理方法存在的问题,我们设计了元数据索引算法的属性分频器。基于元数据的元数据属性的访问频率等因素,分解的高频率元件的数据分别存储到属性集和低频率的元数据属性集中,KD树生成指数高的元数据属性设置满足许多条件高频混合查询元数据属性的要求;人工免疫算法索引低频率的元数据属性设置,避免了很多额外的存储空间,同时保持较高的查询性能。该算法的原型系统使用两个真实数据集上的测试和分析,结果表明,在的财产分频元数据索引算法有时间和空间的开销,适应性强。     

基于扩展属性的元数据管理算法

元数据的管理效率对大规模存储系统性能具有重要影响.在深入研究现有元数据管理算法的基础上,提出了一种基于扩展元数据属性的元数据分布算法.该算法通过对文件系统中目录进行编码并将编码作为Hash键值,有效解决了文件重命名导致的数据迁移问题,通过使用标志位,有效地解决了目前文件系统目录删除操作中使用递归遍历方式的低效问题,提升了大规模存储系统的元数据管理效率.     

云存储系统中基于动态规划的最小开销数据副本布局研究

传统的副本布局策略较少考虑数据传输开销,且对网络结构有所限定,导致通用性不足。为此,基于动态规划方法,以最小化数据管理开销为目标,提出一种云存储系统中最小开销数据副本布局策略。在数据管理综合开销模型的基础上,比较数据中心放置与不放置副本2种情况下的开销,从而确定副本位置。实验结果表明,该策略能够实现副本的合理分布,在有效降低数据管理开销的同时,可减少平均响应时间与网络传输量,提升云存储系统性能。     

海量存储系统元数据服务器的设计及性能优化

设计适用于GRASS海量存储系统的元数据服务器,分析并优化3个影响元数据性能的因素：元数据组织方式,通信性能和搜索效率,利用Bloom Filter算法进行名字空间搜索,在此基础上实现目标系统的文件名查询优化。实验结果证明,目标系统的元数据处理性能得到明显提升,基本满足大规模高能物理计算的需求。     

海量影像数据库管理系统关键技术研究

随着卫星遥感以及航空摄影技术的发展,人们可以更快、更廉价地获得各种高分辨率的影像。为了对这些不断增加的海量数据进行管理,空间数据库无疑是一种最好的方法,它不但可以提供更快、更方便的数据管理,同时还支持不同用户对数据同时安全访问。由于影像数据库中会存储各种异构的数据源,在目前的影像数据库管理系统中,只提供分散的元数据的管理策略,但是用户在进行搜索和定位的过程中需要一种全局的元数据。论文研究如何利用分散的元数据生成一种查询所需的集中存储的元数据信息,同时提出了如何利用空间元数据来辅助快速搜索和定位所需要的影像资料的策略。最后在系统中实现了基于关键词和空间范围的搜索,实验表明具有较高的效率。     

一种自适应文件系统元数据服务负载均衡策略

随着大数据时代的到来,全球信息存储量呈现爆发式的增长,传统的存储系统在存储性能、存储容量、数据可靠性和成本等方面存在诸多不足。近年来,以云计算平台为依托的存储技术得到了飞速的发展,成为了处理海量数据的重要工具。本文针对分布式文件系统元数据管理的问题,提出了一种自适应元数据服务负载均衡策略。该策略主要包括以下三点内容：第一,介绍了一种实时的元数据服务器的性能评价模型;第二,提出了一种基于服务器负载变化的检测周期自适应调整机制;第三,提出了一种基于元数据服务器性能指标的自适应负载均衡算法。实验证明了该方法的可行性,有效性和稳定性。     

HPC海量存储系统Pass-Through访问策略研究

为了解决海量信息处理中实时访问中的"I/O墙"的问题,提高海量信息分布式存储系统的性能,提出了一种基于高性能计算(high performance computing,HPC)的存储部件新型访问策略.首先,分析传统访问模型存在的问题;其次,研究存储部件直通路模式的工作机理,建立存储系统分解为多层次、分布式的模型,根据不同的层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射;第三,分析直通路访问模式下的存储路径时间开销;第四,在模拟环境下存储部件访问的性能测试,在实际采用该策略的应用系统中进行验证.通过验证测试结果表明,该方法能有效提高存储系统的性能,能够不断满足海量信息处理实时需要.     

面向海量空间数据存储的元数据管理机制

为了有效管理海量空间数据存储的元数据,引入了一种基于一致性哈希的分布式元数据服务器管理架构,并在此基础上提出了一种元数据轮式备份策略,将经过一致性哈希算法散列后存储元数据的节点按轮转方式进行数据备份,有效缓解了元数据管理的单点问题与访问瓶颈.最后对轮式备份策略进行测试,得出最佳元数据节点个数备份方案,与单点元数据服务器相比提高了元数据的安全性,降低了访问延迟,并结合虚拟节点改善了分布式元数据服务器的负载均衡.     

基于智能存储设备的共享存储集群系统研究

随着越来越多的机构采用集群计算技术来实现高性能计算(HPC)--地球、海洋和大气科学、地震数据分析等科学研究和药物研究、汽车设计模型、商业业务冒险分析等商业应用,集群计算技术已经进化为开发高性能计算系统的主要的方法.所有的这些应用的计算都是公认的复杂.能够有效地管理与这些应用密切相关的数据集驱动了现在的集群计算技术的发展.采用智能存储设备(OSD)大大简化了元数据服务器的工作量,并且使得系统的管理和效率都得到了很大的提高.集中描述一个新的存储体系结构--基于智能OSD的共享存储集群计算系统.     

蓝鲸分布式文件系统的分布式分层资源管理模型

为了高效地管理海量分布式存储资源，蓝鲸分布式文件系统抛弃了传统的集中式资源管理方式。实现了分布式分层资源管理模型．该模型可以管理多个存储服务器，还能支持多个元数据服务器组成的集群进行分布式元数据处理，支持各种元数据和数据的负载平衡策略．同时，该模型中的带外数据传输功能克服了系统的性能瓶颈。提高了系统支持并发访问的能力．理论分析和实际测试结果都表明此模型能够满足多种不同的需求，提供很好的性能和良好的扩展性．     

A workload-aware flash translation layer enhancing performance and lifespan of TLC/SLC dual-mode flash memory in embedded systems

Similar to traditional NAND flash memory, triple-level cell (TLC) flash memory is used as secondary storage to meet the fast growing demands on storage capacity. TLC flash memory exhibits attractive features such as shock resistance, high density, low cost, non-volatility and low access latency natures. However, TLC flash memory also has some extra limitations, such as write disturbance, low performances and very limited cycles compared to single-level cell (SLC) flash memory.In this paper, we propose a workload-aware flash translation layer, named Balloon-FTL, for the TLC/SLC dual-mode flash memory, to improve performance and lifespan of the system. We first build a workload identifier module with genetic algorithm to dynamically allocate TLC/SLC capacity based on different workloads, and produce the suitable data allocation to achieve a balanced write distribution in flash memory with low memory access cost. The basic idea is to classify metadata/userdata according to their access pattern, and allocate low-latency SLC and high-density TLC mode blocks for write-intensive metadata and a large quantities userdata, respectively. We then propose a special hybrid mapping strategy for the TLC/SLC dual-mode flash memory to improve the performance. Experimental results show that Balloon-FTL can effectively improve the performance and lifespan of the TLC/SLC dual-mode flash memory in embedded systems.     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.     

一种面向下一代互联网的广域网智能存储系统

广域网智能存储系统针对下一代互联网数据急剧增长、网络资源难以管理和使用的问题,采用多层次、可扩展的分布式存储模式,从改进体系结构着手来提高网络存储系统的性能。其存储管理遵循存储管理计划规范(SMIS),并针对复杂网络环境下的元数据管理和数据传输问题,提出了有效的负载均衡策略和高速安全的存储中间件解决方案,不仅降低了存储管理开销,加快了数据传输速度,同时也实现了命令与数据分流、扩容与增速同步的目标,从而大大提高了整个存储系统的性能。     

基于持久性内存和SSD的后端存储MixStore

持久性内存(persistent memory,PMEM)同时具备内存的低时延字节寻址和磁盘的持久化特性,将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用,然而现有的以Ceph BlueStore为代表的后端存储引擎是面向传统机械盘和固态硬盘(solid state disk,SSD)设计的,其原有的优化设计机制不适合PMEM特性优势的发挥.提出了一种基于持久性内存和SSD的后端存储MixStore,通过易失区段标记和待删除列表技术实现了适用于持久性内存的并发跳表,用于替代RocksDB实现元数据管理机制,在保证事务一致性的同时,消除了BlueStore的compaction所引发的性能抖动等问题,同时提升元数据的并发访问性能;通过结合元数据管理机制的数据对象存储优化设计,把非对齐的小数据对象存放在PMEM中,把对齐的大块数据对象存储在SSD上,充分发挥了PMEM的字节寻址、持久性特性和SSD的大容量低成本优势,并结合延迟写入和CoW(copy-on-write)技术实现数据更新策略优化,消除了BlueStore的WAL日志引起的写放大,提升小数据写入性能.测试结果表明,在同样的硬件环境下,相比BlueStore,MixStore的写吞吐提升59%,写时延降低了37%,有效地提升了系统的性能.     

基于元数据的地理空间数据管理

针对目前油田勘探开发工作中,积累的大量地理空间数据不能有效的进行存储,管理和共享这一问题,提出了基于元数据的地理空间数据管理.通过分析目前的元数据及管理,在借鉴其它元数据管理模型的基础上,提出了一个三层的地球物理元数据模型框架.通过基础元数据,属性元数据和实体元数据三层对信息进行管理,并对该模型进行了分析说明,给出了基于该模型的地震数据综合管理系统的总体方案以及元数据及元数据库的建设.     

一种机群文件系统的缓存模型

提出了一种新的机群文件系统缓存模型，它充分利用机群系统累积的系统资源和高速的互联网络，将文件系统元数据和内容数据分离，分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存，并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明，这两种缓存机制结合使用能极大地提高机群文件系统的性能。     

视频访问负载的分级存储及迁移算法研究

为了使分布式分级混合存储系统高效、快速响应的工作,达到优化系统性能和减少系统资源消耗的目标,通过研究负载的模式,同时考虑数据访问局部性和系统响应时间,提出了相应于负载识别、以及基于频率策略和带宽策略的分级存储迁移算法,提出了一种目标函数为(带宽节省率/命中率)的新评价标准。频率策略是根据访问的周期频率特性来进行数据分级存储迁移,带宽策略是根据在访问中考虑迁移带宽消耗特性来进行数据分级存储迁移。结合实例,模拟仿真实验结果表明,两种策略都能有效地到达目标。频率策略带来的访问次数及命中率较高,而带宽策略可以减少分级存储并发瓶颈数量。