基于扩展属性的元数据管理算法

元数据的管理效率对大规模存储系统性能具有重要影响.在深入研究现有元数据管理算法的基础上,提出了一种基于扩展元数据属性的元数据分布算法.该算法通过对文件系统中目录进行编码并将编码作为Hash键值,有效解决了文件重命名导致的数据迁移问题,通过使用标志位,有效地解决了目前文件系统目录删除操作中使用递归遍历方式的低效问题,提升了大规模存储系统的元数据管理效率.     

基于层次结构的元数据动态管理方法的研究

在大规模分布式存储系统中,元数据高性能服务和扩展性已成为一个重要的研究热点.在元数据服务器(metadata server,MDS)中,将元数据分解为目录对象和文件对象.目录对象为定位性元数据,提供文件所在位置和访问控制;文件对象为描述性元数据,描述文件的数据特性.每个MDS负责所有目录对象和自身的文件对象,同时,以目录对象ID和文件名为关键字的Hash值作为局部元数据查找表的索引,通过Bloom Filter算法将每个MDS的局部元数据查找表压缩成一个摘要,这样既可利用MDS中Cache,提高Cache的命中率,减少磁盘I/O次数,动态扩展MDS,又能够实现快速的元数据查找.     

一种新型分布式元数据管理策略

高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键. 传统的元数据分配策略会导致元数据负载不均衡,以及在多进程资源抢占的情况下,会存在响应处理用户请求效率不高,存储文件数目受限等问题. 上述问题在高并发、低延迟的数据存储需求中尤为突出. 提出了一个基于一致性Hash与目录树的元数据管理策略,并实现了相应的分布式元数据管理系统：利用负载均衡算法,对元数据进行迁移,保证了粗粒度负载信息收集,细粒度调整的均衡策略. 多项实验的结果表明,该策略能实现元数据负载均衡,降低用户请求处理延迟,提高分布式系统的可扩展性和可用性.     

基于语义相似性的跨模态图文内容筛选存储机制研究

随着多媒体数据的爆发式增长,云端数据呈现出大规模多模态混合并存的特性.服务于数据分析的传统存储系统因为缺乏数据的语义管理而面临读取延时超长的挑战.针对图像和文本2种模态数据,在传统存储系统之上提出一种跨模态图文数据内容筛选存储机制(cross-modal image and text content sifting storage,CITCSS),用于提供大规模在线相似性内容筛选服务,从存储系统层面缓解数据分析时必须从存储中读出所有数据的读带宽压力.机制分为离线与在线2个阶段.离线阶段中,引入基于自监督的生成对抗式Hash方法,系统利用这种方法生成语义元数据.然后,将元数据注入独立的元数据空间.最后,根据相似性Hash码间汉明距离能够度量语义距离的特点,利用Neo4j图数据库构建Hash元数据图谱,并在语义图谱中建立Hash码与存储路径之间的映射.在线阶段中,用户发送与分析相关的图像或文本,存储系统首先转化数据为Hash码.然后,在筛选半径内通过Hash元数据图谱寻找相似节点,进而找到相似文件的底层存储路径返回筛选数据.实验结果表明,与传统语义存储系统相比,CITCSS在召回率超过98%的性能下,读取延迟相对降低了99.07%~99.77%.     

支持分布式存储删冗的相似文件元数据集合索引

分布式存储技术因其良好的可扩展性、高性价比在当前云存储系统和企业存储中心得到广泛应用.在分布式存储系统中进行内嵌删冗可以有效降低系统存储开销,提高数据存取效率,实现内嵌删冗的关键在于高性能和可扩展的元数据索引方法.该方法应确保删冗操作不影响存储性能.通过分析影响索引性能的关键因素,提出一种分布式相似文件元数据集合索引的构建方法.该方法使用位置敏感Hash函数,将具有相同数据片的相似文件元数据组成集合并建立索引,使一个文件所有数据片元数据检索只需要访问一次外存,有效提高元数据检索效率.并且所生成的索引具有良好可扩展性和很小的内存开销,适合在采用分布式存储结构的云存储系统或者企业存储系统中进行应用.     

一种基于对象存储系统的元数据缓存实现方法

对象存储系统中元数据访问速度是影响文件系统性能的关键因素之一。提出了一种在客户端实现元数据缓存的方法，并用元数据操作协议保证缓存一致性，基于Hash的LFU-DA算法提高缓存查找效率。实验表明该方法减少了系统平均服务响应时间，提高了系统的I／O性能。     

基于SSD的云存储主服务器元数据管理研究

为了提高对云存储系统主服务器中元数据的有效管理,在数据密集型应用中,考虑到读多写少的特点符合网络中各种应用的基本特征,而文件存储的元数据往往小于4KB,我们提出一种基于SSD的针对云存储系统主服务器的元数据管理策略,建立了一套相对独立的存储服务器目录路径索引机制,此策略将元数据的管理分为两个部分：目录路径索引和文件名,充分利用SSD的低功耗与优越读性能。测试表明,基于SSD的云存储主主服务器元数据管理策略可以明显改善系统响应时间,降低延迟,提升云存储系统的性能。     

基于对象存储系统的HIFS目录管理的设计研究

目录管理用于在操作系统下以文件视图的方式提供整个存储系统的文件和目录。目录管理是操作系统里最频繁的操作。文件系统的用户如果想要知道某一目录下面的文件内容,或者想要得到某一目录下面的所有文件和目录的元数据信息,文件系统调用目录管理模块。结合Windows下的对象存储系统客户端文件系统HIFS(Hust Installable File System),进行HIFS系统的目录管理设计。     

一种新的媒体归档存储技术的研究

文章针对媒体存储和管理面临的问题和需求提出并实现了一种新的媒体存储技术——媒体内容寻址存储(MCAS,MediaContentAddressableStorage)。MCAS对媒体对象进行Hash计算得到固定长度的数字代替文件名,Hash和元数据组成一个标准格式的XML文件提供一个媒体对象的数字清单,既便于多个应用程序进行数据交换,又便于用户基于内容检索。MCAS将存储技术和内容管理技术的结合在一起,可针对巨大的视听内容进行数字归档,提高存储系统的搜索性能和效率。     

OCFS：一种基于对象存储结构的可伸缩高性能集群文件系统

提出了一种基于确定性随机分布算法分布元数据和数据对象的可伸缩集群文件系统结构。其中目录路径属性与目录对象分离的元数据管理方法，在提高系统性能、均衡元数据分布和减少元数据迁移等方面具有明显优势。提出的基于动态区间映射的数据对象布局算法，支持权重分布和副本，在均衡数据分布和最少迁移数据方面都具有统计意义上的最优性，有效解决了动态存储系统的数据均衡分布与可伸缩性问题。     

面向海量空间数据存储的元数据管理机制

为了有效管理海量空间数据存储的元数据,引入了一种基于一致性哈希的分布式元数据服务器管理架构,并在此基础上提出了一种元数据轮式备份策略,将经过一致性哈希算法散列后存储元数据的节点按轮转方式进行数据备份,有效缓解了元数据管理的单点问题与访问瓶颈.最后对轮式备份策略进行测试,得出最佳元数据节点个数备份方案,与单点元数据服务器相比提高了元数据的安全性,降低了访问延迟,并结合虚拟节点改善了分布式元数据服务器的负载均衡.     

开放式安全存储区域网模拟平台

模拟系统是研究与测试系统功能的重要方法,分析了现有存储区域网模拟系统,针对测试各类应用于保护存储区域网系统的安全机制,设计了开放式安全存储区域网模拟平台.使用线程模拟存储区域网系统中的主机、元数据服务器和存储设备,使用缓冲区模拟存储区域网系统中的通信,实现了接收访问请求和主机模块,构建了元数据和存储设备模块的框架,提供了实现元数据管理和存储设备中数据管理功能的功能接口,能模拟存储区域网的各项功能;在元数据和存储设备模块中提供了增加安全保护机制的安全接口,通过实现的不同安全保护机制,能模拟各类安全存储区域网系统,从而为测试各类应用于保护存储区域网系统的安全机制提供良好的平台;最后在元数据和存储设备模块中,通过功能接口实现了基本的元数据管理和存储设备中的数据管理功能,测试系统是否能正确地处理访问请求,完成存储区域网的功能.测试结果表明:开放式安全存储区域网模拟平台能模拟存储区域网处理访问请求的流程,为测试各类应用于保护存储区域网系统的安全机制提供了良好的基础.     

基于LDAP的对象存储系统元数据的组织与管理

本文介绍了面向对象系统中元数据服务器的设计及元数据的组织和管理。该系统中元数据服务器使用了轻量级目录访问协议（LDAP）作为存放元数据的平台,针对这个平台设计了相应的数据分配算法和数据转换模块,并对其性能进行了分析和优化。     

一种基于条带的一致性散列数据放置算法

分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频繁访问元数据服务器,导致性能优化受限,基于Hash映射的无中心数据放置算法越来越多地得到应用.但面向纠删码的无中心放置算法,在节点变更和数据恢复过程中,存在位置变更困难、迁移数据量大、数据恢复和迁移并发度低等问题.提出了一种基于条带的一致性Hash数据放置算法(consistent Hash data placement algorithm based on stripe,SCHash),SCHash以条带为单位放置数据,通过把数据块到节点的映射转化为条带到节点组的映射过程,减少节点变动过程中的数据迁移量,从而在恢复过程中降低了变动数据的比例,加速了恢复带宽.并基于SCHash算法设计了一种基于条带的并发I O调度恢复策略,通过避免选取同一节点的数据块进行I O操作,提升了I O并行度,通过调度恢复I O和迁移I O的执行顺序,减少了数据恢复的执行时间.相比APHash数据放置算法,SCHash在数据恢复过程中,减少了46.71%~85.28%数据的迁移.在条带内重建时,恢复带宽提升了48.16%,在条带外节点重建时,恢复带宽提升了138.44%.     

分布式存储系统中元数据系统的研究与设计

在分布式存储系统中,元数据服务系统是一个潜在的访问瓶颈。文章提出了一种基于分布式哈希函数和共享存储器思想的元数据服务器系统,并且与LazyHybrid(LH)方法进行了对比研究,通过仿真测试表明其具有较高的元数据操作吞吐量和减少了元数据服务器之间元数据移动及易扩展等特性。     

一种自适应文件系统元数据服务负载均衡策略

随着大数据时代的到来,全球信息存储量呈现爆发式的增长,传统的存储系统在存储性能、存储容量、数据可靠性和成本等方面存在诸多不足。近年来,以云计算平台为依托的存储技术得到了飞速的发展,成为了处理海量数据的重要工具。本文针对分布式文件系统元数据管理的问题,提出了一种自适应元数据服务负载均衡策略。该策略主要包括以下三点内容：第一,介绍了一种实时的元数据服务器的性能评价模型;第二,提出了一种基于服务器负载变化的检测周期自适应调整机制;第三,提出了一种基于元数据服务器性能指标的自适应负载均衡算法。实验证明了该方法的可行性,有效性和稳定性。     

计算资源共享平台中非集中式的元数据管理

提出了计算资源共享平台中的一种非集中式元数据管理方法,它利用对等网络的方式把数据和元数据分散到网络上的其他节点,而不是在后台服务器端。该方法可以在平台运行数据密集型应用时支持大容量的并行工作机读写数据,同时具有随机的访问、灵活的访问粒度、支持高负载的并行读写的特点。运用了分布式哈希表技术,把大容量元数据划分成树型结构的分段树的形式。描述了数据与元数据的读写与追加新数据的过程。测试结果表明：该方法针对3D图像渲染类数据密集型应用,在不同的工作机并行访问与读写过程中,可以获得很高的聚集带宽与平均读写带宽。     

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.     

基于对象存储系统体系结构的研究

随着基于对象存储系统的快速发展,存储系统服务性能要求越来越高.在分析传统基于对象存储系统体系结构的基础上,提出一种体系结构SOBSS,通过扩展元数据服务器功能,简化体系结构内部数据交互模式.通过与传统基于对象存储系统体系结构的性能比较,实验结果表明,采用SOBSS体系结构在提高系统性能方面有明显的优势.