一种基于容器的自组织存储模型

针对互联网Web应用特别是Web2.0应用的特殊存储需求,提出一种基于容器的自组织存储模型(CSS-M).CSS-M使用容器管理存储空间,聚簇存放用户文件,提高用户数据备份、迁移和恢复效率.一方面模型通过文件唯一标识提供文件的快速访问,另一方面它采用文件集来组织用户文件成树状,提供灵活的文件管理功能.模型使用容器作为数据定位和复制的基本单元,并利用对等覆盖网络技术自组织地维护容器元数据.另外,主从容器复制技术和基于容器状态的容器恢复技术保证了数据的可靠性和一致性.利用CSS-M实现了一个存储系统原型,初步的实验结果表明,CSS-M提供良好的性能和可扩展性,能够满足互联网WEB应用的存储需求.     

敏感数据自主可控的云存储平台元数据管理

针对传统云存储平台的敏感数据的安全问题,将元数据管理分成客户端元数据管理与云端元数据管理两部分,元数据子服务器自主提取、维护、读写和存储敏感信息的元数据,在映射关系方面采用基于文件与数据块之间冗余随机映射算法提高文件存储的安全性,同时采用按需询问同步策略保障元数据子服务器与云端元数据服务器之间的数据块到数据存储中心映射关系的一致性,确保整个存储系统的稳定性与可靠性.在多用户并发访问下,对不同规模数据集的读、写性能的实验测试表明,该存储系统在自主管理敏感信息元数据的前提下,与HDFS、GFS相比仍具有较好读写性能和稳定的数据持久化能力.     

基于 HDFS 的安全云存储模型

针对基于HDFS的云存储平台对元数据绝对全权管理控制问题,提出元数据自主组织模型ASOM,通过分析DataNode与NameNode之间的交互过程,ASOM设计并实现了元数据子服务,通过提取HDFS中DataNode元数据信息直接跟元数据子服务器交互,并且由元数据子服务器处理文件与块、块与DataNode 之间的映射关系。通过对HDFS源代码进行分析编译和模块替换,搭建原型系统进行测试,测试结果表明：对NameNode中的元数据进行必要的安全隔离保证了用户对元数据的控制与管理,可有效避免平台管理员对元数据可能的恶意操作和安全隐患。     

海量小文件元数据的分布式存储与检索

针对现有分布式文件系统处理海量小文件时存在的主节点元数据处理性能瓶颈问题,提出采用分布式文件来存储元数据,并通过元数据缓冲和Hash映射实现元数据的分布;采用Map Reduce并行程序对元数据检索进行了实现,并指出了并行检索中存在的问题,提出采取局部位图索引对元数据检索进行了优化．最后通过实验进行了验证,实验结果证明,该方法实现了海量元数据的分布式存储与检索,避免了现有分布式文件系统在处理海量小文件时存在的主节点单点性能瓶颈．     

SQL-DFS:一种基于HDFS的海量小文件存储系统

针对Hadoop分布式文件系统( Hadoop distributed file system,HDFS)进行小文件存储时NameNode内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统. 通过在NameNode中加入小文件处理模块实现了小文件元数据由NameNode内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode的请求次数;通过将部分DataNode文件块的校验工作交由元数据存储集群完成,进一步降低了NameNode节点的负载压力. 最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQL-DFS在文件平均耗时( file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.     

基于键值存储的元数据集群副本一致性研究

设计一个高性能、高可靠性的分布式文件系统元数据集群,需要解决的一个很重要的问题便是副本一致性。传统的一致性维护方法大多用于保证副本间强一致性,但是强一致性容易对系统的读写性能造成较大影响。该文提出了一种基于键值存储引擎的元数据集群副本一致性管理策略,并从副本的放置、读写、恢复以及更新这4个方面展开详细阐述了具体的维护副本方法,最终实现灵活的、用户可配置的副本一致性约束。而且基于键值的存储方式能有效缓解负载均衡不足、数据可用性和查询性能欠缺的问题,满足元数据信息的高并发、高性能访问需求。     

基于LIRS的YAFFS2元数据缓存管理机制设计

由于闪存采取异地更新机制,文件操作过程中伴随着大量的元数据修改操作,YAFFS2文件系统是以同步的方式更新元数据,这样就会带来大量的无效object header,降低系统I/O性能。使用缓存是解决这一问题的有效方法,缓存置换算法决定着缓存管理的效率,文章在已有研究的基础上简化了元数据缓存管理机制,并提出了基于缓存状态信息的LIRS P算法,该算法保留了LIRS捕获弱局部性数据的特点,同时结合文件系统特点和闪存特性,优先置换出对文件系统可靠性影响较大,I/O开销较小的缓存页。实验结果表明,LIRS PP提高了元数据缓存的管理效率,进而提高了文件系统的I/O性能。     

基于Freenet系统副本管理的研究

为了提高Freenet系统的搜索效率,以Freenet系统为基础,提出了选择最优节点下载文件,其余节点存储文件位置信息的方法减少副本的创建以便减轻系统负担。在维护一致性方面提出了以中心节点的方法维护系统副本的一致性,旨在减少更新文件时消息的传递,避免了盲目的洪泛广播算法。通过模拟实验,从文件请求成功率和平均更新消息数两方面,证明了算法的有效性。     

Windows平台远程卷复制系统的设计

W indows远程卷复制系统是为了获得计算机数据的高安全性和可靠性而设计的软件系统,是通过在内核加载过滤驱动来实现的,其数据的更新流程支持同步和异步的复制模式,系统状态通过主端、从端和同步、异步的不同来设计,从而确保了复制系统数据的一致性。     

基于事务的分布式数据库复制服务器技术

在大规模的分布式数据库系统中,数据库复制器对于系统的可靠性、系统的效率等起着非常关键的作用。对基于事务的分布式数据库复制服务器技术作了深入分析,从复制结构、复制方式故障分析等方面系统地阐述了其技术原理和特点,并从可用性、数据传输的一致性、场地自治等方面充分地论证了这一技术的先进性和实用性。     

一种基于副本机制的智能存储系统I/O优化方法

针对智能存储系统（IND）I/O部件级性能难以得到提升的问题,在分析I/O请求过程基础上设计了一种新的副本机制.使用可编程NIC把只读高频访问热点数据的副本存储在NIC的副本空间,在IND单元内存中建立一个副本元数据表以指引IND单元对副本空间进行管理,设计了在线副本候选算法（DCA）,以确保NIC空间副本数据的时效性.读请求时副本数据不再通过总线传送,数据包到达NIC缓冲区时把副本数据填充在相应的位置再发送出去,可以减少总线的流量,进而提高系统的吞吐率和现有设备的性能.试验结果表明,该方法降低IND总线流量30%以上,提高系统吞吐率40%以上,显著提高了系统性能,具有较好的理论与应用价值.     

数据仓库系统中元数据的研究与应用

讨论了数据仓库系统中元数据的内容、功能及其管理和维护。在Microsoft Meta Data Service和Open Information Model（OIM）模型的基础上，给出了一个元数据管理和维护系统的实例。     

数据仓库中元数据管理技术

元数据是数据仓库实现和管理的灵魂,也是实现数据仓库系统的一个难点。首先介绍了元数据的定义、作用和分类;然后讨论了数据仓库系统中元数据的标准化情况,着重探讨了元数据的管理策略以及元数据体系结构。     

网络论文共享系统元数据管理模型研究

设计了网络论文共享系统元数据管理的几个功能模块,采用OAIS参考模型来进行论文信息的交换和管理.     

基于CWM模型的电力数据仓库元数据仓储设计

参考CWM元模型的包结构,设计通用的、完整的电力企业数据仓库元数据仓储。该电力企业数据仓库元数据仓储分为元对象模型包、基础包、资源包、分析包、管理包等。通过电力企业应用表明,该元数据仓储解决了电力企业局部元数据管理方案中易导致数据仓库数据不一致、不完整性和信息孤岛等问题,提高了数据仓库数据管理与访问的效率,确保了领导决策的可行性。     

水利工程地理信息元数据管理系统的基本构架

通过对地理信息元数据标准的剖析,探讨了元数据管理系统开发的基本构架.结合水利工程地理信息元数据的特点设计了水利工程元数据标准,并以此标准为基础建立了关键词词库,实现了水利业务数据的全局检索,对元数据库建设具有重要的借鉴价值.     

面向教育资源云存储系统的副本管理

根据教育领域中资源访问的聚集性等特征,以教育资源云存储系统架构为基础,设计了副本热度表征副本访问聚集性程度,实现了基于时空特征的副本相关数值计算;同时运用服务集概念和Hadoop分布式文件系统(HDFS)的存储机制提出了三方面的副本管理策略;最后在已开发的教育云存储系统ERS-cloud上进行了一系列实验,结果表明该策略能有效提升教育云存储系统应用效率.     

空间元数据与地理实体之间的同步机制

研究了地理数据库中元数据的存储方法,提出了一种基于模式的空间元数据存储模型,并设计一种基于"元关系"的元数据与地理实体之间的同步更新机制,较好地解决了元数据与空间数据的集成管理、同步更新的问题.