基于目录路径的元数据管理方法

提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目录路径的开销和充分开发目录的存储局部性,减少了磁盘I/O次数;通过元数据服务器的动态负载均衡避免单个服务器过载.实验结果表明,该方法在提高系统性能、均衡元数据分布以及减少元数据迁移等方面具有明显的优势.     

NTFS文件系统下PE文件的防拷贝保护

在NTFS文件系统中,每个文件或目录都有一个唯一对应的文件记录号,利用目录和文件记录号(链)作为一种加密密码,可用于PE文件的防拷贝保护.用Win32汇编语言,编程实现了目录和文件的文件记录号(链)的查找,PE文件的加密保护,在Windows XP环境下进行了测试,效果良好.     

基于语义网格的注册信息服务模型设计

作为下一代网络新架构,语义网格凭借其强大的语义分析能力及集合网格技术的特征,正逐步被人们认可和接受.尽管网格注册为发布、发现资源提供了用于存储和访问元数据的一些机制,如,元数据目录服务MDS,但是要将其扩展到语义网格上处理资源,这种注册机制还不够完善.因此将Web服务和元数据目录服务引入语义网格的资源管理的信息服务模型中,提出一个语义网格注册信息服务模型.定义该模型的信息模型和语义模型,以此得出语义推理结论,并给出具体的执行过程.     

多媒体网络文件系统的Cache算法设计与实现

通过分析多媒体文件存储和文件访问的特点,在TCP/IP协议和本地文件系统的基础上,针对多媒体应用设计一种高性能的多媒体网络文件系统MNFS(Multimedla Network File System).MNFS采用目录和文件数据两级Cache组织结构,便于Cache的维护和快速查询;为了提高系统性能,采用顺序优化的Cache预测算法;Cache的替换算法采用常用的LRU(Least Re-cently Used)算法,分别将目录Cache和文件数据Cache组织成不同的LBU链表.在以太网环境下对MNFS性能进行了测试,测试结果表明,MNFS随机读的性能同SMB(Server Message Block Protocol)相接近,而MNFS顺序读的性能要比SMB高10-20%左右.     

数据网格中高效的元数据管理策略

在数据网格中,提出了采用完全分布方式、基于智能Cache和语义的元数据管理策略,在管理策略中设计一个元数据管理系统的体系结构SMICC.该体系结构引入了智能Cache和语义信息的方式来对元数据系统进行管理,减少远程访问时间和增加查询的准确度.SMICC可以利用智能Cache和语义信息处理不同的情况,可以根据本地可用的元数据进行查询的分解形成子查询,用户可以从本地Cache中获得元数据查询结果的一部分,剩下的部分可以从远程位置获得.通过语义信息和已有元数据,不仅可以使系统达到更好的扩展性和可用性,而且在保证用户访问质量的同时也提高了访问效率.     

基于对象存储的集群存储系统设计

集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构,将文件分为目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明,该方法能够支持超大规模的文件及超大容量的目录,明显地减少网络访问消息数量,提高访问性能,并且解决了因为修改目录而导致的大量元数捂迁移问题。     

针对访问驱动cache攻击HC-256算法的改进*

高速缓存Cache具有数据访问时间不确定和多进程资源共享两大特征,流密码算法HC-256生成密钥流的过程中使用了大量查找表操作进行Cache访问,查找表索引值会影响Cache命中与否,而查找表索引值和密钥之间存在密切关系。为了使HC-256可以防御此访问驱动Cache攻击,本文对HC-256算法进行了改进,在HC-256中加入完全随机排序算法,对表P和表Q进行扰乱,这样使用变化的表代替固定的S盒,使得攻击者获得的输入和输出都是不安全的,有效地防御了此访问驱动Cache攻击。     

蓝鲸元数据服务器集群的细粒度负载迁移

大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,迁移中写相关元数据访问需要阻塞的问题.提出细粒度的元数据服务负载迁移方案,由迁出端恢复迁移机制和细粒度控制迁移机制2部分组成.在迁移过程中,以文件为粒度在迁入端重建迁出端的元数据相关状态结构,并根据被访问状态的类型选择在迁出端或迁入端进行立即响应,而非阻塞操作直到迁移完成.在蓝鲸MDS集群系统上实现了此方案,测试和分析表明,在10 000规模的迁移场景中,迁移时间控制在800ms以下,元数据或状态写入延迟最高为215ms.与系统原方案中90s的固有延时相比,此方案有效解决了MDS集群中负载迁移时间过长的问题,并且极大地降低了迁移过程对正常元数据访问的影响.     

对象存储系统中元数据管理策略的研究

基于对象存储系统的快速发展,对元数据服务器性能提出更高的要求.在分析基于最大权值的元数据服务器选择策略基础上,提出一种基于全局权重选择的元数据管理策略即RMG策略,该策略将MDS自身权重和可用带宽两个性能指标作为服务器的总权重来选择元数据服务器,并采用将总权重与选择概率相结合的方式选择元数据服务器.对RMG策略测试结果表明,RMG策略在选择元数据服务器方面与其他基于权重选择MDS的元数据服务器选择策略相比,在保证元数据服务器整体性能的稳定性与服务效率方面有明显优势.     

基于代理的并行文件系统元数据优化与实现

在高性能计算环境中,并行文件系统面临百万量级的客户端,这些客户端往往在同一时间段内发出大量并发I/O请求,使元数据服务器承载巨大的压力.另一方面,这些客户端发出的并发读写请求往往指向同一目录,导致很难将元数据负载调度到多个服务器上.为此,提出在并行文件系统的客户端和元数据服务器之间增加一级代理(proxy),并给出相应的优化措施降低元数据服务器的负载.在元数据代理上实现2方面的优化:1)由于高性能计算程序往往并发访问大量的文件,可以考虑通过元数据聚合将大量请求合并成1个请求发送到元数据服务器上,降低元数据服务器的负载;2)高性能计算程序的并发I/O往往指向同一目录,而传统的元数据负载均衡机制一般采用子树划分的方法将元数据负载调度到多个元数据服务器上,无法实现针对同一目录元数据操作的负载均衡,通过代理将针对同一目录的元数据操作调度到多个元数据服务器上,实现细粒度的负载均衡.     

基于对象存储的新型元数据管理策略

在对已有对象存储元数据管理策略进行研究的基础上,提出一种基于对象存储的新型元数据管理策略。该策略将命名空间的目录子树分割为等粒度的中子树,将中子树的根目录名和文件名的组合作为哈希参数进行哈希运算,元数据服务器根据其所得哈希值确定存储路径。实验结果表明,该策略在处理元数据重命名操作和修改文件名时,可以避免大量元数据迁移及网络开销问题。     

OCFS：一种基于对象存储结构的可伸缩高性能集群文件系统

提出了一种基于确定性随机分布算法分布元数据和数据对象的可伸缩集群文件系统结构。其中目录路径属性与目录对象分离的元数据管理方法，在提高系统性能、均衡元数据分布和减少元数据迁移等方面具有明显优势。提出的基于动态区间映射的数据对象布局算法，支持权重分布和副本，在均衡数据分布和最少迁移数据方面都具有统计意义上的最优性，有效解决了动态存储系统的数据均衡分布与可伸缩性问题。     

海量小文件系统的可移植操作系统接口兼容技术

基于Hadoop分布式文件系统（HDFS）研发的海量小文件系统（SMDFS）遗留了HDFS不兼容可移植操作系统接口（POSIX）约束的问题,为解决SMDFS的这一问题,提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先,通过设置数据暂存区来实现读写模式文件流的重定向,然后建立异步线程池模型,实现数据暂存区镜像文件的同步,从而完成用户层到存储层的所有POSIX相关的文件操作。此外,借助跳表结构的元数据缓存实现List目录等元数据操作效率优化。测试表明,相较于HDFS的Linux客户端,基于技术成果实现的SMDFS3.0的随机读性能有10倍以上的性能提升,顺序读和顺序写性能有约3~4倍的提升,随机写性能可以达到本地文件系统的20%,基于目录的元数据缓存的设计使目录的List操作效率提升近10倍。但是,由于用户空间文件系统（FUSE）挂载的客户端会引入额外的内核态和用户态切换等带来的开销,因此SMDFS3.0的Linux客户端相对于系统的Java接口会有大约50%的性能损耗。     

BWMMS元数据分布信息缓存管理

BWMMS是BWFS的分布式文件系统元数据服务子系统。它充分利用系统访问负载的动态性和局部性特征,通过简单的集中决策机制管理元数据请求负载在多个元数据服务器的分布。为降低集中决策点可能的瓶颈限制,集中决策点位于元数据请求处理路径的末端。本文介绍各个元数据服务器上用来降低对后端集中决策点的压力,提高元数据访问效率的元数据分布信息缓存,并通过测试数据评估缓存命中率对后端集中决策点和元数据访问效率的影响。     

一种基于网格服务的数据库元数据管理框架

该文主要针对数据网格的分布式异构数据库环境,提出一种基于网格服务来实现数据库元数据采集、存储、查询功能的参考框架。文章讨论了对于异构数据库的元数据,如何实现动/静态信息的管理。通过扩展GlobusToolkit中的MDS(MonitoringandDiscoverService)目录服务模块,使其支持后台关系型数据库,来存储静态元数据,而利用信息采集程序(InformationProvider)来生成动态元数据。整个系统框架建立在网格服务(GridService)基础之上,以网格服务方式提供元数据的访问功能。     

CAS中媒体对象的元数据自动提取与利用

在CAS系统中,提出了将多媒体对象的存储元数据和内容元数据进行整合分析,然后根据属性值的不同将对象归类存储。并且为方便用户使用,使用了Inotify对文件系统进行实时监控,自动提取对象的各项元数据信息。对象的元数据信息使用标准的XML文件和MYSQL数据库分别保存,并且各项属性能在CAS系统中很好地体现出来。整合分析自动提取的元数据信息可以极大地帮助用户提高搜索和管理多媒体数据的效率。     

MHS: A distributed metadata management strategy

This paper proposes a novel distributed metadata management strategy to efficiently handle different metadata workloads. It can deliver high performance and scalable metadata service through four techniques, including directory conversion metadata, mimic hierarchical directory structure, flexible partition methods targeted different kinds of metadata of diverse characteristics, and the application of database to metadata backend. Using micro-benchmarks and a prototype system, we firstly demonstrate the performance superiority of our strategy compared to Lazy Hybrid, and then present the detailed performance results and analysis of our strategy on different MDS scales.     

Adaptive and scalable load balancing for metadata server cluster in cloud-scale file systems

Big data is an emerging term in the storage industry, and it is data analytics on big storage, i.e., Cloud-scale storage. In Cloud-scale (or EB-scale) file systems, load balancing in request workloads across a metadata server cluster is critical for avoiding performance bottlenecks and improving quality of services.Many good approaches have been proposed for load balancing in distributed file systems. Some of them pay attention to global namespace balancing, making metadata distribution across metadata servers as uniform as possible. However, they do not work well in skew request distributions, which impair load balancing but simultaneously increase the effectiveness of caching and replication. In this paper, we propose Cloud Cache (C²), an adaptive and scalable load balancing scheme for metadata server cluster in EB-scale file systems. It combines adaptive cache diffusion and replication scheme to cope with the request load balancing problem, and it can be integrated into existing distributed metadata management approaches to efficiently improve their load balancing performance. C² runs as follows: 1) to run adaptive cache diffusion first, if a node is overloaded, loadshedding will be used; otherwise, load-stealing will be used; and 2) to run adaptive replication scheme second, if there is a very popular metadata item (or at least two items) causing a node be overloaded, adaptive replication scheme will be used, in which the very popular item is not split into several nodes using adaptive cache diffusion because of its knapsack property. By conducting performance evaluation in trace-driven simulations, experimental results demonstrate the efficiency and scalability of C².