一个异构型分布式文件系统

本文介绍了一个局域网上的异构型分布式操作系统HZDOS中文件系统的设计思想、实现技术和用户接口;分布式文件系统的存取控制和安全保密技术。     

基于Linux的集群文件系统CSFS的实现

传统的分布式文件系统无法为集群系统提供严格的单一映像功能(SSI)，使得集群系统的管理较为复杂。基于Linux的集群文件系统CSFS(Cluster Single File System)，提供单一映像功能，有效地解决了这一问题。通过对Linux虚拟文件系统(VFS)特点的分析，在VFS上添加文件系统CSFS，提高了集群系统的可用性和可管理性。     

校园网格文件系统的研究

随着信息技术的发展，科学计算和并行技术所要处理的数据越来越多，现有的分布式文件系统已经越来越难以满足海量数据存储和资源在地理上的广泛协同和共享。校园网格文件系统是解决建立校园网格系统的重要技术之一，它将校园网格系统中的资源有机地统一起来，其应用将促进网格研究的进一步发展。     

面向新型非易失存储的文件系统研究综述

新型非易失存储(NVM)可字节寻址,具有近似内存的低延迟特性以及外存的非易失性,受限于软硬件技术成熟度,目前首先被用于外存.讨论了NVM用于持久性外存所面临的一系列问题,以及管理上的一些挑战;对现有的典型NVM文件系统及其主要特性进行了梳理.归纳起来,这些特性主要围绕降低一致性开销、降低软件栈开销、内存与外存的融合、分布式文件系统、NVM文件系统安全、容错、空间管理几个方面展开.最后,展望了NVM文件系统仍然有待探讨的几个研究方向,包括扩展性问题、虚拟内存与文件系统的有机融合以及分布式文件系统等.     

云存储关键技术研究

随着海量存储系统的出现与并行文件系统、分布式文件系统的发展．云存储系统建立在云计算技术前提之上,以其成本低、可扩展的特点,将成为未来的主要存储方式。介绍云存储相关的技术与实现及云存储在目前几个主要领域的应用。     

校园网格文件系统的研究

随着信息技术的发展,科学计算和并行技术所要处理的数据越来越多,现有的分布式文件系统已经越来越难以满足海量数据存储和资源在地理上的广泛协同和共享。校园网格文件系统是解决建立校园网格系统的重要技术之一,它将校园网格系统中的资源有机地统一起来,其应用将促进网格研究的进一步发展。     

蓝鲸分布式文件系统的物理资源管理模型

蓝鲸分布式文件系统可以管理数百个存储节点，向上千个应用服务器提供远程文件访问服务，提供超大规模的系统容量。其物理资源管理模型能有效地管理分布的存储资源，形成统一的地址空间，动态分配各种资源，缩短查找和跟踪路径。此模型为整个蓝鲸分布式文件系统提供了统一的资源管理机制，是文件系统并发访问的基础。     

采用信任管理的分布式文件系统TrustFs

在传统的分布式文件系统中用户无法判断文件的可信任性,针对此问题提出采用信任管理的分布式文件系统TrustFs,使用数字签名对文件的发布者进行认证,通过信任管理技术评估发布者的可信任度,从而达到帮助用户识别不安全文件的目的。TrustFs使用可堆叠文件系统的技术实现,可以移植到所有的Unix系统,并具有良好的扩展性。     

一种基于Erasure Code的分布式文件系统模型

提出了一种基于Erasure code容错理论的分布式文件系统模型并对其关键技术进行了深入的研究和探讨。介绍了文件系统和分布式文件系统的概念,基于Erasure code理论提出了具有适度容错机制的分布式文件系统架构。详细讨论和分析了该系统实现中涉及的一系列关键技术,最后简短描述了本模型的实现,并给出了其性能评价。     

一种基于pNFS协议的对象文件系统的设计与实现

随着存储规模的持续增长,SAN环境中基于块的集群文件系统的元数据服务越来越成为系统进一步扩展的瓶颈,基于对象存储设备(OSD)的文件系统成为未来大规模分布式文件系统发展的方向.Linux已有的基于OSD的pNFS文件系统为pNFS+exofs的解决方案,它将文件系统的元数据与数据都保存在OSD上.提出一种新的基于pNFS协议的对象文件系统的实现方案,将元数据和数据的保存和服务分离,文件系统的元数据保存在本地文件系统中,数据保存在OSD设备上.相此已有的pNFS+exofs的方案,该方案的实现和部署更加灵活方便,同时减轻了OSD模拟器的读写负载,有利于元数据和数据存储和服务的单独扩展.     

海量小文件系统的可移植操作系统接口兼容技术

基于Hadoop分布式文件系统（HDFS）研发的海量小文件系统（SMDFS）遗留了HDFS不兼容可移植操作系统接口（POSIX）约束的问题,为解决SMDFS的这一问题,提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先,通过设置数据暂存区来实现读写模式文件流的重定向,然后建立异步线程池模型,实现数据暂存区镜像文件的同步,从而完成用户层到存储层的所有POSIX相关的文件操作。此外,借助跳表结构的元数据缓存实现List目录等元数据操作效率优化。测试表明,相较于HDFS的Linux客户端,基于技术成果实现的SMDFS3.0的随机读性能有10倍以上的性能提升,顺序读和顺序写性能有约3~4倍的提升,随机写性能可以达到本地文件系统的20%,基于目录的元数据缓存的设计使目录的List操作效率提升近10倍。但是,由于用户空间文件系统（FUSE）挂载的客户端会引入额外的内核态和用户态切换等带来的开销,因此SMDFS3.0的Linux客户端相对于系统的Java接口会有大约50%的性能损耗。     

分布式文件系统的流式数据预读

在分布式文件系统中,网络和磁盘往往是影响IO性能的主要因素.如何最大限度地挖掘网络和磁盘的性能潜力,长期以来一直都是非常活跃的研究课题.已有研究工作主要侧重于预取策略和数据的缓存策略,而未能将网络和服务器端磁盘I/O统一进行调度.提出并设计实现了一种流式预读方法,通过在客户端改变发送预读请求和接收预读数据的顺序,交错网络传输和磁盘访问,实现了延迟隐藏.测试表明,这种方法确实显著提高了顺序读性能.     

HDFS存储和优化技术研究综述

HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量的结构化和非结构化数据,支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用,因此,对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性,对已有HDFS的存储及优化技术,从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来,随着HDFS上层应用的日益丰富和底层硬件平台的发展,基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向.     

Windows可安装文件系统应用研究

由于Windows操作系统的源代码非开放性,其文件系统的工作机制并不为人们所熟悉。通过分析Windows2000/XP的可安装文件系统IFS以及如何利用IFS机制编制文件驱动程序来使Windows2000/XP支持新的文件系统,着重给出了如何在Windows操作系统下编制文件驱动程序来支持LinuxEXT2文件系统的思路和具体方法。     

可移植嵌入式文件系统的设计与实现

嵌入式系统需要处理大容量数据,其存储介质具有多样性。该文提出一种遵循FAT标准、能在多种介质上移植的嵌入式文件系统(EFS)。分析EFS的体系结构,给出底层驱动的设计方法。实验结果表明,EFS支持FAT12/16/32格式文件且可靠性高,它采用模块化设计,提供标准API函数,具有较高可移植性。该系统已应用于实际产品中。     

一种基于海量信息处理的云存储模型研究

提出了一种云环境下海量数据组织与资源共享的存储总模型,该模型包括:结构化、半结构化及其非结构化数据与资源的对应存储方法;能兼顾海量大小数据文件处理的分布式文件系统THDFS;云数据库系统设计模型THCloudDB;云环境下强于MapReduce弱于SQL,以Hadoop++为基础的一种针对互联网海量数据文件处理且具有语义计算效能的计算模型THMapReduce;针对THDFS及其THCloudDB的具有语义效能的智能挖掘分析工具THBI;最后以"清华通"为案例分析了该模型平台的具体应用.     

KSEFS:支持加密共享的服务器加密文件系统

针对电子数据的存储安全和交换安全问题,本文提出了加密共享保险箱技术.加密共享保险箱是网络用户在服务器上的基本加密存储实体,除了提供透明加解密功能外,能够灵活实现网络用户间的数据加密共享功能.在加密共享保险箱技术基础上,本文给出了麒麟服务器加密文件系统(KSEFS)的系统结构.最后对KSEFS进行了性能测试,结果表明KS...     

面向Hadoop分布式文件系统的小文件存取优化方法

为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法--SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率。实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度。     

ParSA: High-throughput scientific data analysis framework with distributed file system

Scientific data analysis and visualization have become the key component for nowadays large scale simulations. Due to the rapidly increasing data volume and awkward I/O pattern among high structured files, known serial methods/tools cannot scale well and usually lead to poor performance over traditional architectures. In this paper, we propose a new framework: ParSA (parallel scientific data analysis) for high-throughput and scalable scientific analysis, with distributed file system. ParSA presents the optimization strategies for grouping and splitting logical units to utilize distributed I/O property of distributed file system, scheduling the distribution of block replicas to reduce network reading, as well as to maximize overlapping the data reading, processing, and transferring during computation. Besides, ParSA provides the similar interfaces as the NetCDF Operator (NCO), which is used in most of climate data diagnostic packages, making it easy to use this framework. We utilize ParSA to accelerate well-known analysis methods for climate models on Hadoop Distributed File System (HDFS). Experimental results demonstrate the high efficiency and scalability of ParSA, getting the maximum 1.3 GB/s throughput on a six nodes Hadoop cluster with five disks per node. Yet, it can only get 392 MB/s throughput on a RAID-6 storage node.     

云数据存储与管理

云计算作为一种新兴的商业模式发展异常迅猛,数据存储与管理是云计算中非常重要也极具价值的研究领域。介绍了云存储的概念、云存储的优势及云存储的架构;结合企业的具体实例,从多层次多方位深度剖析了云数据存储技术GFS（Google File System）／HDFS（Hadoop Distributed File System）及云数据管理系统BigTable／HBase,并对它们进行了分析比较。