SOFS:用于OSD中的智能化的对象文件系统

为了优化基于对象的存储设备(OSD)内对象的存储,该文提出了一种用于OSD中的智能化的对象文件系统SOFS,它是一个文件系统容器,可以包含多种基于不同应用的文件系统,目前包含了两种文件系统：通用对象文件系统和媒体对象文件系统,分别用于存储文档、网页等小对象和大的媒体对象。SOFS在Linux内核中的实现与ext2比较,结果显示,读写普通文档等小对象时,SOFS的性能高出ext2 大约10％,而读写大的媒体对象时,效率高出ext2 30％左右。     

一种通用OSD的设计

不同OSD(object-based storage device)文件系统有不同的特征,分别适用于不同的负载状态,为了使OSD支持多种文件系统,以增强其在多种负载状态下的适应性,提出了一种基于Linux下SCSI target中间层驱动的内核态的通用OSD设计,通过OSD中间层驱动的设计实现了OSD对多种设备文件系统的支持.实验表明,该设计能有效支持在同一个OSD中内置多种文件系统.     

一种基于对象存储的文件系统的设计

随着存储技术的飞速发展,对象存储设备面临如何高效存储并管理TB级容量数据的问题.针对Linux通用文件系统Ext2在处理大文件和巨型目录结构时存在的局限性,采用B 树结构设计并实现了一种基于连续块的对象文件系统.对该文件系统进行的测试结果表明,该文件系统的读写效率较高,而且随着文件的增大,性能保持稳定.     

一种支持XML的文件系统构建模型

XML作为数据存储和传输的标准,已经广泛应用于网络和数据库等数据处理系统中.针对大量出现的XML数据,传统的基于字节流的文件系统因其不具备存储和管理语义结构的能力,只能将XML数据视为普通的文本文档进行存储和管理,因而不能充分利用XML的半结构化等优点进行高效的细粒度的信息管理.本文在研究基于XML的数据库系统和语义文件系统的基础上,提出一种新型的基于XML的文件系统模型,并在传统文件系统上利用目录和文件分别存储XML文件的元素和属性实现一种语义结构的存储,使文件系统具备对信息的细粒度控制.     

基于对象的文件系统I/O分析与评测

目前基于对象的存储设备中多采用通用的文件系统如EXT2、EXT3等进行管理,但面临着对海量数据的高效存储、管理问题.基于对象的文件系统实现了对象按大小在磁盘区域中组织管理,并采用了Hash、最坏适应等机制,提高磁盘利用率的同时显著提升了磁盘吞吐率.对EXT2、EXT3、基于对象的文件系统进行了L/O性能测试及分析.实验表明,基于对象的文件系统的I/O性能是EXT2、EXT3文件系统的2到3倍.     

一种基于pNFS协议的对象文件系统的设计与实现

随着存储规模的持续增长,SAN环境中基于块的集群文件系统的元数据服务越来越成为系统进一步扩展的瓶颈,基于对象存储设备(OSD)的文件系统成为未来大规模分布式文件系统发展的方向.Linux已有的基于OSD的pNFS文件系统为pNFS+exofs的解决方案,它将文件系统的元数据与数据都保存在OSD上.提出一种新的基于pNFS协议的对象文件系统的实现方案,将元数据和数据的保存和服务分离,文件系统的元数据保存在本地文件系统中,数据保存在OSD设备上.相此已有的pNFS+exofs的方案,该方案的实现和部署更加灵活方便,同时减轻了OSD模拟器的读写负载,有利于元数据和数据存储和服务的单独扩展.     

大规模并行文件系统中的数据可靠性机制

把分布式的备份思想应用到大规模并行文件系统中,在使用冗余机制构建数据的系统中提供快速恢复机制。并使用马尔可夫模型建立了一个平均直到数据丢失时间的分布模型,指导如何在数据可靠性需求和冗余数据开销之间进行平衡。根据可靠性模型分析,在快速恢复机制下,使用m-n机制,只要n≥m＋2,并且恢复数据所需的计算时间与磁盘I／O时间相比可以忽略不计,就可以满足大规模存储系统对町靠性的需求。     

一种Flash文件系统的设计和实现

介绍了AT45DB321B的特点、引脚功能、芯片的驱动方法。详细描述了基于它的文件系统的原理和设计,该文件系统采用三层结构设计,为应用系统提供了统一的,标准的接口函数。经过测试证明,该系统性能稳定,效果良好。     

OFFS：基于对象模型的闪存文件系统研究*

提出了一种基于对象的存储系统管理框架,它使用统一的对象接口来访问flash或者磁盘。重点对基于对象模型的闪存文件系统进行了研究设计,在系统中引入了段的层次来进行对象管理,通过分析能够显著减少徘徊树问题引起的大量数据更新次数,并避免了垃圾回收时多余的I/O操作,缓解了垃圾回收过程中的数据锁定问题。     

一种并行文件系统数据容错设计

并行文件系统容错是集群容错的关键组成部分。本文采用一种新的数据复制技术来实现并行文件系统数据的容错。由元数据管理器跟踪文件副本的存放位置，使节点副本可以平均分布在其他I／O节点，从而有利于负载平衡和可扩展性，另外还能够避免临近节点失效问题。     

基于对象存储的负载均衡存储策略

对象存储文件系统中将大数据文件分片存储到多个存储节点上,以获取更好的并行I/O性能,提高系统吞吐率.现有对象存储文件系统的存储策略并未充分考虑存储对象本身负载的动态变化,不利于提高系统资源利用率.针对此问题,考虑存储对象的空间及I/O等负载实时变化,提出了一种简单、灵活、高效的负载均衡存储策略,并对该策略进行了实现.实验结果表明,该策略能有效提高对象存储系统资源的利用率和吞吐率,保证对象存储文件系统高效的读写性能.     

基于对象存储系统中多维服务质量保证的设计与实现

存储系统的服务质量(QoS)保证对于满足上层应用的需求至关重要.基于对象存储(OBS)使用支持丰富语义的对象级接口,能够更好地实现QoS保证.在研究了基于对象存储系统中QoS交互机制的基础上,提出了一个基于对象存储设备(OSD)的多维QoS框架,设计并实现了一个应用于OSD的多维QoS算法.实验显示,该框架和算法能有效满足多个客户端的不同维度QoS要求.     

基于智能存储设备的共享存储集群系统研究

随着越来越多的机构采用集群计算技术来实现高性能计算(HPC)--地球、海洋和大气科学、地震数据分析等科学研究和药物研究、汽车设计模型、商业业务冒险分析等商业应用,集群计算技术已经进化为开发高性能计算系统的主要的方法.所有的这些应用的计算都是公认的复杂.能够有效地管理与这些应用密切相关的数据集驱动了现在的集群计算技术的发展.采用智能存储设备(OSD)大大简化了元数据服务器的工作量,并且使得系统的管理和效率都得到了很大的提高.集中描述一个新的存储体系结构--基于智能OSD的共享存储集群计算系统.     

A novel distributed architecture of large-scale multimedia storage system using autonomous object-based storage devices

In a large-scale multimedia storage system (LMSS) where the user requests for different multimedia objects may have different demands, placement and replication of the objects is an important factor, as it may result in an imbalance in loading across the system. Since replica management and load balancing is a crucial issue in multimedia systems, normally this problem is handled by centralized servers, e.g., metadata servers (MDS) in distributed file systems. Each object-based storage device (OSD) responds to the requests coming from the centralized servers independently and has no communication with other OSDs among the system. In this paper, we design a novel distributed architecture of LMSS, in which the OSDs have some kind of intelligences and can cooperate to achieve a high performance. Such an OSD, named as autonomous object-based storage device (AOSD), can replicate the objects to and balance the requests among other AOSDs, and handle fail-over and recovery autonomously. In the proposed architecture, we move the request balancing from centralized MDS to AOSDs and make the system more scalable, flexible, and robust. Based on the proposed architecture, we propose two different object replication and load balancing algorithms, named as “Minimum Average Waiting Time” (MAWT) and “One of the Best Two Choices” (OBTC), respectively. We validate the performance of the algorithms via rigorous simulations with respect to several influencing factors. Our findings conclusively demonstrate that the proposed architecture minimizes the average waiting time and at the same time carries out load balancing across servers.     

对象存储系统的研究

SCSI, ATA/IDE等现有的基于块的存储接口已成为提升存储系统性能、降低存储管理成本的障碍。对象存储技术有望改变现状，成为下一个标准存储接口，使得建立拥有自主管理、数据共享、安全和智能化等特征的存储网络成为可能。该文分析对象存储的特点，设计并实现一个简单的对象存储系统原型，该对象存储系统遵照对象存储的OSD T10标准，由客户端、目标端和IP网络构成，采用iSCSI作为通信协议。读写性能测试分析结果表明，该系统可以满足实际需求。     

移动存储设备多密级安全交互方案

针对移动存储设备在不同密级主机间交叉使用时可能造成信息泄漏的安全问题,提出了一种基于文件系统过滤驱动的移动存储设备多密级交互方案.该方案基于移动存储设备的特殊硬件结构,通过文件系统过滤驱动在Windows文件操作中加入访问控制机制,实现了主机对移动存储设备的分级受控访问.实验结果表明,该方案实现了文件操作的细粒度控制及...     

基于策略的对象存储文件系统管理模型研究

基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型.定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据.模型及其管理策略订制方法在Lustre对象存储文件系统中得到应用,效果良好.     

基于嵌入式平台的文件管理系统

由于运行环境及存储硬件特性的差异,PC机的文件系统不适合直接用于嵌入式系统中数据内容的存储和管理。针对数控系统对零件加工程序进行管理的需求,提出了适于嵌入式系统应用的文件系统。该文件系统采用Flash扇区均衡损耗策略,并具有坏损扇区自适应管理特性,对于使用Flash作为存储介质的嵌入式系统具有一定的普适性。