一种面向高性能计算的分布式对象存储系统

现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题,严重限制了系统性能。为此,借鉴对象存储思想,设计面向高性能计算的分布式对象存储系统。分离数据访问和数据管理,实现更精简高效的访问语义,同时采用分布式全局对象数据组织方式,运用基于内存的元数据管理方法提升系统性能。实验结果表明,在大规模并发访问时,该系统的读/写聚合带宽相比Lustre系统分别提升22.5%和50.4%,文件创建、删除性能分别达到Lustre系统的2.15倍和5.13倍。此外,该系统还具有拟线性的数据读/写和元数据管理功能,可扩展性较好。     

一种高性能对象存储系统

当大量用户并行访问对象存储设备(OSD)时,OSD可能成为限制系统性能的瓶颈。该文提出一种基于网络磁盘阵列的对象存储系统,网络磁盘阵列包括外设和网络2个通道,可直接与客户端进行数据传输。该系统具有基于对象存储系统的特点,且系统容量可扩展性和整体性能较高。     

一种高性能多媒体对象存储系统的研究

通过对多媒体应用中多用户并发访问的特点和性能进行分析,提出一种高性能多媒体对象存储系统MOSS(Multime-dia Object Storage System)的对象数据组织结构.MOSS结构采用两层结构,下层采用RAID5的方式组织数据,这样可以利用RAID5磁盘利用率高的优势.上层放常用的热点数据,通过将不同对象存放在不同磁盘,从而将不同用户的请求尽量分散到不同的磁盘上,可以提高多用户的并发访问性能.通过仿真测试,在4用户情况下,MOSS的性能平均比RAID高90%,随着用户数的增加,传统RAID方式的性能下降明显,而MOSS的性能下降很少,在16用户情况下,MOSS的性能平均比RAID高550%.     

OHPSS:一种基于对象的高性能存储系统

现有存储系统主要存在以下问题:信息存储规模有限、系统结构限制了高速应用范围以及系统实时性和可靠性不够.为了满足大容量、高效、可扩展和高服务质量的存储系统需求,提出了一种基于对象的高性能存储体系结构--OHPSS.其特点是充分利用对象属性并采用适应性服务,达到提高访问性能的目的;基于对象存储设备(OBSD)有处理器和操作系统的硬件支持,既可避免系统性能瓶颈,又能提供异步I/O方式;存储磁盘采用SRAID(similar RAID)结构,提高了磁盘的并行性和可扩展性.测试结果表明,与其他存储系统相比,该存储结构显著提高了小块数据的随机读/写性能,并且多线程 异步I/O的工作方式也使系统扩展性得到了显著提高.     

一种基于对象的多媒体存储系统优化策略

设计一个实用的分布式多媒体服务系统,存储子系统是其中的一个研究重点.根据多媒体系统的存储特点,从全新的视角提出一种存储子系统设计方案--基于对象的多媒体存储系统(Multimedia Object-based Storage System,MOSS),并分析了MOSS的系统架构和工作流程.与传统的多媒体存储技术相比,对象存储不仅能有效地改善系统I/O性能,还具有较好的安全性.以对象存储原型系统为基础,讨论了热点对象文件的分布和均匀分块优化策略.通过建立与系统相对应的数学模型,对数传率、I/O请求丢失率等性能指标作了定性分析.该研究工作对消除多媒体服务系统I/O瓶颈、进行存储子系统设计具有实际的指导意义.     

一种基于对象存储系统的元数据缓存实现方法

对象存储系统中元数据访问速度是影响文件系统性能的关键因素之一。提出了一种在客户端实现元数据缓存的方法,并用元数据操作协议保证缓存一致性,基于Hash的LFU-DA算法提高缓存查找效率。实验表明该方法减少了系统平均服务响应时间,提高了系统的I／O性能。     

一种高可用对象存储系统的数据组织研究

通过对现有不同存储系统的容错能力进行认真分析,提出了一种新的高可用对象存储系统架构HAOSS(High Availability Object Storage System).HAOSS系统分两层:上层存储的对象采用在多个设备之间的数据备份的方式来实现高可靠性,多个备份能够同时对外提供服务,保证系统的高性能,但是磁盘利用率比较低.下层采用RAID5,RAID6以及RAID_Blaurn等不同的容错编码来实现多盘容错功能,磁盘利用率较高,但是由于编码越来越复杂,容错编码需要大量的计算,性能受到很大的影响.在数据组织上,新对象和热点对象放上层,这样大部分请求都能够在上层命中,从而保证系统的性能.下层主要用来放不常用的数据.磁盘利用率比较高.在1000Mbps以太网环境下对HAOSS性能进行了测试,结果表明,HAOSS顺序读写性能都比较好,最大可以达到104MB/s,达到1000Mb以太网的理论最大物理带宽.     

对象存储系统的研究

SCSI, ATA/IDE等现有的基于块的存储接口已成为提升存储系统性能、降低存储管理成本的障碍。对象存储技术有望改变现状，成为下一个标准存储接口，使得建立拥有自主管理、数据共享、安全和智能化等特征的存储网络成为可能。该文分析对象存储的特点，设计并实现一个简单的对象存储系统原型，该对象存储系统遵照对象存储的OSD T10标准，由客户端、目标端和IP网络构成，采用iSCSI作为通信协议。读写性能测试分析结果表明，该系统可以满足实际需求。     

基于对象存储的集群存储系统设计

集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构,将文件分为目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明,该方法能够支持超大规模的文件及超大容量的目录,明显地减少网络访问消息数量,提高访问性能,并且解决了因为修改目录而导致的大量元数捂迁移问题。     

一种面向高性能计算的多FPGA互连结构及划分方法

针对高性能计算系统在大规模通信互连中面临的性能、成本及功耗等问题,融合新兴的高速互连技术,结合大规模、超大规模系统通信的局部性和异构性,提出基于多FPGA的混合层级高速互连结构,并给出基于集群的多FPGA逻辑功能划分方法。该方法能够根据不同应用自定义设计高效互连网络,降低大规模计算系统的互连成本和开销。通过应用实例实验证明,该方法能够实现大规模设计向多FPGA高性能计算平台的快速映射,加速高性能可配置计算系统的设计实现。     

基于对象存储系统体系结构的研究

随着基于对象存储系统的快速发展,存储系统服务性能要求越来越高.在分析传统基于对象存储系统体系结构的基础上,提出一种体系结构SOBSS,通过扩展元数据服务器功能,简化体系结构内部数据交互模式.通过与传统基于对象存储系统体系结构的性能比较,实验结果表明,采用SOBSS体系结构在提高系统性能方面有明显的优势.     

基于网络附属对象设备的集群存储体系结构

随着Internet的发展,应用的数据存储量与其增长速度都相当高,同时数据具有结构化特点,当前的(分布式)文件系统与数据库系统都无法较好地满足这一类需求.提出了一种网络附属对象存储设备模型,利用自身处理器的能力,提供结构化数据的存储/检索接口,消除了传统存储系统的服务器瓶颈问题.同时提出了基于该对象设备的集群存储体系--OStorage.它利用集群网络方式,实现了数据/元数据统一存储与查询式数据访问机制.其在系统的可扩展性、可用性与对结构化数据的支持上,均较符合当前存储应用的特点.实现了该体系的原型系统.测试结果表明,其吞吐率随规模的扩大呈线性增长.     

基于LDAP的对象存储系统元数据的组织与管理

本文介绍了面向对象系统中元数据服务器的设计及元数据的组织和管理。该系统中元数据服务器使用了轻量级目录访问协议（LDAP）作为存放元数据的平台,针对这个平台设计了相应的数据分配算法和数据转换模块,并对其性能进行了分析和优化。     

对象存储控制器的硬件设计与仿真

对象存储控制器是对象存储系统的核心之一。结合对象存储的特性,本文设计了基于交换式架构的对象存储控制器,重点探讨了其时钟电路以保证控制器正常工作。硬件实现时综合考虑了高速电路的传输线效应和信号完整性问题,并探讨了通过仿真保证电路正确性的方法。     

基于内容的对象存储技术的研究

由于目前的内容寻址存储系统在应用时存在很大的问题,提出基于标准HTTP协议开发CAS存储接口,将文件操作映射为URI资源的标签语义,实现基于Web的文件存取和操作;并借助Web服务器和数据库建立功能强大的CAS客户端,基于元数据模型并结合数据库对文件对象进行描述,通过Web界面进行文件对象浏览和搜索,构建具有强大内容导航和搜索能力的对象存储系统.     

对象存储下的溯源收集与存储研究

溯源是描述一个数据对象的历史操作的元数据。溯源提高了数据本身所描述的价值,给出了"对象是如何创建的?它依赖了哪些其他对象?这两个对象的历史操作有何不同?"等问题的答案。分析了对象存储系统存储管理溯源信息的优势,研究并实现了如何利用对象存储系统架构来收集和存储溯源。通过在对象存储客户端利用系统状态文件获取系统内核信息,调用JHOVE应用程序来分析和封装文件格式,使用Linux系统的审计功能对普通应用程序进行监听,并将收集到的溯源信息封装成对象,存储到对象存储设备端Berkeley DB数据库或日志文件中。测试结果表明,基于对象的溯源存储系统在不同溯源信息的收集、存储和查询方面都具有较好的性能。     

基于对象存储系统的动态负载均衡算法

负载均衡是大规模基于对象存储系统必须要考虑的重要问题。本文为此以系统总响应时间为代价函数,以对象被访问频率为依据,建立了一种将对象复制与对象迁移统一在内的动态负栽均衡模型,并充分利用存储设备的智能实现系统的动态负载均衡。仿真结果表明,在存在大量热点访问和对象分布不均匀的情况下,启用对象复制和对象迁移的负载均衡算法能最大程度地减少系统的平均总响应时间。     

自适应分布式存储系统设计

在综合考虑Repstore、UrsaMinor、Tdage这几种存储系统优缺点的基础上,本文提出一种自适应控制分布式存储架构原型ACOSS。此架构在存储系统轻载时,可以按照应用优先级来分配磁盘I／O带宽,重栽或过载时可以在线更改存储设备上应用数据分布,减轻热点对象的I／O负担,保证存储系统的服务质量。