基于网络附属对象设备的集群存储体系结构

随着Internet的发展,应用的数据存储量与其增长速度都相当高,同时数据具有结构化特点,当前的(分布式)文件系统与数据库系统都无法较好地满足这一类需求.提出了一种网络附属对象存储设备模型,利用自身处理器的能力,提供结构化数据的存储/检索接口,消除了传统存储系统的服务器瓶颈问题.同时提出了基于该对象设备的集群存储体系--OStorage.它利用集群网络方式,实现了数据/元数据统一存储与查询式数据访问机制.其在系统的可扩展性、可用性与对结构化数据的支持上,均较符合当前存储应用的特点.实现了该体系的原型系统.测试结果表明,其吞吐率随规模的扩大呈线性增长.     

云存储环境下支持策略变更的CP-ABE方案

近年来,CP-ABE作为适用于云存储环境的访问控制机制,成为研究热点。由于现有的基于CP-ABE的访问控制方案在云存储环境下不支持系统属性灵活变更,利用云存储服务提供者的存储及计算资源优势,基于AB-ACER方案提出了支持系统属性灵活撤销及恢复的云存储访问控制方案。该方案通过引入虚拟属性来支持云存储环境下访问策略属性的撤销及恢复,且仅由存储服务提供者进行少量的重加密计算。安全及性能分析表明,该方案不仅支持数据属主访问策略的灵活变更,还保持了原有方案的安全性及细粒度访问控制,同时大大降低了数据属主的计算开销。     

可伸缩分布式动态区间映射算法

提出一种支持权重分布数据的可伸缩分布式动态区间映射算法.该算法能够在存储节点发生变化时,根据可用的资源情况立即重新均衡数据对象分布,从所有存储节点中并行迁移数据对象,且迁移的数据对象数目是最少的.在此基础上提出分布式节点地址计算算法,支持计算节点通过视图校正算法自主学习,自动适应新的系统规模,消除了现有的集中式访问性能瓶颈,使系统具有高可伸缩性.     

基于内容寻址的对象存储系统设计与实现

基于对象存储的理论并结合现代媒体企业的存储需求,设计并实现了一种应用于连续媒体数据归档的、按内容寻址的存储系统.在CAS中采用了高速索引技术对数据对象进行快速定位和访问,用生成的数据对象的内容地址,来惟一地标识该数据对象,使得能够快速、准确地定位、访问数据对象.以设备驱动的方式构建CAS设备,遵循动态内核驱动标准,能够灵活、方便地挂载和卸载CAS设备.对CAS原型系统进行了性能测试,结果表明,CAS在内容获取时有很好的性能.CAS系统提供开放的系统接口,便于和媒体资产管理系统进行集成,可以满足媒体企业的归档存储需求.     

发展预示

数据仓库的存储与访问目前数据仓库中的数据大多数都存储在关系数据库中,并以SQL语言作为AP真接口。APH接口又分为可调用接口和嵌入式接口。下同的关系数据库提供的SQL接口语法差异很大,这给应用程序或决策支持工具的开发带来了困难。克服上述困难的技术途径主要有3个。一是在关系数据库上进行多维分析。为了获得多维分析功能,需要在客户机和关系数据库之间提供一个额外的语义层,用来理解多维结构及其与关系     

OPIOM:基于Myrinet的脱机I/O

随着硬件技术和网络技术的发展，在簇计算系统中出现了存储子系统和计算、网络通讯子系统性能不匹配的问题，文中提出的设计以最小代价将通讯网络和存储网络结合起来，这一设计在Myrinet上通讯脱机I／O实现：在将数据传递到远端节点以前，先将从SCSI磁盘异步读出送入Myrinet接口的嵌入式存储器，体现了高效和低成本的特性。     

嵌入式NHD系统I/O性能分析及优化

嵌入式NHD（Network Hard Disk）系统是一种动态连接计算资源和存储资源的装置,它以硬件的方式对ATA存储控制器的访问接口进行功能模拟,即将对标准磁盘访问的ATA协议转化为对网络存储设备访问的NBD协议,从而为计算子系统提供虚拟的存储空间.文章对NHD系统的I/O性能进行分析,并针对性采用了DMA流水、零拷贝和TCP校验和卸载等优化技术.实验数据表明,在不改变硬件配置条件下,优化后NHD系统的I/O性能由原来的1.05MB/s提升为3.45MB/s,基本达到实用化需求.     

基于多属性度量的数据分级访问模型研究

随着云计算的迅速发展,云存储已成为企业关键信息服务的重要途径。但是,受限于存储资源性能以及大数据等影响,用户往往需要忍受较长的访问延时。为了缓解这种情况,人们提出了智能数据管理技术,用于有效管理大量数据以及降低用户的访问延迟,提高云计算的服务质量。提出一种基于多属性分析的存储端数据分级访问模型。模型通过对被管理数据对象的动态、静态属性进行统计分析来提取属性中的关键信息,并依此进行数据管理决策,将冷/热数据迁移至对应层级,以便能够在合理规划存储资源的同时提高存储系统的访问性能。性能测试实验的结果表明,该模型具有较好的整体性能。     

一种面向高性能计算的分布式对象存储系统

现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题,严重限制了系统性能。为此,借鉴对象存储思想,设计面向高性能计算的分布式对象存储系统。分离数据访问和数据管理,实现更精简高效的访问语义,同时采用分布式全局对象数据组织方式,运用基于内存的元数据管理方法提升系统性能。实验结果表明,在大规模并发访问时,该系统的读/写聚合带宽相比Lustre系统分别提升22.5%和50.4%,文件创建、删除性能分别达到Lustre系统的2.15倍和5.13倍。此外,该系统还具有拟线性的数据读/写和元数据管理功能,可扩展性较好。     

数据库应用系统中LOB应用技术研究

为解决某专项技术数据库应用系统中多类型文档数据、图像数据等大对象数据的组织、存储、管理和高效访问技术问题,研究了应用Oracle 9i数据库管理系统对大对象类型数据进行集中存储和统一管理的技术,以及基于JSP的网络数据库应用系统对大对象数据的数据访问和数据显示技术。提出采用Oracle 9i中LOB和Long Raw数据类型对大对象数据进行存储和管理,以数据流的形式实现大对象类型数据的输入和输出,并基于JSP语言设计客户端软件,提供方便的图形用户接口,有效解决了数据库应用系统中大对象数据的存储、访问与显示问题。     

一种基于IP网络的统一对象存储访问模型的研究

随着计算机应用的普及和存储需求的膨胀，存储系统正在由NAS和SAN转向了OBS。本文介绍了三种存储系统的访问模式，在OBS基础上，提出了存储设备对象，这不仅丰富了对象的内涵，还总结出一种统一对象存储访问模型，对不同存储对象设备实行访问协议的映射，使之更具有普适性。     

基于SOC的对象存储控制器的设计与实现

对象存储重新划分了传统文件系统的功能,并将存储管理功能下放到智能存储设备中。采用基于对象接口,利用智能存储设备的计算能力改善存储性能,获得了更好的可扩展性、安全性以及跨平台无缝共享能力,目前正得到广泛的研究和应用。对象存储控制器是对象存储系统的核心部件,是对象存储系统性能发挥的关键。介绍了一种新型的基于SOC的对象存储控制器的设计和实现。测试结果表明,设计的对象存储控制器在性能、可靠性、成本和功耗方面都具有巨大优势。最后介绍了几种正在研究的对象存储控制器的并行优化方法。     

BW-VSDS:大容量、可扩展、高性能和高可靠性的网络虚拟存储系统

设计并实现了一个大容量、可扩展、高性能和高可靠性的网络虚拟存储系--BW-VSDS.和其他网络存储系统对比,它有如下的特点:1)采用带内元数据管理和带外数据访问的虚拟存储管理架构,存储管理更灵活,并且系统扩展性更好;2)在单个节点内部的多个虚拟卷、多个虚拟池和多个网络存储设备上利用存储虚拟化技术重构得到面向多种存储应用的网络虚拟存储设备,实现了3层的层次化存储虚拟化模型,对内共享存储设备的容量和带宽,对外提供不同属性的虚拟磁盘;3)采用写时按需分配策略提高了存储空间的利用率,使用数据块重组提高了I/O读写性能;4)使用设备链表和位图实现了层叠式虚拟快照,支持增量快照、写时拷贝和写时重定向机制,实现源卷和快照卷的数据共享;5)提出结合带外存储虚拟化管理的后端集中的带外冗余管理结构,数据读写直接访问存储节点,冗余管理节点在磁盘上以日志方式缓存从存储节点镜像写的数据,然后在后台进行RAID5冗余计算,提高了活跃数据的可靠性,减轻了冗余计算对写性能的影响.     

一种高性能多媒体对象存储系统的研究

通过对多媒体应用中多用户并发访问的特点和性能进行分析,提出一种高性能多媒体对象存储系统MOSS(Multime-dia Object Storage System)的对象数据组织结构.MOSS结构采用两层结构,下层采用RAID5的方式组织数据,这样可以利用RAID5磁盘利用率高的优势.上层放常用的热点数据,通过将不同对象存放在不同磁盘,从而将不同用户的请求尽量分散到不同的磁盘上,可以提高多用户的并发访问性能.通过仿真测试,在4用户情况下,MOSS的性能平均比RAID高90%,随着用户数的增加,传统RAID方式的性能下降明显,而MOSS的性能下降很少,在16用户情况下,MOSS的性能平均比RAID高550%.     

USB存储设备MTU值配置优化技术研究

传统优化技术在随机读、混合读和数据一致性方面性能差,为解决这一问题,提出USB存储设备MTU值配置优化技术研究。先采集USB存储设备行为数据,再利用纠删码技术,设置MTU值配置存储总容量。考虑到数据数量过大,设计层次式文件管理架构记录文件属性。在此基础上,为优化存储数据,采用扁平式存储结构,实现USB存储设备MTU值配置优化。由此,完成USB存储设备MTU值配置优化技术的研究。实验在release 5.5操作系统下完成,分别测试两种优化技术随机读、混合读和数据一致性的性能。实验结果表明,使用所提技术能够达到近似最优的性能,数据访问开销比例更少。     

大数据时代——从冯·诺依曼到计算存储融合

海量数据的出现和硬件计算能力的提升,催生了第三次人工智能的发展热潮,大数据时代来临。首先,分析了拥有冯·诺依曼体系结构的计算机在大数据时代遭遇的存储墙、带宽墙和功耗高问题,引出为适应和满足大数据处理需求的计算机体系结构的发展趋势;接着,分析计算机体系结构层面的计算存储融合技术、软硬件结构、offloading算法的设计思路与技术特点,以及在商业系统中的应用,为高性能计算、数据中心建设和智能SSD产品设计等提供启发意义;分析微观层面基于硅穿孔的3D堆叠封装技术和最新的产业动态;最后,阐述代表计算存储一体化发展目标的类脑计算和最新的研究进展。     

对象云存储中分类分级数据的访问控制方法

随着云计算技术的广泛应用,云存储中数据的安全性、易管理性面临着新的挑战.对象云存储系统是一种新型的数据存储云计算体系结构,通常用来存储具有分类分级特点的非结构化数据.在云服务不可信的前提下,如何实现对云存储中大量具有分类分级特点资源的细粒度访问控制机制,保障云存储中数据不被非法访问是云计算技术中亟需解决的问题.对近些年来国内外学者的成果进行研究,发现现有的方案并不能有效应对这种新问题.本文利用强制访问控制、属性基加密、对象存储各自的优势,并结合分类分级的属性特点,提出了一个基于安全标记对象存储访问控制模型.同时给出了CGAC算法和其安全证明,将分类分级特点的属性层级支配关系嵌入ABE机制中,生成固定长度的密文.该算法不仅访问控制策略灵活,具有层次化授权结构,还可以友好的与对象存储元数据管理机制结合.通过理论效率分析和实验系统实现,验证了所提出方案计算、通信开销都相对较小,具有很高的实际意义.     

云存储服务端数据存储加密机制的设计和实现

云存储是一种新型的网络存储形式。随着云存储的广泛使用,云存储中的数据安全问题,如数据泄漏、数据篡改,也成了用户广泛关注的问题。云存储可以分为访问层、应用接口层、基础管理层和存储层,云存储安全可以分为访问层安全、应用接口层安全、基础层安全和存储层安全。为保证云存储中服务端数据存储的机密性,文章设计了数据存储加密机制,在基于云桌面的办公系统个人存储的应用环境中,实现了基础管理层和存储层加密机制。基于JAVA、JSP等技术,实现了基础管理层;基于Bash脚本等技术,实现了基础管理层与存储层的接口;基于开源项目TGT实现了存储层数据加密机制,保证服务端存储数据的机密性。     

基于海量数据存储系统多级存储介质的热点数据区分方法

海量数据的应用导致文件读写压力变大,必然需要考虑文件I/O带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同,而且数据访问具有时间和空间局部性,因此需要进行分级存储.考虑到数据存在着周期性的变化规律,数据访问的热度是变化的,海量存储系统中相当大比例的数据静止不动,而且高性能存储设备有限,因此基于分级存储技术进行数据迁移,并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景,用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估,经过对Web服务器并发访问响应时间的测试验证,与常规迁移方法相比该算法的确改进了系统的性能.     

开放式安全存储区域网模拟平台

模拟系统是研究与测试系统功能的重要方法,分析了现有存储区域网模拟系统,针对测试各类应用于保护存储区域网系统的安全机制,设计了开放式安全存储区域网模拟平台.使用线程模拟存储区域网系统中的主机、元数据服务器和存储设备,使用缓冲区模拟存储区域网系统中的通信,实现了接收访问请求和主机模块,构建了元数据和存储设备模块的框架,提供了实现元数据管理和存储设备中数据管理功能的功能接口,能模拟存储区域网的各项功能;在元数据和存储设备模块中提供了增加安全保护机制的安全接口,通过实现的不同安全保护机制,能模拟各类安全存储区域网系统,从而为测试各类应用于保护存储区域网系统的安全机制提供良好的平台;最后在元数据和存储设备模块中,通过功能接口实现了基本的元数据管理和存储设备中的数据管理功能,测试系统是否能正确地处理访问请求,完成存储区域网的功能.测试结果表明:开放式安全存储区域网模拟平台能模拟存储区域网处理访问请求的流程,为测试各类应用于保护存储区域网系统的安全机制提供了良好的基础.