云际存储系统性能优化研究现状与展望

云际存储系统提供了一个云存储资源管理平台,该平台被广泛地部署到了不同的在线应用场景中。通过将用户数据加密分发到多个云,云际存储系统可以保证存储数据的安全性和可靠性。为了高效地管理云际存储系统的各种资源,云际存储系统设计了不同数据分发方案来满足应用需求。从存储性能优化的角度出发,综述了当前云际存储的主要应用场景、系统功能及对应的实现方案。首先,介绍了云际存储系统的背景及当前主要的数据分发方案。其次,比较了当前主流云际存储系统网络传输及资源管理方案。其中,包括分析云际存储系统数据读写和修复操作中主要网络传输方案及当前云际存储系统对于用户端设备及云端资源策略。最后,总结了当前云际存储的主要应用场景和相应系统实现方案。在此基础上,分析了当前云际存储系统中亟待解决的问题及其带来的挑战,并给出了可能的系统解决方案。     

支持跨步访问的嵌入式存储系统

提出了一种新型多素数嵌入式存储系统,能够显著改善系统跨步访问的性能。提高跨步访存的带宽,对于改善系统的整体性能有着重要的意义。但是,在嵌入式系统中,受片外结构的尺寸限制,直接应用经典的素数存储系统理论无法显著改善跨步访存性能。为此,该新型系统以素数存储系统理论为基础,引入主存访问调度策略并结合嵌入式系统的实际结构特征,构造了一种两层结构的多素数存储系统,可以用较少数量的存储模块实现,而且从逻辑地址到物理地址的映像计算简单,能够以相对较小的硬件代价实现对嵌入式存储系统跨步访问的有效支持。理论分析和实验结果均证实了该系统的正确性和有效性。     

基于SNFS地震资料处理并行共享存储系统

针对传统并行共享存储系统在深水海洋地震资料处理应用中存在的缺点,设计部署了一种新的基于SNFS并行共享存储系统.通过对其进行功能与性能测试分析,结果表明该系统具有优越性,能满足实际石油物探应用需求.在此基础上,进一步提出了对该存储系统优化的建议与方法.     

分布式I/O日志收集系统的设计与实现

随着存储系统的快速发展,以及实际应用中对存储系统的要求日益苛刻,为了研究存储系统I/O子系统的运行形态,设计并实现了一种分布式I/O日志收集系统,该系统能够通过总控制台同时控制分布式系统的多个节点并行收集分布式系统的I/O日志,为分析和回放分布式系统的I/O日志提供有效的数据,且详细描述了系统的设计与实现。     

电信服务高可用——斯德锐公司构建电信存储系统一例

根据电信公司客户服务及计费管理系统目前应用的需求,为了确保该系统绝对安全可靠地运行,斯德锐公司建议采用较为成熟可靠的EMC企业存储系统Symmetrix作为计费中心的数据存储系统,可实现系统中的Unix主机共享存储设备,并实现数据的集中存储和管理,同     

一种基于光纤通道的高可用存储系统设计与实现

在光纤通道存储区域网络环境下提出了一种三级容错的高可用存储系统体系结构 ,详细描叙了该存储系统软件功能模块的设计和实现 ,并对存储系统可用性进行了 Markov模型分析 .理论分析和实际应用表明该系统具有较高的可用性 ,达到了系统设计的要求     

基于SCSI的存储系统评测平台设计与实现

为解决海量存储系统的容错性问题,定义SCSI磁盘I/O故障模型,设计并实现一种基于SCSI协议的存储系统评测平台。利用SCSI协议中间层提供的接口函数,截获SCSI上层命令,并将其修改为模拟多种故障注入。通过实验比较系统在故障前与故障中的应用级性能,结果表明,该评测平台对不同故障具有不同的容错能力,可以衡量不同存储系统的技术指标。     

一种可生存iSCSI存储系统研究与实现

存储系统的可生存性至关重要,但目前存储安全的研究主要还集中在容灾和备份上,缺乏对其可生存性的研究.本文着重在iSCSI协议基础上进行存储系统的可生存性研究,设计并实现了基于iSCSI协议可生存性存储系统的原型系统,该系统是面向网络的集中式安全存储系统.本系统的可生存性主要通过对客户端数据进行实时版本存储和版本数据的虚拟恢复来实现.系统在数据决级实时捕获客户端数据的变化,并对每次变化加入版本信息,在虚拟恢复时,系统根据要恢复的版本时间来定位相对应的数据块版本.     

基于Web服务器家用云存储系统的设计

给出了一种利用嵌入式Web服务器、客户端Socket通信和CGI程序实现云存储系统的解决方案,并实现离线下载等功能。首先简要介绍了系统硬件和软件的支持环境,在此基础上分析了客户端浏览器、Web服务器和CGI程序三者关系并提出了基于嵌入式Web服务器云存储系统用户应用软件的实现方案。通过测试,证明了该方案的可行性,为进一步提高嵌入式技术在云存储系统领域中的应用提供了借鉴。     

基于Camera Link的高速图像采集技术研究与应用

针对光学测量图像采集存储系统存在的系统可靠性低、丢帧率较高的问题,研究了基于Camera Link的高速图像采集技术,提出了帧频驱动采集与实时检测采集融合的控制方法以及改进型双缓存数据采集方法,并将该技术应用在光学高速电视测量系统,提高系统了可靠性,消除了图像丢帧、错图。该技术通用性强,可以广泛应用在基于Camera Link的图像采集存储系统,具有较大的应用推广价值。     

分布式I/O日志回放系统的设计与实现

随着存储系统的快速发展,需要对不同存储系统的性能进行评测,以I/O日志为基础在实际应用环境中测试存储系统性能,更为客观和准确。提出了一种分布式环境下日志回放系统,通过中央控制器,能够方便地控制多个节点,同时对分布式存储系统进行性能测试,并对该系统的设计和实现过程进行了详细述。     

企业级私有云中的虚拟化实现

在云存储的概念被提出之后,虚拟化技术在云存储系统中得到了广泛的应用,出现了全新的数据中心部署和管理方式。实现了一个企业级私有云存储系统WFS,在WFS云存储系统的四层架构中,分别采用了统一存储管理、虚拟路径、数据与元数据分离、云存储接口、多路径访问等虚拟化技术。通过对该系统进行分析,说明了虚拟化技术在云存储系统中的应用方式、特点以及在提高资源利用率、增强系统安全性、易用性等方面的重要作用。     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

一种基于定制高性能互连的对象存储系统

基于高性能互连实现对象存储系统已经成为构建高性能计算机可扩展I/O系统的发展趋势。我们设计并实现了一种定制的高带宽、低延迟的高性能互连芯片HSNI,它提供了很好的通信性能,可用于构建对象存储系统。本文对HSNI的硬件体系结构、软件结构及其通信机制进行了介绍,并基于HSNI构建了高性能的对象存储系统。性能测试结果表明,HSNI芯片带宽高、延迟低,非常适合构建大规模对象存储系统,该存储系统能够很好地发挥Lustre系统的性能,并具有很好的可扩展性,能够很好地满足面向高性能计算的I/O系统需求。     

FatFS的水动力实验数据存储系统设计

针对在水动力实验研究中数据量集中、数量多的问题,提出了一种基于FatFS文件系统的SD卡存储系统设计方案。该系统以ST公司的STM32F103ZET6为核心,通过SDIO接口实现大量数据文件存储。详细讲解了系统的USB模块、RTC模块等硬件设计,探讨了在系统上移植FatFS文件系统的要点,并在SD卡上实现了FAT文件的读写功能。该系统传输速度快、可靠性强,具有一定的应用价值。     

基于Java的NAT软交换代理及存储集群系统研究

NAT在代理服务器、路由器、防火墙等领域应用广泛,但在存储系统方面的应用还很少.为此,探讨NAT种类、应用及核心思想,及用Java网络包java.net实现NAT软交换的思路和方法,并根据网络存储系统安全问题,提出基于NAT的存储集群架构,分析其运行机制算法.模拟测试结果表明,基于NAT可在存储集群系统上实现代理服务,实现存储安全访问,对外网隐藏了存储系统的实际地址.     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

一种应用于大规模存储系统的数据分布算法

随着大数据时代的到来,PB级、EB级甚至ZB级数据集出现,存储系统的建设需要根据业务的发展,逐渐进行扩展。不同性能存储设备的加入、旧设备的退出以及多设备同时失效等问题的出现对传统存储系统数据分布算法提出严峻挑战。设计了一种新的hash映射算法,该算法引入节点权重和多副本,并考虑节点失效和节点过载情况,能够适应存储系统扩容、节点失效、节点过载的动态环境。该算法能从概率上保证系统伸缩时,数据对象及其副本分布在不同的节点上,以及在节点间保持概率上分布的均衡性和迁移数据量最优;针对系统运行过程中节点失效和节点过载,该算法也进行了有效处理,提高了系统的可用性和性能。通过数学分析和实验验证了该分布算法自动适应存储系统的伸缩变化,保证了数据分布均匀性和对节点失效和过载的有效处理。     

UPStore:一个开放的P2P存储平台

PZP存储系统具有可扩展性好、容错性高等优势,是近年来学术界的研究热点.但是由于P2P存储系统的复杂性高,搭建起来比较困难,使得系统并没有随着研究发展而流行起来.尤其是在广域网中,由于节点的高动态性,使得系统的部署和维护更加困难.介绍了一个开放式的P2P存储平台架构,可以在封闭的机房系统里,利用稳定的服务器搭建存储系统,也可以在开放的广域网环境下,利用动态性高的个人电脑来搭建存储系统.上层应用开发者可方便地使用该平台来创建各种服务,从而能将P2P存储系统在实际应用中推广开来.     

集群环境下分布式索引的实现

针对分布式存储系统上使用非主键访问数据带来的性能问题,探讨在分布式存储系统上实现索引的相关关键技术。在充分分析分布式存储特征的基础上,提出了分布式索引设计和实现的关键点,并结合分布式存储系统的特点及相关的索引技术,讨论了索引的组织形式、索引的维护和数据一致性等问题;然后基于如上的分析,选择在分布式数据库系统OceanBase开源版本上,设计和实现分布式索引机制,并通过基准测试工具YCSB进行性能测试。实验结果表明,虽然辅助索引会对系统性能产生影响,但因为充分考虑了系统特征及存储特点,在不同数据规模下,该索引都能够将性能影响控制在5%以内。另外,使用冗余列的方式,能进一步将该索引的性能提升100%。