存储系统负载自相似性研究综述

I/O突发是造成I/O瓶颈的一个主要原因,研究I/O负载中普遍存在的突发性并对负载进行精确合成,对存储系统设计及其性能评价具有重要意义。对实际I/O负载的研究表明,传统的泊松假定难以准确地描述长时间范围内的I/O突发行为。研究发现,I/O突发在不同时间尺度下具有相似性,即I/O负载具有自相似性,因此,自相似模型被用来刻画I/O负载中的长相关性。针对I/O负载自相似参数估计,总结了各种常用的时域和频域估值方法。着重对已有的I/O负载合成模型进行了剖析,讨论了各种自相似模型、多分形模型以及alpha稳定模型的特点。探讨了有待解决的开放性问题,并对I/O负载自相似性研究的发展趋势进行了展望。上述工作将对存储负载的自相似性研究提供有益参考。     

基于RAM/Disk混合设备模型的FC-SAN存储系统

磁盘存取是基于光纤通道网络的SAN存储系统的目前性能瓶径,在综合和分析目前各种文件系统I／O操作工作负载的研究结果的基础上,提出了一个新的改进FC-SAN存储系统性能的方法：将各种文件系统I／O操作分为大数据量的文件读写操作、小数据量的文件读写操作和文件属性操作,大数据量的文件读写操作还是按照原来的I／O路径进行,存取物理磁盘;但其他各种文件操作包括小数据量的文件读写操作对基于内存的RAMDisk设备进行操作,实验结果显示,基于混合I／O子系统的FC-SAN存储系统的存取速率可以接近线速。     

对象存储系统中一种高效的分层对象布局算法

在对象存储系统中,如何有效地在对象存储设备上分布对象是其面临的重大挑战.需要一个能够常数时间内定位对象,同时能公平地分布对象以及自适应存储规模变化的对象布局算法.目前大部分布局算法只能适应单层模式,少数的多层模式对设备配置有严格的要求,而且无法在常数时间内定位对象,自适应性较差.提出了一种新的分层对象布局算法,首先使用最大最小聚类算法将设备集合进行分类,支持灵活的设备配置.然后使用提出的EFAH Hashing算法在集群间和集群内分布对象.理论和实验证明,新的分层对象布局算法可以在常数时间内定位对象,从而减轻元数据服务器的计算量.同时可以在设备之间较公平地分布对象,达到I/O负载均衡的目的.而且在设备集合变化时,迁移较少的对象数以满足对象再次分布的公平性.     

一种基于统计分析的存储系统性能调优方法

计算机系统参数的合理配置能有效提升应用程序的性能。以NFS网络存储系统为例,提出了一种基于统计分析的存储系统性能调优方法,该方法分为关键系统参数识别和关键参数性能优化两个子阶段。阶段一采用方差分析(ANOVA)来建模系统参数的性能灵敏度,识别出对应用性能有显著影响的关键系统参数;然后在此基础上,阶段二采用响应面分析(RSM)来考察各关键参数对性能响应的影响,并综合前两个子阶段给出了性能调优算法,通过该算法找出系统的最优配置,从而最终达到性能调优的目的。最后,用实验评价了文中方法在Web, E-mail, Fileserver,Linux实用程序以及微基准测试等多种重要应用场景下的性能调优结果,实验结果证实了该调优方法的有效性和实用性。     

一种改善iSCSI存储系统性能的缓冲策略

iSCSI是一种在IP网络上传输SCSI协议的协议。然而,在IP网络上封装SCSI协议需要大量额外开销来进行SCSI命令的传输和网络中的握手动作。通过对iSCSI协议及美国UNH(university of new hampshire)大学的参考代码实现进行分析,提出了一种改善iSCSI存储系统的性能的缓冲策略。通过对缓冲区进行有效的管理可以缩短系统的响应时间,并提高系统的并行程度,从而可以达到改善iSCSI存储性能的目的。     

DMStone:一个分级存储系统性能测试工具

对分级存储系统的性能测试,需要提供真实的系统状态和有代表性的访问负载.已有的分级存储系统测试方法通过播放一段时间的文件访问请求来生成系统状态.因为彻底忽略了近期未被访问的文件而与分级存储的真实场景不符,使得测试结果没有说服力.提出了一种分级存储系统性能测试工具DMStone,它使用文件系统快照生成某一时刻的系统状态,并根据后续的相邻快照之间的差异提取访问负载特征,进而生成有代表性的I/O负载.DMStone能够提供某一时刻真实的文件系统状态,涵盖了近期访问过的和长期不用的所有文件.而且,它能够保证后续文件访问的特征与真实应用场景相符合.     

一种高效的面向高并发图分析任务的存储系统

随着现实世界中图计算需求的快速增长,同一平台上往往并发运行着大量迭代图分析任务.然而,现有的图计算系统主要是为了高效执行单个图分析任务而设计的.因此,当多个并发图分析任务同时在同一个底层图上并行执行时,现有图计算系统会面临巨大的数据访问开销.为了提高并发图分析任务的吞吐量,现有的核外并发图处理方案通过共享图数据减少并发...     

闪存存储系统综述

闪存因其低延迟、高并发、低能耗、体积小等特点受到了广泛关注.首先讨论了简单利用闪存固态盘替换传统磁盘的方式隐藏了闪存特性,限制了软件系统对闪存特性充分利用的不足.然后,分析并比较了现有包括闪存加速卡、闪存阵列、基于闪存的分布式集群系统等基于存储介质直接构建的闪存存储系统的特点,归纳了其通过改变硬件接口、调整软件或控制器管理模块、匹配处理器与I/O处理能力等方式实现系统低延迟、高可靠、低能耗等特性的优化方法.然后重点讨论了闪存存储系统3个方面的关键技术：基于I/O栈调整与重构的存储性能优化、系统级可靠性、体积与能耗.最后总结了闪存存储系统的现状与特点,并指出未来可能的研究方向.     

基于冲突检测的高吞吐NVM存储系统

非易失性存储器(non-volatile memory, NVM)是解决计算机系统存储墙问题的有效手段,但现有的I/O栈缺乏相应的适应和优化机制,特别是基于文件系统的锁机制是影响NVM存储系统性能的重要因素.将存储系统访问请求的管理嵌入到存储设备中,利用NVM存储设备自主管理访问请求,使用基于冲突检测的方法代替基于文件系统的现有锁机制,提高操作系统执行访问请求的并发度,缓解设备接口带来的瓶颈问题.给出了高吞吐NVM存储系统的结构,设计了一种基于二维链表的访问请求管理方法减少访问请求管理中的冲突,一种基于冲突检测的访问请求调度算法用于管理NVM存储设备中共享的访问请求,并给出了新访问请求提交和已有访问请求释放流程,并基于Intel的开源NVM存储设备模拟器PMEM实现了HTPM的原型系统,使用Filebench中的多种负载和Fio测试了HTPM的吞吐率和I/O性能,实验结果表明：HTPM相比PMEM最大能提高31.9%的IOPS值和21.4%的I/O性能.     

支持高并发访问的新型NVM存储系统

I/O系统软件栈是影响NVM存储系统性能的重要因素。针对NVM存储系统的读写速度不均衡、写寿命有限等问题，设计了同异步融合的访问请求管理策略；在使用异步策略管理数据量较大的写操作的同时，仍然使用同步策略管理读请求和少量数据的写请求。针对多核处理器环境下不同计算核心访问存储系统时地址转换开销大的问题，设计了面向多核处理器地址转换缓存策略，减少地址转换的时间开销。最后实现了支持高并发访问NVM存储系统（CNVMS）的原型，并使用通用测试工具进行了随机读写、顺序读写、混合读写和实际应用负载的测试。实验结果表明，与PMBD相比，所提策略能提高1%~22%的读写速度和9%~15%的IOPS，验证了CNVMS策略能有效提高NVM存储系统的I/O性能和访问请求处理速度。     

绿色网络存储系统的动力学分析模型

分析和研究了复杂网络存储系统中能耗管理控制的动力学行为规律。通过分析网络存储系统中的磁盘能耗模型,提出一种针对分布式网络存储系统的理想化能耗优化数据布局模型(IEEDP)。在此基础上,结合数据迁移和数据复制技术,提出一种基于二维元胞自动机的绿色网络存储系统模型(GNSSCA)。实验表明,通过节点的局部性调节行为,该系统呈现出复杂的时空演化现象。系统总体副本个数随着负载的增加而出现相应的增加并最终趋于稳定。在负载较低的情况下,节点的访问队列长度嫡出现近似的幂律分布。     

高强度I/O的应用对并行存储系统的挑战和解决方法研究

具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.     

离散时间系统Hankel最优模型降阶及其应用

针对离散时间系统Hankel最优模型降阶问题,对标量情况由最优Hankel范数近似给出了状态空间解。将这一理论应用于无限脉冲响应（IIR）滤波器的设计,进一步提出了一种基于最优Hankel范数近似的线性相位IIR滤波器设计方法。通过采用线性相位FIR滤波器和最优Hankel范数近似方法设计IIR滤波器,使其具有线性相位,减小了逆矩阵求解中的计算量。低通滤波器的仿真实例验证了该方法的有效性。     

随机服务系统一般模型的仿真和应用

本文提出了多服务台随机服务系统的一般模型,给出了仿真框图及通用计算程序.对某些系统的仿真结果进行理论分析和计算.分析表明:对有理论计算公式的系统,理论值和仿真结果基本一致;对难以用解析理论加以处理的系统,计算机仿真可提供数值解.最后介绍了该仿真模型在机械加工自动线设计中的应用.     

对象关系数据库系统映射模型及应用

由于对象模型和关系模型存在阻抗不匹配,实现对象和关系的映射已成为软件开发领域的关键问题。本文提出了ORM系统的三层模型,在业务逻辑层和关系数据库的物理存储结构中间增加一个O-R映射,并给出了各个层次的详细设计和分析,最后验证了该模型在实际应用中的有效性。     

Massive Storage Systems

To accommodate the explosively increasing amount of data in many areas such as scientific computing and e-Business, physical storage devices and control components have been separated from traditional computing systems to become a scalable, intelligent storage subsystem that, when appropriately designed, should provide transparent storage interface, effective data allocation, flexible and efficient storage management, and other impressive features. The design goals and desirable features of such a storage subsystem include high performance, high scalability, high availability, high reliability and high security. Extensive research has been conducted in this field by researchers all over the world, yet many issues still remain open and challenging. This paper studies five different online massive storage systems and one offline storage system that we have developed with the research grant support from China. The storage pool with multiple network-attached RAIDs avoids expensive store-and-forward data copying between the server and storage system, improving data transfer rate by a factor of 2-3 over a traditional disk array. Two types of high performance distributed storage systems for local-area network storage are introduced in the paper. One of them is the Virtual Interface Storage Architecture (VISA) where VI as a communication protocol replaces the TCP/IP protocol in the system. VISA's performance is shown to achieve better than that of IP SAN by designing and implementing the vSCSI (Vl-attached SCSI) protocol to support SCSI commands in the VI network. The other is a fault-tolerant parallel virtual file system that is designed and implemented to provide high I/O performance and high reliability. A global distributed storage system for wide-area network storage is discussed in detail in the paper, where a Storage Service Provider is added to provide storage service and plays the role of user agent for the storage system. Object based Storage Systems not only store data but also adopt the attributes and methods of objects that encapsulate the data. The adaptive policy triggering mechanism (APTM), which borrows proven machine learning techniques to improve the scalability of object storage systems, is the embodiment of the idea about smart storage device and facilitates the self-management of massive storage systems. A typical offline massive storage system is used to backup data or store documents, for which the tape virtualization technology is discussed. Finally, a domain-based storage management framework for different types of storage systems is presented in the paper.     

存储虚拟化系统的元数据副本一致性管理模型

本文提出一种简洁实用的元数据副本一致性管理新模型MRCC,该模型引入调度器对元数据服务器进行集中管理,不仅可以使系统达到更好的扩展性和可用性,而且可以灵活地实现对元数据副本的一致性控制,更好地发挥元数据副本容错和负载均衡的作用。     

Healthcare Systems and Other Applications

This paper presents healthcare systems and their applications namely helping people with dementia navigate their day, empowering the elderly and the cognitively disabled, context awareness in residence for elders, RFID-based nutritional assistance, a computer-based library for the blind, an NLP-based tool for assisting people with autism, making smart clothing smarter, PAS: a wireless-enabled personal assistance system for independent living