网络存储技术浅析

传统的存储是以服务器为中心的存储,从体系结构上看,它是基于总线连接的存储(BAS).存储设备通过I/O总线如IDE、SCSI等与服务器相连,客户机的数据访问必须通过服务器,然后经过其I/O总线访问相应的存储设备.     

影响VoD服务器I/O性能的关键因素

在讨论了基于网络视频点系统模型和通用服务器体系结构的基础上，主要分析了影响视频点播服务器性能I／O能力的几个关键因素，对存储设备的吞吐量，PCI总线速率，SCSI通道的速率和网卡的传输速度等对服务器I／O性能的影响进行了较全面，深入的分析，最后提高一种利用服务器集群的方式提高VoD系统I／O能力的方法。     

基于单根I/O虚拟化的多根I/O资源池化方法

虚拟化技术在为现代数据中心提供高效的服务器整合能力和灵活的应用部署能力的同时,也对数据中心服务器的I/O系统设计提出了新的需求,现有I/O资源与服务器紧密绑定的I/O体系架构将产生成本上升、资源冗余、I/O连线复杂化等一系列问题.针对上述问题,提出了一种基于单根I/O虚拟化协议(single root I/O virtualization,SR-IOV)的多根I/O资源池化方法:基于硬件的多根域间地址和ID映射机制,实现了多个物理服务器对同一 I/O设备的共享复用,有效减少单体服务器所需的设备数量和连线数量,并进一步提高服务器密度;同时提出虚拟I/O设备热插拔技术和多根共享管理机制,实现了虚拟I/O资源在服务器间的实时动态分配,提高资源的利用效率.提出的方法在可编程逻辑器件(fieid-programmable gate array,FPGA)原型系统中进行了验证,其评测表明,方法能够在实现多根I/O虚拟化共享的同时,保证各个根节点服务器获得近乎本地直连设备的I/O性能.     

网络存储技术浅析

传统的存储是以服务器为中心的存储,从体系结构上看,它是基于总线连接的存储(BAS).存储设备通过I/O总线如IDE、SCSI等与服务器相连,客户机的数据访问必须通过服务器,然后经过其I/O总线访问相应的存储设备.服务器此时实际上起到了一种存储转发的作用.基于总线连接的存储体系结构存在着许多不可克服的缺点,如:原始容量限制、共享性和可扩展性差、距离受限、所有的数据存储受服务器性能限制、无法集中管理等. 随着Internet的快速发展,在线数据存储快速增长,加上对存储性能和提供了7×24的可用性要求,使得这些缺点日渐严重.     

桌面虚拟化环境下的交互式性能优化

硬件辅助虚拟化的提出,极大地提高了全虚拟化的性能。但是全虚拟化下类似网络教室等桌面虚拟化应用,在交互式性能方面还存在较大局限。交互式性能主要受I/O性能的影响:一方面I/O设备属于慢速设备;另一方面全虚拟化中采用模拟方式来共享设备。对全虚拟化的交互式性能进行了改进,充分利用多核处理器的物理特征来部署配置虚拟机,根据用户行为动态调整虚拟机的使用资源,依据虚拟化特征进行I/O调度的优化。最后,通过评测实验证明了改进方案的有效性。     

众核处理器中硬件支持的I/O虚拟化优化技术研究

众核处理器中I/O资源被多个处理器核所共享。I/O虚拟化实现了I/O资源的高效共享和安全隔离,被越来越多的处理器设计所采用。硬件支持的I/O虚拟化从体系结构设计时就考虑对I/O虚拟化的支持,提供了一个全面、高效的I/O虚拟化的解决方案。深入研究了硬件支持I/O虚拟化的两大关键技术——DMA重映射技术和中断重定向技术,提出了基于Hint的IOTSB Cache管理方法和基于失效队列的失效方法来对DMA重映射进行优化,提出了多层可操控的中断模型和灵活可控的中断重定向实现方法来对I/O中断重定向进行优化。测试结果表明,提出的硬件支持的I/O虚拟化优化方法以很低的I/O性能开销实现了I/O资源的高效共享,提供了几乎接近无虚拟化环境下的I/O性能。     

密码卡虚拟化技术研究与实现

密码卡是一种密码设备,位于网络安全平台的物理层,通过各种密码算法为上层应用系统提供加解密、数字签名等密码运算服务。从云计算安全方面考虑,密码卡需要具备高速运算的特点,并且 需要通过虚拟化技术实现高并发性。密码卡作为输入/输出(Input/Output,I/O)设备面临的挑战是,如何在虚拟化的情况下获得良好的 I/O 性能并有效地共享 I/O 设备。目前 I/O 虚拟化技术的发展相对滞后,影响了虚拟机的整体性能。基于此,该文提出了 3 种密码卡虚拟化设计方案,实现了基于现场可编程门阵列(FPGA)的软件虚拟化密码卡和基于单根 I/O 虚拟化技术的硬件虚拟化密码卡。在实际应用中,虚拟化密码卡通过高速外设部件互连标准(PCI-E)总线内置于服务器中,具备高性能并且通过软件调度 可以被多用户共享。结果表明,该技术可应用于金融、电信等信息安全领域,具备广阔的应用前景。     

一种新的专用附网存储系统的研究与实现

1 引言随着Internet/Intranet技术的发展,网络上的信息资源呈爆炸型增长趋势,通过网络进行传输的信息量不断膨胀,大量信息需要进行处理,并通过网络传输,这对信息存储系统提出了空前的要求。传统的存储体系都是存储设备通过诸如IDE/SCSI等I/O总线与服务器相连。客户机的数据访问必须通过服务器,然后经过I/O总线访问相应的存储设备,服务器实际上起到一种存储转发的作用。连接的客户数量增多时,I/O     

云环境下网络I/O虚拟化的研究与改进

云计算对网络的共性需求体现在无感知服务、资源动态适配、可靠性保障、虚拟化和安全性等方面,然而,虚拟化作为云计算数据中心的关键技术,就是最大化有限的物理资源提供有效的传输服务.为了解决高速网络I/O虚拟化在面临I/O密集的应用时导致的I/O性能降低问题,论文提出了网络I/O性能的优化方法:一种分层处理I/O调度的网络虚拟化模型,对云平台下的VM应用进行递进式的优化I/O策略.实验结果证明提出的模型能够提高网络I/O的性能并提高硬件资源的充分利用.     

关于服务器系统虚拟化技术综述

近些年计算机硬件资源不断升级,计算机的计算性能得到了极大提高,传统单一的I/O系统已经无法满足硬件资源的需求;因此,系统级虚拟化技术被广泛应用于大型服务器系统,从而有效提高了计算机的整体性能。笔者总结了系统级虚拟化按照硬件资源的分类、I/O系统级虚拟化的特点、国内外研究现状及发展趋势,从三个角度全面解读I/O系统级虚拟化技术。     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

负载自适应的存储池数据重构策略

大数据时代各应用领域对计算机存储系统的性能和可靠性需求与日俱增.新型存储介质为计算机存储系统的性能提升提供了良好的机遇,基于固态盘的存储阵列(RAIS)已在各种存储系统中广泛使用.传统RA IS系统中当一块固态盘出现故障时,通过数据重构操作恢复故障盘的数据,重构时间长,且影响对上层应用提供I/O访问服务的能力.针对该问...     

Ro-RAT系统随机调度算法

I/O调度对存储系统的性能、响应速度有很大的影响。本文介绍了一种用于地质勘探领域数据存储的Ro-RAT(ReadOnly RAID-tape-library)系统。该系统采用磁盘作为磁带库的缓存系统,以提高整个系统的读取速度。我们设计了一种适合该系统的磁带I/O调度算法SCAN-M。该算法与应用于磁盘I/O调度的电梯算法类似,但针对磁带的特点进行了调度的排序和合并。从仿真结果看,SCAN-M算法对系统的I/O性能有较大的改进。     

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

嵌入式数字视频监控系统通用存储与检索方案

为了解决现有的嵌入式数字视频监控系统的多路视频存储与检索的结构差异,从而严重制约视频监控系统的可复用性与引起系统I/O瓶颈问题,提出一种嵌入式数字视频监控系统通用存储与检索方案.采用组件化思想构建视频存储与视频检索模块,通过设计存储调度算法减少了I/O瓶颈问题,使用检索控制策略降低了检索拥塞.与以前的系统相比在支持多路视频存储与检索方面表现出改进的性能,同时具有更好的可重用性.     

Block I/O Scheduling on Storage Servers of Distributed File Systems

This paper presents a new scheme of I/O scheduling on storage servers of distributed/parallel file systems, for yielding better I/O performance. To this end, we first analyze read/write requests in the I/O queue of storage server (we name them block I/Os), by using our proposed technique of horizontal partition. Then, all block requests are supposed to be divided into multiple groups, on the basis of their offsets. This is to say, all requests related to the same chunk file will be grouped together, and then be satisfied within the same time slot between opening and closing the target chunk file on the storage server. As a result, the time resulted by completing block I/O requests can be significantly decreased, because of less file operations on the corresponding chunk files at the low-level file systems of server machines. Furthermore, we introduce an algorithm to rate a priority for each group of block I/O requests, and then the storage server dispatches groups of I/Os by following the priority order. Consequently, the applications having higher I/O priorities, e.g. they have less I/O operations and small size of involved data, can finish at a earlier time. We implement a prototype of this server-side scheduling in the PARTE file system, to demonstrate the feasibility and applicability of the proposed scheme. Experimental results show that the newly proposed scheme can achieve better I/O bandwidth and less I/O time, compared with the strategy of First Come First Served, as well as other server-side I/O scheduling approaches.     

一种基于iSCSI的网络RAID设计与实现

RAID是存储系统的基础和关键部件,它通过数据分布存储、并行访问以及信息冗余等技术,极大地扩大了存储容量、增强了I/O请求处理能力、提高了数据可靠性。论文将RAID的思想扩展到了分布的存储网络环境之中,设计了一种基于iSCSI的网络RAID系统,实现了系统原型,并对该系统进行了性能测试和分析。结果表明,该系统可以通过并行数据读写提高存取速度,通过奇偶校验技术提高数据的可靠性。     

Storage wall for exascale supercomputing

The mismatch between compute performance and I/O performance has long been a stumbling block as supercomputers evolve from petaflops to exaflops. Currently, many parallel applications are I/O intensive, and their overall running times are typically limited by I/O performance. To quantify the I/O performance bottleneck and highlight the significance of achieving scalable performance in peta/exascale supercomputing, in this paper, we introduce for the first time a formal definition of the ‘storage wall’ from the perspective of parallel application scalability. We quantify the effects of the storage bottleneck by providing a storage-bounded speedup, defining the storage wall quantitatively, presenting existence theorems for the storage wall, and classifying the system architectures depending on I/O performance variation. We analyze and extrapolate the existence of the storage wall by experiments on Tianhe-1A and case studies on Jaguar. These results provide insights on how to alleviate the storage wall bottleneck in system design and achieve hardware/software optimizations in peta/exascale supercomputing.     

基于Reed-Solomon算法的RAID机制的设计与实现

为了满足海量信息存储可靠性的要求，提出了把Reed Solomon算法应用到RAID系统中的方法，并给出了在Linux环境下系统实现的方案RSRAID。通过对系统性能及可靠性进行测试，并与其他RAID机制进行对比，证明系统具有良好的I/O性能和更高的可靠性。