网络存储系统中I/O请求响应时间的研究

网络存储技术从很多方面改善了传统基于主机的存储系统的不足，但由于在数据存储和处理之间增加了网络，对整个I／O请求过程产生很大的影响，使得I／O性能难以准确地估计．通过对两种常用的网络存储系统——NAS和SAN的基本存储过程进行分析，提出了针对网络存储系统中I／O响应时间的性能评估模型．通过实验，发现这个模型在很大程度上能够对存储网络的性能进行评价．结果表明存储网络的性能不光和存储设备以及网络设备的物理性质有关，还和具体的负载状况密切联系．另一方面，FC(光纤通道)对负载状况的依赖性远远小于TCP／IP网络，就I／O响应速度而言，FC有更好的性能．     

SAN异构存储共享系统实现技术研究

以SAN异构存储共享系统的实现技术为核心,提出了一个基于SAN的用户级应用型存储共享系统模型,无需改变开放系统内核,可利用开放系统的系统调用来优化磁盘I／O性能,易于实现、维护和移植。详细描述了系统的设计思想和实现方法,并重点对动态库模块进行了研究。在与日本某大公司的合作项目中已实现了该系统,性能评测表明其具有接近于本地存储系统的性能。     

使用聚集I/O传输的方法提高网络存储系统的性能

网络存储技术为存储系统提供了更高的扩展性、可用性以及更好的灵活性,并且已经广泛应用到各种领域．但小I／O严重影响网络存储系统的性能,现有的一些方法缺少理论模型．通过排队理论建立聚集I／O传输的数学模型,然后在典型的IP网络存储(NAS)系统中,分别在NAS存储设备和客户两端设计了聚集模块,称之为CFS(chunk file system),实现双向聚集I／O．最后对CFS进行了实验,结果和理论分析基本吻合,说明聚集I／O传输能够改善网络存储整体性能．     

网络存储I/O流水机制研究

将I／O请求处理划分为多个阶段，为流水线技术引入网络存储提供了新思路．同时，I／O请求处理的各阶段必定通过缓存（内存）来传递或处理数据．I／O请求处理除了直通方式外，大部分依赖存储转发方式（例如对I／O命令的聚散、排队操作等），存储转发的方式下的网络存储I／O流水线具有一些新的特点厦其自身特有的制约因素．探讨I／O流水机制，对提高网络存储系统整体性能，具有一定的指导及实践意义．     

一种面向大规模数据密集计算的缓存方法

随着高性能计算机逐步应用在大规模数据处理领域,存储系统将成为制约数据处理效率的主要瓶颈.在分析了影响数据密集型计算I/O性能若干关键因素的基础上,提出使用计算结点本地存储构建协作式非易失缓存、以分布式存储架构加速集中式存储架构的方法.该方法基于应用层协同使用分布化的本地存储资源,使用非易失存储介质构成大缓存空间,存放大规模数据分析的中间过程结果,以此实现高缓存命中率,并利用并发度约束控制等手段避免I/O竞争,充分利用本地存储的特定性能优势保证缓存加速效果,从而有效地提高了大规模数据处理过程的I/O效率.基于多平台多种I/O模式的测试结果证实了该方法的有效性,聚合I/O带宽具有高扩展性,典型数据密集应用的整体性能最大可提升6倍.     

基于RAM/Disk混合设备模型的FC-SAN存储系统

磁盘存取是基于光纤通道网络的SAN存储系统的目前性能瓶径,在综合和分析目前各种文件系统I／O操作工作负载的研究结果的基础上,提出了一个新的改进FC-SAN存储系统性能的方法：将各种文件系统I／O操作分为大数据量的文件读写操作、小数据量的文件读写操作和文件属性操作,大数据量的文件读写操作还是按照原来的I／O路径进行,存取物理磁盘;但其他各种文件操作包括小数据量的文件读写操作对基于内存的RAMDisk设备进行操作,实验结果显示,基于混合I／O子系统的FC-SAN存储系统的存取速率可以接近线速。     

基于VIA的存储局域网的设计与研究

存储局域网（Storage Area Network，SAN）以其自身的优势越来越多的应用在企业数据存储领域．目前主流的SAN包括采用FC（Fibre Channel）协议的FC SAN与采用IP（Internet Protocol）协议的IP SAN．FC SAN存在价格昂贵，互操作性差等不足；IP SAN虽然价格低廉，但IP协议本身并不适合于传输存储I／O数据．为了克服这些不足，本文探讨了一种用VIA（Virtual Interface Architecture）协议替代IP协议的VIA-SAN，并通过实验分析比较了VIA协议相对于IP协议的性能优势．     

SANS--IP-SAN模拟器的设计与实现

随着存储系统的发展,存储区域网络成为高端存储系统的主流,它具有网络和存储的特点,有更高的性能和更强的灵活性。FC—SAN和IP—SAN是基于不同协议实现的存储区域网络,随着高速IP的发展,IP-SAN具有更好的发展前景。目前尚没有根据IP—SAN的特点设计的模拟器,该文总结了IP-SAN的特点,并在NS2的基础上,增加对应的协议(iSCSI)和存储节点,实现了可以模拟存储区域网络特性的IP—SAN模拟器,为进一步研究存储网络的I／O性能和调度策略等奠定了基础。最后利用该模拟器,对单路径和双路径传输的性能进行了对比实验。     

SCSI子系统中间层多启动互连多路径I/O的存储方式的研究

面对当前应用对现代存储的高性能以及可用性、可靠性的新的要求，在Multi—Initiator—Uni—Port的基础之上提出了SCSI中间层多启动互连多路径I／O的存储方式．它能够在Multi—Initiator—Uni—Port的连接中对同一个Target端口采用不同的I／O路径进行存储，减少了由于单路径I／O传输错误导致系统单点失效的可能性，增强了存储系统的可用性和可靠性；同时，这种存储方式还能够很好地平衡系统的I／O负载，提高系统的吞吐率，提供比传统单路径更好的传输性能．在Linux2．4内核中的SCSI子系统的基础之上实现了这种存储方式，向系统屏蔽了SCSI子系统中的设备具体细节，并且不依赖于SCSI上层的实现，减少了对系统内核的资源占有率，提高了SCSI底层的执行效率．分析了SCSI中间层多启动互连多路径I／O的存储方式的原理，并且将iSCSI的体系结构应用到它的模拟测试中，得到了R—R路径选择分配策略的性能临界点，取得了令人满意的结果．     

基于多路径地震资料处理集群存储系统

石油物探的深水海洋地震资料处理是大规模企业级高端存储系统的重要应用领域,满足计算量庞大地震资料叠前成像偏移的I/O访问需求,需要先进的集群存储体系结构和合理优化的系统部署.提出了一种基于多路径的地震资料处理集群存储系统的具体解决方案.从系统架构、文件系统、SAN网络、多路径软件、存储虚拟化等方面进行了设计与实现.集群存储系统的测试与运行表明该存储系统的正确性和优越性.     

基于FC-SW存储区域网络的存储系统性能

分析FC-SW存储区域网络(SAN)的网络拓扑结构以及RAID等相关内容,描述在FC-SW SAN中的数据访问流程,在抽象FC-SW SAN的基础上利用排队理论对FC-SW SAN中的存储性能进行分析。阐述磁盘高速缓存命中率、I/O访问读写概率以及网络交换机FC-SW对I/O响应时间的影响。     

云计算虚拟化与SAN存储大集中集成研究

云计算的兴起,虚拟化技术得到了空前的发展,但虚拟化技术性能和安全性有一定的局限性,本论文提出了应用虚拟化与SAN存储大集中集成应用。通过对虚拟化和SAN存储大集中全面分析与研究,以现有的国内外主流的应用虚拟化、SAN存储大集中的分析为基础,重点剖析了在云计算环境下应用虚拟化与SAN存储大集中的主流技术与解决方案,并指出集成应用的未来的发展趋势,最终阐述了为什么应用虚拟化与SAN存储大集中集成应用才是解决之道。     

存储区域网的性能测试

存储区域网是一种新的网络存储体系结构,通过集中管理机制和采用光纤通道作为传输协议,满足了海量信息的存储和快速传输的需求,比传统的直接连接存储模式具有更高的性能、可靠性和扩展性,成为存储领域重要的研究方向。文章介绍了存储区域网的技术特性和构建方法,给出了一个实际的存储区域网的结构,并对此存储区域网进行了性能测试,探讨了实际应用情况下存储区域网的传输性能和优化方法。     

分布式虚拟化存储在公安专科类学校中的应用

随着云计算、大数据等新技术和应用的不断涌现,传统SAN存储在扩展性等方面暴露出不足之处。虽然依照传统存储的思路构建了大容量+高性能的存储架构,但是在数据量大幅增加、云计算和互联网应用逐渐增多的情况下,公安专科类学校需要一套新的具有高性能、易扩展、易管理等特性的存储架构。vSAN通过软件的不断更新升级,能支持越来越多的功能,性能也得到不断提升,其产品发展进程已经完全改变了原来以硬件为主的存储架构演进;随着数据镜像复制、虚拟机双机热备、容灾等高级功能的推出,其完全突破了传统IT架构,大幅度提高了系统的性能和安全性,IT管理、数据管理等都将面临变革。上海公安高等专科学校是国内首个成功部署并上线运行VMware vSAN虚拟化分布式存储的单位,它在VMware vSAN项目实施过程中遇到的问题以及应对之策对于其他用户的分布式存储实践和VMware公司的产品改进都具有很积极的意义。     

一种保证服务品质的存储网络性能自调节方法

给不同的存储应用分配合适的存储资源是确保存储服务品质的首要条件,使用自动管理的方式可以有效地减少管理开销,提高管理效果。提出了一种根据系统状态和服务要求自动完成物理资源的分配和调整的方法,首先提出了存储集群框架和资源映射算法,并提出了性能分析优化算法和自管理结构,另外还补充了几个实现过程中提高管理效率的方法。在存储集群的基础上,该方法的实现对存储应用是透明的。     

Analysis of NUMA effects in modern multicore systems for the design of high-performance data transfer applications

To capitalize on multicore power, modern high-speed data transfer applications usually adopt multi-threaded design and aggregate multiple network interfaces. However, NUMA introduces another dimension of complexity to these applications. In this paper, we undertook comprehensive experiment on real systems to illustrate the importance of NUMA-awareness to applications with intensive memory accesses and network I/Os. Instead of simply attributing the NUMA effect to the physical layout, we provide an in-depth analysis of underlying interactions inside hardware devices. We profile the system performance by monitoring relevant hardware counters, and reveal how the NUMA penalty occurs during prefetch and cache synchronization processes. Consequently, we implement a thread mapping module in a bulk data transfer software, BBCP, as a practical example of enabling NUMA-awareness. The enhanced application is then evaluated on our high-performance testbed with storage area networks (SAN). Our experimental results show that the proposed NUMA optimizations can significantly improve BBCP’s performance in memory-based tests with various contention levels and realistic data transfers involving SAN-based storage.     

一种使用存储代理机制的非对称虚拟存储系统

随着网络时代的迅猛发展,网络上的信息数据量也在飞速增长,这种状况对存储系统提出了更高的要求。SAN,NAS,存储虚拟化等新的存储技术随之不断涌现出来。虚拟存储系统由于其功能的强大和使用上的便利,日益受到人们的关注。本文介绍一种基于SAN的虚拟存储系统,以及其中使用到的存储代理机制。     

基于IP的SAN存储区域网络技术

SAN是一个连接服务器和存储设备的网络,是存储区域中最流行的技术。详细阐述和分析了基于iSCSI协议的IP SAN环境。通过IP SAN与InfiniBand服务器结构的整合方式,表明IP SAN具有高性能、低成本和数据共享的优势。     

面向科学计算可视化的两级并行数据读取加速方法

为了匹配超级计算机的整体计算能力,超级计算机存储子系统通常具有良好的I/O性能可扩展性,表现为：应用获得存储子系统最佳性能时的I/O访问并发度,与超级计算机系统总计算核数(可达数万至数百万)通常处于同一数量级.然而,科学计算可视化应用通常使用的进程数(等于I/O访问并发度)相对较小(经验上常设为计算进程数的1%,典型值为数个至数百个),因此无法充分发挥超级计算机存储子系统的最佳I/O性能.提出了一种面向科学计算可视化的两级并行数据读取加速方法,在可视化进程内部引入多线程并行数据读取,通过进程间和进程内两级并行,增加超级计算机存储子系统的I/O访问并发度,提升可视化应用数据读取速率.测试结果表明:在不同的可视化进程规模下,两级并行比单级并行峰值数据读取速率提高33.5%~269.5%,均值数据读取速率提高26.6%~232.2%;随着科学计算应用种类以及应用规模的变化,两级并行数据读取可使可视化应用整体峰值运行速度加速19.5%~225.7%,均值运行速度加速15.8%~197.6%.