磁带库系统的随机I/O调度算法

由于磁带库随机存取的性能很差,需要研究有效的随机I/O调度策略和算法以改善其在线存取的效率.对已有调度算法进行了分类、提炼和总结,利用仿真实验对静态调度、动态调度和基于复制的调度算法进行了深入研究,讨论了影响各种算法有效性的因素.针对已有算法在较重的负载条件下使系统性能急剧恶化的问题,还提出并研究了一种基于效益-代价均衡的调度算法.该算法引入效益-代价加权的概念,通过调节不同负载下的效益-代价加权比,极大地改善了已有算法在重负载下的有效性.该项研究为设计海量存储系统中的自适应调度算法提供了重要依据.     

一种基于效益-代价均衡的磁带库调度算法

诸如数字图书馆等规模在10¹²字节以上的大型数据库需要在线存取大容量磁带库中的海量数据.由于这些需求都是对海量数据的随机存取,而磁带库的随机存取性能很差,所以,研究有效的磁带库随机I/O调度策略和算法是改善磁带库系统性能的重要课题.提出并研究了一种基于效益-代价均衡的调度算法,给出一种有效的效益-代价加权比的估算方法.该算法根据系统的工作负载特点,动态调节调度的效益和代价的加权比,从而改善了磁带库系统在各种负载下的系统性能.研究解决了已有磁带库调度算法的对工作负载敏感的问题,极大改善了调度算法在重负载下的有效性.     

一种灵活高效的虚拟CPU调度算法

目前,虚拟化已经广泛应用于数据中心,但主流的虚拟CPU调度策略并没有实现对I/O性能的保障,尤其当延时敏感型负载的虚拟机和计算敏感型负载的虚拟机竞争CPU资源时,其性能显著下降.针对上述问题,本文提出了一种灵活、高效的虚拟CPU调度算法（FLMS）.FLMS通过采用虚拟机分类、虚拟CPU绑定、多类时间片等技术降低了虚拟机的响应延时,同时基于多处理器架构重新设计了负载均衡策略,优化了虚拟CPU迁移.FLMS通用于目前主流的虚拟化方案,在软件虚拟化方式下相比于最新的优化方案延时降低了30%,带宽有10%的提升;在使用硬件辅助虚拟化的系统中,通过FLMS能够获得接近原生系统的I/O性能,并且保证了整个系统的公平性.     

基于Intel I/O处理器的虚拟磁带库设计

本文介绍了一种基于Intel公司高性能I/O处理器的虚拟磁带库系统设计方法.在分析了虚拟磁带库功能架构的基础上,结合Intel公司I/O处理器的性能特点,提出了完整的系统实现方案,并详细论述了PCI-X总线、电源模块、Flash与内存以及人机接口等主要部分的设计.最后在Linux环境下经过测试验证,目前已步入产品化进程.     

基于Xen的虚拟磁盘调度算法改进

Xen目前所采用的I/O调度算法能够较好的保证公平性;但在实际应用中,不同的虚拟机可能有不同的性能需求。该文研究了Xen虚拟存储的实现和I/O调度算法的原理,提出了基于反馈的动态优先级调度策略,通过对比测试验证了磁盘带宽在不同虚拟机之间的按需分配。     

磁盘阵列系统I/O调度优化研究

分析了RAID-10系统的并行I/O任务模型,应用模糊函数提出了衡量I/O服务的满意度指标,并应用此指标,提出了一种适用于RAID-10系统I/O任务调度算法,提高了RAID-10系统的实时性能,并改善了负载其平衡能力。     

大规模虚拟地形数据多线程异步调度算法

为了实现大规模虚拟地形环境的实时绘制,提出一种海量地形数据实时调度算法。本文算法基于传统四叉树结构对地形数据进行组织和索引。在此基础上,运用Hilbert填充曲线对数据进行存储优化。然后设计基于I/O完成端口（I/O Completion Port,IOCP）的异步机制,结合多线程技术实现了I/O操作及数据加卸载的合理运作。最后,选取单线程同步I/O算法与本文算法进行实验对比。结果表明,本文算法具有高效的数据调度性能,可以满足大规模地形实时绘制的需求。     

基于任务分类的虚拟CPU调度模型

为了桥接语义鸿沟,提升I/O性能,需要对执行不同类型负载的虚拟CPU（vCPU）采取不同的调度策略,故而虚拟CPU调度算法亟需优化。基于KVM虚拟化平台提出一种基于任务分类的虚拟CPU调度模型STC（virtual CPU scheduler based on task classification）,它将虚拟CPU（vCPU）和物理CPU分别分为两个类型,分别为short vCPU和long vCPU,以及short CPU 和long CPU,不同类型的vCPU分配至对应类型的物理CPU上执行。同时,基于机器学习理论,STC构建分类器,通过提取任务行为特征将任务分为两类,I/O密集型的任务分配至short vCPU上,而计算密集型任务则分配至long vCPU上。STC在保证计算性能的基础上,提高了I/O的响应速度。实验结果表明,STC与系统默认的CFS相比,网络延时降低18%,网络吞吐率提高17%~25%,并且保证了整个系统的资源共享公平性。     

自主协助动态并行I/O调度策略研究

随着处理器速度和网络传输速度的快速提升，I／O成为限制计算机性能的一大瓶颈，并行I／O提供了解决这一问题的有效途径。在并行I／O的实现中，数据访问调度策略对系统的性能有着重要的影响。文章通过对集群计算中现有I／O数据访问调度策略的研究，针对调度器瓶颈问题，提出了自主协助动态I／O调度策略，实验结果表明了所提出策略的有效性。     

基于强化学习的智能I/O调度算法

利用机器学习方法解决存储领域中若干技术难题是目前存储领域的研究热点之一。强化学习作为一种以环境反馈作为输入、自适应环境的特殊的机器学习方法,能通过观测环境状态的变化,评估控制决策对系统性能的影响来选择最优的控制策略,基于强化学习的智能RAID控制技术具有重要的研究价值。本文针对高性能计算应用特点,将机器学习领域中的强化学习技术引入RAID控制器中,提出了基于强化学习的智能I/O调度算法RL-scheduler,利用Q-学习策略实现了面向并行应用的自治调度策略。RL-scheduler综合考虑了调度的公平性、磁盘寻道时间和MPI应用的I/O访问效率,并提出多Q-表交叉组织方法提高Q-表的更新效率。实验结果表明,RL-scheduler缩短了并行应用的平均I/O服务时间,提高了大规模并行计算系统的I/O吞吐率。     

VBR视频流磁盘I/O的平滑调度算法

文章将带宽平滑技术引入磁盘 I/ O调度 ,基于现已取得的研究成果 ,考虑磁盘 I/ O存取特性 ,提出一个针对VBR视频检索的整数块平滑调度算法 .算法所得的结果被证明是优化的 ,实验结果显示该算法在磁盘空间和磁盘 I/ O的带宽利用方面有很好的性能     

三级存储设备随机调度研究

随着信息时代的来临,世界上每时每刻都有大量的数据产生。因此有必要找到一种更加方便和有效的方式来管理这些海量的数据信息。为了解决海量信息管理中的数据存储问题,文章讨论了诸如磁带库、光盘库等三级存储设备在海量存储系统中的应用。另外,针对目前三级存储设备I/O调度算法的一些缺陷,提出了一种自适应的随机I/O调度算法来弥补这些缺点。     

基于SYM53C8XX PCI-SCSI I/O处理器的多线程I/O调度

本文探讨了基于ＳＹＭ５３Ｃ８ＸＸ ＰＣＩ－ＳＣＳＩ　Ｉ／Ｏ处理器的多线程 Ｉ／Ｏ调度的算法及实现。并分析了一个多线程Ｉ／Ｏ调度的实例。     

网络磁盘阵列中基于任务排队的多用户请求动态调度策略

在存储系统中,底层I/O调度策略十分重要,它决定了整个存储系统的效率.一个良好的调度策略可以有效地提高系统的性能.结合网络磁盘阵列的工作特点,提出了一种基于任务排队的动态调度算法,其基本思想是充分利用多个网络用户的请求数据在网络磁盘阵列上的空间连续性,最大限度地减小磁头寻道延迟和旋转延迟,从而降低系统的响应时间.     

Optimizing I/O server placement for parallel I/O on switch-based irregular networks

In this paper, we study I/O server placement for optimizing parallel I/O performance on switch-based clusters, which typically adopt irregular network topologies to allow construction of scalable systems with incremental expansion capability. Finding optimal solution to this problem is computationally intractable. We quantified the number of messages travelling through each network link by a workload function, and developed three heuristic algorithms to find good solutions based on the values of the workload function. The maximum-workload-based heuristic chooses the locations for I/O nodes in order to minimize the maximum value of the workload function. The distance-based heuristic aims to minimize the average distance between the compute nodes and I/O nodes, which is equivalent to minimizing average workload on the network links. The load-balance-based heuristic balances the workload on the links based on a recursive traversal of the routing tree for the network. Our simulation results demonstrate performance advantage of our algorithms over a number of algorithms commonly used in existing parallel systems. In particular, the load-balance-based algorithm is superior to the other algorithms in most cases, with improvement ratio of 10 to 95% in terms of parallel I/O throughput.     

一个基于NOW的并行I/O系统

随着NOW(networksofworkstations)在科学研究中的应用日益广泛,如何为NOW上的科学计算提供高性能的输入、输出成为人们所面临的一个新课题.根据NOW的特点,设计并实现了一个具有NOW特色的采用CollectiveI/O技术的并行I/O系统CION(collectiveI/Oonnowsystem).CION吸取了DDIO(disk-directedI/O)与two-phaseI/O的优点,同时采用了数据筛选等一系列优化技术.初步的测试已经显示了良好的系统性能.     

基于FFT并行算法的并行I/O性能的研究

该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。     

关于I/O模拟的讨论

详细分析Windows的I/O机制,提出了分别在用户级、系统级、驱动级的I/O模拟操作,通过实际案例和源代码分享在I/O模拟上的得失,着重介绍鼠标与键盘的模拟。     

水泥生产线上PCS7系统集中和分布式I/O扩展

PCS7近年来在新型干法水泥生产线DCS系统中得到了广泛应用。PCS7与过程信号的连接有两种方式：集中式I／O扩展和分布式I／O扩展,目前这两种方式在新型千法水泥生产线上都有应用,相对而言,分布式I／O扩展在新型干法水泥生产线上具有更大的优势。     

基于NOW的Collective I/O技术研究

随着ＮＯＷ在科学研究中白益广泛的应用,如何为ＮＯＷ上的科学计算提供高性能的输入输出成为我们面临的一个新课题。作者根据ＮＯＷ的特点,设计并实现了一个具有ＮＯＷ特色的基于ＣｏｌｌｅｃｔｉｖｅＩ／Ｑ的并行Ｉ／Ｏ系统,吸取了ＤＤＩＯ与ｔｗｏ－ｐｈａｓｅＩ／Ｏ的优点,从而有效地解决了高带宽和低延迟问题。初步的系统吞吐量测试显示了良好的性能。