Linux下一种磁盘节能的预取算法①

数据预取常用来提升系统的性能与吞吐量,对磁盘的能耗考虑甚少。针对此问题,在传统算法之上通过延迟磁盘的异步预取,合并磁盘I／O操作,减少磁盘的能耗状态切换,延长连续休眠时间来达到节能的目的。也通过基于真实运行状态的模拟,对预取算法进行了评估和验证,得出改进后的预取在不影响性能的前提下比标准预取节省17％的能量。     

一种支持并发访问流的文件预取算法

设计并实现了一种按需预取算法,采用更为宽松的顺序性判决条件,并以页面和页面缓存的状态作为可靠的决策依据.它可以发现淹没在随机读中的顺序访问并进行有效的预读,支持对单个文件实例的并发访问而产生的交织访问模式.实验结果表明:相对于原Linux预读算法,该算法在随机干扰下的顺序读性能可提高29%;交织读的性能是传统算法的4~27倍;同时,应用程序可见延迟改善可达35倍.该算法已被Linux 2.6.24内核采用.     

一种智能的预取算法

网络延迟问题是用户QoS的主要问题之一,它依赖诸多因素如网络带宽、传输延迟、排队延迟和客户机及服务器的处理速度。目前主要采用缓存和预取技术来减少网络延迟,但缓存技术所提高的缓存代理服务器的命中率是有限的。该文系统地阐述了目前预取算法的基本思想并把它们分成四类:基于流行度、基于交互、基于访问概率和基于数据挖掘的预取算法。在对它们进行分析比较的基础上,提出了一种智能的预取方案。该方案使用模糊匹配来计算用户对页面的访问概率,同时要控制预取的量和预取的时刻,以避免对网络的性能产生负面影响。     

浅析缓存预取技术

针对计算机系统中CPU与I/O性能差距持续扩大的的问题,引出缓存及预取的概念,并分析预取技术需要处理的几个关键问题。根据预取的发展,介绍并比较几类典型的预取算法。针对目前的各种软硬件新技术,探讨预取技术所面临的困难及其发展趋势。     

一种内存网格的数据预取算法

内存网格(RAM(random access memory) grid)是一种面向广域网上内存资源共享的新型网格系统.它的主要目标是在物理内存不足的情况下,提高内存密集型应用或IO密集型应用的系统性能.内存网格的应用效果取决于网络通信开销.在减少或隐藏网络通信开销的情况下,其性能可以进一步提高.通过对内存网格的分析,设计了一种基于\"推\"数据的内存网格预取机制.借助数据挖掘领域中序列模式挖掘的方法,提出了相应的预取算法.通过基于真实运行状态的模拟,对预取算法进行了评估和验证.     

DiskSeen预取算法的分析及优化研究

计算机存储层次结构是一种典型的金字塔形结构,以平衡计算机对存储系统的两方面需求,即高速处理数据和大的存储容量。然而随着信息技术的飞速发展,计算机处理器和磁盘之间的速度鸿沟持续扩大,因而磁盘访问便成为一个 影响 计算机系统性能的瓶颈问题。近几十年来,如何减小磁盘访问延迟对整个计算机系统性能的影响,一直是存储领域的热点研究问题。预取技术,通过提前预测I/O请求并将数据读入缓存中,以对上层应用程序隐藏I/O延迟,是缓解这一瓶颈问题的重要技术手段。DiskSeen是一种块级预取算法,通过分析磁盘块的位置和访问时间的联系来提高磁盘访问的顺序性和总体的预取性能。针对DiskSeen算法,文中主要做了以下几方面工作:首先,分析DiskSeen算法的不足之处,据此提出动态控制预取粒度和二次匹配激活历史预取方法,以优化效率;然后,实现了DiskSeen算法及改进后的算法;最后,在模拟仿真实验环境下对算法进行了性能对比测试。实验结果显示,DiskSeen算法能够明显提高缓存命中率并减少平均响应时间,而优化后的DiskSeen算法则可以进一步提升上述两方面的系统性能。     

一种自适应的数据预取与缓冲算法

在海量数据中进行的直接查找往往耗时巨大,在实际应用中很难满足实时性的需求,因此采用数据预取和缓冲技术实现对查找操作的优化成为实际系统中的重要环节。自适应的数据预取和缓冲算法是通过使用人工智能中的技术来分析用户的查询习惯,从而实现动态的预取策略并对预取的数据进行缓冲,以达到提高查询速度的目的。文章根据不同的数据查询需求提出了两类智能算法以适应不同的应用场合。在实验中分别针对单个用户的历史查询应用和多用户的并发查询应用分别进行了分析,证明了这两类智能算法分别对不同的应用场合拥有较好的性能。     

一种面向编译器的数据访问节能技术研究

当前针对磁盘功率管理的大部分研究都是把重点放在磁盘空闲周期的利用上;人们相继研究了硬件功率节约机制(比如降速磁盘和多速磁盘)和补充性的软件策略(比如改变代码和数据布局,以提高空闲周期的长度);然而,硬件功率节约机制无法处理高能耗并行应用的短空闲周期,而代码/数据重组策略往往要求大规模的代码更改;提出一种面向编译器的数据访问(I/O调用)调度技术,以节约磁盘能量,在更短的周期内聚集了尽可能多的数据请求,进而延长了磁盘空闲周期,提升硬件功率管理机制的有效性;与先前基于软件的策略相比,该技术不需重组代码或数据;在基于集群的仿真环境下结合6种应用程序对该方法进行评估;结果表明,该方法提升了降速磁盘和多速磁盘的性能,将功率节约平均效果提升了一倍。     

Linux预取算法分析与研究

LinuX作为一个多任务、分时、通用的开源操作系统,越来越广泛地应用于各种商业和企业的服务器。为了提高系统的性能,LinuX采用预取技术将应用程序所需的数据提前加载到缓存中,减少应用程序的I／O等待时间。然而由于服务器系统负载的多样化,导致了预取算法遇到越来越多的挑战。该文主要从分析Linux-2．6．29张涛rc2内核源代码人手,对Linux预取算法的体系结构与内部机制进行了深入分析与研究,并提出了一些改进预取算法的方法．对于进一步提高Linux系统服务器的性能以及LinuX的推广与使用具有重要的意义。     

浅析缓存预取技术

针对计算机系统中CPU与I／O性能差距持续扩大的的问题,引出缓存及预取的概念,并分析预取技术需要处理的几个关键问题。根据预取的发展。介绍并比较几类典型的预取算法。针对目前的各种软硬件新技术,探讨预取技术所面临的困难及其发展趋势。     

多模式并行I/O测试程序Jetter的研究与实现

并行I/O系统有多种存取模式,它们有各自的存取特点和适用范围。为了获得不同模式下的系统性能,并行I/O测试中往往要综合使用多种微测试程序。这不仅要求用户深入了解并行I/O的特点,而且要求他们熟悉各种并行I/O微测试程序的输入与输出。提出并实现了一个并行I/O测试Jetter,它从接口类型、存取模式和进程－文件关系的角度划分了并行I/O接口,不仅能够测试I/O系统在上述模式下的性能,而且简化了测试工作。实际应用Jetter表明,并行I/O系统对不同模式的支持效果不同,最高差异可以达到两个数量级以上,这些测试结论有助于用户开发高质量的并行程序。     

一个基于NOW的并行I/O系统

随着NOW(networksofworkstations)在科学研究中的应用日益广泛,如何为NOW上的科学计算提供高性能的输入、输出成为人们所面临的一个新课题.根据NOW的特点,设计并实现了一个具有NOW特色的采用CollectiveI/O技术的并行I/O系统CION(collectiveI/Oonnowsystem).CION吸取了DDIO(disk-directedI/O)与two-phaseI/O的优点,同时采用了数据筛选等一系列优化技术.初步的测试已经显示了良好的系统性能.     

RAID的并行I／O调度算法分析

由于越来越多的应用受限于I／O,存储系统正起着越来越重要的作用,磁盘阵列RAID是一种提供高性能I／O的最常见存储设备,本文分析了RAID并行I／O调度算法的I／O执行时间和磁盘利用率,为合理配置高性能阵列提供了依据。     

一种高性能I／O方法

并存文伴系统是解决I／O瓶颈问题的重要途径。研究表明,科学应用中跨越式的文件访问模式与现存并行文件系统访问这些数据的方法的结合,对于大型数据集的访问其I／O性能是难以接受的。为了提高并行文件系统中对不连续数据的I／O性能,创建了一种新型高性能I／O方法：用户自定义文件视图结合合并I／O请求。并且在WPFS并行文件系统中实现了该方法。研究和实验结果表明,该方法具有增强科学应用性能的潜力。     

面向科学计算可视化的两级并行数据读取加速方法

为了匹配超级计算机的整体计算能力,超级计算机存储子系统通常具有良好的I/O性能可扩展性,表现为：应用获得存储子系统最佳性能时的I/O访问并发度,与超级计算机系统总计算核数(可达数万至数百万)通常处于同一数量级.然而,科学计算可视化应用通常使用的进程数(等于I/O访问并发度)相对较小(经验上常设为计算进程数的1%,典型值为数个至数百个),因此无法充分发挥超级计算机存储子系统的最佳I/O性能.提出了一种面向科学计算可视化的两级并行数据读取加速方法,在可视化进程内部引入多线程并行数据读取,通过进程间和进程内两级并行,增加超级计算机存储子系统的I/O访问并发度,提升可视化应用数据读取速率.测试结果表明:在不同的可视化进程规模下,两级并行比单级并行峰值数据读取速率提高33.5%~269.5%,均值数据读取速率提高26.6%~232.2%;随着科学计算应用种类以及应用规模的变化,两级并行数据读取可使可视化应用整体峰值运行速度加速19.5%~225.7%,均值运行速度加速15.8%~197.6%.     

基于I/O空闲率的硬盘功耗建模与评估方法研究

存储设备的功耗在整个计算机系统尤其是数据中心所占的比例已经越来越大。要进行硬盘功耗优化;在缺少硬件直接测量硬盘功耗的情况下就需要对硬盘功耗进行建模。现代操作系统通过文件系统层进行硬盘I/O操作管理;并提供实时监控数据。通过对EXT2、EXT4和NILFS2等常用文件系统的硬盘I/O过程进行实验分析;发现不同的文件系统对硬盘功耗具有不同的影响;为了刻画这种差异性;提出基于I/O空闲率的硬盘功耗建模与评估方法。同时使用I/O空闲率来指导硬盘进行功耗优化;将视频播放器的I/O空闲率由4.79%提高到96.55%;硬盘的功耗降低45.28%。