Linux下一种磁盘节能的预取算法①

数据预取常用来提升系统的性能与吞吐量,对磁盘的能耗考虑甚少。针对此问题,在传统算法之上通过延迟磁盘的异步预取,合并磁盘I/O操作,减少磁盘的能耗状态切换,延长连续休眠时间来达到节能的目的。也通过基于真实运行状态的模拟,对预取算法进行了评估和验证,得出改进后的预取在不影响性能的前提下比标准预取节省17%的能量。     

DiskSeen预取算法的分析及优化研究

计算机存储层次结构是一种典型的金字塔形结构,以平衡计算机对存储系统的两方面需求,即高速处理数据和大的存储容量。然而随着信息技术的飞速发展,计算机处理器和磁盘之间的速度鸿沟持续扩大,因而磁盘访问便成为一个 影响 计算机系统性能的瓶颈问题。近几十年来,如何减小磁盘访问延迟对整个计算机系统性能的影响,一直是存储领域的热点研究问题。预取技术,通过提前预测I/O请求并将数据读入缓存中,以对上层应用程序隐藏I/O延迟,是缓解这一瓶颈问题的重要技术手段。DiskSeen是一种块级预取算法,通过分析磁盘块的位置和访问时间的联系来提高磁盘访问的顺序性和总体的预取性能。针对DiskSeen算法,文中主要做了以下几方面工作:首先,分析DiskSeen算法的不足之处,据此提出动态控制预取粒度和二次匹配激活历史预取方法,以优化效率;然后,实现了DiskSeen算法及改进后的算法;最后,在模拟仿真实验环境下对算法进行了性能对比测试。实验结果显示,DiskSeen算法能够明显提高缓存命中率并减少平均响应时间,而优化后的DiskSeen算法则可以进一步提升上述两方面的系统性能。     

虚拟机环境下软件按需部署中的预取机制

针对大规模虚拟机环境下软件的按需部署,提出了一种基于预取的按需软件部署优化机制,能够降低用户端虚拟机的启动延迟以及为用户提供更好的虚拟机本地运行性能.基于用户使用软件的行为特点以及虚拟磁盘映像的细粒度分割,预取机制在后台对服务器端存储的虚拟磁盘映像进行预取,通过一种基于访问频率和优先级的预取目标识别算法AFPTR(access frequency and priority-based prefetch target recognition)和一种预取量动态调节机制,将预取集中在用户使用的少数小尺寸的虚拟磁盘映像上,并在预取过程中对预取量进行动态自适应地调节,以提高虚拟磁盘访问的本地命中率,进而提高用户端虚拟机的运行性能.基于QEMU虚拟机和Linux平台,实现了基于预取的按需软件部署原型系统.实验结果表明,预取机制能够有效地降低虚拟机的启动延迟,并能提高虚拟机的本地运行性能,支持虚拟机环境下按需、快速的软件部署.     

多Markov链预取模型在网络内存系统中的应用

主机通过高速网络访问远程内存的性能已经达到或远高于访问本地磁盘的性能，通过各种优化手段，网络内存系统的性能能得到更好的提升。该文基于一个Linux网络内存系统(LNMS)，在客户端一级提出了一种新的预取算法m-ppm，该算法发展了多Markov链预取模型，使之更适合LNMS。在LNMS上实现了另2种常用的预取算法以作比较，实验数据表明，m-ppm算法对多用户模式更有效。     

多线程环境下基于多预取点的文件预取

为解决当前Linux内核的预取算法在多线程情况下出现预取误判的问题,依据多线程环境下进程对磁盘文件的访问特点,提出一种基于多预取点的预取算法。在Linux内核原有的预取算法的基础上,结合多线程环境下应用程序对数据的访问模式,在Linux内核的页面缓存层进行了实现。实验和分析表明,在IOzone单线程测试中,该算法和Linux内核原预取算法性能相当;在多线程测试中,读取相同大小的文件,耗时比Linux内核原预取算法至少少1/3。新算法对于提高I/O并行度,从而提高整个计算机系统并行化很有帮助。     

PostgreSQL数据库预取算法研究

减少磁盘的存取时间是提高数据库性能的关键.本文讨论了PostgreSQL数据库顺序存取的特性,提出了一种PostgreSQL中顺序预取数据块的算法,预取的数据块数目可根据当前存取块之前的顺序存取情况作自适应调整.实验结果表明,该算法能有效地提高磁盘块的平均存取速度.     

基于语义信息的cache管理策略

针对传统的cache在预取时不判断预取数据块的状态,导致一些不必要的I/O,同时降低cache命中率的缺点,提出了一种基于语义信息的cache管理策略.该策略首先通过收集语义信息让磁盘了解文件系统在磁盘上的数据布局,磁盘上每个数据块是活跃的还是死亡的,并得出磁盘上分区数据块的活跃度.然后根据语义信息在预取的时候不预取死亡的块,在活跃度高的分区上提高预取参数,而在cache替换出数据块时对于死亡块不进行写盘操作.实验结果表明该策略可以较好提高cache命中率进而提高系统的吞吐量.     

PRCD技术及其软件实现

介绍了一种新的磁盘存储体系结构PRCD（prefetching RAM caching disk,预取主存缓冲磁盘技术）。该技术通过收集小写转换成为一次大写请求提高系统的写性能，并采用数据块预取技术大大提高系统的读性能。还介绍了基于Windows NT平台的PRCD的软件实现方法。     

一种面向视频播放系统的RAID并行预取技术及实现

随着视频数字化技术的广泛应用，视频播放系统中的存在“瓶颈”也日益突出，在分析视频存储系统磁盘阵列的I／O调度算法和在实际应用中视频数据的特点的基础上，提出一种面向视频媒体服务的RAID并行预取实时调度算法，它利用未来数据的可行预测性，预先将其从磁盘取入缓冲区，同时优化任务调度，使主机数据的回送和从磁盘预取数据同步执行，进一步提高了阵列的I／O吞吐率，用I／Ometer测试结果证明，新算法具有很好的性能。     

S-RAID中基于连续数据特征的写优化策略

节能型磁盘阵列S-RAID通过对磁盘分组,关闭部分磁盘,降低存储系统部分性能来实现节能.为避免启动已关闭磁盘而产生额外能耗,S-RAID中的写操作全部采用"读-改-写"方式,影响了S-RAID的写性能.本研究提出一种S-RAID的优化结构:LS-RAID,在不提高存储系统能耗的条件下,优化S-RAID的写性能.LS-RAID适用于以连续访问为主的应用,通过磁盘分区,分离存储系统中的随机访问和顺序访问,降低了随机访问对存储系统性能的影响;提出一种数据增量校验算法,避免了写过程中对数据盘旧数据的读操作,降低了因"读-改-写"导致的写惩罚.实验表明,与S-RAID相比,在不增加系统能耗的情况下,LS-RAID的写速率可以提升至少56%.在提供相同写性能的条件下,LS-RAID可以关闭更多磁盘,进一步降低了存储系统能耗,提升了节能效果.     

LNMS网络内存系统及性能优化技术

在Linux环境下设计并实现了一个两级服务结构的网络内存系统(LNMS)。LNMS较传统网络内存系统具有更好的可扩展性。对LNMS提出了两种性能优化技术：预取和主动内存技术。在预取优化方面，针对并发应用提出一种M-PPM算法。主动内存技术则发掘了内存服务器的计算能力。实验表明，两种优化技术可有效地提升网络内存系统的性能。     

基于磁盘表存储FP-TREE的关联规则挖掘算法

随着现实待挖掘数据库规模不断增长,系统可使用的内存成为用FP-GROWTH算法进行关联规则挖掘的瓶颈.为了摆脱内存的束缚,对大规模数据库中的数据进行关联规则挖掘,基于磁盘的关联规则挖掘成为重要的研究方向.对此,改进原始的FP-TREE数据结构,提出了一种新颖的基于磁盘表的DTRFP-GROWTH(disk table resident FP-TREE growth)算法.该算法利用磁盘表存储FP-TREE,降低内存使用,在传统FP-GROWTH算法占用过多内存、挖掘工作无法进行时,以独特的磁盘表存储FP-TREE技术,减少内存使用,能够继续完成挖掘工作,适合空间性能优先的场合.不仅如此,该算法还将关联规则挖掘和关系型数据库整合,克服了基于文件系统相关算法效率较低、开发难度较大等问题.在真实数据集上进行了验证实验以及性能分析.实验结果表明,在内存空间有限的情况下,DTRFP-GROWTH算法是一种有效的基于磁盘的关联规则挖掘算法.     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

磁盘物理参数提取的研究

当前计算机系统中,磁盘的性能无法与CPU和内存的性能匹配,导致I/O成为系统的主要性能瓶颈。最新研究表明,基于磁盘准确的物理特性进行相应的磁盘访问优化是提高磁盘I/O的有效方法。然而,磁盘厂商提供的物理参数一般都不够详细和准确,无法直接用于优化算法的实现。因此需要建立正确的磁盘模型,准确高效地提取磁盘的物理参数。该文在分析磁盘的物理结构,建立准确物理模型的基础上,设计并实现了新的磁盘物理参数提取通用算法,与现有的其他磁盘物理参数提取的算法相比,该算法在保证参数提取准确性的同时能够大幅度提高执行效率,缩短执行时间。     

一种基于磁盘的大数据集快速异常检测算法

异常点检测是数据挖掘的一个重要研究方向，基于Cell的异常点检测算法生成的Cell（单元）数与维数成指数增长．当生成的单元数增多及数据量增大时，基于Cell的算法不能有效工作．分析发现这些单元中存在很多无用的空单元．本文采用CD-Tree结构对非空单元进行索引，并采用聚簇技术，将每个单元中的数据点存放在同一个磁盘页链中．实验表明，采用CD-Tree以及聚簇技术设计的异常点检测磁盘算法的效率，以及所能处理的数据集维数较原基于Cell的磁盘算法都有显著的提高．     

Energy-aware disk scheduling for soft real-time I/O requests

In this work, we develop energy-aware disk scheduling algorithm for soft real-time I/O. Energy consumption is one of the major factors which bar the adoption of hard disk in mobile environment. Heat dissipation of large scale storage system also calls for an energy-aware scheduling technique to further increase the storage density. The basic idea in this work is to properly determine the I/O burst size so that device can be in standby mode between consecutive I/O bursts and that it can satisfy the soft real-time requirement. We develop an elaborate model which incorporates the energy consumption characteristics, overhead of mode transition in determining the appropriate I/O burst size and the respective disk operating schedule. Efficacy of energy-aware disk scheduling algorithm greatly relies on not only disk scheduling algorithm itself but also various operating system and device firmware related concerns. It is crucial that the various operating system level and device level features need to be properly addressed within disk scheduling framework. Our energy-aware disk scheduling algorithm successfully addresses a number of outstanding issues. First, we examine the effect of OS and hard disk firmware level prefetch policy and incorporate its effect in our disk scheduling framework. Second, our energy aware scheduling framework can allocate a certain fraction of disk bandwidth to handle sporadically arriving non real-time I/O’s. Third, we examine the relationship between lock granularity of the buffer management and energy consumption. We develop a prototype software with energy-aware scheduling algorithm. In our experiment, proposed algorithm can reduce the energy consumption to one fourth if we use energy-aware disk scheduling algorithm. However, energy-aware disk scheduling algorithm increases buffer requirement significantly, e.g., from 4 to 140 KByte. We carefully argue that the buffer overhead is still justifiable given the cost of DRAM chip and importance of energy management in modern mobile devices. The result of our work not only provides the energy efficient scheduling algorithm but also provides an important guideline in capacity planning of future energy efficient mobile devices. This paper is funded by KOSEF through Statistical Research Paper for Complex System at Seoul National University.     

The suffix-signature method for searching for phrases in text

We present a new algorithm to find all occurrences of a given phrase based on the data structure known as a suffix array and using a corresponding array of signatures. With this algorithm, matches to phrases of moderate length can be found with expected search time of one disk access to the text and one disk access to its index. To achieve this performance for phrases of up to five words in length requires an index having total size of approximately 120% of the size of the text. The algorithm guarantees a worst case search performance of two disk accesses to the text per phrase search. Experiments with actual data ranging in size from 6Mb to 550Mb and with actual query patterns derived from logs of searches on the World Wide Web show that the approach is applicable in practice to a variety of texts and realistic phrase searches.     

基于Kalman滤波的滑模控制在磁盘驱动系统中的应用

针对磁盘驱动伺服系统中存在的诸多随机干扰和随机噪声等特点,常规的PID控制在该类系统中存在滞后或超调,以及传统的滑模控制要求系统不确定因素的边界为已知等缺点,本文提出了基于Kalman滤波算法的指数趋近律滑模变结构控制方法,以指数趋近律作为到达条件设计滑模变结构控制器。该方法能够较好地处理磁盘驱动伺服系统中的不确定性问题,而且对外界干扰不敏感。在MAT-LAB环境下对该算法进行了仿真试验研究,结果表明,该方法能够很好地削弱抖振和抑制伺服系统的随机干扰。将该方法应用于磁盘驱动伺服系统可以显著地改善系统的动态特性,并能使系统的稳定性和控制精度大大提高。     

GEP在磁盘负载均衡方面的应用研究

如何提高存储子系统的 I/O性能一直以来都是计算机领域的一个研究热点 ,而目前提高存储子系统的 I/O性能的一个最大障碍就是负载不均衡。提出了一种采用基因表达式编程 ( GEP)来实现基于分条技术的磁盘动态负载均衡的算法。该方法包括基于分条技术的文件划分算法和为实现负载均衡的文件分配算法。该算法采用多基因家族结构的染色体编码来表示物理磁盘组与逻辑磁盘的映射关系。在操作上 ,采用选择复制、倒置和交换等特殊的搜索算子。     

移动对象数据库预测范围聚集查询技术研究

针对预测范围聚集查询处理技术，提出了一种面向移动对象的聚集TPR树索引。聚集TPR树索引在TPR树中间节点中加入移动对象聚集信息以减少预测范围聚集查询所需要的节点访问代价。并增加了一个建于移动对象标识上的哈希辅助索引结构以支持自底向上的删除搜索算法，具有很好的动态更新性能和并发性。提出了一种EPRA查询算法，采用更精确的剪枝搜索准则，大大减少了查询所需要访问的磁盘节点，具有良好的查询性能。