流媒体缓存的自适应统计窗缓存算法

网络带宽和磁盘I/O带宽是视频点播系统的两大瓶颈.为了缓解磁盘I/O带宽问题,本文引入统计窗概念.提出自适应统计窗缓存算法,采用周期性缓存决策方法管理缓存的流媒体数据,同时采用区分优先级缓存策略和冗余释放策略提高算法性能.采用实际点播数据进行的仿真研究表明:自适应统计窗缓存算法的性能优于定长分段、指数分段和自适应分段算法,特别是在VCR操作时,本算法的性能更佳.     

一种闪存敏感的多级缓存管理方法

基于闪存的固态硬盘(solid state driver,简称SSD)已经广泛应用于各种移动设备、PC机和服务器.与磁盘相比,尽管SSD具有数据存取速度高、抗震、低功耗等优良特性,但SSD自身也存在读写不对称、价格昂贵等不利因素,这使得SSD 短期内不会完全取代磁盘.将SSD和磁盘组合构建混合系统,可以发挥不同的硬件特性,提升系统性能.基于 MLC 型 SSD 和 SLC 型 SSD 之间的特性差异,提出了一种闪存敏感的多级缓存管理策略——FAMC.FAMC将SSD用在内存和磁盘之间作扩展缓存,针对数据库系统、文件管理中数据访问的特点,有选择地将内存牺牲页缓存到不同类型的SSD.FAMC同时考虑写请求模式和负载类型对系统性能的影响,设计实现对SSD友好的数据管理策略.此外,FAMC基于不同的数据置换代价提出了适用于SSD的缓冲区管理算法.基于多级缓存存储系统对FAMC的性能进行了评测,实验结果表明,FAMC可以大幅度降低系统响应时间,减少磁盘I/O.     

WindowsNT环境下缓存磁盘技术驱动程序的设计与实现

随着计算机性能的迅速提高,系统越来越强烈地要求所配置的高速外存储器有更好的联机性能,I／O性能增长与CPU速度增长的严重失配,使I／O并颈问题日超严重,本文研究了Windows NT系统下的一种用来改善磁盘小写I／O（写请求的长度小于16K）性能的新途径0－缓存磁盘技术,它采用了多级Cache的存储思想,在办公／工程负载环境中的
峰值性能相对于常规磁盘有很大的提高。本文深入了研究了缓存磁盘技术在Windows NT环境下驱动程序的结构和原理,并详细阐述了具体的实现机制和方法。     

双粒度协议下基于hint的启发式缓存替换算法

合作式缓存技术是提高机群文件系统性能的关键技术之一.s2fs(scalable single-image file system)是一个单一映像机群文件系统原型,它利用双粒度协议实现了符合严格UNIX语义的合作式缓存.该文为s2fs设计了基于hint的启发式缓存替换算法,并为其建立了性能分析模型.分析结果表明,同现有的合作式缓存替换算法N-chance相比,启发式算法几乎在所有情况下都有效地降低了I/O的响应时间.     

网络存储系统中低开销高性能的第二级缓存替换算法的研究

针对网络存储访问特性所带来的第二级缓存性能降低的问题,提出了一种高性能的第二级缓存替换算法。本算法采用顺序页面检测机制,能根据缓存页面顺序程度的不同做出替换选择,以减少缓存失效引起随机访问磁盘的次数,避免不必要的磁头寻道和旋转开销,从而改善整个存储系统的性能。实验结果表明,在多种缓存大小下,本文算法能显著降低有效响应时间,使网络存储系统达到更优的性能。     

面向SSD/HDD混合存储的动态缓存调度算法DRC

云计算与大数据的发展,对存储系统的性能提出了越来越高的要求。这些系统中的任务具有高并发度特征,使得存储系统的数据访问呈现随机化。SSD具有优异的随机读写性能,但其写入次数受到限制,成本高昂,因此,基于SSD-HDD的混合系统成为存储技术发展的主要方向。面向SSD-HDD混合存储提出了一种基于动态替换代价的缓存调度算法(DRC),以请求中的热点数据以及替换数据的代价作为缓存替换依据,不仅有效地提高了缓存命中率,而且,通过减少磁盘随机写操作提升了系统的整体性能。实验结果表明,在高并发读写的场景下,DRC算法相对于LRU或FIFO算法缓存命中率提升可达11.6%,IO速度最多提升16.7%,在各种缓存大小条件下均取得了显著的性能提升。     

基于内存网格的磁盘缓存设计与实现

内存对计算机系统的性能具有重要影响,内存网格能够共享跨域的开放网络环境中的内存资源,以磁盘缓存的形式提高系统性能.为实现缓存对应用的透明性,提出了动态修改操作系统内核的二进制代码.实现文件系统读写流程的截获和重定向;并提出了基于内核线程的异步缓存写入方法.提高写缓存的效率.通过原型系统及实验,说明上述方法既不需要修改鹰用程序、也不需要修改操作系统源代码,并且能充分利用共享的内存资源+提高系统的I/O性能.     

基于免疫安全存储设备IBSSD的研究与实现

基于智能磁盘的安全存储设备是当前安全存储系统研究的热点问题.为解决现有安全存储设备I/O性能低的问题,引入人工免疫算法,实现高效的访问控制模块.首先给出基于免疫安全存储设备的结构,以及基于免疫访问控制模块中主要元素的定义,针对存储设备的特点,设计了差异选择算法和混合检测算法.实现了基于免疫访问控制的原型系统,验证了系统能高效地识别非法数据访问请求.修改开源存储区域网系统-Lustre中智能磁盘模块的代码,构建基于免疫安全存储设备的原型系统,测试了I/O性能.结果验证了基于免疫安全存储设备的I/O损失较小,能构成较高性能的安全存储系统.     

磁盘缓存管理机制研究

磁盘缓存是解决I/O性能的一种技术。文章主要讲述缓存管理组成、算法的种类及其管理策略。并对基于频率的替换算法的原理、实现方法做了详细阐述。     

倒排文件索引缓存机制的优化

为了有效提高搜索引擎检索服务系统的整体性能,提出了一种基于倒排文件索引的缓存机制优化方法。具体研究过程是：首先分析倒排文件缓存的体系结构和数据加载,接着讨论负载数据对倒排文件缓存和缓存替换算法的影响,最后通过设计仿真实验研究倒排文件的缓存优化。研究结果表明,采用倒排文件索引的缓存机制优化方法可以明显减少磁盘系统I/O访问次数,提高磁盘系统带宽的利用率。     

应用透明的超算多层存储加速技术研究

在E级计算时代,超算系统一般使用多层存储架构以满足应用数据访问的容量和性能需求,这种架构中不同层次的存储介质差异较大,难以实现统一名字空间管理,往往需要应用修改数据访问流程才能最大程度利用到多层存储的性能和容量优势。针对多层存储统一名字空间的问题,提出针对非易失性双列存储模块（NVDIMM）的块级缓存和针对突发缓冲存储（BB）的文件级缓存技术。基于NVDIMM的块级缓存技术对缓存窗口灵活控制,以支持数据块粒度的异步读写,实现NVDIMM与BB层统一名字空间管理;基于BB的文件级缓存技术将数据缓存在BB层中,并动态迁移和管理文件副本,实现BB层与传统磁盘文件系统统一名字空间管理。在神威E级原型验证系统中的测试结果表明,所提出的两种技术较好地解决了多层存储的透明加速难题,NVDIMM块级缓存与BB相比,在缓存窗口16 MB时128 KB顺序读写带宽分别提升27%和36%,8 KB随机读写带宽分别提升20%和37%;基于BB的文件缓存技术利用BB的高带宽支撑数据访问,与全局文件系统相比,128 KB顺序读写带宽分别提升55%和141%,8 KB随机读写带宽分别提升163%和209%。此外,实际应用的测试也表明以上两种缓存技术具有透明的存储加速效果。     

Deconstructing on-board disk cache by using block-level real traces

On-board disk cache is an effective approach to improve disk performance by reducing the number of physical accesses to the magnetic media. Disk drive manufacturers are increasing the on-board disk cache size to match the capacity growth of the backend magnetic media. Some disk drives nowadays have a cache of 32 MB. Modern computer systems use large amounts of memory to improve performance, any data brought into host memory will be re-accessed there, not in the on-board disk cache. This feature has a significant impact on the behavior of disk cache. This is because computer systems are complex systems consisting of various components. The components are correlated with each other. Therefore, a specific component cannot be isolated from the overall system when we analyze its performance behavior. This paper employs four block-level real traces to explore the performance behavior of the on-board disk cache by considering the impacts of the cache hierarchy contained in computer systems. The analysis gives three major implications: (1) I/O stream at block-level contains negligible temporal locality. Therefore, read/write cache can only achieve marginal benefits. (2) Static write cache does not achieve performance gains since the write stream does not have too much interference with the read stream. Therefore, it is better to leave the on-board disk cache shared by both the write and read streams. (3) Read cache dominates the contribution to the hit ratio besides prefetch. Thus, it is better to focus on improving the read performance rather than write performance of disk cache.     

一种虚拟的非易失性层次Cache的设计和实现

为解决磁盘存储中的小写问题,本文研究了一种新的层次Cache结构。这种层次Cache使用虚存页面文件和部分系统RAM组成二级Cache结构,能很好地利用磁盘访问在大／小写以及随机／顺序访问时的巨大性能差异。经过Ntiogen和Mailbench基准测试程序测试表明,这种层次Cache可以提升I／O子系统处理突发密集小写的性能。     

磁盘驱动程序预写

较好地利用内存作为缓存,并优化磁盘设备的请求处理,是缓解系统I／O瓶颈的有效途径。提出一种驱动程序预写的方法来处理内存缓存中脏数据写回磁盘的方法,其基本思想是：通过将文件系统高速缓存中的脏数据写盘操作由磁盘设备驱动程序发起,磁盘可以在恰当的时间（设备空闲）或者恰当的位置（减少寻遣和设备旋转）完成写请求,减少缓存flush操作对当前应用的影响。模拟试验表明,谊方法能提高磁盘写操作的效率、系统数据的可靠性和系统的I／O性能。     

PAM: an efficient power-aware multilevel cache policy to reduce energy consumption of storage systems

Energy consumption is one of the most significant aspects of large-scale storage systems where multilevel caches are widely used. In a typical hierarchical storage structure, upper-level storage serves as a cache for the lower level, forming a distributed multilevel cache system. In the past two decades, several classic LRU-based multilevel cache policies have been proposed to improve the overall I/O performance of storage systems. However, few power-aware multilevel cache policies focus on the storage devices in the bottom level, which consume more than 27% of the energy of the whole system [1]. To address this problem, we propose a novel power-aware multilevel cache (PAM) policy that can reduce the energy consumption of high-performance and I/O bandwidth storage devices. In our PAM policy, an appropriate number of cold dirty blocks in the upper level cache are identified and selected to flush directly to the storage devices, providing high probability extension of the lifetime of disks in standby mode. To demonstrate the effectiveness of our proposed policy, we conduct several simulations with real-world traces. Compared to existing popular cache schemes such as PALRU, PB-LRU, and Demote, PAM reduces power consumption by up to 15% under different I/O workloads, and improves energy efficiency by up to 50.5%.     

Endurable SSD-Based Read Cache for Improving the Performance of Selective Restore from Deduplication Systems

Deduplication 通常在两个企业存储系统和云存储被使用了。克服性能挑战为选择恢复 deduplication 系统的操作, solid-state-drive-based (即,基于 SSD ) 读的缓存能为由缓冲加快被部署流行动态地恢复内容。不幸地,经常的数据更改由古典缓存计划导致了(例如, LRU 和 LFU ) 显著地弄短 SSD 一生当在 SSD 减慢 I/O 进程时。处理这个问题,我们建议新解决方案砍缓存极大地由扩大比例象 I/O 性能一样改进 SSD 的 write 耐久性长期流行(砍) 在写进基于 SSD 的缓存的数据之中的数据。砍缓存保留很长时间在 SSD 缓存砍数据减少的时期缓存代替的数字。而且,它在 deduplication 集装箱阻止不得人心或不必要的数据被写进 SSD 缓存。我们在一个原型 deduplication 系统实现了砍缓存评估它的性能。我们的试验性的结果显示砍缓存弄短潜伏选择与仅仅 deduplicated 数据的 5.56% 能力以小基于 SSD 的缓存的成本由 37.3% 的一般水准恢复。重要地,砍缓存由 9.77 的一个因素改进 SSD 一生。砍缓存为一个成本效率的基于 SSD 的读的缓存解决方案提供到的证据表演增加性能选择为 deduplication 恢复系统。     

优化的信息中心虚拟化实施方案

基于传统信息中心建设中存在的一些缺点,提出了一种基于vSphere架构的优化的信息中心虚拟化实施方案。相对于其他的虚拟化实施方案,本方案主要从可靠性和存储设备 I/O 性能两方面进行了优化。该方案从服务器、网络和存储设备等三个方面对系统可靠性进行了优化,分析了影响存储设备I/O性能的几大因素,并分别从是否采用多路径输入输出、Write-back cache写策略、磁盘I/O块大小、服务器性能等几个方面对系统I/O性能进行了优化。最后通过对整个系统的测试,验证了这一方案的优势。     

并行文件系统中Disk Cache一致性协议及其性能分析

本文在并行文件系统中引入ｄｉｓｋｃａｃｈｅ多复本技术，从而为并行计算机提供高性能的文件系统．对于ｄｉｓｋｃａｃｈｅ多复本间数据一致性维护，本文提出了“主从式”和“对称式”两类方法，并从其应用的通用性角度，基于等概率模型，对各类方法以及ｄｉｓｋｃａｃｈｅ单复本系统进行了性能分析和比较．     

影响多媒体服务器性能的关键因素研究

在构建大规模视频服务系统时 ,基于层次型多服务器群的体系结构在吞吐率、可扩展性、经济性等方面都有其突出的优势 ,尤其适合于在因特网上的应用 .但是 ,要充分发挥和提高视频服务系统的性能 ,还要针对一些主要的瓶颈(如服务器磁盘 I/ O带宽与网络带宽 ) ,解决好一系列的问题 .本文分析了影响多媒体视频服务器性能的一些主要因素 ,如视频服务器的体系结构、服务器与客户端之间的数据传送方式、媒体数据在视频服务器存储子系统中的分布与放置方式、对磁盘访问请求的调度、单服务器中的缓存及多服务器间协同缓存的管理、接入控制策略、流调度策略等 ,这些因素对视频服务器的性能与吞吐率有着极大的影响 .本文还介绍了一些适用于大规模视频服务系统的性能优化技术 ,如广播、批处理等流调度策略 .在构建视频服务器系统时 ,只有综合考虑这些因素 ,才能真正提高服务器乃至整个视频服务系统的吞吐率 ,并较好地满足客户的 Qo S要求     

SAC: Exploiting Stable Set Model to Enhance CacheFiles

Client cache is an important technology for the optimization of distributed and centralized storage systems. As a representative client cache system, the performance of CacheFiles is limited by transition faults. Furthermore, CacheFiles just supports a simple LRU policy with a tightly-coupled design. To overcome these limitations, we propose to employ Stable Set Model （SSM） to improve CacheFiles and design an enhanced CacheFiles, SAC. SSM assumes that data access can be decomposed to access on some stable sets, in which elements are always repeatedly accessed or not accessed together. Using SSM methods can improve the cache management and reduce the effect of transition faults. We also adopt loosely- coupled methods to design prefetch and replacement policies. We implement our scheme on Linux 2.6.32 and measure the execution time of the scheme with various file I/O benchmarks. Experiments show that SAC can significantly improve I/O performance and reduce execution time up to 84%0, compared with the existing CacheFiles.