一种加速广域文件系统读写访问的缓存策略

针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题,提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略.该策略支持基于区间粒度的文件数据缓存及访问,并支持元数据本地缓存;该策略提供基于阈值的容量管理功能,采用超时与最终一致相结合的方式维护缓存的一致性.最后使用典型的文件I/O基准测试工具和元数据性能测试工具对该缓存策略进行了评测,实验结果表明:该缓存策略减少了客户端与服务器的交互次数,给广域文件系统的数据访问带来了明显的性能提升,当缓存命中时其数据的读写性能与本地文件系统相近.     

应用透明的超算多层存储加速技术研究

在E级计算时代,超算系统一般使用多层存储架构以满足应用数据访问的容量和性能需求,这种架构中不同层次的存储介质差异较大,难以实现统一名字空间管理,往往需要应用修改数据访问流程才能最大程度利用到多层存储的性能和容量优势。针对多层存储统一名字空间的问题,提出针对非易失性双列存储模块（NVDIMM）的块级缓存和针对突发缓冲存储（BB）的文件级缓存技术。基于NVDIMM的块级缓存技术对缓存窗口灵活控制,以支持数据块粒度的异步读写,实现NVDIMM与BB层统一名字空间管理;基于BB的文件级缓存技术将数据缓存在BB层中,并动态迁移和管理文件副本,实现BB层与传统磁盘文件系统统一名字空间管理。在神威E级原型验证系统中的测试结果表明,所提出的两种技术较好地解决了多层存储的透明加速难题,NVDIMM块级缓存与BB相比,在缓存窗口16 MB时128 KB顺序读写带宽分别提升27%和36%,8 KB随机读写带宽分别提升20%和37%;基于BB的文件缓存技术利用BB的高带宽支撑数据访问,与全局文件系统相比,128 KB顺序读写带宽分别提升55%和141%,8 KB随机读写带宽分别提升163%和209%。此外,实际应用的测试也表明以上两种缓存技术具有透明的存储加速效果。     

面向SSD/HDD混合存储的动态缓存调度算法DRC

云计算与大数据的发展,对存储系统的性能提出了越来越高的要求。这些系统中的任务具有高并发度特征,使得存储系统的数据访问呈现随机化。SSD具有优异的随机读写性能,但其写入次数受到限制,成本高昂,因此,基于SSD-HDD的混合系统成为存储技术发展的主要方向。面向SSD-HDD混合存储提出了一种基于动态替换代价的缓存调度算法(DRC),以请求中的热点数据以及替换数据的代价作为缓存替换依据,不仅有效地提高了缓存命中率,而且,通过减少磁盘随机写操作提升了系统的整体性能。实验结果表明,在高并发读写的场景下,DRC算法相对于LRU或FIFO算法缓存命中率提升可达11.6%,IO速度最多提升16.7%,在各种缓存大小条件下均取得了显著的性能提升。     

Alluxio数据随机访问方法的研究

为保证系统的可扩展性和容错性，Alluxio简化了文件系统实现，不支持数据随机访问，但在实际情况中仍有许多应用需要数据随机访问。Alluxio原生Java接口灵活性较差，不支持传统应用，不能完全发挥内存的高速性能。因此在深入分析Alluxio数据读写原理后，提出了新式数据随机访问方法，其核心思想是改变原有数据访问和缓存时机，将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写，从而实现对数据的随机访问。在此基础上，还可以使用内存映射技术进一步提高本地文件的读写性能。测试结果表明，该方法的数据读取性能提升了14.5%，写入性能提升了1.4倍以上。在实际应用场景中合理使用Alluxio及新式数据随机访问方法，可获得数倍至数十倍的性能提升。     

基于OpenSSD的闪存转换算法优化

随着信息技术的快速发展,数据存储的需求日益增长,人们对硬盘读写性能的要求越来越高.相比于机械硬盘,固态硬盘可靠性高、能耗低,无寻道时间开销,逐渐取代机械硬盘成为主流的存储介质.但固态硬盘访问数据时需要经过转换,对应的闪存转换算法对读写性能影响很大.OpenSSD项目提供了一个可开发SSD固件的平台,基于此平台本文针对其上的闪存转换算法进行研究并优化,分析了影响I/O读写性能的各类因素,设计出一种适合Cosmos OpenSSD的缓存管理和闪存管理方法,大幅提高了Cosmos OpenSSD的性能.     

基于固态硬盘的云存储分布式缓存策略

为满足海量数据存储的需求,提出一种基于低功耗、高性能固态硬盘的云存储系统分布式缓存策略.该策略对不同存储介质的硬盘虚拟化,将热点访问数据的缓存与存储相结合,实现在不同存储介质之间的热点数据迁移,解决热点元数据的访问一致性与存储服务器的动态负载均衡问题.工作负载压力测试结果表明,该策略可使云存储系统的读峰值速率最高提升约86％,并且能提高存储服务器的吞吐量.     

面向IO服务器的高性能存储器的实现与优化

高性能计算机性能增长迅速,但作为主要存储设备的机械式硬盘速度提升缓慢,严重影响了高性能服务器的总体性能。基于Flash的固态盘虽然可以解决读性能问题,但在使用寿命和随机写性能方面存在不足。本文介绍了一种基于RAM的高性能存储器实现技术。设计中通过精简驱动层次、多级流水、中断合并等技术,将IO访问路径上的软件开销降低,从而充分发挥RAM在高并发随机访问下的性能。测试结果表明,该存储器随机访问下读写IOPS分别是常见SSD的5倍和30倍。     

基于突发集中性访问模式的缓存替换算法

随着计算机系统对突发集中性问题访问规模的不断扩大,传统的最近最少使用(LRU)、最近最不常使用(LFU)等缓存替换算法已经难以满足高命中率、低延迟的要求。为此,针对数据突发集中性访问模式的特点,基于该模式对数据内容流行度变化趋势的影响,设计一种突发集中性访问模式的策略。该策略根据缓存的访问次数、访问时间、流行度预测等缓存信息,周期性地更新数据内容的置换优先级。同时对比LRU,LFU,LIRS及新策略在各种情况下,决定其数据内容置换优先级的因素。在模拟器Simple Scalar上的仿真结果表明,该策略在突发集中性访问模式下的性能优于传统的缓存替换策略。     

面向轨迹数据查询优化的缓存机制研究

移动对象数据库（Moving object database,MOD）管理随着时间不断改变位置的空间对象,其已经在广泛的应用中被研究。尽管索引和查询算法等许多与MOD相关的技术已经被提出,但缓存管理仍然被忽略,这对于数据库性能至关重要。传统的缓存方法忽视了数据本身的时空特性,无法实现良好的性能。本文提出从缓存层面充分挖掘轨迹数据的查询性能,首先针对轨迹数据特有的存储结构和读写过程,设计了适合MOD的缓存访问机制;然后对于MOD系统中缺少与应用场景和访问模式相关的缓存策略问题,定制了缓存替换方法;最后开发了缓存管理工具MOCache,以可视化的形式动态跟踪查询语句结束后缓存状态的变化。通过实验表明本文提出的缓存替换策略与传统的策略相比,命中率提高到76.56%,缩短了查询时间,并且使用缓存工具监控历史状态信息,能够更加全面地反馈和分析性能问题。     

对象存储中基于高斯分布的分层缓存淘汰算法

在分布式存储系统中,引入分层缓存技术是优化系统读写的重要方法。目前分层缓存技术多使用LRU及其改进算法管理缓存空间,该方式虽然一定程度上改善了缓存性能,但有限的缓存命中率也使其成为性能瓶颈。针对此问题,本文研究聚焦于分布式对象存储在云计算场景下的应用特点,设计了一种基于高斯分布的淘汰算法。算法基于高斯分布的形态特征设计淘汰规则,规避了LRU及其改进算法采用频率估计概率的误差影响。通过仿真实验结果表明,在用户访问符合高斯分布时,本文提出的基于高斯分布的分层缓存淘汰算法能有效提高缓存命中率。     

代理Web Cache性能分析

采用WebCache技术提高当前Internet性能已成为一个主流的研究领域,其功能原理就象处理器和文件系统中的多级高速缓存一样。大规模Web高速缓存系统已成为许多国家Internet基础设施的重要组成部分。该文从三个不同访问规模的代理WebCache的跟踪日志出发,分析了WebCache的用户访问模式、Cache命中率、Cache服务器处理延迟等统计特征,提出基于分布式共享RAM和外存储结合的两级协同WebCache集群技术,可以提供可扩展的高性能并行Web高速缓存服务。     

统一缓存:基于用户层通信的合作缓存技术

合作缓存机制是集群系统提高整体性能的一种有效方法，其利用高速网络将各个结点的缓存进行合作管理与访问，大幅度提高了缓存的命中率．但传统的合作缓存技术没有考虑到广为应用的高效用户层通信机制的特点．提出一种新的用户层通信与合作缓存技术相融合的缓存机制——集群统一缓存．这一机制充分利用了用户层通信的特点，包括协议精简、零拷贝、虚拟内存映射通信(VMMC)技术等，将缓存与结点通信相融合，减少了集群系统应用程序IO模块的层次与复杂度，提高了系统性能．同时这一机制也顺应了IO子系统日益独立化的发展趋势．该技术已经应用于自行开发的面向对象的Internet服务存储平台——TODS上，具有高效、扩展性好与软件设计简单等特点．     

User-assisted in-network caching in information-centric networking

In information-centric networking, in-network caching has the potential to improve network efficiency and content distribution performance by satisfying user requests with cached content rather than downloading the requested content from remote sources. In this respect, users who request, download, and keep the content may be able to contribute to in-network caching by sharing their downloaded content with other users in the same network domain (i.e., user-assisted in-network caching). In this paper, we examine various aspects of user-assisted in-network caching in the hopes of efficiently utilizing user resources to achieve in-network caching. Through simulations, we first show that user-assisted in-network caching has attractive features, such as self-scalable caching, a near-optimal cache hit ratio (that can be achieved when the content is fully cached by the in-network caching) based on stable caching, and performance improvements over in-network caching. We then examine the caching strategy of user-assisted in-network caching. We examine three caching strategies based on a centralized server that maintains all content availability information and informs each user of what to cache. We also examine three caching strategies based on each user’s content availability information. We first show that the caching strategy affects the distribution of upload overhead across users and the number of cache hits in each segment. One interesting observation is that, even with a small storage space (i.e., 0.1% of the content size per user), the centralized and distributed approaches improve the cache hit ratio by 50% and 45%, respectively. With an overall view of caching information, the centralized approach can achieve a higher cache hit ratio than the distributed approach. Based on this observation, we discuss a distributed approach with a larger view of caching information than the distributed approach and, through simulations, confirm that a larger view leads to a higher cache hit ratio. Another interesting observation is that the random distributed strategy yields comparable performance to more complex strategies.     

一种海量存储系统二级缓存的设计与实现

引入新颖固态存储技术和DRAM与固态硬盘（SSD）混合的缓存架构，提出一种海量存储系统的二级缓存策略，通过回写策略能够有效减少SSD缓存的小写问题，并对两级缓存架构下建立的逻辑磁盘进行测试，结果表明在请求平均响应时间上取得了优化。     

基于Alluxio远程场景下缓存策略的优化*

当今时代数据呈现出指数级增长效应,更多的组织采用多数据中心和分布式来存储数据,Alluxio作为以内存为中心的虚拟分布式存储系统,整合了底层大数据生态系统。在Alluxio与底层存储结合的远程场景中,由于网络的延迟,使得I/O速度成为影响对外服务的重要因素之一。针对以上研究提出一种基于Alluxio远程场景下的缓存策略CPR,利用存储系统中数据块之间的关联性指导数据预取与替换,采用分组思想提高关联规则的利用率,启用后台线程实时更新规则集,并通过仿真实验验证策略的有效性。仿真结果表明,CPR策略指导下的I/O性能要优于Alluxio现有的缓存策略和一些基于数据块间关联规则的缓存策略。     

基于区域划分的混合式NDN缓存策略

针对NDN(命名数据网络)中确定性缓存和概率性缓存各自特点,提出一种确定性缓存和概率性缓存相结合的混合式NDN缓存策略(HDP)。基于区域划分的思想,在网络边缘采用基于热度的确定性缓存策略,在网络核心采用基于缓存收益和内容热度的概率性缓存策略,从而将两种缓存策略的优势相结合,进一步提高NDN缓存性能。实验表明该策略与现有NDN缓存方法相比,能有效提高缓存服务率和命中率,并有助于降低内容访问延迟,改善用户体验。     

基于频繁序列挖掘的文件系统缓存算法设计

传统缓存算法存在命中率低、交换率高等问题,且现有缓存算法在分布式大数据存储系统中并不适用,为此提出了一种基于频繁序列挖掘的自适应缓存策略。该方法使用数据挖掘算法挖掘历史访问窗口内的频繁序列,将频繁序列模糊合并后构建匹配模式集合以供查询。当新的访问来临时,将固定访问长度内的子序列与匹配模式集合进行匹配,然后根据匹配结果预取数据,同时结合修改后的S4LRU(4-segmented least recently used)数据结构进行缓存数据换出。在公开的大数据处理trace集上进行了仿真实验,实验结果表明,在不同的缓存大小下,提出算法与现有典型缓存算法相比,平均命中率提高了0.327倍,平均交换率降低了0.33倍,同时具有低开销和高时效的特点。此结果表明,该方法较传统替换算法而言是一个更为有效的缓存策略。     

CMP中基于目录的协作Cache设计方案

片上多处理器中二级Cache的设计和管理是影响其性能的关键因素之一。在私有二级Cache的基础上,提出一种基于集中式一致性目录的协作Cache设计方案,通过有效地管理片上存储资源来优化处理器的性能,从而使该协作Cache具有平均访存延迟小、Cache缺失率低、可扩展性好等优点。实验结果显示,与共享二级Cache设计相比,协作Cache可以将4核处理器的吞吐量平均提高13.5%,而其硬件开销约为8.1%。     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。