一种加速广域文件系统读写访问的缓存策略

针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题,提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略.该策略支持基于区间粒度的文件数据缓存及访问,并支持元数据本地缓存;该策略提供基于阈值的容量管理功能,采用超时与最终一致相结合的方式维护缓存的一致性.最后使用典型的文件I/O基准测试工具和元数据性能测试工具对该缓存策略进行了评测,实验结果表明:该缓存策略减少了客户端与服务器的交互次数,给广域文件系统的数据访问带来了明显的性能提升,当缓存命中时其数据的读写性能与本地文件系统相近.     

一种改进的基于缓存池机制的小文件I/O策略

Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法（LRU）更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I/O性能有较明显的提高。虽然它对大文件的I/O性能有所降低,但在可接受范围之内,仍具有一定的实用价值。     

基于对象存储文件系统的协作式缓存一致性策略

基于对象存储文件系统引入了客户端缓存机制以加快文件访问速度,由此也带来了缓存数据一致性问题。针对多客户端访问共享文件时缓存更新策略存在的延时、网络和服务器负载过大及网络消耗大等问题,基于Lustre对象存储文件系统实现了一种改进的协作式缓存一致性策略。实验结果表明,改进后的缓存更新策略,不仅可以保证缓存数据的一致性,而且减少了客户端与服务器交互次数,降低了访问延迟,提高了系统I/O性能。     

PVFS客户端目录缓存设计与实现

缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存，不仅可以减轻目录服务器的压力，避免目录服务器成为系统瓶颈，而且可以简化客户端操作过程，提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析，建立了客户端目录缓存模型；就客户端目录缓存实现的一些关键性问题，如缓存池开辟位置、一致性等问题进行了研究，给出了解决方法，并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明，加入缓存后，PVFS系统性能有所提高。     

并行虚拟文件系统客户端缓存技术研究与实现

缓存技术是一种提高文件系统性能的关键性技术．在并行文件系统中实现客户端缓存，既能够减轻集群服务器系统的通信负载，又能有效地提高文件系统的性能．对PVFS并行文件系统进行了分析，建立了客户端缓存模型，就客户端缓存实现的一些关键性问题，如一致性、查找、替换等进行了研究，给出了解决方案，并在此基础上实现了一个客户端缓存的原型系统．测试结果表明，加入缓存后，PVFS整体性能有明显的提高．     

基于GlusterFS的OpenStack平台设计

将GlusterFS应用于OpenStack中替代swift模块,并针对读写性能进行测试,实验证明在GlusterFS下虚拟机读写性能指标IOPS明显提高。     

一种机群文件系统的缓存模型

提出了一种新的机群文件系统缓存模型，它充分利用机群系统累积的系统资源和高速的互联网络，将文件系统元数据和内容数据分离，分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存，并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明，这两种缓存机制结合使用能极大地提高机群文件系统的性能。     

一种有效提升广域云存储性能的文件缓存系统

为解决现有存储系统在高延迟低带宽的广域网络环境下出现的数据访问性能问题,设计实现了一个具有较高I/O性能的可扩展多节点文件缓存系统——WANcache。WANcache通过模拟数据源的文件系统命名空间实现缓存数据,异步化数据和元数据的访问,可以为上层应用提供独立持久流畅稳定的数据服务。实验数据表明,缓存命中时,WANcache可以提供和局域网环境下集群文件系统相同的读写带宽;缓存未命中时候,WANcache可以多节点并发通过广域网络读取数据,具有较好的可扩展性。总体来看,WANcache为解决广域数据访问的性能问题提供了一种有效的实现。     

一种高效的海量数据储存方案

为解决传统地理信息系统在离线状态下无法正常运行的问题,设计本地缓存机制,提出一种基于四叉树索引的海量数据储存方案。采用四叉树文件系统管理本地缓存,包括数据的添加、读取、查询和删除,避免传统Windows文件系统储存大量小文件时存在的文件操作耗时长的弊端。实验结果证明,该方案能实现数据加密,提高地理信息数据的安全性,与Windows文件系统相比,更适用于本地缓存。     

一种基于对象存储系统的元数据缓存实现方法

对象存储系统中元数据访问速度是影响文件系统性能的关键因素之一。提出了一种在客户端实现元数据缓存的方法,并用元数据操作协议保证缓存一致性,基于Hash的LFU-DA算法提高缓存查找效率。实验表明该方法减少了系统平均服务响应时间,提高了系统的I／O性能。     

APM架构下动态缓存的BCLFL策略

对基于APM的Web服务器架构进行分析,利用动态缓存来提高服务器的响应时间。对于影响服务器动态缓存的Web文件大小、文件连接地址和文件修改时间等因素进行测试,根据测试数据进行分析、研究、探索,给出一种基于链接的小文件日志分块缓存(BCLFL)优化策略,并采用双进程进行实际测试,结果表明该策略在很大程度上提高了服务器的性能。     

分布式站点间的跨域文件系统

高能物理科学研究大多依托固定站点大科学装置,拥有海量实验数据。因此数据计算往往基于异地站点的海量实验数据。针对这些海量的分布式实验数据,传统的高能物理计算模式中采用了网格的方式进行跨域数据共享,但资源利用率低、响应时间长以及部署维护困难等问题,限制了网格技术在中小型站点间的数据共享。针对高能物理计算环境中,中小型站点间的数据共享问题,以Streaming & Cache为核心思想,设计一种远程文件系统,提出远程数据访问本地化,提供高实时性数据访问模式,实现基于HTTP协议的按需数据传输与管理,拥有数据块散列存储和文件统一化视图管理。与高能物理计算中常用分布式文件系统EOS、Lustre、GlusterFS相比,具有广域网可用性、网络时延不敏感性和高性能数据访问模式。     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。     

一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.     

基于均衡数据放置策略的分布式网络存储编码缓存方案

为了保证网络存储的负载平衡并避免在节点或磁盘故障的情况下造成不可恢复的损失,提出一种基于均衡数据放置策略的分布式网络存储编码缓存方案,针对大型高速缓存和小型缓存分别给出了不同的解决办法。首先,将Maddah方案扩展到多服务器系统,结合均衡数据放置策略,将每个文件作为一个单元存储在数据服务器中,从而解决大型高速缓存问题;然后,将干扰消除方案扩展到多服务器系统,利用干扰消除方案降低缓存的峰值速率,结合均衡数据放置策略,提出缓存分段的线性组合,从而解决小型缓存问题。最后,通过基于Linux的NS2仿真软件,分别在一个和两个奇偶校验服务器系统中进行仿真实验。仿真结果表明,提出的方案可以有效地降低峰值传输速率,相比其他两种较新的缓存方案,提出的方案获得了更好的性能。此外,采用分布式存储虽然限制了将来自不同服务器的内容组合成单个消息的能力,导致编码缓存方案性能损失,但可以充分利用分布式存储系统中存在的固有冗余,从而提高存储系统的性能。     

软件定义车联网中缓存辅助的NOMA功率分配方案研究

由于对丰富多媒体服务的需求日益增长,车联网需要提供海量的设备连接以满足高频谱效率和低延迟的需求。软件定义网络（SDN）、缓存和非正交多址接入（NOMA）被认为是有效解决这些关键挑战的潜在技术。针对软件定义车联网,提出了一种缓存辅助的NOMA功率分配方案。首先,针对车联网中车辆总是处于高速运动状态的特点,提出了一种新的簇头选择算法,到达的道路交通将借助SDN进行预测,实现自适应车辆分簇。其次,引入了缓存辅助的NOMA方案,每个车辆在文件缓存阶段使用NOMA原理缓存和请求文件。再次,针对双Nakagami-m衰落条件下的两个簇头车辆通信场景,提出了一种最优功率分配策略,将优化问题公式化为找到每辆车的最佳功率曲线,从而最大化地在每辆车上成功解码目标文件的概率。最后,数值仿真和理论分析表明,所提缓存辅助NOMA功率分配方案,性能明显优于传统的NOMA和缓存辅助的OMA。     

并行文件系统中Disk Cache一致性协议及其性能分析

本文在并行文件系统中引入ｄｉｓｋｃａｃｈｅ多复本技术，从而为并行计算机提供高性能的文件系统．对于ｄｉｓｋｃａｃｈｅ多复本间数据一致性维护，本文提出了“主从式”和“对称式”两类方法，并从其应用的通用性角度，基于等概率模型，对各类方法以及ｄｉｓｋｃａｃｈｅ单复本系统进行了性能分析和比较．     

An adaptive cache coherence protocol specification for parallel input/output systems

Caching has been intensively used in memory and traditional file systems to improve system performance. However, the use of caching in parallel file systems and I/O libraries has been limited to I/O nodes to avoid cache coherence problems. We specify an adaptive cache coherence protocol that is very suitable for parallel file systems and parallel I/O libraries. This model exploits the use of caching, both at processing and I/O nodes, providing performance improvement mechanisms such as aggressive prefetching and delayed-write techniques. The cache coherence problem is solved by using a dynamic scheme of cache coherence protocols with different sizes and shapes of granularity. The proposed model is very appropriate for parallel I/O interfaces, such as MPI-IO. Performance results, obtained on an IBM SP2, are presented to demonstrate the advantages offered by the cache management methods proposed.     

Performance and reliability improvement by using asynchronous algorithms in disk buffer cache memory

This paper proposes performance and reliability improvement by using new algorithms for asynchronous operations in disk buffer cache memory. These algorithms allow for writing the files into the buffer cache by the processes and consider the number of active processes in the system and the length of the queue to the disk buffer cache. Writing the contents of the buffer cache to the disk depends on the system load and the write activity. Performance and reliability measures including the elapsed time of writing a file into the buffer cache, the waiting time to start writing a file, and the mean number of blocks written to the disk between system failures are used to show performance and reliability improvement by using the algorithms. Sensitivity analysis is used to influence the algorithms' design. Examples of real systems are used to show the numerical results of performance and reliability improvement in different systems with various disk cache parameters and file sizes.