集群协作缓存机制研究

计算机集群中的节点使用内存一般不均衡,往往有些节点使用太多内存,而其他节点又有较多的空闲内存.为了改进集群操作系统,将集群节点的内存作全局分布的资源使用,我们首先提出一个内存互操作高速缓存方案:通过使用集群范围内的内存作文件高速缓存,从其他节点的高速缓存中读文件,可以避免很多低速的磁盘访问,改进集群文件系统的总体吞吐量.然后利用我们提出的缓存页面代替策略GCAR来支持这种内存互操作的高速缓存方案.该算法与CAR相比,对缓存中被"经常"使用的页面的管理粒度更细,更适合集群协作缓存的计算环境.实验结果表明,GCAR对本地缓存的命中率比CAR略好,在集群协作缓存下能取得更好的缓存命中率.     

集群文件系统的性能最优化配置

集群文件系统是当前存储系统的研究热点.在资源一定的条件下,存储系统中元数据服务器和数据存储服务器节点及客户端节点数量之间的配置比例会对系统性能产生较大的影响.分析了lustre集群文件系统的参数配置,针对两种典型应用环境:文件服务和Web服务,测试了不同节点数和不同lustre条块大小配置下的系统性能;通过对比分析,得出lustre集群文件系统最优化配置,为提高集群文件系统性能提供参考.测试结果显示.当lustre文件系统的OST节点数与client节点数相当时系统性能最好.     

网络存储性能改进的文件系统实现方法

在多个存储节点构成的集群存储系统中，结合应用提高网络存储性能的目标就是利用文件系统方案来实现的．本文在相关研究的基础上重新讨论改进网络存储性能的文件系统方案．这个方案同时利用网络分布文件系统和网络分带文件系统的优点，采用非分带和分带文件数据分布混合应用．我们讨论了对应该方案的不同两级存储分配策略和相关参数的选择，并以HP97560性能参数为基础，进行理论分析．应用文件大小分布的对比以及模拟测试结果显示两级存储分配策略和相关参数选择的合理性．     

HANDY:一种具有动态扩展性的集群文件系统

针对当前集群文件系统只支持静态扩展、不提供高可用性等问题，提出一种基于全局哈希表的动态扩展协议-GHT．利用该协议实现一种支持节点动态扩展的集群文件系统HANDY，重点阐述了协议的设计、算法和理论分析．实验数据证明．HANDY集群文件系统具有良好的动态扩展性和可用性，减小系统的管理和维护开销．     

一种基于预取的集群服务器调度算法

针对集群服务器LARD调度算法只能利用已有缓存的问题，提出一种基于预取的算法Prefetch-LARD,该算法从Web访问日志中挖掘页面之间的转移概率，建立马尔科夫链模型，在调度请求时利用概率关系提前将下一次可能访问的文档从节点磁盘取到本地cache中，提高了请求的缓存命中率；算法还采用了加权的节点超载判断方法，以提高集群节点的负载均衡度，实验表明，在同样的测试环境下，Prefetch-LARD算法比LARD算法的缓存命中率提高26．9％，系统的吞吐量相应提高18．8％．     

无线Mesh网络中节点分级协作缓冲机制研究

在无线Mesh中,由于每个节点缓冲的数据量不同,可能会造成某些节点的缓冲区利用率低,某些节点因为缓冲任务繁重而进行频繁的数据置换操作,从而造成节点存储空间使用不均衡,降低数据缓冲的效率。提出了一种基于节点分级管理的协作缓冲算法,该算法为网络中的每个节点在网络中构造一个分布式缓冲区域,利用该缓冲区域来替代节点本身的缓冲区,通过合理地利用每个节点的存储空间,增加单个节点的数据缓冲能力。理论分析和实验结果表明,该算法可以有效提高数据访问命中率,减少缓冲区数据的置换操作,降低节点的能量消耗。     

集群流媒体文件系统MFS设计与实现

文章描述了WanLan集群视频服务器上的集群流媒体文件系统(MFS)的设计与实现。MFS是一种支持MPEG文件格式的分布式流媒体文件系统，它由MFS的客户端、管理节点、数据节点以及元数据服务节点组成。MFS流媒体集群文件系统实现了单一系统的逻辑映像、数据和元数据的高可用以及系统自动配置。     

基于大容量闪存的嵌入式文件系统

采用以页为单位的文件节点存储形式和综合考虑数据时间局部性与均衡磨损要求的收益成本垃圾回收算法,设计了一种新的文件系统。分析和实验表明,相对于JFFS2,该文件系统在降低内存消耗和闪存磨损倾斜度的同时,提高了垃圾回收效率和系统性能。     

内容中心网络中基于节点相似度的协作缓存算法

针对内容中心网络中ALWAYS缓存策略节点存储空间利用率低、内容访问时延大、整体网络缓存性能低下的问题,提出了一种依据节点相似度的协作缓存算法。该算法优先将兴趣包转发至最相似节点,增大相关请求的就近响应概率;同时保证在缓存决策中的同一副本在协作节点间不重复存储,在降低冗余的同时增加了缓存多样性。实验结果表明,与现有算法相比,该算法在减少路由跳数和请求时延的同时提高了缓存命中率。     

基于分布式文件系统HDFS的节能算法

与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高.     

Linked instruction caches for enhancing power efficiency of embedded systems

The power consumed by memory systems accounts for 45% of the total power consumed by an embedded system, and the power consumed during a memory access is 10 times higher than during a cache access. Thus, increasing the cache hit rate can effectively reduce the power consumption of the memory system and improve system performance. In this study, we increased the cache hit rate and reduced the cache-access power consumption by developing a new cache architecture known as a single linked cache (SLC) that stores frequently executed instructions. SLC has the features of low power consumption and low access delay, similar to a direct mapping cache, and a high cache hit rate similar to a two way-set associative cache by adding a new link field. In addition, we developed another design known as a multiple linked caches (MLC) to further reduce the power consumption during each cache access and avoid unnecessary cache accesses when the requested data is absent from the cache. In MLC, the linked cache is split into several small linked caches that store frequently executed instructions to reduce the power consumption during each access. To avoid unnecessary cache accesses when a requested instruction is not in the linked caches, the addresses of the frequently executed blocks are recorded in the branch target buffer (BTB). By consulting the BTB, a processor can access the memory to obtain the requested instruction directly if the instruction is not in the cache. In the simulation results, our method performed better than selective compression, traditional cache, and filter cache in terms of the cache hit rate, power consumption, and execution time.     

MacroTrend: A Write-Efficient Cache Algorithm for NVM-Based Read Cache

The future storage systems are expected to contain a wide variety of storage media and layers due to the rapid development of NVM(non-volatile memory)techniques.For NVM-based read caches,many kinds of NVM devices cannot stand frequent data updates due to limited write endurance or high energy consumption of writing.However,traditional cache algorithms have to update cached blocks frequently because it is difficult for them to predict long-term popularity according to such limited information about data blocks,such as only a single value or a queue that reflects frequency or recency.In this paper,we propose a new MacroTrend(macroscopic trend)prediction method to discover long-term hot blocks through blocks'macro trends illustrated by their access count histograms.And then a new cache replacement algorithm is designed based on the MacroTrend prediction to greatly reduce the write amount while improving the hit ratio.We conduct extensive experiments driven by a series of real-world traces and find that compared with LRU,MacroTrend can reduce the write amounts of NVM cache devices significantly with similar hit ratios,leading to longer NVM lifetime or less energy consumption.     

一种基于自适应缓存机制的报文分类算法

提出了一种高效、适用性好、易于实现的报文分类算法CSAC（classification on self-adaptive cache）．该算法通过缓存属性子空间内报文集合的分类查询路径，将查询结果复用于同一子空间后续报文的分类．而缓存命中失效时也不必从头开始查询，减少了失效的时间开销．根据通信流量上下文变化对缓存运行状态造成的影响，算法采用自适应缓存机制，通过动态调整缓存的粒度、结构和缓存项在散列桶中的位置，有效地保证了缓存命中率．此外，算法不需要预处理过程，支持多维复杂规则（如4～7层属性、逻辑匹配操作等）和规则增量更新，比较适合于网络边界安全、用户流量审计和负载均衡等报文分类比较复杂的应用．采用CSAC算法开发的高端防火墙和入侵检测设备在实际网络环境中的性能良好．     

基于镜像层关联的Docker注册表缓存预取策略

随着容器技术的广泛普及,大型Docker公共注册表使用对象存储服务来解决镜像数量剧增的问题,但这种松耦合的注册表设计导致较高的延迟开销。为了增强注册表性能,提出一种基于镜像层关联的Docker注册表缓存预取策略LCPA,当注册表服务器缓存未命中时,通过分析镜像元数据文件构建镜像的存储结构,由关联度模型对存储结构计算得到相关镜像层集合,并从后端存储中主动式预取回注册表中以提高缓存命中率。经真实工作负载下收集的Docker数据集测试,实验结果表明LCPA策略比LRU、LIRS和GDFS等缓存算法提高12%~29%的平均缓存命中率,拉取镜像的平均延迟节省率提高了21.1%~49.4%。与现有的LPA预取算法相比,拉取镜像的平均缓存命中率提升25.6%。仿真实验表明该策略可以有效地利用缓存空间,大幅提升注册表的缓存命中率,并降低镜像拉取的延迟开销。     

紧耦合的流媒体缓存代理协作机制研究

位于因特网骨干网和同一接入网之间的流媒体缓存代理服务器相互协作，可以提高缓存命中率，保持负载平衡。该文提出了一种共享缓存空间的紧耦合的多代理服务器协作机制，给出了多代理协作的缓存替换策略和负载平衡算法。通过NS2模拟验证，该机制可以使系统保持更好的性能。     

Performance of One''s Complement Caches

On-chip caches to reduce average memory access latency are commonplace in today's commercial microprocessors. These on-chip caches generally have low associativity and small cache sizes. Cache line conflicts are the main source of cache misses, which are critical for overall system performance. This paper introduces an innovative design for on-chip data caches of microprocessors, called one's complement cache. While binary complement numbers have been successfully used in designing arithmetic units, to the best of our knowledge, no one has ever considered using such complement numbers in cache memory designs. This paper will show that such complement numbers help greatly in reducing cache misses in a data cache, thereby improving data cache performance. By parallel computation of cache addresses and memory addresses, the new design does not increase the critical hit time of cache accesses. Cache misses caused by line interference are reduced by evenly distributing data items referenced by program loops across all sets in a cache. Even distribution of data in the cache is achieved by making the number of sets in the cache a prime or an odd number, so that the chance of related data being mapped to a same set is small. Trace-driven simulations are used to evaluate the performance of the new design. Performance results on benchmarks show that the new design improves cache performance significantly with negligible additional hardware cost.     

基于谱聚类的Web多级缓存替换策略

服务器缓存性能的核心是缓存替换策略, 缓存替换策略直接影响缓存的命中率, Web缓存可以解决网络拥塞和用户访问延迟问题, 提高服务器的性能. 传统缓存替换算法的命中率往往不高, 为此文中提出了一种基于谱聚类的多级缓存替换策略. 该策略利用循环滑动窗口机制提取日志文件的多项时序特征和访问属性, 通过谱聚类对过滤后的数据集进行聚类分析从而得到访问预测结果. 多级缓存替换策略综合考虑了缓存对象的局部频率、全局频率以及资源大小能更好地对低价值资源进行剔除, 同时对高价值资源进行保留. 通过与传统替换算法LRU、LFU、RC、FIFO进行实验对比, 实验结果表明本文将谱聚类和多级缓存替换策略进行结合有效地提高了缓存请求命中率和字节命中率.     

多缓存容量场景下的D2D内容缓存布设优化方案

在终端直传（D2D）缓存网络中,用户有限且各异的缓存能力是制约缓存效率的一个关键参数,然而现有文献大多考虑不同用户具有相同的缓存能力,针对这一不足有必要进行用户具有不同缓存容量下的D2D内容缓存布设方案优化。首先,鉴于用户终端的移动性和随机分布特性,利用随机几何理论将网络中不同缓存容量的用户节点建模为相互独立的齐次泊松点过程;其次,考虑本地卸载和邻近D2D链路卸载两种内容卸载方式,推导得到网络缓存命中率;最后,将最大化缓存命中率作为优化目标函数,提出了基于坐标梯度的联合缓存布设（JCP）算法,从而得到多用户多缓存容量场景下的内容缓存布设方案。仿真结果表明,与现有的缓存布设方案相比,由JCP得到的缓存布设方案可以有效提高缓存命中率。     

On the design of on-chip instruction caches

Cache memories reduce memory latency and traffic in computing systems. Most existing caches are implemented as board-based systems. Advancing VLSI technology will soon permit significant caches to be integrated on chip with the processors they support. In designing on-chip caches, the constraints of VLSI become significant. The primary constraints are economic limitations on circuit area and off-chip communications. The paper explores the design of on-chip instruction-only caches in terms of these constraints. The primary contribution of this work is the development of a unified economic model of on-chip instruction-only cache design which integrates the points of view of the cache designer and of the floorplan architect. With suitable data, this model permits the rational allocation of constrained resources to the achievement of a desired cache performance. Specific conclusions are that random line replacement is superior to LRU replacement, due to an increased flexibility in VLSI floorplan design; that variable set associativity can be an effective tool in regulating a chip's floorplan; and that sectoring permits area efficient caches while avoiding high transfer widths. Results are reported on economic functionality, from chip area and transfer width to miss ratio. These results, or the underlying analysis, can be used by microprocessor architects to make intelligent decisions regarding appropriate cache organizations and resource allocations.     

基于Chord的合作浏览器Cache模型

浏览器cache能够有效降低网络带宽的需求，减少客户的等待时间。然而目前的浏览器cache之间并不能够共享对象，导致数据的重复利用率不高，网站的负载无法得到均衡。P2P（peer-to—peer）技术的基本思想就是希望能够平等处理所有节点，借助节点间的互助实现文件交换、分市计算等功能。在Chord协议及其算法的基础上，提出了一种合作型浏览器cache模型，实现对象的共享，并且通过日志驱动的仿真实验对该模型的节点存储、外部带宽占用和cache命中率以及延迟等指标进行了性能评估。结果和分析显示该模型在这些指标上取得了一定的提高，比如命中率和响应时间，而没有占用更多节点的资源。