基于文件类型的远程文件备份系统

rsync算法作为文件同步算法得到了广泛的应用,但是存在与服务器交互频繁、不适用特定文件等问题。设计和实现了一种基于文件类型的远程文件备份系统,通过文件类型的筛选避免特定文件的差异计算,在本地缓存文件摘要信息,将差异计算提前至文件上传前,减少了客户端与服务器间的交互。这样,不仅减少了差异备份中网络传输量,也减少冗余的差异计算。     

一种机群文件系统的缓存模型

提出了一种新的机群文件系统缓存模型，它充分利用机群系统累积的系统资源和高速的互联网络，将文件系统元数据和内容数据分离，分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存，并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明，这两种缓存机制结合使用能极大地提高机群文件系统的性能。     

一种基于文件预测的分布式缓存模型

在分布式存储中,客户端的数据访问请求并非完全随机,它是由程序或者用户的行为驱动,因此文件访问顺序是可以预测的;服务器端收到的访问请求在时间轴上也非平坦分布,因此服务器有时繁忙有时空闲。为此,提出了一种基于文件预测的分布式缓存模型,在客户端预测将要访问的文件,并利用服务器空闲时间传输预测文件。     

基于缓存机制的能耗最小化电力线通信网络设计

针对智能电网系统中部署电力线通信(PLC)存在通信稳定性差、传输能耗高的问题,设计一种基于缓存机制的PLC网络。引入多输入多输出的PLC通信机制,使得多个网络接入节点可同时向一个用户发送数据,提高网络通信的稳定性。通过设计最优预编码算法解决回程链路上的数据重复传输问题,从而最小化用户从缓存节点和服务器下载文件的能耗。仿真结果表明,该PLC网络可有效提高通信可靠性,节约系统资源。     

一种快速响应的流媒体服务器集群系统

文章提出一种基于对用户请求快速响应的流媒体服务器集群系统。它利用网络负载平衡技术(NLB)来实现服务器集群各节点的负载均衡。并利用一种改进的两级高速缓存模块来保证媒体文件的存储调度的高效性，为了解决用户请求延迟时间太长的问题在两级缓存中增加一台首数据段缓存服务器来预处理用户请求，大大减少了用户请求的等待时间。     

面向直播HTTP Streaming系统的HTTP缓存服务器行为优化

HTTP缓存服务器是提高HTTP Streaming系统客户并发量的关键环节。但当前主流HTTP缓存服务器,如Nginx、Squid、Varnish等,在缓存资源更新期间的行为都存在不足,当被应用在面向直播的HTTP Streaming系统中时,会周期性地把大量客户端请求转发至源服务器,从而制约了HTTP Streaming系统的可伸缩性。提出一种优化的HTTP缓存服务器在缓存更新期间的行为,即缓存服务器仅向源服务器转发一路客户端请求,缓存更新期间,拒绝其他关于该资源的请求。优化策略在使用最为广泛的Nginx服务器的基础上进行了实现。实验证明,优化后系统的伸缩性得到了显著提高。     

云计算中基于缓存优化的镜像模板高效传输方案

在软件即服务的云传输模型中,托管中心根据需求在服务器上部署一个虚拟机镜像模板;镜像模板往往被维护于中央仓库中。由于托管中心物理上离散分布,而且互联网的带宽较低,所以从仓库中传输千兆字节规模的模板文件时存在较大延时;文章利用模板文件间存在的公共性,提出一种ETSIT-CO算法以确定补丁和模板文件在缓存中的分布,通过计算缓存的构成来实现从仓库开始的传输时间最小化,进而降低请求的响应时间;仿真实验结果表明,与标准的模板文件存储缓存技术相比,使用基于补丁的缓存策略实现了很大的性能提升;部署于文章原型测试床上时,基于ETSIT-CO的补丁缓存策略相对只缓存模板的ETSIT-CO选择策略,性能上升90%。     

流内容分送中的媒体后缀动态缓存技术研究

基于带前缀缓存的流调度方案OBP（optimized batch patching）提出了媒体后缀的增量缓存算法IC-BP和预分配缓存算法PA-BP，推导出两种算法下传输单一流媒体对象各自所需的平均骨干带宽、服务器平均使用输出通道数和代理所需最大缓存容量，并分析了以上两种缓存算法的综合传输代价．结果表明，两种缓存算法均有效降低了骨干带宽消耗和服务器负载，传输代价均明显低于带前缀缓存的OBP．而PA-BP克服了IC-BP算法中每次批处理调度时都至少需请求一个批处理长度补丁的缺点．因而具有更低的传输代价，其性能优于IC-BP缓存算法．     

一种基于授权机制的分布式文件系统小文件访问优化策略

针对分布式文件系统应用于海量小文件访问模式时, 元数据请求过多导致系统性能下降的问题, 提出了客户端元数据缓存授权机制的解决方案. 客户端从服务器读取元数据时, 申请相应类型的授权, 服务器分析请求并决定是否授予此客户端所访问的元数据的授权. 若客户端成功获取授权, 则将其与本地缓存的元数据相关联, 作为缓冲有效性的凭证. 当再次访问本地缓存的元数据时, 若有相关授权, 则可以直接从本地获取元数据, 无需向服务器发送缓存数据的有效性验证RPC. 仿真实验表明, 文中的方法有效的降低了客户端发送元数据请求RPC的数量, 节省了宝贵的网络带宽资源, 降低了元数据服务器的负载.     

基于谱聚类的Web多级缓存替换策略

服务器缓存性能的核心是缓存替换策略, 缓存替换策略直接影响缓存的命中率, Web缓存可以解决网络拥塞和用户访问延迟问题, 提高服务器的性能. 传统缓存替换算法的命中率往往不高, 为此文中提出了一种基于谱聚类的多级缓存替换策略. 该策略利用循环滑动窗口机制提取日志文件的多项时序特征和访问属性, 通过谱聚类对过滤后的数据集进行聚类分析从而得到访问预测结果. 多级缓存替换策略综合考虑了缓存对象的局部频率、全局频率以及资源大小能更好地对低价值资源进行剔除, 同时对高价值资源进行保留. 通过与传统替换算法LRU、LFU、RC、FIFO进行实验对比, 实验结果表明本文将谱聚类和多级缓存替换策略进行结合有效地提高了缓存请求命中率和字节命中率.     

CBC: Caching for cloud-based VOD systems

Cloud-based video on demand (VOD) service is a promising next-generation media streaming service paradigm. Being a resource-intensive application, how to maximize resource utilization is a key issue of designing such an application. Due to the special cloud-based VOD system architecture consisting of cloud storage cluster and media server cluster, existing techniques such as traditional caching strategies are inappropriate to be adopted by a cloud-based VOD system directly in practice. Therefore, in this study, we have proposed a systemic caching scheme, which seamlessly integrates a caching algorithm and a cache deployment algorithm together to maximize the resources utilization of cloud-based VOD system. Firstly, we have proposed a cloud-based caching algorithm. The algorithm models the cloud-based VOD system as a multi-constraint optimization problem, so as to balance the resource utilization between cloud storage cluster and media server cluster. Secondly, we have proposed a cache deployment algorithm. The algorithm further manages the bandwidth and cache space resource utilization inside the media server cluster in a more fine-grained manner, and achieves load balancing performance. Our evaluation results show that the proposed scheme enhances the resource utilization of the cloud-based VOD system under resource-constrained situation, and cuts down the reject ratio of user requests.     

统一缓存:基于用户层通信的合作缓存技术

合作缓存机制是集群系统提高整体性能的一种有效方法，其利用高速网络将各个结点的缓存进行合作管理与访问，大幅度提高了缓存的命中率．但传统的合作缓存技术没有考虑到广为应用的高效用户层通信机制的特点．提出一种新的用户层通信与合作缓存技术相融合的缓存机制——集群统一缓存．这一机制充分利用了用户层通信的特点，包括协议精简、零拷贝、虚拟内存映射通信(VMMC)技术等，将缓存与结点通信相融合，减少了集群系统应用程序IO模块的层次与复杂度，提高了系统性能．同时这一机制也顺应了IO子系统日益独立化的发展趋势．该技术已经应用于自行开发的面向对象的Internet服务存储平台——TODS上，具有高效、扩展性好与软件设计简单等特点．     

集中管理式Web缓存系统及性能分析

共享缓存文件是减少网络通信量和服务器负载的重要方法，本文在介绍Web Caching技术及流行的Web缓存通信协议ICP的基础上，提出了一种集中管理式Web缓存系统，该系统通过将用户的HTTP请求，按照一定的算法分发到系统中某一合适的缓存服务器上，从而消除了缓存系统内部服务器之间庞大的通信开销及缓存处理负担，减少了缓存内容的冗余度．通过分析，证明了集中管理式Web缓存系统比基于ICP的简单缓存系统具有缓存效率高、处理开销低、延迟小等优点，并且该系统具有良好的可扩展性．     

集群协作缓存机制研究

计算机集群中的节点使用内存一般不均衡,往往有些节点使用太多内存,而其他节点又有较多的空闲内存.为了改进集群操作系统,将集群节点的内存作全局分布的资源使用,我们首先提出一个内存互操作高速缓存方案:通过使用集群范围内的内存作文件高速缓存,从其他节点的高速缓存中读文件,可以避免很多低速的磁盘访问,改进集群文件系统的总体吞吐量.然后利用我们提出的缓存页面代替策略GCAR来支持这种内存互操作的高速缓存方案.该算法与CAR相比,对缓存中被"经常"使用的页面的管理粒度更细,更适合集群协作缓存的计算环境.实验结果表明,GCAR对本地缓存的命中率比CAR略好,在集群协作缓存下能取得更好的缓存命中率.     

Dynamic information‐based scalable hashing on a cluster of web cache servers

Caching web pages is an important part of web infrastructures. Medium to large‐scale infrastructures deploy a cluster of servers to solve the scalability and storage problems inherent in caching. In this paper we present dynamic information‐based scalable hashing that evenly hashes client requests to a cluster of cache servers, resulting in performance scalability. Runtime information is used to determine when and how to cache pages. Cached pages are stored and retrieved mutually exclusively to/from all the servers to minimize the use of storage, resulting in storage scalability. We set up an experimental environment consisting of various machines, including client servers, a cluster of 16 cache servers, and a load balancer. We demonstrate through experimental results that dynamic information‐based scalable hashing maximizes both performance scalability and storage scalability while the existing approaches do only either one of the two. Copyright © 2011 John Wiley & Sons, Ltd.     

A locality aware cache diffusion system

Web caching is a widely deployed technique to reduce the load to web servers and to reduce the latency for web browsers. Peer-to-Peer (P2P) web caching has been a hot research topic in recent years as it can create scalable and robust designs for decentralized internet-scale applications. However, many P2P web caching systems suffer expensive overheads such as lookup and publish messages, and lack locality awareness. In this paper, we present the development of a locality aware cache diffusion system that makes use of routing table locality, aggregation, and soft state to overcome these limitations. The analysis and experiments show that our cache diffusion system reduces the amount of information processed by nodes, reduces the number of index messages sent by nodes, and improves the locality of cache pointers.     

一种基于分散协作的Web缓存集群体系结构

Web对象缓存技术是一种减少Web访问通信量和访问延迟的重要手段，该文通过分析现有的各种Web缓存系统，提出了一种基于分散协作的Web缓存集群体系结构。该体系结构克服了集中式系统需要额外配备一台管理服务器的缺陷，消除了管理服务器瓶颈失效造成系统瘫痪的危险，减少由于管理服务器带来的延迟；同时消除了分散系统的缓存不命中情况下的多级转发的延迟和缓存内容重叠，提高了资源利用率和系统效率，具有良好的可扩展性和健壮性。     

企业环境P2P模型下的合作式Web缓存系统研究

提出了一种高性能的合作式Web缓存系统(WebRing),包括一种基于连续哈希的Web对象路由模式,保证了对任意Web请求经过一次哈希计算且至多经过一次转发就可到达目标节点。同时,基于节点状态标记切割哈希空间的系统负载均衡算法大大提高了系统的吞吐量。解决了传统合作式缓存系统中多级转发和多重哈希计算造成的高时延和单点失效问题。     

Designing Efficient and Robust Caching Algorithms for Streaming-on-Demand Services on the Internet

Content Delivery Networks (CDN) have been used on the Internet to cache media content so as to reduce the load on the original media server, network congestion, and latency. Due to the large size of media content compared to normal web objects, current caching algorithms used in the Internet are no longer suitable. This paper presents a high-performance prefetch system that accommodates user time-varying behavior. A hybrid caching technique, which combines prefetch and replacement algorithms, is also introduced. The robustness of the cache system against imperfect user request information is evaluated using three request noise models. Two prefetch performance indices are also presented to help content administrators in deciding when to update the user request profile for caching algorithms.