混合架构下多请求模式的缓存替换模型研究

针对多类型多访问模式应用的需求,在GDSF算法的基础上,引入平均访问间隔和最近访问间隔两个特性以增强算法的适应性;建立缓存结构模型,通过双关键字索引机制,快速索引缓存对象,降低系统开销;对超过一定大小的文件采取后缀预取策略以增加缓存中数据对象的个数.在课题应用背景下,与传统算法的对比实验表明,该方法能够减少缓存的平均请求等待时间,提高对象命中率和字节命中率,增强了缓存替换算法对多类型多请求模式应用的适应性.     

一种面向存储服务的缓存管理模型

给出一种适用于网络存储设备的面向存储服务的新型缓存管理模型,它支持可配置的缓存管理策略和可配置策略的缓存分配机制。与通用操作系统中的缓存管理模块相比,该模型的主要优点是使能针对具体存储应用的性能优化,使能多个存储应用之间的数据访问 QoS控制。     

一种基于两级缓存的协同缓存机制

信息中心网络（information-centric networking,简称ICN）将网络通信模式从当前的以地址为中心转变为以信息为中心.泛在化缓存是ICN重要特性之一,它通过赋予网络任意节点缓存的能力来缓和服务器的压力,降低用户访问延迟.然而,由于缺少内容热度的分布感知,现有ICN缓存策略仍存在缓存利用率较低、缓存位置缺乏合理规划等问题.为了解决这些问题,提出一种基于两级缓存的协同缓存机制（a cache coordination scheme based on two-level cache,简称CSTC）.将每个节点的缓存空间分为热度感知和协作分配两部分,为不同热度的内容提供不同的缓存策略.同时,结合提出的热度筛选机制和路由策略,降低了缓存冗余,实现了缓存位置优化.最后,基于真实网络拓扑的仿真实验表明,CSTC在次热门内容缓存数量上提升了2倍,缓存命中率提升了将近50%,且平均往返跳数在多数情况下优于现有On-path缓存方式.     

基于Embed系统的缓存利用策略

基于嵌入式在智能工控中缓存预分配的思想,提出一种预分配缓冲区管理机制Index,该机制实现了缓存的静态分配和回收,并在试验中对该机制进行了改进,使其更好的适应高速小型数据报的分配和管理。同时对缓存动态分配回收策略做了研究提出一种连带释放缓存的思想。最大限度实现一次分配一次释放,很好的克服了缓冲区因多次分配回收造成的内存泄露问题。通过性能分析比较,Index机制报文处理能力高效可靠。     

一个分级存储的信息生命周期管理系统设计与实现

信息生命周期管理是一种可持续发展的存储策略,以其独特的优势在存储成本和高效信息管理之间取得平衡.本文设计并实现SAN、NAS存储网络下基于分级存储(HSM)的清华信息生命周期管理系统(THILM).提出一种新的文件重解析实现技术,实现ILM系统中HSM应用服务器端和系统应用层对动态存储数据的透明访问和多级存储数据的统一管理.讨论通过对应用元数据管理的优化和菱略缓存(PolicyCache)技术的改进实现高效的管理策略的执行,通过系统性能测试表明表文提出的文件重解析实现技术带来的额外负载几乎可以忽略,策略缓存技术使系统的策略执行性能提高了一个数量级.另外针对原策略缓存初始化性能低下的问题,采用策略元数据池(PMC)进行优化,采用PMC后THILM策略缓存的初始化时间降低了16～20倍.     

多核计算机上非递归并行计算矩阵乘积

提出延迟隐藏的数据预取模型,实现计算与访存的重叠操作,以达到共享二级缓存零缺失;给出基本块的概念,以简化算法的数据结构和减少存储开销;按基本块连续存储方式存储矩阵元素,从存储层次上优化算法,显著地减少页表缓冲缺失;采取非递归调度基本块的策略,充分利用多核计算机的共享二级缓存来减少访问主存的次数,并且不局限于某种特定的存储结构,实现算法缓存无关.多核计算机上的实验结果表明,给出的非递归计算矩阵乘积的线程级并行算法高效、可扩展.     

面向云应用的存储缓存子系统

性能是云应用的重要指标,云应用与现有应用在数据存储与管理方式和访问模式等方面存在较大差异,这使得传统的缓存管理算法难以适应云应用的要求。针对云应用的特性,设计了基于影响因子的缓存策略,亦即将元数据和数据缓存分开管理,使用影响因子综合管理影响缓存被再次访问的几率的多种因素,区别创建、打开、读取和修改等操作对缓存再次访问的几率的影响;设计了缓存关联管理策略,即利用元数据和数据之间的关联提高缓存管理的性能;设计了缓存主动调度策略,即通过主动淘汰较低影响因子的缓存项和动态调整元数据与数据缓存的大小来提高缓存子系统的适应能力和性能。最后实现了原型系统,并使用Filebench和Postmark进行了测试和分析,验证了面向云应用缓存子系统原型能提高1%~120%的I/O性能以及2%~87%的操作处理速度。     

面向轨迹数据查询优化的缓存机制研究

移动对象数据库（Moving object database,MOD）管理随着时间不断改变位置的空间对象,其已经在广泛的应用中被研究。尽管索引和查询算法等许多与MOD相关的技术已经被提出,但缓存管理仍然被忽略,这对于数据库性能至关重要。传统的缓存方法忽视了数据本身的时空特性,无法实现良好的性能。本文提出从缓存层面充分挖掘轨迹数据的查询性能,首先针对轨迹数据特有的存储结构和读写过程,设计了适合MOD的缓存访问机制;然后对于MOD系统中缺少与应用场景和访问模式相关的缓存策略问题,定制了缓存替换方法;最后开发了缓存管理工具MOCache,以可视化的形式动态跟踪查询语句结束后缓存状态的变化。通过实验表明本文提出的缓存替换策略与传统的策略相比,命中率提高到76.56%,缩短了查询时间,并且使用缓存工具监控历史状态信息,能够更加全面地反馈和分析性能问题。     

应用透明的超算多层存储加速技术研究

在E级计算时代,超算系统一般使用多层存储架构以满足应用数据访问的容量和性能需求,这种架构中不同层次的存储介质差异较大,难以实现统一名字空间管理,往往需要应用修改数据访问流程才能最大程度利用到多层存储的性能和容量优势。针对多层存储统一名字空间的问题,提出针对非易失性双列存储模块（NVDIMM）的块级缓存和针对突发缓冲存储（BB）的文件级缓存技术。基于NVDIMM的块级缓存技术对缓存窗口灵活控制,以支持数据块粒度的异步读写,实现NVDIMM与BB层统一名字空间管理;基于BB的文件级缓存技术将数据缓存在BB层中,并动态迁移和管理文件副本,实现BB层与传统磁盘文件系统统一名字空间管理。在神威E级原型验证系统中的测试结果表明,所提出的两种技术较好地解决了多层存储的透明加速难题,NVDIMM块级缓存与BB相比,在缓存窗口16 MB时128 KB顺序读写带宽分别提升27%和36%,8 KB随机读写带宽分别提升20%和37%;基于BB的文件缓存技术利用BB的高带宽支撑数据访问,与全局文件系统相比,128 KB顺序读写带宽分别提升55%和141%,8 KB随机读写带宽分别提升163%和209%。此外,实际应用的测试也表明以上两种缓存技术具有透明的存储加速效果。     

面向移动端基于社交关系的图片缓存替换算法

随着移动终端深入人们的生活,移动社交APP得到了广泛使用。在移动社交APP中往往会使用大量的图片资源,如微信朋友圈、Instagram的图片分享等。在APP中浏览图片会消耗较多的网络流量,影响加载速度,因此大部分APP采用首先显示缩略图,根据用户需求再加载原图的策略。在服务器端也采用缓存技术来加快缩略图产生时间,减少磁盘I/O。但是,当前的缓存机制更多关注的是缓存的访问频率、最近访问时间等因素,并没有过多关注数据生成用户之间的社交关系,也没有考虑移动用户对缩略图和原图的不同访问模式。把缓存划分为两个部分:缩略图缓存区和原图缓存区,提出了基于社交关系的图片缓存替换算法,在传统缓存替换算法的基础上增加用户的社交关系以及缩略图和原图的关联关系,通过计算图片的缓存价值进行缓存替换。实验表明,所提出的基于社交关系的图片缓存替换算法对于缩略图和原图的缓存命中率都有明显提高。     

Second-level buffer cache management

Buffer caches are commonly used in servers to reduce the number of slow disk accesses or network messages. These buffer caches form a multilevel buffer cache hierarchy. In such a hierarchy, second-level buffer caches have different access patterns from first-level buffer caches because accesses to a second-level are actually misses from a first-level. Therefore, commonly used cache management algorithms such as the least recently used (LRU) replacement algorithm that work well for single-level buffer caches may not work well for second-level. We investigate multiple approaches to effectively manage second-level buffer caches. In particular, we report our research results in 1) second-level buffer cache access pattern characterization, 2) a new local algorithm called multi-queue (MQ) that performs better than nine tested alternative algorithms for second-level buffer caches, 3) a set of global algorithms that manage a multilevel buffer cache hierarchy globally and significantly improve second-level buffer cache hit ratios over corresponding local algorithms, and 4) implementation and evaluation of these algorithms in a real storage system connected with commercial database servers (Microsoft SQL server and Oracle) running industrial-strength online transaction processing benchmarks.     

基于云平台的高并发WebGIS服务

随着Internet技术的发展,传统的WebGIS服务器在面对大用户群高并发访问时会出现服务延迟甚至拒绝服务的现象.针对该问题,本文提出了一种基于云平台的应对高并发的WebGIS服务器架构.架构使用云平台为WebGIS服务器提供弹性计算和存储资源,并从负载均衡、缓存设计、数据库集群三方面缓解高并发瓶颈.选择开源服务器端软件GeoServer作为WebGIS应用实验部署.实验数据表明使用缓存机制明显降低了WebGIS服务响应时间.与单物理服务器相比,云平台WebGIS服务器集群架构能够有效处理高并发请求,且随着集群规模扩展,云平台WebGIS系统能够获得良好的加速比.     

Heterogeneous-aware cache partitioning: Improving the fairness of shared storage cache

In this paper, we investigate the problem of fair storage cache allocation among multiple competing applications with diversified access rates. Commonly used cache replacement policies like LRU and most LRU variants are inherently unfair in cache allocation for heterogeneous applications. They implicitly give more cache to the applications that has high access rate and less cache to the applications of slow access rate. However, applications of fast access rate do not always gain higher performance from the additional cache blocks. In contrast, the slow application suffer poor performance with a reduced cache size. It is beneficial in terms of both performance and fairness to allocate cache blocks by their utility.In this paper, we propose a partition-based cache management algorithm for a shared cache. The goal of our algorithm is to find an allocation such that all heterogeneous applications can achieve a specified fairness degree as least performance degradation as possible. To achieve this goal, we present an adaptive partition framework, which partitions the shared cache among competing applications and dynamically adjusts the partition size based on predicted utility on both fairness and performance. We implement our algorithm in a storage simulator and evaluate the fairness and performance with various workloads. Experimental results show that, compared with LRU, our algorithm achieves large improvement in fairness and slightly in performance.     

基于缓存优化的移动边缘计算资源分配策略

移动边缘计算研究中,边缘服务器通过缓存任务数据可以有效节约计算资源,但如何分配缓存资源解决边缘服务器的竞争关系,以及能耗和效益问题,达到系统性能最优是一个NP难问题。为此提出基于缓存优化的在线势博弈资源分配策略OPSCO(online potential-game strategy based on cache optimization),采用新的缓存替换策略CASCU(cache allocation strategy based on cache utility),最大化缓存的效用。通过优化边缘服务器的效益指示函数,将缓存替换代价等因素与李雅普诺夫优化、势博弈以及EWA(exponential weighting algorithm)算法结合,对边缘服务器的竞争关系建模,进行势博弈相关证明和分析。仿真结果表明,OPSCO相比于其他资源分配策略,可以明显提升任务完成率和缓存效用,并降低设备能耗和时间开销,解决了移动边缘计算在线缓存场景中的资源分配以及数据缓存问题。     

一种针对存储服务器设计的动态分区缓存管理系统

提出了一种动态分区缓存管理系统,简称DPCache(dynamic partitioned buffer cache system),它适用于网络存储服务器中多应用共享缓存资源的应用模式.DPCache基于应用对缓存资源进行分区管理,其优点在于:1)每个独立的缓存分区可根据应用负载特征选择适合的缓存替换策略以提高分区缓存资源利用率;2)缓存分区在系统运行过程中通过可配置的缓存回收策略来有序竞争缓存资源,从而实现应用级的缓存区分服务.目前在Linux-2.6.18内核下实现了该系统,实验数据表明,DPCache不仅能够在实际应用中有效地支持多种缓存区分服务语义,同时它还能够支持对特定应用的性能优化.     

Design a progressive video caching policy for video proxy servers

Proxy servers have been used to cache web objects to alleviate the load of the web servers and to reduce network congestion on the Internet. In this paper, a central video server is connected to a proxy server via wide area networks (WANs) and the proxy server can reach many clients via local area networks (LANs). We assume a video can be either entirely or partially cached in the proxy to reduce WAN bandwidth consumption. Since the storage space and the sustained disk I/O bandwidth are limited resources in the proxy, how to efficiently utilize these resources to maximize the WAN bandwidth reduction is an important issue. We design a progressive video caching policy in which each video can be cached at several levels corresponding to cached data sizes and required WAN bandwidths. For a video, the proxy server determines to cache a smaller amount of data at a lower level or to gradually accumulate more data to reach a higher level. The proposed progressive caching policy allows the proxy to adjust caching amount for each video based on its resource condition and the user access pattern. We investigate the scenarios in which the access pattern is priorly known or unknown and the effectiveness of the caching policy is evaluated.     

基于用户行为的流式应用分发系统缓存设计

在目前的流式应用分发系统中,客户端通过流式加载的形式按需加载应用资源,因此客户端需要频繁访问远程服务器,从而导致服务器过载、流量消耗增加、应用启动缓慢等问题。针对上述问题,设计了流式应用分发系统的缓存及综合用户行为预测策略A-RBFS（Adaptive Recently Behavior Frequently Size）。该策略同时考虑用户使用行为、客户端状态和应用大小等因素,并根据客户端剩余存储空间大小调节缓存空间总大小。实验结果表明,在同等条件下,该缓存替换策略明显优于LRU和LFU缓存替换策略。     

并行高斯消去法在云计算平台上的研究

为了解决串行部分选主元的高斯消去算法不能充分利用多核处理器的问题，提出并实现了并行多线程的部分选主元的高斯消去算法，并将整个算法进行了分析和优化，使数据的存储布局和算法的访存模式匹配，从而大幅提高了程序的性能。通过对本地Linux服务器以及美国亚马逊EC2云的多种平台上的实验结果的比较和分析，确定了部分选主元的高斯消去算法受缓存影响较大，所以在CPU和内存/缓存配置较为均衡的平台上运行性能最好。文中展现了一种高效率、扩展性好的多线程并行部分选主元的高斯消去算法以及将一般性串行算法进行并行化和优化的方法。     

面向直播HTTP Streaming系统的HTTP缓存服务器行为优化

HTTP缓存服务器是提高HTTP Streaming系统客户并发量的关键环节。但当前主流HTTP缓存服务器,如Nginx、Squid、Varnish等,在缓存资源更新期间的行为都存在不足,当被应用在面向直播的HTTP Streaming系统中时,会周期性地把大量客户端请求转发至源服务器,从而制约了HTTP Streaming系统的可伸缩性。提出一种优化的HTTP缓存服务器在缓存更新期间的行为,即缓存服务器仅向源服务器转发一路客户端请求,缓存更新期间,拒绝其他关于该资源的请求。优化策略在使用最为广泛的Nginx服务器的基础上进行了实现。实验证明,优化后系统的伸缩性得到了显著提高。     

基于Memcached的缓存资源集中管理方法

Memcached是一个免费开源、高性能的、分布式的内存对象缓存系统,用于在动态Web应用中提升访问速度,在很多高访问量的大型网站中得到广泛应用。然而却一直没有一个对Memcached进行统一集中管理部署的工具,在实际开发中往往会将Memcached模块紧密地和应用程序混在一起,给缓存的独立维护造成困难。文中从Memcached应用特征和Web应用体系结构特征两方面分析了现有Memcached系统的缺点,进而提出了一种缓存资源集中管理和多应用共享方案,并构建了一个MemcachedManager应用系统。相对于传统Web开发方式,文中提出的方案可以很大程度上规范和简化应用程序对Memcached的使用,方便缓存资源的统一分配管理。