基于虚拟存储层的缓存控制软件设计

缓存加速技术可以利用固态硬盘(SSD,solid state disk)随机访问性能高的优势,提升机械硬盘的随机读写性能;传统的缓存加速技术难以适应大数据背景下高并发、间歇性频繁访问等热点数据访问需求;为了提升缓存整体性能,提出一种基于虚拟存储层的缓存策略(CVSL,cache policy based on the virtual storage layer),将缓存技术和分层存储技术相结合,通过热度统计、数据逻辑迁移,实现基于数据逻辑分层的缓存控制;实验结果表明,相对传统的缓存策略,CVSL策略的随机读写性能提升了9％～10％,未见明显波动,在缓存命中率方面具有良好的效果,达到了预期设计目标.     

对象存储中基于高斯分布的分层缓存淘汰算法

在分布式存储系统中,引入分层缓存技术是优化系统读写的重要方法。目前分层缓存技术多使用LRU及其改进算法管理缓存空间,该方式虽然一定程度上改善了缓存性能,但有限的缓存命中率也使其成为性能瓶颈。针对此问题,本文研究聚焦于分布式对象存储在云计算场景下的应用特点,设计了一种基于高斯分布的淘汰算法。算法基于高斯分布的形态特征设计淘汰规则,规避了LRU及其改进算法采用频率估计概率的误差影响。通过仿真实验结果表明,在用户访问符合高斯分布时,本文提出的基于高斯分布的分层缓存淘汰算法能有效提高缓存命中率。     

一种面向SSD-HDD混合存储的热区跟踪替换算法

固态驱动器(SSD)读写性能优越,但成本高,因此在实践中人们往往利用SSD和普通硬盘(HDD)构建混合存储系统以获取较高的性价比.在混合存储系统中,如何使更多的IO请求能够命中SSD是充分利用SSD性能的关键.针对多任务共享存储环境下集中访问和随机访问IO存取模式并存,且通常情况下IO工作流大部分请求相对集中于有限区域内的特点,本文提出一种基于热区跟踪(HZT)的缓存替换算法.HZT算法充分考虑了IO工作流的空间局部性和时间局部性,利用IO工作流的历史访问信息,跟踪当前热区,并为热区数据块赋予更高的驻留SSD的优先级,能够有效提高混合存储中SSD缓存的命中率.经测试,在典型多任务共享存储环境下HZT算法可以使SSD缓存的命中率比使用LRU(Least Recently Used)算法的系统提高12%.采用适当的预取策略,该算法的命中率与LRU算法相比可获得23%的提升.     

NoSQL非关系型数据库负载均衡的实现

NoSQL数据库以其支持数据高并发读写,海量数据高效率存储和访问,以及高扩展性和高可用行的特点在分布式存储系统中得到了广泛的应用。通过对分布式存储系统负载均衡的研究,提出了使用一致性哈希函数来实现系统负载均衡,并通过添加为集群节点添加虚拟节点的方式来增加缓存的命中率。     

基于顺序检测的双队列缓存替换算法

缓存技术是提高存储性能最有效的技术之一,在存储系统中得到了广泛应用.由于缓存容量有限,替换算法在缓存策略中占据了重要地位.当前,缓存替换算法的研究工作主要集中在如何提高缓存系统命中率,忽略了通过降低缓存失效开销来提高缓存系统性能方面的研究.针对这一问题,本文提出了一种基于顺序检测的双队列缓存替换算法:本算法优先淘汰缓存中的顺序页面,保留随机页面,从而大大减少后续请求对磁盘进行随机访问的次数,能够显著降低缓存系统的失效开销.同时,本算法使用两个队列分别维护新加入页面和待淘汰页面,遵循时间局部性原理,保证了缓存命中率.实验结果表明,本算法在多种缓存大小及工作负载下,可以达到比LRU和ARC算法更优的性能.     

基于分级Cache的透明计算系统

设计并实现一个基于分级Cache的透明计算系统HCTS,在系统客户端和服务端采用两级缓存来提升I/O性能。在缓存的管理策略上,针对透明计算应用环境,以提高缓存命中率为主要目标,提出一种基于访问频率计数阈值的改进LRU置换算法LRU-AFS。测试结果表明,当网络环境中的客户主机数不断增加时,与普通透明计算系统TS相比,HCTS能够在减少网络流量的同时大幅缩短客户机启动时间,提高随机读写吞吐量。     

.NET平台下自适应缓存对象替换算法

缓存是提高Web应用程序性能的一个重要手段..NET平台下提供了数据缓存与页面缓存技术,在已经实现的缓存对象的基础上,设计了一种缓存对象的自适应替换算法.算法使用了基于缓存对象的价值与被访问频率的综合优先级策略,提出了相应的缓存对象被替换规则.算法充分考虑了缓存对象之间的依赖关系对优先级的影响.从对象命中率与系统的整体响应时间两个方面测试了算法的性能,测试表明所提出算法相对于最小价值算法、最少使用频率算法有较大的改进.     

Web缓存优化模型研究

缓存模型研究的核心是替换策略的优化。分析并比较传统缓存模型IRM和MRM的思想,基于相对流行度以及字节代价的概念,提出满足命中率、字节命中率和延迟时间等不同性能指标要求的Web缓存优化模型,并给出相应算法。实验及分析表明,Web缓存优化模型替换算法的性能表现较传统算法有所提高。     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

基于预测的Web缓存替换策略

为提高Web缓存性能，在缓存替换算法的基础上加入预测机制，提出了基于预测的Web替换策略P-Re。预测算法采用PPM上下文模型，当缓存空间不够用来存放新的对象时，P-Re选择键值较小且未被预测到的对象进行替换。实验表明，基于预测的Web缓存替换算法P-Re相对于传统替换算法而言具有较高的命中率和字节命中率。     

基于动态流行度与请求代价的命名数据网络缓存策略

为实现高效的命名数据网络(NDN)缓存替换,设计动态流行度与请求代价相结合的缓存替换策略。使每个节点单独计算缓存内容的动态流行度与请求代价的加权(DPC)值,并基于该值进行缓存内容的替换,保留高流行度与高请求代价的内容。在此基础上,根据内容的DPC值对其分类,执行区分化的缓存决策算法,合理选择节点放置缓存。实验结果表明,相对于典型NDN缓存策略,该策略能有效提高缓存命中率,降低平均跳数。     

基于媒体流行度和前缀缓存的缓存替换算法

针对流媒体用户访问偏好的情况,提出了一种基于前缀缓存与媒体流行度的缓存替换算法。该算法根据不同媒体外部、内部流行度给出预估的综合流行度,进而选择可用缓存中具有低流行度的片断进行替换,使得缓存中的所有片断的再利用价值之和最大。模拟实验结果表明,该算法能减少缓存的替换次数,提高缓存命中率,性能较好。     

位置相关查询中基于最小访问代价的缓存替换方法

在位置相关查询（LDQ）中由于用户的移动性和数据的位置相关性,给缓存替换策略带来了新的挑战。在详细分析位置相关数据(LDD)的空间位置特性和几种典型的位置相关缓存替换策略的基础上,提出一种基于最小访问代价的缓存替换策略（PLAC）,一些重要的缓存替换因素如访问概率、更新频率、数据距离和有效范围等都包含在代价函数里,PLAC根据代价函数值的大小来决定被替换的数据,由此来保证有限缓存的最大使用率。通过实验对比,PLAC比其他位置相关缓存替换策略更为有效地提高了缓存命中率,缩短了查询平均响应时间。     

应用透明的超算多层存储加速技术研究

在E级计算时代,超算系统一般使用多层存储架构以满足应用数据访问的容量和性能需求,这种架构中不同层次的存储介质差异较大,难以实现统一名字空间管理,往往需要应用修改数据访问流程才能最大程度利用到多层存储的性能和容量优势。针对多层存储统一名字空间的问题,提出针对非易失性双列存储模块（NVDIMM）的块级缓存和针对突发缓冲存储（BB）的文件级缓存技术。基于NVDIMM的块级缓存技术对缓存窗口灵活控制,以支持数据块粒度的异步读写,实现NVDIMM与BB层统一名字空间管理;基于BB的文件级缓存技术将数据缓存在BB层中,并动态迁移和管理文件副本,实现BB层与传统磁盘文件系统统一名字空间管理。在神威E级原型验证系统中的测试结果表明,所提出的两种技术较好地解决了多层存储的透明加速难题,NVDIMM块级缓存与BB相比,在缓存窗口16 MB时128 KB顺序读写带宽分别提升27%和36%,8 KB随机读写带宽分别提升20%和37%;基于BB的文件缓存技术利用BB的高带宽支撑数据访问,与全局文件系统相比,128 KB顺序读写带宽分别提升55%和141%,8 KB随机读写带宽分别提升163%和209%。此外,实际应用的测试也表明以上两种缓存技术具有透明的存储加速效果。     

卫星数据的分布式存储系统设计与验证

随着遥感技术的不断发展,各种高分卫星的成功发射,卫星数据量呈爆发式增长,对业界普遍采用的存储系统提出了极大的挑战。针对存储系统需要支持大容量、高并发读写性能、高可扩展性以及应用和用户权限的多样性的问题,文章做了卫星数据处理中的访问模式和具体需求设计,并验证了一个分布式存储系统。该系统的数据节点和元数据节点采用集群方式,使用N+M纠删码、小文件聚合、大数据块存储、客户端缓存和预取,支持块、文件和对象等多种接口,实现了千亿级文件的超大容量、超高并发读写性能和系统的线性扩展,提供了对不同应用和用户权限的支持。     

基于谱聚类的Web多级缓存替换策略

服务器缓存性能的核心是缓存替换策略, 缓存替换策略直接影响缓存的命中率, Web缓存可以解决网络拥塞和用户访问延迟问题, 提高服务器的性能. 传统缓存替换算法的命中率往往不高, 为此文中提出了一种基于谱聚类的多级缓存替换策略. 该策略利用循环滑动窗口机制提取日志文件的多项时序特征和访问属性, 通过谱聚类对过滤后的数据集进行聚类分析从而得到访问预测结果. 多级缓存替换策略综合考虑了缓存对象的局部频率、全局频率以及资源大小能更好地对低价值资源进行剔除, 同时对高价值资源进行保留. 通过与传统替换算法LRU、LFU、RC、FIFO进行实验对比, 实验结果表明本文将谱聚类和多级缓存替换策略进行结合有效地提高了缓存请求命中率和字节命中率.     

一种闪存敏感的多级缓存管理方法

基于闪存的固态硬盘(solid state driver,简称SSD)已经广泛应用于各种移动设备、PC机和服务器.与磁盘相比,尽管SSD具有数据存取速度高、抗震、低功耗等优良特性,但SSD自身也存在读写不对称、价格昂贵等不利因素,这使得SSD 短期内不会完全取代磁盘.将SSD和磁盘组合构建混合系统,可以发挥不同的硬件特性,提升系统性能.基于 MLC 型 SSD 和 SLC 型 SSD 之间的特性差异,提出了一种闪存敏感的多级缓存管理策略——FAMC.FAMC将SSD用在内存和磁盘之间作扩展缓存,针对数据库系统、文件管理中数据访问的特点,有选择地将内存牺牲页缓存到不同类型的SSD.FAMC同时考虑写请求模式和负载类型对系统性能的影响,设计实现对SSD友好的数据管理策略.此外,FAMC基于不同的数据置换代价提出了适用于SSD的缓冲区管理算法.基于多级缓存存储系统对FAMC的性能进行了评测,实验结果表明,FAMC可以大幅度降低系统响应时间,减少磁盘I/O.     

命名数据网络中基于数据请求代价与流行度的动态替换策略

针对怎样高效地对命名数据网络(NDN)缓存中的数据进行替换的问题,提出了一种综合考虑数据流行度与数据请求代价的数据替换策略。该策略根据数据的请求时间间隔动态地分配数据流行度因子与数据请求代价因子的比重,使节点缓存高流行度与高请求代价的数据。当用户下次请求数据时能够从本节点获取,降低数据请求的响应时间并减少链路拥塞。仿真结果表明,本策略能够有效提高网内存储命中率,降低用户获取数据的时间以及缩短用户获取数据的距离。     

基于协同过滤的Web缓存替换算法研究

针对GDSF替换算法中对访问频率缺少预测的不足,提出了一种基于协同过滤的GDSF缓存替换算法(GDSF-CF)。该算法考虑了Web对象之间相似性与用户访问时间间隔,运用协同过滤算法生成Web对象的预测访问频率,并采用齐普夫定律参数对GDSF算法的目标函数进行了改进。当需要进行缓存替换时,利用目标函数价值计算缓存空间中的每个Web对象缓存价值,将最小缓存价值的Web对象进行替换。仿真实验结果表明,该算法的命中率HR和字节命中率BHR都有较大提升。     

基于密文策略属性基加密系统访问机制的缓存替换策略

为提高基于密文策略属性基加密（CP-ABE）系统的数据缓存性能,针对CP-ABE加密的数据,提出一种有效的缓存替换算法--最小属性价值（MAV）算法。该算法结合CP-ABE加密文件的访问策略并统计高频属性值的个数,利用余弦相似度方法和高频属性值统计表来计算属性相似度;同时结合属性相似度和文件大小计算缓存文件的属性值价值,并替换属性值价值最小的文件。在与最近最少使用（LRU）、最不经常使用（LFU）、Size缓存替换算法的对比实验中,针对CP-ABE加密后的数据,MAV算法在提高加密文件请求命中率和字节命中率方面具有更好的性能。