流媒体代理缓存技术研究

代理缓存是降低流媒体点播系统数据传输代价的一项关键技术,但目前现有的缓存方案,由于受到代理本身缓存空间大小和代理与客户端缺少协作的限制,效率不是很高.针对纯代理缓存系统的不足,文章提出了一种采用代理与客户端缓存协作的方式来弥补以上的不足.通过整合客户端的缓存空间来扩充系统总的缓存空间,依靠代理服务器实现资源的部署与协调.仿真结果显示,对比纯代理缓存系统,由于客户端缓存空间的加入,能显著减少主干网的带宽消耗,降低流媒体数据传输代价.     

云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

分布式多媒体存储系统中的全局缓存管理

多媒体存储系统必须同时支持连续媒体和非连续媒体的访问.由于连续媒体的实时要求,系统必须为访问连续媒体保留大量的磁盘带宽,并且持续很长的时间,这使其他类型文件的访问性能严重下降.本文根据连续媒体的访问特性,提出了一个分布式多媒体存储系统的协同缓存策略GLNU,充分利用系统中其他结点上可用的内存资源,提高缓存的利用率,以减少连续媒体的磁盘I/O,从而提高其他媒体的访问性能.仿真试验表明GLNU在各种不同的参数下,均优于现有的缓存策略,是一种适合分布式多媒体存储系统的缓存策略.     

流媒体代理缓存技术的研究

随着Internet技术的发展和普遍应用,流媒体技术在Internet上得到了广泛的应用.对流媒体对象的访问,需要高且稳定的传送速率,网络带宽消耗大且持续时间长,容易给其他类型文件的访问带来影响,若用户过多,还会使初始流媒体服务器过载.代理缓存技术可帮助解决上述问题.文中介绍了流媒体代理缓存的特点,流媒体代理缓存的算法,流媒体代理缓存的评价指标和影响流媒体代理缓存效果的因素.     

一种基于TwemProxy的HBase索引缓存方案

随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较高的业务需求。文章设计并实现了一种非主健索引的HBase分布式集群优化方案,使用基于Twemproxy的Redis集群作为缓存设计方案,提出基于热度积累的缓存替换算法,降低HBase扫描的资源访问开销,提高索引性能。实验结果表明:改进后的集群设计方案较传统分布式HBase数据库在非主键查询效率上有较明显性能提升,在缓存命中率上提升约20%,并且保持良好的可扩展性。     

互联网缓存安全风险分析及防范

在移动互联网时代,缓存管理对互联网业务的体验与推广,具有重要意义与影响。缓存系统在潜移默化为用户服务的同时,也存在一系列的安全风险,如缓存设备存在对外发起异常攻击流量的安全风险、直路缓存LTM设备代理访问导致的免流安全风险等。针对现有的缓存安全问题或风险,文章从安全风险的源头进行分析,指出了问题的根本,并结合实际工作情况,给出了相应的解决方案和应对措施。     

一种有资源适应性的transcoding代理缓存机制

在基于transcoding代理的流媒体服务系统中,CPU和网络是两种潜在的瓶颈资源.本文提出了一种有资源适应性的transcoding代理缓存机制,统一考虑CPU和网络的资源需求,以提高系统的服务能力.首先推导了多版本缓存策略下网络收益和CPU收益的计算方法.通过引入一个时变的影响因子 α (t),给出了缓存系统聚合资源收益的表达.在此基础上给出了单个对象的缓存价值函数,并设计了RAC替换算法.实验表明RAC具有较好的资源适应性和系统吞吐率.     

Spark计算引擎的数据对象缓存优化研究

研究了Spark并行计算集群对于内存的使用行为,认为其主要工作是通过对内存行为进行建模与分析,并对内存的使用进行决策自动化,使调度器自动识别出有价值的弹性分布式数据集(RDD)并放入缓存。另外,也对缓存替换策略进行优化,代替了原有的近期最少使用(LRU)算法。通过改进缓存方法,提高了任务在资源有限情况下的运行效率,以及在不同集群环境下任务效率的稳定性。     

基于缓存共享的分布式宽带数字接收技术

为满足宽带数字接收系统对海量实时数据缓存的需求,提出了一种基于数据缓存共享和流控式轮询的技术方案.该方案构造了一种高效的数据存储结构和缓存机制,为系统采用分布式并行处理架构提供了基础,并使系统具有均衡的吞吐率性能.硬件实现的测试结果表明,该方案能够实现高达144Gb/s实时数据的缓存与处理,可以较好地满足实际应用需求.     

面向大数据的分布式缓存设计

大数据平台的底层存储系统往往无法匹配上层计算应用的读写性能,而一个设计良好的分布式缓存系统将缩小CPU密集型应用和IO密集型应用之间不匹配的性能差距。设计的面向大数据应用的分布式缓存系统,在读写流程、I/O事件驱动并发模型及元数据模型等方面进行了合理设计与优化,并使用fio工具测试了顺序写、随机写、顺序读及随机读场景下的吞吐率与IOPS等性能指标,验证了该分布式缓存系统的高性能优势和应对高并发场景的扩展能力。     

基于分布式缓存的科技文献信息动态检索系统设计

为便于科研人员研究科技发展前沿动态,设计基于分布式缓存的科技文献信息动态检索系统,为用户匹配最佳检索结果。用户层将用户检索需求传输至处理层数据采集模块,该模块采集数据信息后经网络层通信模块将信息传输至数据层科技文献信息数据库中存储;数据层分布式存储模块采用分布式缓存方法将以往的检索记录信息分别存储至热数据库及冷数据库中;利用网络层传输科技文献信息数据库内的检索需求信息至处理层检索处理模块,通过科技文献信息动态检索方法处理接收到的检索信息,将处理后信息与数据层分布式存储模块内的关联数据进行排序重组,获取检索结果,并通过用户层展示检索结果。结果表明,该系统可有效且准确地为用户检索其所需的科技文献信息,检索MAP值为0.95以上,系统具备较快的读写速度与较强的数据传输能力。     

电力计量采集系统中分布式缓存系统研究

提出Redis数据库的分布式扩展机制并引入新的Key过期处理策略,构建了能够满足大规模数据应用场景下的缓存系统。经布署在广东等地系统的运行结果表明,该动态分布式缓存系统解决了原有计量采集系统中计量记录入库性能差的问题,能够满足海量数据的处理需求,具有高效、可靠、扩展方便的特点,对于构造提高关系数据库事务型操作能力的缓存系统具有指导意义。     

多控制器集群流媒体缓存代理的研究

为满足用户分散的大规模视频流媒体应用需求,该文提出了一种基于多控制器集群缓存代理结构(Multi- controller based Cluster Streaming Cache Proxy, MCSCP),该体系由一组控制器构成控制子系统,由多个内容存储器构成分布式存储子系统。对控制子系统的关键问题进行了深入研究:采用图论思想给出控制器组的选取算法,设计了一种基于优先级的主控制器选举和在线切换协议(Priority based Master-controller Election and Handover, PMEH)。建立数学模型分析了多控制器体系对系统可靠性的改善程度,讨论了控制器选取算法的性能,研究了协议中报文发送间隔变量与系统开销的关系,并使用仿真实验给出了该参数的最佳取值范围。     

基于事物内存的分布式编程环境中缓存一致性维护机制

本文提出了基于事务内存的分布式编程框架,能够有效地减少由事务内存带来的网络带宽消耗,并且降低事务内存中事务操作的通信延迟.其中,重点设计实现了一个新的事物内存缓存数据一致性维护机制.测试结果表明,使用该新型基于事物内存的分布式编程框架实现的分布式计算任务具有简单的设计模型和较高的效率,有效的减少了系统网络带宽需求,在小规模集群中相对于现有的分布式事务内存系统有30%的性能提升.     

基于Java应用程序的可移植缓存模型

为了研究Java应用程序与缓存系统的相互独立性,结合Java应用程序的缓存特征,提出了一种基于Java的可移植缓存模型PCM-JA.借助Java技术的平台无关性,PCM-JA型可以移植到不同的平台.并且为Java应用程序提供了一个通用的方法来创建、访问、更新和删除Cache中的条目,介绍了该模型的五个核心模块及其功能实现,研究了具体的缓存策略,结合现有缓存算法给出了相应的算法设计.实验结果表明,提出的缓存模型具有较好的性能.     

一种基于关联规则的代理缓存模型

将数据挖掘中关联规则技术应用到代理缓存管理和调度上，提出了一个新颖的基于关联规则的代理缓存模型，同时对该模型系统实现的一些关键技术做了详细的说明，并初步分析了其性能代价。试验表明该模型具有相当的可行性和有效性。     

Web缓存替换算法的研究与改进

缓存替换算法对代理缓存的系统性能起着重要的影响,本文对Web缓存替换算法进行了研究,针对Hybrid算法提出了改进方法。实验结果表明,改进后的算法在保持相对较低的延迟率和较高的URL命中率的情况下,字节命中率有较大的提高,对改善网络状况有一定的意义。     

大规模连续媒体服务的缓存替换算法设计与实现

连续媒体的缓存设计是非常关键的问题,本文针对大规模连续媒体服务系统的特点,提出了EA缓存替换算法.该算法充分考虑了现有用户和请求接入用户的服务需求,提高了内存使用效率.我们的理论分析和实验模拟证明了它在性能上大大优于传统的缓存替换算法.     

一种分布式磁盘缓存的设计与实现

为了提高系统10性能，针对松散耦合环境下，高带宽、低延迟的传输特点，提出了一种通过扩展存储器层次结构来提高系统10性能的分布式系统——分布式磁盘缓存系统DRACO。通过利用分布式环境中空闲内存节点的剩余内存，扩充系统整体缓存容量，减小访问磁盘数据的频度，最终达到提高系统整体性能的目的。     

Redis分布式缓存实现与解析

近年来,中国的互联网产业正在以前所未有的速度迅猛发展。在此背景下涌现出一些亿级数据量规模的网站。为了保证用户体验,以及系统的高并发,在架构方面会使用缓存机制来降低请求对后台DB的访问。为了解决系统的高可用性以及可扩展性,在系统架构方面采用分布式的方式。因此要求缓存的也必须是分布式部署。Redis作为高性能KV存储系统,基于内存存储的特点使得Redis与传统的关系型数据库相比,拥有极高的吞吐量和相应性能。并且具备跨服务器的水平拆分、复制的分布式特性。很多系统都采用此数据库来解决高并发的问题,作者通过Redis的分布式实现,来具体探讨下其实现原理。