动态数据处理平台分布式缓存替换算法仿真

针对传统分布式缓存替换算法路由器命中缓存性能不足的问题,提出一种动态数据处理平台分布式缓存替换算法。描述动态数据处理平台分布式数据缓存信息,构建动态数据处理平台的缓存架构表,并根据缓存情况替换缓存架构表,通过不断替换的缓存架构表改进权重替换算法,在算法中添加缓存对象这一参数,并通过改进后的算法计算缓存对象的更新权重值及其权重成本,根据计算成本替换LRU链表中的尾指针元素,当元素已存在缓存中并且被命中时、或出现被请求的新元素时,则更新LRU链,构造新的LRU链表,通过重构的LRU链表构建分布式缓存替换策略,从而实现动态数据处理平台分布式缓存替换算法的构建。为了证明动态数据处理平台分布式缓存替换算法的优越性,将其与传统分布式缓存替换算法进行比较,实验结果证明,上述算法的路由器命中缓存性能优于传统算法,更适合进行动态数据处理平台的分布式缓存替换。     

云计算环境下分布式缓存技术的现状与挑战

作为云平台提升应用性能的一种重要手段,分布式缓存技术近年来受到了工业界和学术界的广泛关注.从云计算与分布式缓存技术的结合入手,分析介绍了分布式缓存的特性、典型应用场景、发展阶段、相关标准规范以及推动缓存技术发展的若干关键要素.为系统地了解分布式缓存技术的现状和不足,建立了一个云环境下分布式缓存技术的分析框架--DctAF.该框架从分析云计算的特点和缓存技术的边界出发,涵盖6个分析维度.基于DctAF框架,对当前缓存技术进行总结和分析,并对典型系统进行比较.在此基础上,深入阐述了云环境下分布式缓存系统面临的挑战;围绕上述挑战,分析和比较了已有的研究工作.     

基于分布式协同缓存机制的Web Proxy研究

提出了一种基于全局内存对象缓冲池的高性能分布式Web Proxy模型,通过在系统范围内构建类似于分布式共享存储器系统的缓冲池,并将分布式Web Proxy系统中访问最频繁的Web对象置于其中,则Web对象的平均服务时间缩短,提高了系统性能。通过实际Proxy服务器的访问日志进行了系统性能仿真,结果表明,该机制可以提高分布式Web Proxy服务器的性能。     

Spark内存管理及缓存策略研究

Spark系统是基于Map-Reduce模型的大数据处理框架。Spark能够充分利用集群的内存,从而加快数据的处理速度。Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点。首先,测试并分析了Shuffle Memory和Storage Memory的使用特点。RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区。接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择。最后,测试和分析了多种缓存策略的性能。     

一种应用于分布式缓存系统中的缓存部署算法

缓存技术能有效的节省网络带宽,减少用户的访问延迟.在分布式缓存系统中,一个值得研究的问题是如何根据用户的请求动态的进行缓存部署,使得系统的收益最大.描述了缓存部署问题并建立了优化模型,在此基础上提出一种新的协作缓存部署算法,该算法利用对象的热度、网络距离,以及系统中各节点接收的请求和系统缓存分布信息,依次对请求路径上的节点进行缓存部署决策,同时该算法将计算分布到请求路径的各个节点上进行.仿真结果表明,该算法具有比LRU和Graph算法更高的缓存命中率和更低的访问延迟.     

使用内存缓存的迭代应用编程框架

迭代式计算是一类重要的大数据分析应用.在分布式计算框架MapReduce上实现迭代计算时,计算会被分解成多个作业并按作业依存关系顺序运行,这使得程序与分布式文件系统(DFS)有多次交互而影响程序执行时间.对这些交互相关数据的缓存会降低与DFS的交互时间,进而提升程序总体的性能.考虑到集群中的大量内存在多数情况下会处于空闲状态,提出了一种使用内存缓存的迭代式应用编程框架MemLoop.该系统从作业提交API、调度算法、缓存管理模块实现缓存管理以充分利用内存缓存迭代间可驻留数据与迭代内依存数据.我们将此框架与已有相关框架进行了比较,实验结果表明该框架能够提升迭代程序的性能.     

基于缓存框架的Web缓存研究

该文重点研究了缓存框架OSCache的缓存组件与Hibernate的数据缓存管理。提出OSCache、Ehcache和Hibernate整合在一起的Web缓存方案。     

基于云计算分布式缓存构建IPTV业务平台

在政策、市场等因素的诱导下,国内IPTV进入了一个快速发展的阶段,从而面临着容量的扩充问题。云计算使用分布式的架构,具有海量的存储能力和快速的扩展能力。通过对云计算分布式缓存技术的研究和分析,把云计算分布式缓存技术引入IPTV业务平台的方案中,使得IPTV业务平台具有良好的扩展性,满足其快速增长的需要。     

内存缓存技术在门户网站开发中的应用研究

该文创造性地探讨了内存缓存技术在门户网站开发中的应用，介绍了Memcached这一杰出成果在truelife．com的应用情况，并就其实际存在的一些缺陷进行了深入分析。     

内存缓存技术在门户网站开发中的应用研究

该文创造性地探讨了内存缓存技术在门户网站开发中的应用,介绍了Memcached这一杰出成果在truelife.com的应用情况,并就其实际存在的一些缺陷进行了深入分析。     

基于缓存框架的Web缓存研究

该文重点研究了缓存框架OSCache的缓存组件与Hibernate的数据缓存管理。提出OSCache、Ehcache和Hibernate整合在一起的Web缓存方案。     

内存网格中的自主协同缓存技术研究

本文基于原有工作提出了利用内存网格进行磁盘缓存的技术,从而组织和共享网络上分布的空闲内存资源,提高具有大量磁盘IO的节点的系统性能;给出了一种基本设计方案,并提出了缓存节点的时间分布和空间合并等自主协同机制,进一步优化了系统性能;最后通过基于实际采集数据的模拟,对方案进行了评价。     

基于MongoDB的分布式缓存

电力信息化的发展对传统电力信息系统的数据处理、并发请求及响应能力提出诸多挑战.针对电力信息系统数据处理的特点,提出一种基于MongoDB数据库的分布式缓存,并对该分布式缓存的运行机制、服务端架构和客户端功能模块的设计进行了分析与阐述.基于MongoDB的分布式缓存能够有效地降低电力信息系统数据库层的访问负载量,提高系统的整体性能,它采用分布式文件存储缓存数据,支持数据冗余备份和故障恢复功能,具有较高的可靠性和扩展性.基于MongoDB的分布式缓存已成功应用到电力某企业的项目管理系统中.     

基于分布式数据集的并行计算框架内存优化方法

随着科学计算和人工智能技术的快速发展，分布式环境下的并行计算已成为解决大规模理论计算和数据处理问题的重要手段。内存容量的提高以及迭代算法的广泛应用，使得以Spark为代表的内存计算技术愈发成熟。但是，当前主流的分布式内存模型和计算框架难以兼顾易用性和计算性能，并且在数据格式定义、内存分配、内存使用效率等方面存在不足。提出一种基于分布式数据集的并行计算方法，分别从模型理论和系统开销两个角度对内存计算进行优化。在理论上，通过对计算过程进行建模分析，以解决Spark在科学计算环境下表达能力不足的问题，同时给出计算框架的开销模型，为后续性能优化提供支持。在系统上，提出一种框架级的内存优化方法，该方法主要包括对跨语言分布式内存数据集的重构、分布式共享内存的管理、消息传递过程的优化等模块。实验结果表明，基于该优化方法实现的并行计算框架可以显著提升数据集的内存分配效率，减少序列化/反序列化开销，缓解内存占用压力，应用测试的执行时间相比Spark减少了69%～92%。     

分布式缓存系统中一种优化缓存部署的图算法

数据缓存技术可以有效地减少网络拥塞,减轻服务器负载,加快信息访问速度.通过部署一组地域分布的缓存节点相互协作处理用户请求,可以进一步提高系统性能.在分布式缓存系统中,一个值得关注的问题是优化缓存的放置,使访问开销最小化.首先建立了一个理论模型来分析缓存副本放置对系统访问开销的影响.基于这个模型,缓存放置问题可以形式化地描述成一个最优化问题,提出了一种图算法来解决该问题.图算法使用修改的Dijkstra算法在访问代价图中寻找一条最短路径,该路径对应一种最优的缓存部署.理论上证明了图算法的正确性,并使用仿真实验对其性能进行评估.实验结果表明,图算法的性能优于大部分现有的分布式缓存机制.     

分布式缓存系统中一种优化缓存部署的图算法

数据缓存技术可以有效地减少网络拥塞,减轻服务器负载,加快信息访问速度.通过部署一组地域分布的缓存节点相互协作处理用户请求,可以进一步提高系统性能.在分布式缓存系统中,一个值得关注的问题是优化缓存的放置,使访问开销最小化.首先建立了一个理论模型来分析缓存副本放置对系统访问开销的影响.基于这个模型,缓存放置问题可以形式化地描述成一个最优化问题,提出了一种图算法来解决该问题.图算法使用修改的Dijkstra算法在访问代价图中寻找一条最短路径,该路径对应一种最优的缓存部署.理论上证明了图算法的正确性,并使用仿真实验对其性能进行评估.实验结果表明,图算法的性能优于大部分现有的分布式缓存机制.     

关于ASP．NET Web缓存增强性能

随着ASP．NET越来越受开发人员的欢迎,同时由用户和处理数量的不断增长而导致的瓶颈限制继续促使开发人员寻求更为优异的性能和可伸缩性。本文将该问题的定义作为背景,介绍了这些问题发生的原因,其中包括ASP．NET会话状态为何会随着Web场的增长而陷入阻塞状态。     

浅谈分布式内存数据库系统设计

随着近三十多年计算机硬件、软件技术、计算机系统和互联网的发展,播客越来越多地应用在各个大型网站.目前国内外已经存在大量关于内存数据库、分布式数据库的成功研究经验,这对研究分布式内存数据库项目极具指导意义.     

基于.NET的分布式网络管理软件框架

随着Intranet的发展,其本身的结构变得越来越复杂。传统的网络管理方式已经不适应当前的管理需求。文中提出了一个基于Microsoft.NET的分布式网络管理软件框架,在广域网环境下通过Web service通信。同时拥有客户端功能强和可以在广域网环境下轻松跨越防火墙的优点。     

基于.NET的分布式网络管理软件框架

随着Intranet的发展，其本身的结构变得越来越复杂。传统的网络管理方式已经不适应当前的管理需求。文中提出了一个基于Microsoft．NET的分布式网络管理软件框架，在广域网环境下通过Web service通信。同时拥有客户端功能强和可以在广域网环境下轻松跨越防火墙的优点。