一种基于模板的数据预取和缓存算法

针对专题型应用中普遍存在的大数据查询的频繁性和模式固定性特点,提出一种基于模板的数据预取和缓存算法,用于加快数据查询响应速度并减轻服务器端负载压力。通过构建数据查询模板,在触发器被激发时调用模板以构建预取数据,提出基于模板的数据预取方法和基于触发器的预取算法;考虑缓存空间中一些大数据的存在对查询响应速度的优化性,建立缓存对象模型并提出改进的Hybrid算法。以东方红湿地环境监测平台为例进行算法实验与分析,实验结果表明,在不同的缓存百分比下,较之典型的缓存算法,改进的Hybrid算法在访问延迟率上均有改进,且在大数据量查询时表现出了优越的应用效果。     

一种新型分布式代理缓存系统—双层集群缓存

为了提高代理系统的整体性能,基于内部网络用户访问时间的局部性和相似性,并结合现有的分布式缓存系统,本文提出了一种新型的分布式代理缓存系统——双层缓存集群.双层缓存集群系统分为网内集群缓存层和代理集群缓存层,采用双层代理缓存结构,充分利用现有内部网络资源,分散了代理的负担.降低了代理之间的通信开销,还增强了缓存资源的利用率,提高了用户请求命中率,降低了代理系统的整体资源消耗.     

连续数据记录中的缓存策略

数据采集系统中提高连续数据传输率是提高系统性能的主要任务之一。本文介绍了在提高连续数据传输率的过程中使用缓存作为速度匹配单元的方法。讨论了先入先出存储器（FIFO）、双端口存储器、双页缓存器这几种常见缓存作为速度匹配单元适用的场合,以及在设计过程中应该注意的问题。     

分布式环境下的依赖视图缓存策略研究

当前基于数据仓库的Internet应用受到网络带宽和传输数据量的制约，造成长时间延迟．本文针对性地提出了分布式节点数据缓存的方法,首先提出了关于数据缓存的后端服务器层、中间缓存节点层和前端用户层的三层结构，其次分析了中间层的缓存策略，论述了如何在最大限度地保证节点数据解答能力的基础上进行缓存内容替换的方法,最后本文讨论了缓存内容被替换后对邻近节点的影响以及邻近节点如何善后处理的方法．     

分布式数据缓存技术研究

缓存技术在系统中的应用越来越广泛.主要对数据缓存进行研究,着重研究了分布式模式下的数据缓存技术.将数据缓存技术应用到社区平台的开发中,增加分布式解决方案.实验证明,分布式数据缓存技术能优化系统性能,提升数据访问效率.     

面向轨迹数据查询优化的缓存机制研究

移动对象数据库（Moving object database,MOD）管理随着时间不断改变位置的空间对象,其已经在广泛的应用中被研究。尽管索引和查询算法等许多与MOD相关的技术已经被提出,但缓存管理仍然被忽略,这对于数据库性能至关重要。传统的缓存方法忽视了数据本身的时空特性,无法实现良好的性能。本文提出从缓存层面充分挖掘轨迹数据的查询性能,首先针对轨迹数据特有的存储结构和读写过程,设计了适合MOD的缓存访问机制;然后对于MOD系统中缺少与应用场景和访问模式相关的缓存策略问题,定制了缓存替换方法;最后开发了缓存管理工具MOCache,以可视化的形式动态跟踪查询语句结束后缓存状态的变化。通过实验表明本文提出的缓存替换策略与传统的策略相比,命中率提高到76.56%,缩短了查询时间,并且使用缓存工具监控历史状态信息,能够更加全面地反馈和分析性能问题。     

VoD系统的数据缓存策略研究

视频点播(VoD-Video on Demand)系统作为互联网重要的多媒体应用,相比于传统应用对服务端在带宽、响应速度等方面有更高要求.VoD服务器广泛使用缓存策略解决此问题,不同缓存策略具有不同的侧重与适应方面.VoD系统所需缓存策略需综合多种缓存策略以满足自身需求.本文总结VoD系统对缓存策略的需求,分析了缓存策略组成与分类,对各类缓存策略的特点进行综述并分析其对VoD系统的适用性.     

基于缓存的MP2P网络数据查询策略研究

移动对等网络由于电池能源、无线带宽的限制和用户的频繁移动而只能提供约束的通信环境.这些特征使得信息共享和数据检索成为一个具有挑战性的问题.扩展缓存技术并将其引入移动对等网络,提出了一种适应于移动对等环境的新的数据查询策略,并给出了算法实现.实验表明,该策略可以有效地支持大规模移动对等网络的可升级的数据查询.     

基于分布式数据缓存技术的Web-OLAP系统研究

为了解决在分布式环境下,Web-OLAP系统并发访问量急剧增加导致OLAP服务器负担过重的问题,提出一种基于分布式数据缓存技术的Web-OLAP系统。给出了该系统的总体框架和分布式缓存数据的表示,并设计了分布式缓存数据的管理算法。具体的应用实例表明,该方法可以有效地提高分布式环境下Web-OLAP系统的访问效率,较大缩短系统的响应时间。     

分布访问环境中的数据缓存体系研究

本文讨论了一种分布信息访问环境下提高数据利用率和减少通信流量的分布缓存体系。通过引入缓存节点,该缓存体系能缓存集成多数据源的信息,并能使多个用户相互重用数据缓存,提高缓存的命中率。该缓存体系采用了多种方法,很好地解决了单数据源和集成多数据源的数据缓存一致性问题。     

分布式存储中数据放置策略的研究

分布式存储统系统的可靠性主要取决于系统采用何种数据放置策略来保证数据在网络中各结点的有效分配。总结了设计数据放置策略所需考虑的关键问题和衡量数据放置策略的标准,重点讨论了已有的几种放置策略,在Gossip副本更新算法思想的基础上,提出一种可适应动态网络环境的基于存储转发的随机放置策略,并通过测试验证了该策略对系统可靠性和性能的影响。     

缓冲技术在分布式文件系统中的应用

文中介绍在客户／服务器结构的分布式文件系统中缓冲技术的几个应用，并设计一个解决缓冲一致性问题的改进算法。     

6LoWPAN中分布式TCP缓存队列策略

在多TCP连接的6Lo WPAN(IPv6 over Low-Power Wireless Personal Area Networks)网络中,针对丢包严重时存在频繁的端到端重传问题,提出分布式TCP缓存队列策略。该策略能够使中间节点合理地缓存不同TCP连接在链路层传输中丢失的分段,从而保证每个TCP连接的性能,减少网络能耗。另外,采用ARQ机制进行链路层数据帧传输时,由于中间节点判断丢包的准确率较低,导致缓存队列中存在一些实际未丢失的分段。对这些分段的重传会消耗额外的能量,降低了缓存队列的利用率。因此缓存管理采用询问邻居节点的方式检查分段是否丢失,及时地删除无效的缓存分段。实验结果表明,采用分布式TCP缓存队列策略可以使得多个TCP连接的网络性能以及缓存队列利用率得到了很大提高。     

云计算环境下海量分布式数据处理协同机制的研究

云计算环境下的数据管理和存储呈现出异构、分布式和动态等特点,为数据处理系统的设计和开发带来一定挑战,数据处理过程的协同是解决上述问题的有效手段。在协同计算模型分析的基础上,提出一种数据处理的协同机制,重点研究分布式数据的协同管理和任务的协同调度。实际的案例分析表明,该机制和方法可以大大提高并行数据处理的能力,为云计算环境下的数据处理平台的研发提供了一种可行的思路和方法。     

分布式合作缓存中的全局向量时钟模型

在分布式合作缓存技术对中文件块的查找与替换是一个全局性的管理问题。针对在中系统中由于局部时钟不一致而造成的块查找与块替换决策失误的问题。本文提出了全局向量时钟模型ＧＶＴ的概念,并通过维护基于全局向量的最老时戳表来完成块查找与块替换操作。全局向量时钟对传统的向量时钟进行了改进,提供了多种方式用于时序关系的判断。     

一种域分布式合作Web缓存系统

在分析Internet缓存协议（ICP）和基于集中管理的协作式Web缓存系统（CMCS）的基础上，提出了一种域分布合作Web缓存系统模型（DDCCS），该模型克服了ICP的缓存内容冗余问题和CMCS集中管理的不健壮问题，并能充分考虑各代理缓存器的处理能力和缓存能力，采用区间散化方法和加权区间片分配算法，使得各代理的负担更加均匀合理，在性能上较ICP和CMCS有较大的改进。     

基于环境一致性的分布式并行数据更新协议

为了保证服务器节点完全对等的分布式并行数据库系统更新结果一致性,提出基于数据环境一致性的分布式并行更新协议DEC-DP2PC(Distributed and Parallel 2PC Based on Data-Environment-Consistency),对经典2PC(two phase commit)在执行条件、表决内容和次数、全局提交和撤销定义等方面进行了针对性改进。性能分析和测试表明,DEC-DP2PC可有效过滤数据副本分布和版本号等数据环境信息不一致情况下事务的执行,减少全局数据环境一致性维护开销和降低系统平均响应时间。     

基于网络环境的分布式KDD及Data Mining研究

本文针对ＫＤＤ的研究现状及其面临的挑战,主要讨论了基于网络环境下,面向多个站点机,多种数据库、多类数据源的分布式ＫＤＤ和Ｄａｔａ Ｍｉｎｉｎｇ的整体方案和实验系统模型,研究内容包括高效分布式开采算法,ＫＤＤ过程的无缝集成,ＫＤＤ中的知识表示、知识更新以及开采结果可视化的有效方法等。     

分布式频繁项集挖掘算法

传统的频繁项集挖掘方法具有一定的局限性。Apriori算法需要重复扫描输入数据,导致很高的I/O负载,算法性能不高;Fp-growth算法需要在内存中建立Fp-tree并根据Fp-tree挖掘频繁项集,导致算法受到计算机的内存限制。在大数据时代,由于挖掘数据规模十分巨大,更加凸显这些传统算法的局限性。对此,一方面改进传统的频繁项集挖掘算法,另一方面基于Spark框架实现分布式频繁项集挖掘算法(FIMBS)。实验结果表明,该算法相比基于MapReduce框架的关联规则算法具有显著的优势。