超节点P2P网络中一种有效的缓存策略

针对超节点P2P系统的特点,提出了一种有效且灵活的缓存策略.该策略使用文件价值来决定缓存替换的对象,并且在替换之前使用"阈值"选择要缓存的文件,使其系统只缓存价值较大的热点文件.最后通过Trace-Driven的方法模拟实验,结果表明,与现有的缓存策略LRU和LFU相比,这种缓存策略具有较好的缓存命中率和字节命中率.     

P2P分布式存储系统中冗余策略研究

由于P2P系统具有高动态性,为了提高存储的可靠性,必须采用冗余策略,使数据文件以副本的形式分布在系统的多个节点中。阐述P2P分布式存储系统中使用的冗余策略,并分析它们对文件可用性的影响以及在真实P2P系统中的应用。     

一种超节点P2P网络中基于语义的协同缓存管理机制

超节点P2P（Super-peerP2P）结合了P2P结构和C／S结构的优点，是当前应用最广的一类P2P系统。在超节点P2P网络中，文件访问是最基本的操作，往往使用缓存技术来提高其操作效率。目前大多数超节点P2P网络使用传统的“尽力而为”的缓存机制，该机制没有区分超节点网络中不同节点对资源的需求及关注程度不同，导致偶尔访问的对象替换经常访问的对象。针对“尽力而为”缓存机制的不足，本文提出一种基于语义信息的协同缓存管理机制SCOCM（Semantic-based Cooperative Cache Management mechanism for super-peer net works），应用已经请求对象的语义信息主动地选择对象放置缓存，以兴趣度的远近驱逐缓存内的对象，减少缓存对象的替换，使得每个缓存中缓存的对象之间尽可能地保持语义联系。实验结果表明，基于语义信息的协同缓存管理机制与LRU相比可大大降低缓存的替换率，提高缓存的存取效率，命中率也较高。     

基于CDN和P2P的分布式网络存储系统

把用户的文件分片后均衡存储在不同的分布式存储节点上,并利用虚拟目录服务器和基于P2P—DHT的目录服务器把文件元数据与文件数据片高效地对应起来,以提供高效目录服务,分布式存储节点以P2P方式工作以快速完成用户对文件数据的请求任务。分布式网络存储系统DNSS充分利用了CDN和P2P的技术优势,有较高的可用性、可靠性和可扩展性。DNSS已经在中国科学技术大学应用。     

P2P流媒体直播分布式缓存替换算法研究

P2P流媒体直播系统中分布式节点缓存区别于传统的Client/Server缓存结构,节点的实时同步给缓存管理提出较大挑战。分析了分布式缓存空间利用率的决定因素,通过节点成功请求比率,缓存的fresh度及数据分片点击率3个指标来评估节点缓存空间利用率,提出了频度限制与改进的LRU相结合的K-Degree&LRU2缓存替换算法。仿真实验结果表明,该算法较传统的FIFO、LRU算法具有更高的执行效率。     

一种基于衍生树的交互式P2P 流媒体系统

提出了一种基于衍生树的P2P 系统框架,以支持交互式流媒体应用.该系统利用分布式发现服务来进 行资源定位,并通过基于衍生树的缓存结构来维护数据传输拓扑.使用基于衍生树的系统管理策略可以显著地降低 节点动态加入和退出等交互操作的开销.另外,通过使用分布式散列表(distributed hash table,简称DHT)来维护会话, 可以较低的代价实现资源查找、服务重构和拓扑维护等任务.仿真实验结果表明,与现有的P2P 流媒体系统相比,该 系统具有良好的性能,其用户交互操作的开销可以降低超过50%.     

一种基于衍生树的交互式P2P 流媒体系统

提出了一种基于衍生树的P2P系统框架,以支持交互式流媒体应用.该系统利用分布式发现服务来进行资源定位,并通过基于衍生树的缓存结构来维护数据传输拓扑.使用基于衍生树的系统管理策略可以显著地降低节点动态加入和退出等交互操作的开销.另外,通过使用分布式散列表(distributed hash table,简称DHT)来维护会话,可以较低的代价实现资源查找、服务重构和拓扑维护等任务.仿真实验结果表明,与现有的P2P流媒体系统相比,该系统具有良好的性能,其用户交互操作的开销可以降低超过50%.     

基于语义路由的P2P信息检索

高效、稳定的P2P信息检索机制已经成为了研究的热点。现有的搜索方法包括使用广播方式或者分布式哈希表。基于分布式哈希表的方法虽然可以获得很好的查询性能，但是不支持近似查询，区间查询、而使用广播方式效率又低，引入语义路由，能很好地解决这些问题。语义路由是一种对广播搜索进行修剪的方法，将查询请求有选择的发送给能响应请求的节点。论文中介绍了语义路由机制，提出了基于该机制的P2P检索系统体系结构，最后使用NeuroGrid进行了仿真，实验结果显示使用语义路由可以提高查询效率。     

一种基于点路结合的骨干网P2P缓存部署方法

P2P应用的广泛流行给ISP骨干网络带来了前所未有的流量压力,P2P缓存(peer-to-peer caching)技术是目前缓解这种流量压力的最有效手段之一,缓存部署方法对P2P缓存系统的运行效率有重要影响.已有缓存部署方法分为两类:基于骨干节点的部署方法(node-based cache deployment,NCD)和基于骨干链路的部署方法(link-based cache deployment,LCD).在不同的P2P流量分布情形下,NCD与LCD各有优劣,但是,这两类方法未能充分发挥缓存的性能.提出一种基于点路结合的骨干网P2P缓存部署方法(node-Link based cache deployment,NLCD),根据缓存部署过程中P2P流量分布和缓存存储状态的动态变化,灵活选择骨干节点或骨干链路作为部署位置.建立了以网络负载最小化为目标的缓存部署模型,基于该模型将P2P缓存部署问题建模为一个最优化问题,由于流量分布和缓存状态会在部署过程中不断变化,不具有最优子结构性质.证明了该最优化问题为NP完全问题,并设计了一种启发式贪婪算法进行求解.实验结果表明,针对典型的H&S型、Ladder型骨干网络拓扑,使用NLCD的平均链路使用率比使用LCD低5％～15％,比使用NCD低7％～30％.     

UPStore:一个开放的P2P存储平台

PZP存储系统具有可扩展性好、容错性高等优势,是近年来学术界的研究热点.但是由于P2P存储系统的复杂性高,搭建起来比较困难,使得系统并没有随着研究发展而流行起来.尤其是在广域网中,由于节点的高动态性,使得系统的部署和维护更加困难.介绍了一个开放式的P2P存储平台架构,可以在封闭的机房系统里,利用稳定的服务器搭建存储系统,也可以在开放的广域网环境下,利用动态性高的个人电脑来搭建存储系统.上层应用开发者可方便地使用该平台来创建各种服务,从而能将P2P存储系统在实际应用中推广开来.     

Distributed caching in unstructured peer-to-peer file sharing networks

Nowadays, the peer-to-peer (P2P) system is one of the largest Internet bandwidth consumers. To relieve the burden on Internet backbone and improve the query and retrieve performance of P2P file sharing networks, efficient P2P caching algorithms are of great importance. In this paper, we propose a distributed topology-aware unstructured P2P file caching infrastructure and design novel placement and replacement algorithms to achieve optimal performance. In our system, for each file, an adequate number of copies are generated and disseminated at topologically distant locations. Unlike general believes, our caching decisions are in favor of less popular files. Combined with the underlying topology-aware infrastructure, our strategy retains excellent performance for popular objects while greatly improves the caching performance for less popular files. Overall, our solution can reduce P2P traffic on Internet backbone, and relieve the over-caching problem that has not been properly addressed in unstructured P2P networks. We carry out simulation experiments to compare our approaches with several traditional caching strategies. The results show that our algorithms can achieve better query hit rates, smaller query delay, higher cache hit rates, and lower communication overhead.     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。     

基于均衡数据放置策略的分布式网络存储编码缓存方案

为了保证网络存储的负载平衡并避免在节点或磁盘故障的情况下造成不可恢复的损失,提出一种基于均衡数据放置策略的分布式网络存储编码缓存方案,针对大型高速缓存和小型缓存分别给出了不同的解决办法。首先,将Maddah方案扩展到多服务器系统,结合均衡数据放置策略,将每个文件作为一个单元存储在数据服务器中,从而解决大型高速缓存问题;然后,将干扰消除方案扩展到多服务器系统,利用干扰消除方案降低缓存的峰值速率,结合均衡数据放置策略,提出缓存分段的线性组合,从而解决小型缓存问题。最后,通过基于Linux的NS2仿真软件,分别在一个和两个奇偶校验服务器系统中进行仿真实验。仿真结果表明,提出的方案可以有效地降低峰值传输速率,相比其他两种较新的缓存方案,提出的方案获得了更好的性能。此外,采用分布式存储虽然限制了将来自不同服务器的内容组合成单个消息的能力,导致编码缓存方案性能损失,但可以充分利用分布式存储系统中存在的固有冗余,从而提高存储系统的性能。     

User selfishness vs. file availability in P2P file-sharing systems: Evolutionary game theoretic approach

In a Peer-to-Peer (P2P) file-sharing system, a node finds and retrieves its desired file. If multiple nodes cache the same file to provide others, we can achieve a dependable file-sharing system with low latency and high file availability. However, a node has to spend costs, e.g., processing load or storage capacity, on caching a file. Consequently, a node may selfishly behave and hesitate to cache a file. In such a case, unpopular files are likely to disappear from the system. In this paper, we aim to reveal whether effective caching in the whole system emerges from autonomous and selfish node behavior. We discuss relationship between selfish node behavior and system dynamics by using evolutionary game theory. Through theoretic analysis, we show that a file-sharing system can be robust to file disappearance depending on a cost and demand model for caching even if nodes behave selfishly. Furthermore, we also conduct several simulation-based analysis in terms of network structures, evolving network, load balancing, and system stability. As a result, we demonstrate that a file-sharing system with good properties, i.e., robustness to file disappearance, low search latency, well load-balancing, and high stability, can be achieved independent of network structures and dynamics.     

存储系统细粒度加密安全设计

存储系统会有成百上千的存储设备和大量的数据。其中有相当部分敏感数据需要加密存储,然而现有的存储系统只能对整个文件进行加密,而不能对文件某一部分进行加密。尽管其实现方法比较简单,但它会导致系统额外的开销并且极大的影响系统性能。本文提出了存储系统的一种文件细粒度加密方案,它可以充分利用分布式存储内在的特性,有效地利用元数据信息对文件内多个任意大小的数据块进行加密。用户还可以根据数据块的保密级别对不同的数据块定义不同的加密算法以满足需要。对于广泛存在的视频、地图、档案等大文件实现不同粒度加密策略,可减少文件中不必要的数据加密操作,极大提高存储系统的性能。     

基于热点数据块的动态副本调整策略

副本管理策略对于分布式存储系统的可用性、可靠性和系统整体性能有至关重要的作用。本文针对基于文件的动态副本调整策略的不足,提出了一种基于热点数据块的动态副本调整策略。根据时间局部性原理和数据访问规律,通过对历史访问周期和当前周期赋予不同的权重,数据块下一周期的预测进行访问频率计算,接下来基于计算出的预测访问频率对数据块进行热点判定。结合HDFS中数据访问规律近似二八定律的特点和热点数据块的判定结果,来确定数据块的调整阈值。最后,分3个步骤对基于热点数据块的动态副本调整策略进行性详细设计。实验结果表明,本文提出的基于热点数据块的动态副本调整策略在数据访问效率和集群存储资源利用率两方面有了明显提升。     

一种MongoDB应用优化策略

为了解决不断增长的文件存储需求,和高流量高并发的访问量,增强系统的响应性能,提出一种Web应用优化策略,通过MongoDB GridFS对网站文件存储容量、可用性和可靠性进行扩展,并且通过Nginx和Keepalived,对后台访问进行负载均衡和双机热备,优化并发性能.实验表明,当并发访问数上升至80以上时,平均访问响应时间缩短9%.文件通过Nginx Gridfs进行高并发上传时非常稳定,在较大文件下载时比直接通过本地文件系统EXT4下载速度更高.     

一种机群文件系统的缓存模型

提出了一种新的机群文件系统缓存模型，它充分利用机群系统累积的系统资源和高速的互联网络，将文件系统元数据和内容数据分离，分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存，并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明，这两种缓存机制结合使用能极大地提高机群文件系统的性能。     

移动P2P网络中协同缓存的研究

在移动园区网环境中部署了P2P系统并提出了一种协同缓存策略。接入控制策略利用"阈值"和节点的位置关系选择缓存的数据。缓存替换策略利用价值函数"Cost"选择要替换掉的数据,该函数考虑了数据的被访问频率、大小及区域之间的距离这三个因素。数据一致性策略结合了Plain-Push和Pull-Every-time方案的优点并做了改进。通过两组模拟实验验证了这种协同缓存策略在降低时延、减少网络通信开销、提高缓存命中率方面具有较好的性能。     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.