一种对等结构的云存储系统研究

相对于当前各种主从(Master/Slave)结构的GFS,HDFS,Sector等云存储系统,提出了一种对等结构的云存储系统MingCloud,并采用Kademlia算法构建了原型系统.MingCloud能提供数据存储、读取、删除、搜索等云存储服务功能,并能保证系统中数据的安全性与可靠性.仿真实验结果表明,MingC...     

基于Kademlia的云存储系统数据冗余方案研究

云存储是分布式存储技术与虚拟化技术结合的产物,是分布式存储技术的最新发展。云存储意味着存储可以作为一种服务,通过互联网提供给用户。相对于当前各种C/S计算模式的GFS、HDFS、Sector等云存储文件系统,提出了一种基于对等计算模式的云存储文件系统通用模型,并采用Kademlia算法构建了原型系统MingCloud。主要进行了存储系统冗余方案的选择与设计,实验中采用Cauchy Codes作为编码算法,分别从K桶大小对系统可用性影响、文件分块数量对系统可用性的影响、相同的冗余度下系统可用性比较等方面对系统进行了评估。与完全副本冗余模式相比,纠删码冗余模式能获得较理想的系统可用性,更适合应用于提议的对等云存储系统。     

基于改进的Kademlia协议的P2PSIP系统研究

文中研究如何构建高效的P2PSIP系统,以节省SIP系统部署开销和提高系统运行的稳定性.考虑到SIP系统对时延非常敏感,首先改进了Kademlia协议的资源定位模型,然后提出了新型的P2PSIP系统模型.在具有数百万节点的Kad网络上的仿真实验表明,基于Kademlia协议构建P2PSIP系统具有很好的可行性和有效性.     

基于改进Kademlia协议的分布式爬虫

随着互联网信息的爆炸式增长,搜索引擎和大数据等学科迫切需要一种高效、稳定、可扩展性强的爬虫架构来完成数据的采集和分析.本文借助于对等网络的思路,使用分布式哈希表作为节点间的数据交互的载体,同时针对网络爬虫自身的特点,对分布式哈希表的一种实现——Kademlia协议进行改进以满足分布式爬虫的需求.在此基础上设计并完善了具有可扩展性和容错性的分布式爬虫集群.在实际试验中,进行了单机多线程实验和分布式集群的实验,从系统性能角度和系统负载角度进行分析,实验结果表明了这种分布式集群方法的有效性.     

基于Kademlia的下关联规则挖掘算法研究

在分析和介绍了分布式关联规则挖掘方法和对等网模型Kademlia的基础上,通过改进经典的Apriori算法,设计了一种能够用于对等网模型Kademlia的分布式关联规则挖掘算法。该算法通过对其频繁项集阈值的设置,能够快速减少各结点在进行关联规则挖掘时产生的中间候选项集的数量,降低算法复杂度,提高算法执行效率,仿真实验结果表明了该算法的有效性和可扩展性。     

Solution for the broadcasting in the Kademlia peer-to-peer overlay

Structured peer-to-peer networks are capable of fast and efficient lookup operations as a distributed hash table. The topology of these networks makes it possible to send broadcast messages among nodes, either for the purpose of providing a complex query service for participants, or to disseminate information valuable for all nodes. In this article a broadcast algorithm for the Kademlia XOR topology is presented. The algorithm, which was developed specifically for Kademlia, uses replication mechanisms similar to that of the storage and retrieval service of this overlay topology. This allows for increased reliability and speed of the broadcast, and also efficient operation, as the routing table for lookups are already available and can be used. An analytical model is presented, which can be used to calculate the required level of replication for any desired reliability at runtime, and is validated with simulation as well.     

Kademlia的研究与实现

介绍了P2P网络拓扑结构的分类和发展情况,对目前对等网中DHT算法CAN、Chord、Pastry、Tapestry以及Kademlia进行了比较.提出了一种网络电话系统--利用Kademlia建立重叠网,并且在该重叠网基础上传递SIP数据包.仿真结果表明,基于Kademlia的网络电话,在查找成功率以及查找延迟方面都占有优势,具有良好的实用性.     

支持多维查找的资源共享设计

针对大规模的云资源共享, 单关键字查询技术已不能满足用户对资源的查询需求这一问题, 研究了如何在资源共享中实现多维查询。在结构化P2P网络的基础上, 通过对资源属性和属性值采用不同的编码方式, 建立一种适用于多维查找的分层网络结构, 结合多维度的资源存储和发布策略, 实现了一种适用于云资源共享的多维资源查找方法。实验表明, 该方法具有很好的可扩展性和准确性。可以快速有效地实现多维查找, 也极大地扩展了对等网络技术在云计算服务中的应用。     

结构化对等网测量方法研究

网络测量是深入开展结构化对等网研究的基础,结构化对等网络协议设计、共享内容检索、态势感知乃至安全性的研究都需要以网络测量为前提.在节点分布对等、实时变化显著、未知瞬发扰动频繁的结构化对等网络中,获得其准确、完整的网络信息更是十分困难的.通过形式化分析结构化对等网节点搜索过程,研究节点信息在全网分布情况与查询返回率之间的关系,将历史测量数据与具体对等网特征信息相结合挖掘节点搜索优化策略,提出了一种网络资源占用显著降低、搜索速度较快、信息完备率较高的搜索测量优化方法.KAD 网络是目前得到大规模部署运行的为数不多的结构化对等网络之一,以KAD 网络为主要研究对象开发了KadCrawler 对等网搜索系统,进行了大量测量和分析,验证了搜索优化方法的可行性和有效性;同时,对当前KAD 网络拓扑结构特征、节点重名等现象进行了初步分析,发现KAD 网络近年来发生了显著的变化.     

一种针对P2P网络优化的Kademlia路由算法

为了加快P2P网络中热点查询的速度,针对Kademlia算法在查询效率和高速缓存策略方面存在的不足,文中采用快表技术和加权设置策略对该算法进行改进,避免了在高刷新频率缓存中查询效率低下的问题,为更高的查询命中率提供了更集中的热点资源.模拟实验证明此改进算法具有更短的查询延时和更少的平均路由跳数.