基于DHT的P2P系统中高可用数据冗余机制

在基于DHT的P2P系统中需要采用冗余机制以保证数据的高可用性.文中结合用户下载行为来衡量数据存储与共享系统中的不同冗余机制.此外,作者提出了一种混合式的数据冗余策略,它兼具传统的复制策略和分片冗余策略的优点.实验表明,复制策略虽然比分片冗余策略需要更多的存储空间,但当节点平均可用性高于47%时,更节省网络维护带宽.混合式冗余策略在各种网络环境中均能较传统冗余策略更节省网络带宽,并且冗余因子适中.     

一种基于P2P的并行传输模型

文件共享是P2P的重要应用之一,如何提高基于P2P的快速文件传输是保证用户满意度的重要技术。基于以往的研究,提出了一种数据分块与公平存储策略,基于存储策略给出了一个并行传输算法。其中存储策略较完全副本部署具有极大的空间优势,而并行传输算法不但可以适应网络的动态变化,而且对最后一个数据的传输时间也做了优化。实验结果表明:与理论分析一致,它较先前提出的模型具有更强的适应性和实际应用价值。     

P2P技术的校园网络应用研究

P2P技术是一种新兴的网络模型。首先,介绍P2P技术原理、特点和网络结构模型;其次,结合校园网络的应用,分析了目前P2P技术在校园网络中存在的问题,最后,给出了解决此类问题的几种策略。     

P2P网络中基于文件路由模型搜索方法的改进

资源搜索和共享是P2P网络中重要的应用。针对当前P2P网络中现有共享资源搜索方法还存在诸多不足之处的问题,提出了一种基于文件路由模型改进的搜索方法。该搜索方法选取多个稳定对等体共同作为共享信息的载体,在利用哈希函数分配共享信息及其索引的基础上,提出了一种新的数据结构来记录所有存储了同一共享信息的稳定对等体信息,增强了系统的健壮性,同时均衡分配共享信息载体的负荷,合理利用网络带宽,使P2P网络在资源搜索和共享方面得到了一些改善。     

P2P网络中基于文件路由模型搜索方法的改进

资源搜索和共享是P2P网络中重要的应用。针对当前P2P网络中现有共享资源搜索方法还存在诸多不足之处的问题，提出了一种基于文件路由模型改进的搜索方法。该搜索方法选取多个稳定对等体共同作为共享信息的载体，在利用哈希函数分配共享信息及其索引的基础上，提出了一种新的数据结构来记录所有存储了同一共享信息的稳定对等体信息，增强了系统的健壮性，同时均衡分配共享信息载体的负荷，合理利用网络带宽，使P2P网络在资源搜索和共享方面得到了一些改善。     

结构化P2P自适应混合负载均衡策略

本文在深入研究已有负载均衡策略的基础上,提出了一种建立在结构化P2P上基于Chord的自适应高可用性混合负载均衡策略--RGP(Replication and Gossip Policy).该策略结合了流言传播与动态副本策略,并将负载失衡分为轻负载和重负载区分对待,以提高结构化P2P网络的性能.     

XBackend:一种Native XML数据库系统的后端实现策略

随着XML技术研究与应用的深入,涌现出了大量XML文档.为了对XML文档进行管理和查询,大多数RDBMS扩充了处理XML数据的功能.这种方式将XML数据映射到关系表中,会破坏XML数据的树型结构.查询时,需要多次的表连接,降低了查询效率.原生XML数据库以XML文档作为基本的逻辑存储单位,建立底层的物理存储模型.提出了一种原生XML数据库的后端实现策略--XBackend,包括存储策略、索引策略、数据库恢复策略. XBackend底层存储是专门为XML数据设计的,配合适当的索引,具有更高的存储和查询效率.数据库恢复策略保证了原生XML数据库数据的一致性状态.实验结果表明XBackend具有很好的性能.     

一种基于P2P网络的分布式文献库共享模型

目前网络文献共享系统已经汇聚了海量的文献资源,而且具有巨大的访问量.随着数据量和访问量的攀升,网络文献共享系统的负荷日益沉重.用户常常需要等待较长的时问才能登录、查询、下载到自己所需参考的文献资料,而且下载到本地的文献常常混乱存储在本地,难以后续利用.为了解决上述问题,文中提出一种基于混合P2P网络的分布式文献库共享模型.该模型有效的利用P2P网络技术将网络文献共享平台服务器的巨大负载分担到常常处于资源闲置状态的网络边缘节点上,同时将用户终端节点上文献进行有机的组织,构成易于本地和异地检索的局部文献库,从而有效提升网络文献共享系统的性能,降低网络文献共享系统的维护成本.描述了基于混合P2P网络的分布式文献库共享模型体系架构、模块组成和工作流程,并重点阐述了一种新的基于chord的分领域多环机制.经实验验证,该机制有效的实现了组内和组间的节点间的文献资源定位和共享.     

混合式P2P系统中基于缓存的多项查询方法研究

首先从混合式P2P网络拓扑结构出发,结合DHT思想,提出了基于DHT的层次化P2P网络模型.其次根据在文档集巨大的情况下,用户提交的查询不可能"面面俱到",实际用来回答查询的文档仅仅是文档集中很小的一部分这一思想,在层次化P2P模型的超级节点中建立了分布式缓存,运用分布式索引与缓存技术,提出一种新的方法来解决多项查询问题.即由多项查询中的某个关键字key,根据hash函数定位到负责该key的超级节点,查询该节点上的分布式索引得到缓存具体存储位置,最终将结果返回给用户,如若缓存中没有所要查询的内容,则广播该查询,同时根据系统中的历史广播查询信息来计算某个待选缓存项的利益值,利益最大的待选项加入缓存.一般针对多项查询的泛洪算法往往会造成巨大的网络信息量,提出的方法牺牲了超级节点上一小部分的存储力,缓解了多项查询造成的网络拥挤现象.同时,基于DHT的层次化P2P模型也具有很好的稳定性,不会因为大量节点的动态加入或者退出而无法进行多项查询.     

分散P2P网络中资源的自适应共享策略

针对P2P网络中资源共享交换效率问题,提出一种计算网络资源共享可能度的自适应策略,以决定节点对资源的共享抉择。该策略考虑了P2P网络中资源共享存在受限存储空间、下载中断和冗余下载等问题,以资源共享可能度作为资源共享抉择依据,提出资源共享可能度在单个代理的计算方法。实验结果证明自适应策略能够较好地避免资源的冗余下载,提高P2P网络资源共享效率。     

P2P存储系统副本一致性维护策略

副本策略是提高P2P存储系统的可扩展性、容错性、可用性的有效手段。随着新的应用发展,P2P中副本应用从只读静态文件共享转变为读写动态文件交互,副本的一致性维护变得越来越重要。提出一种副本信息传播树的维护策略,该策略把文件副本的相关信息保存在二叉树上,通过订阅和取消订阅算法维护副本的一致。实验证明该策略能有效减少维护开销,避免相关问题的出现。     

P2P data replication and trustworthiness for a JXTA-Overlay P2P system using fuzzy logic

P2P systems are very important for future distributed systems and applications. In such systems, the computational burden of the system can be distributed to peer nodes of the system. Therefore, in decentralized systems users become themselves actors by sharing, contributing and controlling the resources of the system. This characteristic makes P2P systems very interesting for the development of decentralized applications. Data replication techniques are commonplace in P2P systems. Data replication means storing copies of the same data at multiple peers thus improving availability and scalability. The trustworthiness of peers also is very important for safe communication in P2P system. The trustworthiness of a peer can be evaluated based on the reputation and actual behaviour of peers to provide services to other peers. In this paper, we propose two fuzzy-based systems for data replication and peer trustworthiness for JXTA-Overlay P2P platform. The simulation results have shown that in the first system, replication factor increases proportionally with increase of number of documents per peer, replication percentage and scale of replication per peer parameters and the second system can be used successfully to select the most reliable peer candidate to execute the tasks.     

A secure and scalable storage system for aggregate data in IoT

In recent years, with the impressive rapid development of integrated circuit and networking technologies, computers, devices and networking have become highly pervasive, incurring the introduction, development and deployment of the Internet of Things (IoT). The tiny identifying devices and wearables in IoT have transformed daily life in human society, as they generate, process and store the amount of data increasing at exponential rate all over the world. Due to high demand on data mining and analytics activities in IoT, secure and scalable mass storage systems are highly demanded for aggregate data in efficient processing. In this paper, we propose such a secure and scalable IoT storage system based on revised secret sharing scheme with support of scalability, flexibility and reliability at both data and system levels. Shamir’s secret sharing scheme is applied to achieve data security without complex key management associated with traditional cryptographic algorithms. The original secret sharing scheme is revised to utilize all coefficients in polynomials for larger data capacity at data level. Flexible data insert and delete operations are supported. Moreover, a distributed IoT storage infrastructure is deployed to provide scalability and reliability at system level. Multiple IoT storage servers are aggregated for large storage capacity whereas individual servers can join and leave freely for flexibility at system level. Experimental results have demonstrated the feasibility and benefits of the proposed system as well as tangible performance gains.     

基于云存储的P2P视频点播系统数据复制策略

交互性支持对P2P视频点播系统具有重要的意义,视频点播服务的大规模普及离不开用户交互性的支持。讨论了如何有效利用对等节点的带宽和存储资源来主动复制数据块,提出了一种基于云存储的数据复制策略CSPR。仿真实验结果表明,相比于现有的数据复制策略,CSPR可以显著提高用户进行随机搜索操作时的响应速度,并降低网络复制开销。     

一种适用于P2P存储系统的自反馈故障检测算法

在构建高可用性P2P存储系统的过程中,针对系统中节点的高度动态特征,设计了一种自反馈的心跳故障检测算法。它结合心跳策略和无偏灰色预测模型,根据应用需求和网络环境的变化动态地改变检测的质量,在保持一定检测时间的前提下,提高了故障检测的精度。实验表明,根据该算法实现的故障检测器具有较好的性能,提高了P2P存储系统的可用性。     

集群数据库系统的日志复制和故障恢复

互联网、社交、购物、金融等各类应用直接面临海量用户的高并发访问,传统的单点数据库逐渐成为这些应用系统的瓶颈,而众多互联网应用能够良好运行的主要原因是使用了基于集群环境的数据管理系统作支撑。与传统数据库系统相比,基于集群环境的数据库系统具有更好的扩展性和可用性,而日志复制是保证这些特性的核心组件。传统的主备架构的日志复制在异常情况下对未决事务日志处理不佳,导致数据副本之间存在不一致的风险,另外,分布式系统领域的一致性算法缺乏对事务一致性的处理,而且在选主时存在活锁、多主和频繁选主的问题,无法直接适用于事务日志复制。本文提出了一种集群环境下的事务日志复制策略和恢复机制,能够有效处理未提交日志,提供了强弱两种读一致性,并且提出了一种轻量级的选主算法,可以避免以上的选主问题。本文在开源OceanBase分布式数据库系统中实现了上述机制,并使用基准测试工具对系统进行测试,通过一系列实验验证了系统的扩展性和可用性。     

云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。     

基于一致性树分布的数据分布式存储方法

随着云计算和大数据技术的发展,传统的单一存储介质的数据存储方式已经不能满足大数据处理的需求,在这样的背景下,分布式数据存储得到了广泛的应用。然而,目前存在的几种分布式存储方式并不能够完美地满足分布系统的需求。为了更有效地实现数据的分布式存储和冗余备份,采用一种新的基于一致性树分布(CTD)的分布式存储方法,并提出基于该方法的备份策略,实现数据索引与存储位置的映射。该方案具有负载平衡、无单点故障问题、扩展性高且易于实现的优点。同时提出了基于一致性二叉树分布(CBTD)的应用方案。通过对应用系统实例的分析,验证该方法能够很好地满足分布式系统的数据平衡、负载均衡和扩展性需求。     

P2P文件传输中网络资源搜索策略改进

资源搜索和共享是P2P网络中重要的应用,如何进行高效资源的查询是提高系统效率、增强系统可扩展性的很重要的技术问题。文中介绍对等网络的基本特征和一些主要改进查询策略,同时分析了这些策略存在的问题,并在此基础上提出了一种基于资源路由表的缓存策略,最后对此方法进行模拟仿真,证明该策略可以有效地提高非结构化文件传输系统的效率及可扩展性。     

面向开放大数据环境的动态数据保护系统

大数据成为国家基础性战略资源,数据的开放共享是我国大数据战略的核心.云原生技术和湖仓一体架构正在重构大数据基础设施,并推动数据共享和价值传播.大数据产业和技术的发展都需要更强的数据安全和数据共享能力.然而,开放环境下数据的安全问题已成为制约大数据技术发展与利用的瓶颈.无论开源大数据生态还是商业大数据系统,所引发的数据安全及隐私保护问题都日益凸显.开放大数据环境下的动态数据保护系统面临着数据可用性、处理高效性和系统可扩展性等方面的挑战.提出了面向开放大数据环境的动态数据保护系统BDMasker,通过一种基于查询依赖模型(querydependencymodel)的精准查询分析及查询改写技术,能够精准感知但不改变原始业务请求,实现动态脱敏全过程对业务零影响;通过面向多引擎的统一安全策略框架,实现了动态数据保护能力的纵向扩展和在多种计算引擎中的横向扩展;利用大数据执行引擎的分布式计算能力,提升系统的数据保护处理性能.实验结果表明, BDMasker提出的精准SQL分析及改写技术是有效的,系统具有良好的扩展能力和性能表现,在TPC-DS和YCSB基准测试中,整体性能波动在3%之内.