一种基于移动P2P改进的Gossip算法

随着移动智能终端设备的普及,移动对等网络的研究不断走向深入.经典的Gossip算法虽然可以用于移动对等网络中的数据分发,但不能很好地适应移动网络的要求,尤其是对扰动的适应性.因此,为了实现拓扑控制信息的有效传播并保持节点资源列表的副本一致性,提出了一种基于特定拓扑结构改进的Gossip算法,其通过动态调节邻居节点数据分发概率来实现同k-派系内所有节点的资源列表更新.模拟实验表明,采用此算法的数据分发效率较经典Gossip算法有明显改善,在保证网络负载较低的同时达到了泛洪数据分发策略的效率.     

P2P网中基于文件分片的副本建立策略

在大规模P2P网络中,为了提高数据的可用性,可以通过在系统中多个节点上建立数据副本的方法来增加数据的冗余度.传统方法建立副本的过程中,数据资源通常是以完整的数据文件为单位在节点间进行拷贝.为了减小副本建立的开销,可采用一种基于文件分片的副本建立策略,将需要复制的数据文件先进行分片,然后把这些分片在一组选取好的候选节点间进行分发复制,能够充分利用网络带宽,明显减小建立副本所需的时间开销.     

P2P网中基于文件分片的副本建立策略*

在大规模P2P网络中,为了提高数据的可用性,可以通过在系统中多个节点上建立数据副本的方法来增加数据的冗余度.为了减小副本建立的开销,可采用一种基于文件分片的副本建立策略,将需要复制的数据文件先进行分片,然后把这些分片在一组选取好的候选节点间进行分发复制.该方法能够充分利用网络带宽,明显减小建立副本所需的时间开销.     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

无人值守WSN中数据概率复制生存仿真与研究

无人值守无线传感器网络通常部署在恶劣或敌对环境中,在静态汇聚节点(或基站)部署困难情况下,感知节点无法完成实时的数据汇聚传输,需在汇聚周期内维持数据的生存.现有节点信息副本复制的数据生存方案未考虑节点信誉和运行状况,副本分发机制缺乏有效和针对性,效率较低.为解决上述问题,提出了一种适合无人值守传感器网络的节点信誉度的概率随机副本复制方案.根据节点信誉度模型完善了现有数据副本概率随机分发机制,提高了信息副本分发的有效性,避免了重复分发及冗余存储,降低了开销,进而确保了数据的生存概率.仿真结果表明了改进方案的优越性.     

BitTorrent下基于活跃度的传输节点选择算法

近年来,对等网络（peer to peer,P2P）因其高效的分片和分发等机制,已成为大数据高效分发的关键支撑技术。针对P2P文件分发系统BitTorrent中Tracker服务器端节点选择算法没有考虑节点活跃度的问题,提出了一种基于活跃度的Tracker服务器端节点选择算法。该算法选择出活跃度高的节点来建立一个更高效的分发网络,使之更能符合请求节点的需求,帮助请求节点更加高效地完成下载任务。实验结果表明,改进后的节点选择算法可以缩短文件的下载时间,提高网络的分发效率,提升系统的性能。     

结构化P2P系统中副本一致性管理的一种新算法

结构化P2P系统通常使用数据复制来提高数据可用性,但P2P环境中的节点搅动、多节点并发更新以及恶意节点的存在也为副本的一致性管理带来了新的挑战.基于协商的算法要求节点间以全交换的方式通讯,在P2P环境中其可伸缩性不够理想.本文针对结构化P2P系统提出一种基于Quorum的副本管理算法:使用混合失效模型降低容错开销,利用DHT服务处理节点搅动,将数据存储与其元信息管理分离,使数据可靠性和数据可用性得以独立调整.模拟实验表明该算法可以明显改善系统的可伸缩性,减少系统的容错开销.     

动态无线传感网中低延迟高可靠的数据查询机制

查询处理作为大规模无线传感器网络中智能服务的一个重要操作,可以根据用户需求对网络中的感知数据进行检索和回传.然而,部署在恶劣环境中的无线传感网络,节点容易遭受外力破坏,或者自身资源(能量、存储等)有限,可能会导致节点发生位移和故障,从而造成网络拓扑不断改变以及部分节点的感知数据失效.同时,由于节点感知数据容量大、传输带宽有限以及网络链路不可靠等情况,可能会造成网络通信时延大大增加.这些因素使得快速、可靠的数据查询处理成为无线传感网中一个难题.为了解决这个难题,提出一种动态网络中低延迟高可靠的数据查询机制.该机制是一种非聚合随机查询方式,通过将传感节点划分为源节点和查询节点来实现数据查询.首先,根据监测事件将网络划分为若干个子区域,每个子区域中的源节点相互协作,并按照时间顺序依次轮流监听该区域的事件信息;接着,源节点根据预估的平均节点故障概率,计算出一个合理的备份数量,并将源数据按照该数量存储到邻居节点中,以降低源数据的失效概率;然后,为了加快数据查询速度,源节点定期对源数据块进行编码压缩,并选取剩余能量和存储空间较小的多个邻居节点作为下一跳接收节点.这些接收节点基于局部区域中节点个数大小,决定是否接收存储该报文.重复上述过程,直至压缩数据均匀地分布在网络中.另一方面,查询节点接收到查询请求时,也使用负载均衡多路分发方式将查询请求传输到部分节点上.为了避免目标数据的冗余回传,当查询请求成功查询到目标数据时,目标节点先修改访问位,再选取与查询节点距离最近的邻居节点作为下一跳接收节点,迭代执行上述操作,直到用户获得所需要的事件信息.在以上过程中,为了节省节点能量,在保证高成功查询率的条件下,建立通信能耗最小化的优化模型,计算出最优的压缩数据副本数和查询消息副本数,之后,源节点和查询节点分别按照该数量进行副本数据分发.最后,理论分析和实验结果表明,与其它四种查询算法相比,提出的查询机制具有更高的查询成功率、更低的通信能耗和通信时延.     

一种基于内容的数据分发网络及算法

物联网中通常需要对海量传感数据进行有目的的聚合和分发。设计中通常使用集中式的大规模存储系统管理海量物联数据,合适的数据分发机制对这样的存储系统必不可少。提出一种基于内容的数据分发网络设计。该设计可以和大规模存储中节点网络相结合,在保证存储过程不受影响的前提下收集空闲计算资源,高效完成基于内容的数据分发工作。受虚拟化思想的启发,设计引入“工作者”和“功能块”角色,通过动态调节每个节点上“工作者”的数量实现网络中节点的负载自动调节,同时通过动态装载或切换“功能块”实现不同任务之间计算资源的动态调配。还具体给出了一种基于布隆过滤器的分布式基于内容的数据分发算法。该算法分布于上述数据分发网络,同时通过使用布隆过滤器表示对象及其属性所满足的约束集合,消除了大量冗余计算,可以并行、高效地完成数据分发工作。     

基于BitTorrent种子的内容分发算法

分析当前最流行的P2P软件——BT的工作方式,发现其内容分发算法使得文件片段在网络节点中分布不均,影响系统效率。提出基于种子控制的内容分发算法,该算法能有效避免稀有片段的产生,使各节点上的片段拥有量基本相等。采用单次分发时间、节点上内容相异性和平均下载时间等几个方面对新旧系统进行评估比较。仿真试验结果表明,加入新算法的系统降低了平均下载时间,提高系统的健壮性和整体效率。     

基于Spark的并行化协同深度推荐模型

协同深度学习（Collaborative Deep Learning,CDL）利用神经网络极强的特征学习能力和模型拟合鲁棒性,解决了推荐系统在数据稀疏的情况下性能表现急剧下降的问题。但当推荐系统面临大量数据时,导致模型训练变得难以维护,进而出现多种不可预料的问题。为解决上述问题,对协同深度学习及其并行化方法进行了研究,提出了一种针对项目内容学习优化的改进模型协同深度推荐（CDL with item private node,CDL-i）,通过对传统CDL中的自编码网络进行改进,增加私有网络节点,在模型的网络参数共享情况下,为每个项目添加私有偏置项,使网络能够更针对性地学习到项目内容参数,改进了模型在推荐系统中对项目内容的探测性能。同时对算法进行并行化改进,通过对模型进行拆分,提出一种并行训练CDL-i的方法,将其移植到Spark分布式集群上,并行地对模型各部分参数进行训练优化,增强模型所能处理数据的规模和扩展性。通过在多个真实数据集上的实验,验证了提出的并行深度推荐算法的有效性和高效性。     

Efficient Multimedia Distribution in Source Constraint Networks

In recent years, the number of peer-to-peer (P2P) applications has increased significantly. One important problem in many P2P applications is how to efficiently disseminate data from a single source to multiple receivers on the Internet. A successful model used for analyzing this problem is a graph consisting of nodes and edges, with a capacity assigned to each edge. In some situations however, it is inconvenient to use this model. To that end, we propose to study the problem of efficient data dissemination in a source constraint network. A source constraint network is modeled as a graph in which, the capacity is associated with a node, rather than an edge. The contributions of this paper include (a) a quantitative data dissemination in any source constraint network, (b) a set of topologies suitable for data dissemination in P2P networks, and (c) an architecture and implementation of a P2P system based on the proposed optimal topologies. We will present the experimental results of our P2P system deployed on PlanetLab nodes demonstrating that our approach achieves near optimal throughput while providing scalability, low delay and bandwidth fairness among peers.     

基于对等网数据副本间消息传输的PBMB算法

在基于对等网技术构建的广域网存储系统中,保存数据的多份副本可有效地提高整个存储系统的性能与可靠性,为了使更新数据在副本间有效地进行传输,该文提出适用于广域网存储系统副本间数据传输的PBMB算法,通过广播位将系统中的节点划分为不同组,并使用一种新颖的方式在组间进行数据传输,与传统方法相比,降低了节点负担,提高了数据传输效率。模拟实验表明,PBMB算法降低了节点连接出入度,具有较好的数据传输效率,适用于实际系统的需求。     

Analysis of file download time in peer-to-peer networks with stochastic and time-varying service capacities

The service capacities of a source peer at different times in a peer-to-peer (P2P) network exhibit temporal correlation. Unfortunately, there is no analytical result which clearly characterizes the expected download time from a source peer with stochastic and time-varying service capacity. The main contribution of this paper is to analyze the expected file download time in P2P networks with stochastic and time-varying service capacities. The service capacity of a source peer is treated as a stochastic process. Analytical results which characterize the expected download time from a source peer with stochastic and time-varying service capacity are derived for the autoregressive model of order 1. Simulation results are presented to validate our analytical results. Numerical data are given to show the impact of the degree of correlation and the strength of noise on the expected file download time. For any chunk allocation method, an analytical result of the expected parallel download time from a source peer with stochastic and time-varying service capacity is derived. It is shown that the algorithm which chooses chunk sizes proportional to the expected service capacities has better performance than the algorithm which chooses equal chunk sizes. It is also shown that multiple source peers do reduce the parallel download time significantly.     

A novel dynamic network data replication scheme based on historical access record and proactive deletion

Data replication is becoming a popular technology in many fields such as cloud storage, Data grids and P2P systems. By replicating files to other servers/nodes, we can reduce network traffic and file access time and increase data availability to react natural and man-made disasters. However, it does not mean that more replicas can always have a better system performance. Replicas indeed decrease read access time and provide better fault-tolerance, but if we consider write access, maintaining a large number of replications will result in a huge update overhead. Hence, a trade-off between read access time and write updating cost is needed. File popularity is an important factor in making decisions about data replication. To avoid data access fluctuations, historical file popularity can be used for selecting really popular files. In this research, a dynamic data replication strategy is proposed based on two ideas. The first one employs historical access records which are useful for picking up a file to replicate. The second one is a proactive deletion method, which is applied to control the replica number to reach an optimal balance between the read access time and the write update overhead. A unified cost model is used as a means to measure and compare the performance of our data replication algorithm and other existing algorithms. The results indicate that our new algorithm performs much better than those algorithms.     

基于集群服务器的容灾系统的副本管理研究

提出一种基于集群服务器的容灾系统副本管理方案,提出多个副本的一致性维护和副本选择的算法以及副本数量和分布方式的数学模型。通过容灾系统的性能测试实验,证明它能够实现数据的快速自动恢复,有效地管理副本,并保持副本可靠性和集群服务器性能之间的平衡。     

CMV: File consistency maintenance through virtual servers in peer-to-peer systems

Peer-to-peer (P2P) has become a mainstream architecture in numerous diverse distributed applications. However current P2P systems do not provide consistency guarantees under multiple reader multiple writer scenarios. Such a feature is desirable as well as necessary for supporting more diverse applications than merely file-sharing systems. In this paper, we develop a highly scalable and efficient algorithm, called Consistency Maintenance through Virtual servers (CMV), in P2P systems. In this algorithm, consistency of each dynamic file is maintained by a Virtual Server (VS). A file update can only be accepted through the VS to ensure one-copy serializability consistency. The VS of a file is a logical network composed of multiple Replica Peers (RPs) that have replicas of the file. Mathematical analysis is performed for optimal parameter selections that achieve minimum overhead messages for maintaining file consistency. Simulation experiments are conducted to compare the performance of the proposed CMV algorithm with two existing schemes, namely the rumor spreading based scheme and the Update Propagation Through Replica Chain (UPTReC) scheme. Our results show that CMV can quickly commit update to the system and significantly reduce (by more than 90%) overhead messages compared to these schemes under various system conditions.     

一种基于数据并行的过程神经网络训练算法

针对过程神经网络时空聚合运算机制复杂、学习周期长的问题,提出了一种基于数据并行的过程神经网络训练算法。该方法基于梯度下降的批处理训练方式,应用MPI并行模式进行算法设计,在局域网内实现多台计算机的机群并行计算。文中给出了基于数据并行的过程神经网络训练算法和实现机制,对不同规模的训练函数样本集和进程数进行了对比实验,并对加速比、并行效率等算法性质进行了分析。实验结果表明,根据网络和样本规模适当选取并行粒度,算法可较大提高过程神经网络的训练效率。     

合作环境下P2P网络最大吞吐量算法研究

针对P2P数据流网络中的文件传输情形进行了分析，以最大化整个网络的吞吐量为目标，提出了一个文件传输模型，并在其上寻找一种可行的多项式时间内可求解的算法对近似最优的网络带宽利用率以及相应的流量路由分配进行计算，模拟试验表明效果明显。     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。