传感网络中基于位置信息的分布式多播路由算法

提出了一个传感网络中基于位置信息的成簇思想,并基于该思想给出了一种传感网络中基于位置信息的分布式多播路由算法.该算法首先利用相邻节点的位置信息分布式成簇,然后各簇头利用蚂蚁算法分布式地找到一条具有最短总跳数的到目的节点组的实际路径.最后,由簇头负责收集本簇内的传感信息,并在对这些信息进行汇聚处理后,沿找到的最优路径将汇聚数据分别发送到各目的节点.理论分析和仿真结果表明,该算法能有效地节约能量,具有较好的路由性能.     

基于AS协同的分布式拒绝服务攻击追踪机制研究

提出一种基于自治系统协同的分布式拒绝服务攻击的追踪算法.在该算法中,自治系统边界路由器把所在的AS信息以一定的概率对经过的数据包进行标记,受害者可通过数据包中所标记的路径信息重构出攻击路径,从而追踪到攻击源.带认证的标记方法有效地防止了攻击者伪造和篡改数据包中的路径信息.与其它追踪算法相比,该算法实现了快速实时追踪攻击源,有效地抑制了攻击流进入其它的网络,及时缓减了攻击带来的影响.     

DHT网络中数据索引和发布策略研究

在结构化P2P网络中,针对分布式散列表与复杂查询之间的矛盾,提出了一个在分布式散列表网络中基于多关键字的数据信息索引和查找算法,对该算法进行了分析和优化,为解决分布式散列表网络与复杂查询之间的矛盾提供了一种有效方法。     

矩阵方程的分布式求解算法研究概述

近年来,随着大规模网络的兴起和分布式优化理论的广泛应用,矩阵方程的分布式求解算法研究也受到了越来越多的重视.矩阵方程的计算求解在理论和工程领域都有着重要的意义.在多智能体网络下的分布式计算问题中,矩阵方程中的数据信息按照各种方式进行划分,单个智能体只能够获取其中的一份数据,然后通过与其邻居智能体进行信息交互,最终合作求解出不同类型的符合方程要求的解.本文集中讨论了近几年来针对线性代数方程、几类不带约束和带约束线性矩阵方程、以及其他矩阵相关的分布式计算和求解问题,介绍了投影一致方法、转化成分布式优化问题再求解的方法、以及针对特殊矩阵如稀疏矩阵的信息传递方法等分布式算法设计方法.最后,简要总结全文以及对分布式矩阵计算方向的研究进行了展望.     

一种空间分布式变阶数自适应网络滤波算法

现有的自适应网络滤波算法大都假设未知参数向量的阶数已知且恒定,无法解决阶数未知或时变条件下的参数向量估计问题. 以最小化网络均方误差为准则,提出一种空间分布式变阶数自适应网络滤波算法. 该算法仅要求网络中的各节点与相邻节点进行通信,通过扩散的方式实现整个网络数据信息的融合,具有计算量小、可操作性强及估计精度高的特点.仿真表明,提出的算法能够有效地估计和跟踪未知参数向量的阶数和权值.     

基于Shamir秘密共享的隐私保护分类算法

为了在分布式环境下进行数据分类挖掘,使每部分的隐私得到保护,根据Shamir秘密共享思想,提出了一种基于分布式环境下的决策树分类算法.在对集中数据库决策树分类属性的最大的信息增益公式分析的基础上,推导了分布式数据库的同一分类属性的息增益公式.在此基础上对Shamir秘密共享的加密原理进行分析,将其应用到求分布式数据库决策树分类属性的最大的信息增益公式中,并对隐私保护值求和的过程进行了实例分析.实验结果表明,该方法能有效地对分布式同构样本数据集进行隐私保护的决策树分类挖掘.     

DK-Means——分布式聚类算法K-Dmeans的改进

随着网络的广泛应用,大量的数据将分布存在.由于网络带宽、站点存储量等一系列限制,分布式聚类分析成为具有挑战性的研究课题.人们已经提出了若干分布式聚类方法,但这些方法效率低下.对分布式聚类算法k-Dmeans进行改进,提出了分布式聚类算法Dk-means. 该算法只传送各站点的聚簇信息,有效降低了分布式聚类过程中的数据通信量.理论分析和实验结果表明,算法Dk-means的效率优于k-Dmeans,并且可达到与k-means等效的聚类质量.     

非光滑聚合博弈纳什均衡的分布式连续时间算法

本文研究多智能体聚合博弈的分布式算法设计.其中,个体的成本函数具有非光滑性.提出一个连续时间分布式算法,使得每个个体仅利用本地数据及局部的信息交互就能达到纳什均衡.利用李雅普诺夫方法,证明了算法的收敛性.在此基础上,进一步研究了带有耦合不等式约束博弈的广义纳什均衡求解.仿真结果验证了方法的有效性.     

异步网络模型中轮询与选举算法的研究与实现

分布式算法是用于解决多个互连处理器运行问题的算法.分布式算法的各部分并发和独立地运行,每一部分只承载有限的信息.分布式算法的异步网络模型是一个输入/输出自动机模型,节点之间靠消息传递状态和数据信息.所描述的异步网络模型是建立在图论基础上的裸异步模型.分析了分布式算法的基本算法,研究了异步网络模型建立的基本方法.在该模型之上,重点讨论了分布式波动算法中的轮询与选举算法,并用C语言模拟实现了该算法.     

基于总线网络的分布式一致性算法

为了解决总线网络中的分布式数据一致性问题,提出了基于总线网络的分布式一致性算法.该算法通过Mod运算将多节点仲裁问题转化为惟一节点仲裁,减少了所需的消息数,降低了系统的负荷;通过消息复用的方法减少了算法所需的消息种类,并缩短了响应延迟.理论性能分析和仿真试验表明,该算法较之传统算法具有较低的消息复杂度和时间复杂度.     

基于网格的物流资源挖掘模型的研究

分布在因特网上的物流资源具有地理分散和职权自治的特性,资源结构和接口难以统一。该文以网格、Agent和增量挖掘技术为基础,提出了不通过资源整合就能够实现全局信息挖掘的方法。分析了基于Web的物流资源网格系统,将其划分为物流域的集合实施分级管理。提出了新的面向网格的信息挖掘模型并设计了域内动态资源挖掘算法和域间请求式资源挖掘算法。该模型解决了不同物流系统之间的信息挖掘难题,算法中引入的增量挖掘技术提高了域间资源挖掘效率。     

An ensemble-based evolutionary framework for coping with distributed intrusion detection

A distributed data mining algorithm to improve the detection accuracy when classifying malicious or unauthorized network activity is presented. The algorithm is based on genetic programming (GP) extended with the ensemble paradigm. GP ensemble is particularly suitable for distributed intrusion detection because it allows to build a network profile by combining different classifiers that together provide complementary information. The main novelty of the algorithm is that data is distributed across multiple autonomous sites and the learner component acquires useful knowledge from this data in a cooperative way. The network profile is then used to predict abnormal behavior. Experiments on the KDD Cup 1999 Data show the capability of genetic programming in successfully dealing with the problem of intrusion detection on distributed data.     

基于Iceberg概念格叠置半集成的全局闭频繁项集挖掘算法

研究专有的分布式数据挖掘算法是提高分布式数据库下数据分析和挖掘的有效方法.结合Iceberg概念格对于频繁项集精简表达的特性和其集成构造过程可并行化的特点,进而实现分布式全局闭频繁项集的挖掘.面对目前仍然缺乏有关Iceberg概念格分布式集成构造研究的文献,本文从理论上分析Iceberg概念格叠置集成构造全局Iceberg概念格的局限性,然后论证了基于Iceberg概念格叠置半集成构造全局Iceberg概念格的可行性,进而提出一个基于Iceberg概念格叠置半集成的频繁概念生长分布算法(Frecogd),并且把它应用于同构分布式环境下的全局闭频繁项集挖掘过程中.实验验证了该算法理论的可行性,同时也揭示了该算法的挖掘效能有待进一步的改进与提高.     

Mining frequent itemsets over distributed data streams by continuously maintaining a global synopsis

Mining frequent itemsets over data streams has attracted much research attention in recent years. In the past, we had developed a hash-based approach for mining frequent itemsets over a single data stream. In this paper, we extend that approach to mine global frequent itemsets from a collection of data streams distributed at distinct remote sites. To speed up the mining process, we make the first attempt to address a new problem on continuously maintaining a global synopsis for the union of all the distributed streams. The mining results therefore can be yielded on demand by directly processing the maintained global synopsis. Instead of collecting and processing all the data in a central server, which may waste the computation resources of remote sites, distributed computations over the data streams are performed. A distributed computation framework is proposed in this paper, including two communication strategies and one merging operation. These communication strategies are designed according to an accuracy guarantee of the mining results, determining when and what the remote sites should transmit to the central server (named coordinator). On the other hand, the merging operation is exploited to merge the information received from the remote sites into the global synopsis maintained at the coordinator. By the strategies and operation, the goal of continuously maintaining the global synopsis can be achieved. Rooted in the continuously maintained global synopsis, we propose a mining algorithm for finding global frequent itemsets. Moreover, the correctness guarantees of the communication strategies and merging operation, and the accuracy guarantee analysis of the mining algorithm are provided. Finally, a series of experiments on synthetic datasets and a real dataset are performed to show the effectiveness and efficiency of the distributed computation framework.     

时空轨迹大数据分布式蜂群模式挖掘算法

针对时空轨迹大数据的蜂群模式挖掘需求,提出了一种高效的基于MapReduce的分布式蜂群模式挖掘算法。首先,提出了基于最大移动目标集的对象集闭合蜂群模式概念,并利用最小时间支集优化了串行挖掘算法;其次,提出了蜂群模式的并行化挖掘模型,利用蜂群模式时间域无关性,并行化了聚类与子时间域上的蜂群模式挖掘过程;第三,设计了一个基于MapReduce链式架构的分布式并行挖掘算法,通过四个阶段快速地实现了蜂群模式的并行挖掘;最后,在Hadoop平台上,使用真实交通轨迹大数据集对分布式算法的有效性和高效性进行了验证与分析。     

基于FP树的全局最大频繁项集挖掘算法

挖掘最大频繁项集是多种数据挖掘应用了更新最大频繁候选项集集合,需要反复地扫描整个数据库,而且大部分算法是单机算法,全局最大频繁项集挖掘算法并不多见.为此提出MGMF算法,该算法利用FP-树结构,类似FP-树挖掘方法,一遍就可以挖掘出所有的最大频繁项集,并且超集检测非常简单、快捷.另外MGMF算法采用了分布式PDDM算法播报消息的思想,具有很好的拓展性和并行性.实验证明MGMF算法是有效可行的.     

HFIM: a Spark-based hybrid frequent itemset mining algorithm for big data processing

Frequent itemset mining is one of the data mining techniques applied to discover frequent patterns, used in prediction, association rule mining, classification, etc. Apriori algorithm is an iterative algorithm, which is used to find frequent itemsets from transactional dataset. It scans complete dataset in each iteration to generate the large frequent itemsets of different cardinality, which seems better for small data but not feasible for big data. The MapReduce framework provides the distributed environment to run the Apriori on big transactional data. However, MapReduce is not suitable for iterative process and declines the performance. We introduce a novel algorithm named Hybrid Frequent Itemset Mining (HFIM), which utilizes the vertical layout of dataset to solve the problem of scanning the dataset in each iteration. Vertical dataset carries information to find support of each itemsets. Moreover, we also include some enhancements to reduce number of candidate itemsets. The proposed algorithm is implemented over Spark framework, which incorporates the concept of resilient distributed datasets and performs in-memory processing to optimize the execution time of operation. We compare the performance of HFIM with another Spark-based implementation of Apriori algorithm for various datasets. Experimental results show that the HFIM performs better in terms of execution time and space consumption.     

基于自律分散系统方法的一种WSNs路由学习算法

本文对随机散播节点的无线传感器网络的路由策略进行探讨,提出了一个通过学习方法计算节点路由的算法。该方法计算路由时,只需要与邻接点交流少量信息,通过深度优先搜索策略,并结合节点路由历史经验,选择路搜索下一节点。该方法体现了分散自律系统方法和分布估计学习算法结合的优越性。仿真结果表明,该算法是一个快速高效的无线传感器网络路由算法。     

数据密集型计算环境下的离群点挖掘算法

在数据密集型计算环境中,数据的海量、高维、分布存储等特点,为数据挖掘算法的设计与实现带来了新的挑战。基于 MapReduce模型提出网格技术与基于密度的方法相结合的离群点挖掘算法,该算法分为两步：Map阶段采用网格技术删除大量不可能成为离群点的正常数据,将代表点信息发送给主节点;Reduce阶段采用基于密度的聚类方法,通过改进其核心对象选取,可以挖掘任意形状的离群点。实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘。     

一种基于MapReduce模型的高效频繁项集挖掘算法

由于互联网技术急速发展及其用户迅速地增加,很多网络服务公司每天不得不处理TB级甚至更大规模的数据量。在如今的大数据时代,如何挖掘有用的信息正变成一个重要的问题。关于数据挖掘(Data Mining)的算法在很多领域中已经被广泛运用,挖掘频繁项集是数据挖掘中最常见且最主要的应用之一,Apriori则是从一个大的数据集中挖掘出频繁项集的最为典型的算法。然而,当数据集比较大或使用单一主机时,内存将会被快速消耗,计算时间也将急剧增加,使得算法性能较低,基于MapReduce的分布式和并行计算则被提出。文中提出了一种改进的MMRA (Matrix MapReduce Algorithm)算法,它通过将分块数据转换成矩阵来挖掘所有的频繁k项集;然后将提出的算法和目前已经存在的两种算法(one-phase算法、k-phase算法)进行比较。采用Hadoop-MapReduce作为实验平台,并行和分布式计算为处理大数据集提供了一个潜在的解决方案。实验结果表明,改进算法的性能优于其他两种算法。