网格环境下基于分布式数据流频繁模式的数据更新算法

网格环境下,分布式数据源的更新一致过程无法实现．通过计算分布式数据流的频繁项,进行有选择的数据更新清洗,是当前研究的热点．本文提出MDF算法（Mining Distributed Frequent items）,计算分布式数据流的频繁项,用以满足诸如更新频繁和查询频繁的数据更新需求．算法采用根节点和节点独立处理的方式,使用简单的位串操作和频繁项副本政策,极大的减小了各节点的计算负载．同时对节点的频繁阈值设置给出了准确的计算公式．用实际数据对算法进行检测．实验结果证明,MDF算法有效的计算分布式数据流频繁项,提高了网格环境下数据更新的效率．     

基于Hadoop MapReduce的分布式数据流聚类算法研究

随着数据流规模的持续增大,现有基于网格的聚类算法对数据流的聚类效果不好,不能实时发现任意形状的簇,也不能及时删除数据流中的噪声点。文章提出了一种Hadoop平台环境下基于网格密度的分布式数据流聚类算法（PGDC Stream）,利于基于Hadoop的MapReduce框架对数据流进行阶段化的并行聚类分析,实时发现数据流中任意形状的簇,定义检测周期和密度阈值函数并及时删除数据流中的噪声点。算法基于网格密度对数据流初始聚类后,随着新数据的到来,使用基于密度阈值函数的噪声点处理策略,周期性检测和删除噪声点,使用基于Hadoop MapReduce框架的并行分析模型周期性地调整已经生成的簇。实验结果表明,PGDC Stream对大规模数据流的聚类质量、可伸缩性和实时性都好于CluStream。      

分布式数据库半连接查询优化算法的研究

在分布式数据查询处理中,连接操作是最常用的、费时的而且代价较高的一种操作,也是影响查询效率的关键因素。在处理连接操作的优化时,通常采用半连接的方法来缩减操作数,减少网络传输代价,降低通信费用。本文在研究前人的传统算法基础上,针对半连接操作提出了一种新的改进算法,在处理分布式数据库中海量信息查询和复杂查询领域里具有实用的价值。     

网络构件软件体系模型并行算法研究

基于网络和本地代码序列协调、同步运行的构件化框架,提出了网络构件系统的并行优化算法,并且给出了算法的形式化描述,讨论了并行代码构造(CCCA)算法和分布式数据流(DFDM)算法对系统性能的影响,实验数据证明,网络并行算法模型能有效地提高软件系统的性能.该并行算法为分布式软件体系结构下的本地框架和远程服务提供了一种有效耦合的方法.     

分布式数据库数据查询的优化处理方法

本文根据局域网下分布式数据库数据分布的模型,分析了在局域网下分布式数据分布的问题,阐述了分布式数据库中数据的优化查询操作与应用环境、节点处理能力间的关系,及查询方式对查询效率的影响,进而提出了对数据的全局优化问题的基于连接的优化算法模型,可以有效地提高分布式环境下数据查询的效率.     

基于数据流的top-k频繁项集挖掘

对数据流进行频繁项集挖掘具有重要意义.然而传统的办法是由用户设定合适的支持度阈值,这在数据流环境中非常困难.更实际的办法是由用户设置一个参数k,输出最频繁的K个项集.讨论了数据流的top-k频繁项集的挖掘,给出了相关定义,分析了挖掘中的相关技术和性质,提出了一个数据流top-K频繁项集挖掘算法LIONET,并分析了算法的优越性.     

一种面向数据流的频繁项集挖掘算法

与传统静态数据库中的数据不同,数据流是一个按时间到达的有序的项集,这使得经典的频繁项集挖掘算法难以适用到数据流中．根据数据流的特点,提出了数据流频繁项集挖掘算法FP—SegCount．该算法将数据流分段并利用改进的FP—growth算法挖掘分段中的频繁项集．然后,利用Count Min Sketch进行项集计数．算法解决了压缩统计和计算快速高效的问题．通过和FP—Ds算法的实验对比,FP—SegCount算法具有较好的时间效率．     

数据流频繁模式挖掘技术研究

数据流挖掘是目前新一代数据挖掘研究中的热点,而数据流频繁模式是影响数据流挖掘算法效率的决定性因素。虽然目前有许多工作针对数据流频繁模式挖掘算法进行了研究,但是仍然存在许多不足。本文详细讨论了数据流频繁模式挖掘的四种主流算法,最后提出了未来的研究方向。     

Ad hoc虚拟骨干网中一种费率优先分布式CDS算法

移动Ad hoc网络可以通过构建虚拟骨干网来减少参与路由计算的节点数量.虚拟骨干网可以由近似的最小连接主节点集(MCDS)组成.本文对几种经典的分布式近似MCDS查找算法进行了比较,提出了一种新的费率优先的分布式近似MCDS查找算法,详细介绍了该算法的流程,并对算法的性能进行了分析,仿真结果显示该算法的性能优于经典算法.     

基于聚类的数据流挖掘技术的分析与研究

随着数据采集和通信技术的发展,对时时变化的不同来源的信息即数据流,实施实时监控将成为可能.数据流是大量的连续变化的数据序列,传输速度快,传统的挖掘算法将被适合于挖掘量大、能自由出入的数据流的技术所代替.笔者提出了用聚类技术来改进数据流挖掘的问题.笔者对K-均值算法、基于网格的统计聚类算法、回归分析算法等适用于数据流挖掘的算法进行了研究和分析,并对它们进行了比较.