分布式数据挖掘计算过程--DDCP算法研究

提出了一种关联规则挖掘大项集生成的并行和分布式处理的计算框架的算法,该算法以大规模事务数据库为基础,将数据有效地分片后作分布或者并行处理,通过节点之间的通信降低了节点间传输的数据量.通过算法实例验证了算法的正确性和可行性,可以在分布式或者并行环境里实现高效的数据挖掘.     

改进的关联规则并行算法

针对并行关联规则挖掘算法不能有效的解决负载平衡的问题,在CD算法的基础上,介绍了一种基于动态数据集划分的并行关联规则挖掘算法.它根据各个节点的反馈来决定向每个节点分配的数据集大小.与静态的数据集划分相比,它能更好地实现负载平衡,提高并行数据挖掘的效率.     

基于属性相关分析的离群数据并行挖掘算法

针对高维海量数据集中的局部离群数据,利用并行计算和属性相关性分析思想,给出了一种离群数据并行挖掘算法。该算法首先由主节点分配属性相关分析任务,各个子节点并行查找数据集中的冗余属性,将其冗余属性传回主节点,并由主节点删除;其次,主节点分配搜索任务,各子节点采用微粒群算法,并行搜索局部离群子空间;再次,由主节点对局部离群子空间合并计算后,确定全局离群数据;最后,在MPICH2-1.0.3的并行计算环境下,采用恒星光谱数据作为数据集,实验结果验证了算法的正确性和有效性。     

用于分布式并行数据库系统的重定向算法

分布式并行数据库系统以高可用性、高效率等特征愈来愈受到人们的关注。针对分布式并行数据库系统的特征,提出了分布式并行重定向算法,实现服务器节点的透明切换。该算法不仅能实现负载均衡以及位置透明性,提高系统效率,而且能保证节点故障时事务不被中断,实现系统的高可用性。     

无线传感器网络下的并行粒子滤波目标跟踪算法

针对无线传感器网络环境下目标跟踪问题,提出一种基于分布式并行粒子滤波的目标跟踪方法.在建立了网络动态分簇模型和目标运动模型的基础上,将并行粒子滤波算法应用于动态目标进行跟踪.算法通过多个感知节点并行的运行局部粒子滤波器,得到每个节点对目标状态的估计,动态成簇的簇头节点对簇内每个节点的信息进行融合,形成动态目标的状态估计...     

基于多目标优化的复本分布及任务调度算法

为了提高分布式并行服务器的系统效率,并保证数据可用性,提出了基于多目标优化的复本分布及任务调度算法,文章针对分布式并行服务器的特点研究了多目标优化模型,并以此模型为基础设计了复本分布策略和相应的任务调度策略,系统根据任务需求周期性地调整数据复本数量和驻留节点．它不仅保证了数据的可用性要求,而且大幅度减少了所有任务耗费的系统资源．分析和测试表明：在相同条件下完成相同任务,该算法耗费的系统资源小于常用的三模冗余．     

井下人员搜救定位免疫并行分布式融合算法

将并行性、分布式和数据融合引入到基本的人工免疫算法中,提出了并行免疫分布式融合算法,优化了克隆选择和交叉变异算子.详细分析了并行分布式融合算法的过程,并在分析了井下人员搜救定位系统后,将该算法应用到系统中.通过实验验证了算法的可行性,同时与基本免疫算法作了对比实验,验证了该算法的高效性.     

云数据库中等宽直方图的分布式并行构造方法

直方图能够直观的表示数据分布状况,在数据库查询优化中起着重要作用。为了更高效的利用计算集群中计算资源构建直方图,基于关系型云数据库提出一种直方图的分布式并行构造方法。集群中应用请求节点通过对经RPC协议传输的工作节点最值数据比较得到数据库表的全局最大值、最小值,依次将全局最值信息传送至集群中相关工作节点,使各工作节点能够在本地构建范围相同的等宽直方图,最后应用请求节点依据多个工作节点的直方图信息数据进行合并。算法利用分布式并行思想实现了关系型云数据库中直方图的构建,将计算任务划分成多个小任务并行执行,与基于MapReduce架构的直方图构建方法相比,该方法中不需要传输数据库表数据,解决了大数据环境下直方图构建过程中的网络传输量问题。     

基于免疫优化策略的副本放置算法

副本放置问题在云计算环境分布式存储系统中是一个关键问题。针对现有副本放置算法存在的数据副本访问开销较大，节点负载不均衡的问题，提出了一种基于免疫优化策略的副本放置算法。通过计算节点的亲和度，并借助免疫优化系统特有的克隆选择和免疫记忆机制，对副本节点的评价和选择更加合理。基于Matlab的仿真实验证实该算法能够降低分布式存储系统的副本访问开销，均衡节点负载。     

一种分布式并行服务器节点故障检测算法

故障检测技术是实现分布式并行服务器容错的基础。为了尽可能减小故障检测算法对系统通信开销的增加,寄生式自适应故障检测算法被提了出来。该算法依靠系统内部固有的信息交换进行故障检测,而通过自回归AR模型预测消息的传输时间和处理时间,并以此自动调整故障检测的阈值,达到自适应系统运行状况的目的,最后通过伪代码的形式描述了该算法的实现。该算法已被应用于分布式并行数据库系统DPSQL,较好地实现了节点故障检测。     

网格环境下基于分布式数据流频繁模式的数据更新算法

网格环境下,分布式数据源的更新一致过程无法实现．通过计算分布式数据流的频繁项,进行有选择的数据更新清洗,是当前研究的热点．本文提出MDF算法（Mining Distributed Frequent items）,计算分布式数据流的频繁项,用以满足诸如更新频繁和查询频繁的数据更新需求．算法采用根节点和节点独立处理的方式,使用简单的位串操作和频繁项副本政策,极大的减小了各节点的计算负载．同时对节点的频繁阈值设置给出了准确的计算公式．用实际数据对算法进行检测．实验结果证明,MDF算法有效的计算分布式数据流频繁项,提高了网格环境下数据更新的效率．     

基于DPB+-Tree的数据迁移策略研究

提出了一种适合于数据迁移、又能保证分布并行特性的树结构DPB+-Tree,讨论了基于DPB+-Tree的数据迁移策略,其中数据节点迁移采用分布式提交协议来保证原子性,索引重构通过对溢出链的hash重排来实现,迁移算法则通过设置负载系数的两个阈值来对负载倾斜进行判断。经模拟实验结果表明,该数据迁移策略能够有效改善系统的负载均衡和吞吐率特性。     

基于网络并行计算的结构损伤动力有限元分析

网络并行计算是当今并行计算发展的新方向。用网络并行思路探讨了结构损伤动力有限元并行分析算法的实现方法,并在曙光－1000A分布式并行计算机上进行了测试。通过对实验数据的分析,讨论了该算法的并行效率。     

基于网络并行计算的结构损伤动力有限元分析

网络并行计算是当今并行计算发展的新方向。用网络并行思路探讨了结构损伤动力有限元并行分析算法的实现方法,并在曙光－1000A分布式并行计算机进行了测试。通过对实验数据的分析,讨论了该算法的并行效率。     

基于MapReduce框架的BCH码并行译码研究

传统BCH码串行迭代译码算法计算量大、译码速度慢,无法满足大数据环境下快速译码的要求。本文提出一种基于MapReduce分布式框架的并行译码算法,通过译码的分布式和并行化减少译码时间,通过查找表译码减少译码时的计算量,从而获得较好的译码性能。     

面向WSN的稀疏核学习机分布式训练方法

针对无线传感器网络（WSN）中,经过多跳路由传输训练数据到数据中心进行集中式训练时存在的高数据通信代价问题,基于L1正则化的稀疏特性,研究了仅依靠邻居节点间的协作,在网内分布式协同训练核最小均方差（KMSE）学习机的方法.首先,在节点模型与邻居节点间局部最优模型对本地训练样本预测值相一致的约束下,利用并行投影方法和交替方向乘子法对L1正则化KMSE的优化问题进行稀疏模型求解;然后,当各节点收敛到局部稳定模型时,利用平均一致性算法实现各节点稀疏模型的全局一致.基于此方法,提出了基于并行投影方法的L1正则化KMSE学习机的分布式（L1-DKMSE-PP）训练算法.仿真实验结果表明,L1-DKMSE-PP算法能够得到与集中式训练算法相当的预测效果和比较稀疏的预测模型,更重要的是能显著降低核学习机训练过程中的数据通信代价.     

分布式并行服务器内部通信的近似最佳线程数

在分布式并行服务器中,节点间的高速信息交换是改善系统性能的关键.为了改善系统整体性能,在此基于操作系统的多线程时间片轮转调度分析了多收发线程传输数据时所需的近似最佳线程数,并给出了一种计算近似最佳线程数的启发式算法.通过在分布式并行数据库服务器DPSQL中测试表明:利用启发式算法获得的近似最佳线程数能提高系统的整体性能.     

基于云计算Hadoop平台的文本挖掘预处理方法

随着信息社会的快速发展,网络数据正在指数级地增长,其中大部分都是文本数据.如何在有限的时间内完成大规模的文本数据挖掘分析,已成为当前的热点研究问题.文本预处理是整个挖掘过程中最耗时的环节,分布式并行处理可以缩短该过程的挖掘时间.设计分析了基于云计算Hadoop平台的文本预处理MapReduce并行化过程,并对预处理的Map函数和Reduce函数进行了详细介绍.通过实验证明,和单节点运行相比,改进后的并行化方法具有更好的性能.     

一种改进的分布式搜索引擎模型

为了解决传统分布式搜索引擎存在的搜索性能问题,从索引结构、查询算法方面改进了传统模型．提出了一种非集中的高并行化搜索模型,该模型按照文档主题对索引分类,对较长的倒排记录表采用位图结构,利用多线程技术对索引节点实现并行搜索算法(multi max score heap,MMSH)．实验结果表明:改进模型中的索引分类方法与倒排表结构的位图策略,能够增强Merge层查询的针对性,降低Merge层节点的CPU和内存开销;在倒排表不能完全存入内存情况下,MMSH算法能够实现高度并行化查询,其查询效率高于经典的term-at-a-time算法,缩短了平均查找时间,提高了系统吞吐量．索引分类、位图结构以及并行查询算法能够避免查询的盲目性,改善了分布式搜索引擎的性能．     

基于Spark平台的FP-Growth算法优化与实现

针对FP-Growth算法面对海量数据挖掘时串行操作机制出现内存瓶颈或者数据挖掘失效等问题,提出将基于Spark平台的FP-Growth算法在数据分组策略和项头表结构两方面进行优化。一方面提出一种S型的负载权值均衡分组的方式;另一方面,设计出一种新的项头表结构,此结构包含Hash查找表,能有效降低查找时间复杂度。实验证明,优化的基于Spark平台的FP-Growth算法(OptFP-Spark算法)具有更高的并行运算加速比、更好的并行挖掘效果及更高效的计算效率。