数据挖掘网格中决策树并行算法设计及性能分析

提出了C4.5决策树算法的一种并行算法,使传统的串行分类算法能在多台PC机和服务器组成的数据挖掘网格上并行数据挖掘. 采用数据纵横剖分,结合递归过程的并行化,实现了可扩展的高性能并行计算,解决了处理海量数据时没有较好并行分类算法的问题. 并给出了指导该并行算法高效计算的方法. 数据运行试验和算法分析表明,该并行算法的性能受多个因素影响,并具有高效的并行效率计算加速比.     

一种基于网格计算的农业遥感数据快速分类算法

针对农业遥感数据分类速度慢的问题,本文对K-means算法的并行化方法进行了研究,提出了一种基于网格计算的快速分类算法.在实现K-means并行算法过程中,通过调整通信数据的存储方式,使该算法每次迭代的通信次数降低为一次全收集操作.该算法节点数的选取是根据数据规模和分类需求确定的,而不是节点数越多算法效率越高.实验结果表明,这种方法具有较好的加速比.     

机动多目标跟踪并行算法研究

分析了直角坐标系下交互式多模型概率数据关联（ＩＭＭＰＤＡ）算法的并行机理。将实现该算法的任务分配到高速并行仿真计算机上,得到了并行ＩＭＭＰＤＡ算法。研制完成了机动多目标跟踪并行仿真软件包,对并行算法性能进行了测试。仿真结果表明跟踪精度和并行效率良好。     

分布式数据挖掘计算过程--DDCP算法研究

提出了一种关联规则挖掘大项集生成的并行和分布式处理的计算框架的算法,该算法以大规模事务数据库为基础,将数据有效地分片后作分布或者并行处理,通过节点之间的通信降低了节点间传输的数据量.通过算法实例验证了算法的正确性和可行性,可以在分布式或者并行环境里实现高效的数据挖掘.     

基于OpenMP的并行粒子群优化算法研究

针对现有粒子群优化算法多采用串行方式执行且运行效率较低的问题,提出一种基于Open MP技术的并行粒子群优化算法.该算法以多核硬件平台为基础,利用粒子群算法搜索速度快,易于并行等特点,引入Open MP技术,通过将该并行算法应用于布局问题求解并与串行算法相比较,测试结果表明,该并行算法与串行算法结果一致,能够充分利用多核CPU的计算资源,运行效率得到明显提高.     

并行免疫克隆特征选择算法

针对模式识别中传统的封装式特征选择算法,难以得到较好的特征子集和复杂度较高的分类器评价特征子集的耗时问题,提出了一种用于特征选择的并行免疫克隆算法,采用免疫克隆算法搜索特征,并利用并行算法评价特征子集,即将种群中个体的适应度计算并行在多个计算节点上同时进行．将该算法在Linux刀片集群上基于MPICH软件对UCI数据集进行特征子集选择算法仿真,特征子集采用最近邻分类并采用留一法验证评价．结果表明该算法选出的特征子集优于经典的顺序浮动前向搜索算法和标准遗传算法,与串行算法运行时间相比,在40个CPU时其加速比最高可达29.57．     

大数据环境下决策树算法并行化研究

决策树算法是数据挖掘中重要的分类算法,但目前多数针对决策树的改进方法都基于传统的串行算法,不能满足大数据环境下对海量数据挖掘的需要.针对大数据集中串行挖掘算法效率低下的问题,采用MapReduce对决策树算法进行了并行化实现,同时引入修正参数来改进ID3算法倾向于多值属性选取的问题.实验结果表明,该算法具有较好的并行性和扩展性,能有效处理大数据集的分类问题.     

运用并行算法计算机翼柔度影响系数矩阵

并行算法是一种借助数学方法和程序设计在并行计算机上高效处理数据的算法,它是发挥并行计算机处理数据能力强的功能的必要保证.超级计算机必须借助并行算法才能达到所标称的运算速度.并行计算可分为同步并行计算和异步并行计算.与之相适应的分别为同步并行算法和异步并行算法.两种并行算法的选择取决于所用并行机的体系结构.在 VAX-780机上计算某飞机机翼柔度影响系数矩阵(简称柔阵)需要10hCPU 机时.作者采取了—些并行化措施,成功地在中国超级计算机——银河-Ⅰ上仅用7min30sCPU 机时作同样计算.该机翼结构的5300阶刚度矩阵 K 已作好三角分解,选出160点(点号的集合为 L),需要导出这些点的柔度影响系数矩阵 F_L(160×160),即在每一点上加 Y 向单位载荷 i_K(K∈L),求出所有160     

基于属性聚类的离群数据挖掘算法

针对现实生活中出现的越来越多的高维海量分类数据,基于属性聚类的方法,提出了一种新的离群数据挖掘算法.该算法首先通过计算属性之间的相关性,将高维分类数据的属性分成多个属性子集,然后在多个属性子集上根据离群得分分别进行离群挖掘,最终选择离群得分最大的k个数据对象作为离群数据.通过采用人工数据集和UCI数据集验证了算法的有效性和可行性,实验结果表明,该算法在精度和效率方面都有提高,可用于高维海量分类数据的离群挖掘.     

网络构件软件体系模型并行算法研究

基于网络和本地代码序列协调、同步运行的构件化框架,提出了网络构件系统的并行优化算法,并且给出了算法的形式化描述,讨论了并行代码构造(CCCA)算法和分布式数据流(DFDM)算法对系统性能的影响,实验数据证明,网络并行算法模型能有效地提高软件系统的性能.该并行算法为分布式软件体系结构下的本地框架和远程服务提供了一种有效耦合的方法.     

基于决策树组合分类器的气温预测

气象数据挖掘是近年来研究的热点,组合分类器能够实现协同计算以提高效率和准确性,就此本文采用数据挖掘方法中的决策树组合分类器对某地气象进行了气温预测,主要依据C4.5经典算法、Bagging集成方法构建组合决策树,并加入协同的思想建立了预测气温的决策树协同分析模型.实验表明,基于Bagging的决策树协同模型对于局部区域的气温预测具有较高的准确率.     

基于Spark平台的FP-Growth算法优化与实现

针对FP-Growth算法面对海量数据挖掘时串行操作机制出现内存瓶颈或者数据挖掘失效等问题,提出将基于Spark平台的FP-Growth算法在数据分组策略和项头表结构两方面进行优化。一方面提出一种S型的负载权值均衡分组的方式;另一方面,设计出一种新的项头表结构,此结构包含Hash查找表,能有效降低查找时间复杂度。实验证明,优化的基于Spark平台的FP-Growth算法(OptFP-Spark算法)具有更高的并行运算加速比、更好的并行挖掘效果及更高效的计算效率。     

基于Map/Reduce的时间序列相似性搜索算法

将并行计算的策略引入到时间序列处理中,提出基于Map/Reduce的时间序列相似性搜索算法,充分利用云计算可进行大规模计算和数据处理的特点,有效降低了时间序列相似性搜索中运算量,简化了计算过程。该算法在心电图数据集上进行相似性搜索,分别进行PAA下界过滤和DTW距离的计算,验证运算时间和并行加速比随节点变化的情况,与传统的单机运算相比,有效地提高了时间序列挖掘效率。     

基于决策树的就业数据挖掘

针对学生就业问题，给出了就业数据挖掘模型．决策树方法是数据挖掘中非常有效的分类方法，根据就业数据特点，采用了C4．5决策树算法．C4．5算法是决策树核心算法ID3的改进算法，它构造简单，速度较快，容易实现．模型对就业数据预处理，选取决策属性，实现挖掘算法并抽取规则知识，由规则知识指出哪些决策属性决定了就业单位的类别，挖掘结果表明，该算法能够正确将就业数据分类，并得到若干有价值的结论，供决策分析。     

一种基于属性频率划分的决策树算法

决策树是数据挖掘任务中分类的常用方法。在构造决策树的过程中,节点划分属性选择的标准直接影响决策树分类的效果。基于粗糙集的属性频率函数等方法度量属性重要性的概念,将其用于分枝划分属性的选择,提出一种决策树学习算法。该方法仅利用区分矩阵就可以计算出属性的出现频率函数值,计算简单。实验结果表明,用该方法构造的决策树与传统的基于信息熵方法构造的决策树相比较,结构简单,且能有效提高分类效果。     

一种基于本体的并行网络流量分类方法

海量网络流量数据的处理与单一节点的计算能力瓶颈这一矛盾导致数据分类效率低,无法满足现实需求。为解决这一问题,结合本体与MapReduce技术各自在海量异构数据描述与处理方面的优势,提出一种基于本体的并行网络流量分类方法。该方法基于MapReduce并行计算架构,根据网络流量本体结构,对网络流量本体并行化构建;通过并行知识推理完成基于流量统计特征的网络流量分类。实验结果表明,集群环境下基于MapReduce的网络流量本体构建效率明显高于单机环境,而且适当增加计算节点使得加速比线性提升;并行知识推理的分类方法能够有效地提高大规模网络流量的分类效率。     

基于S变换和决策树算法的电能质量扰动识别

提出一种基于S变换和数据挖掘中决策树算法的电能质量扰动识别的方法.该方法首先用S变换对电能质量扰动波形进行时频分析,并使用统计方法提取相关特征量,然后用决策树算法对提取的特征量样本进行分类,并获得明确的分支规则.仿真结果表明,该方案正确率高,抗噪声能力强,训练样本少,响应速度快.     

结合贝叶斯推理技术的改进决策树研究

决策树是当前预测、决策和数据挖掘中常用的方法之一。通过对决策树的生成过程进行分析,针对现有方法中决策树过度生长带来的弊端,提出了一种结合贝叶斯推理技术思想的决策树的改进方法,并给出了该方法中数据的存储结构和决策树的生成过程。该方法利用数据挖掘所产生的规则对决策树每个分支节点的分裂条件进行判断,一方面能限制决策树生长,另一方面又能帮助选择最优线路,从而使决策效率明显提高。     

粗糙集-决策树在数据挖掘中的应用

目的将数据挖掘技术应用在胶合板缺陷检测数据中，提取出有效的、正确的规则信息．方法通过分析比较粗糙集软计算方法和决策树方法的特点，利用两种方法具有的优势互补性，将其进行有机集合，构造数据挖掘模型．结果从胶合板缺陷检测数据中挖掘出对用户有价值的决策规则，并将其用“IF—THEN”语句表达出来．以便指导以后的决策过程．结论基于粗糙集和决策树结合的数据挖掘方法提高了获取规则的快速性，降低了计算的复杂度，增强规则的可解释性，取得了良好的研究结果．     

基于蒙特卡洛树搜索的众包概率规划

概率规划问题描述的是一个马尔科夫决策过程,其中的动作具有并行性和不确定性,从而导致概率规划问题的状态空间产生组合爆炸。过大的状态空间会降低规划器的效率,同时也会提高求解的难度。基于蒙特卡洛树搜索的众包概率规划可以将规划任务动态分配给多个规划器,由多个规划器共同对规划问题进行求解;同时使用蒙特卡洛树搜索算法构建前瞻树,通过前瞻树评估不同规划器返回的动作的质量。实验结果表明,随着时间限制放宽,该方法所求得的解的质量呈上升趋势;即使在相同条件下,该方法在求解效率和标准差上都有优势。