基于聚类和WOA的并行支持向量机算法

针对并行SVM在大数据环境下对冗余数据敏感、参数寻优能力差以及并行过程中出现的负载不均衡等问题,提出了一种基于聚类算法和鲸鱼优化算法的并行支持向量机算法MR-KWSVM。首先,该算法提出KF策略来删减冗余数据,利用删减冗余数据后的数据集训练SVM,降低SVM对冗余数据的敏感性;其次,提出了基于非线性收敛因子和自适应惯性权重的鲸鱼智能优化算法IW-BNAW,利用“IW-BNAW”算法获取SVM的最优参数,提高支持向量机的参数寻优能力;最后,在利用MapReduce构造并行SVM的过程中,提出时间反馈策略用于reduce节点的负载调度,提高了集群的并行效率,实现了高并行的SVM。实验结果表明,所提算法不仅保证了SVM在大数据环境下的高并行计算能力,SVM的分类准确度也有明显提高,并且具有更好的泛化性能。     

基于MapReduce的并行增量迭代支持向量机算法

为了提高支持向量机处理大数据集的性能,在研究MapReduce编程模型的基础上结合增量学习及迭代技术提出了改进算法MRII-SVM。该算法采用增量学习方式,在Map阶段并行求解各数据切片的支持向量集,并利用KKT条件削减增量数据集,在Reduce阶段执行联合重训练使算法收敛于当前最优解。基于UCI标准数据集的实验结果显示,MRII-SVC在保持SVM算法分类精度的基础上,提高了数据处理能力和运行效率。     

一种并行结构化支持向量机次梯度投影算法

支持向量机的次梯度投影算法是解决支持向量机优化求解问题的一种简单有效的迭代算法。该算法通过梯度下降和投影两个步骤的多轮迭代,找到两类最大间隔的分类面。针对该算法忽略了对寻找分类面同样有指导意义的样本分布信息这一问题,在分类器设计中融入结构信息,并且采用MapReduce并行计算框架,提出了一种并行结构化支持向量机的次梯度投影算法,该算法能够充分利用集群的计算和存储能力,适用于海量数据的优化问题。在NASA的两个软件模块缺陷度量数据集CM1和PC1上的实验结果表明,该算法能够加快收敛速度,提高分类性能,有效地解决海量数据的优化求解问题。     

GPU的并行支持向量机算法(英文)

提出了一种新的并行增量式支持向量机算法来解决图形处理单元(GPU)中大规模数据集的分类问题。SVM以及核相关方法可以用来创建精确分类模型,但学习过程需要大量内存和很长时间。扩展了Suykens和Vandewalle提出的最少次方SVM(LS-SVM)方法来建立增量和并行算法。新算法使用图形处理器以低代价获得高系统性能。实现表明,在UCI和Delve数据集上,基于GPU并行增量算法较CPU实现方法快130倍,而且比现行算法,如LibSVM、SVM-perf和CB-SVM等快的多(超过2500倍)。     

基于支持向量机的网页主题信息提取算法

为了提取网页中的主题信息,提出了一种基于支持向量机(SVM)的网页主题信息提取算法.该算法首先将整个网页划分成多个不同的信息块;然后根据信息块中的文本、图片、链接及信息块的位置建立其特征向量;通过训练得到SVM的最优分类函数;最后通过最优分类函数的符号判断给定的信息块是否是主题信息.封闭式测试中,指标precision和gain在最高时达到98%和96%;开放式测试中,两指标分别为92%和87%.     

基于结构并行的MRBP算法

BP(back propagation)算法是一种常用的神经网络学习算法,而基于Hadoop集群MapReduce编程模型的BP(MapReduce back propagation, MRBP)算法在处理大数据问题时,表现出良好的性能,因而得到了广泛应用.但是,由于该算法缺乏神经节点之间细粒度结构并行的能力,当遇到数据维度较高、网络节点较多时,性能还显不足.另一方面,Hadoop集群计算节点通信不能由用户直接控制,现有基于集群系统的结构并行策略不能直接用于MRBP算法.为此,提出一种适合于Hadoop集群的结构并行MRBP (structure parallelism based MapReduce back propagation, SP-MRBP)算法,该算法将神经网络各层划分为多个结构,通过逐层并行-逐层集成(layer-wise parallelism,layer-wise ensemble, LPLE)的方式,实现了MRBP算法的结构并行.同时,推导出了SP-MRBP算法和MRBP算法计算时间解析表达式,以此分析了2种算法时间差和SP-MRBP算法最优并行规模.据了解,这是首次将结构并行策略引入MRBP算法中.实验表明,当神经网络规模较大时,SP-MRBP较之原算法,具有较好的性能.     

基于人工免疫的支持向量机模型选择算法

支持向量机中参数设置对训练支持向量机分类的精确度有不可忽视的影响。支持向量机参数的选取可看作参数的组合优化。免疫算法是一种有效的随机全局优化技术,它具有不易陷入局部最优解、解精度高、收敛速度快等优点。该文利用人工免疫算法进行支持向量机模型选择。该算法主要包括克隆选择、高频变异、受体编辑等操作。试验证明,该算法能够有效提高支持向量机分类的正确性。     

基于改进粒子群算法的支持向量机

对求解含线性约束优化问题的粒子群算法（LPSO）进行了改进,给出了应用其训练支持向量机（SVM）的方法。改进后的算法在基本PSO惯性权重策略的基础上加入了基于种群收敛速度的自适应扰动,能够较好地调整算法的全局与局部搜索能力之间的平衡。对双螺旋问题的分类实验表明本文提出的方法稳定性好,训练出的SVM具有较高的分类正确率。     

基于MapReduce的支持向量机态势评估算法

支持向量机(SVM)可以解决传统态势评估算法无法兼顾的“维数灾难”“过学习”及“非线性”等难题,却无法应对大规模样本的问题。为了有效应对态势评估中的大数据处理挑战,提出了一种基于MapReduce的SVM(MR-SVM)态势评估算法。该算法利用MapReduce并行计算模型,同时结合SVM可并行化的特点,通过设计主要的map函数和reduce函数,实现了SVM算法的并行化和主要参数的选取。在搭建的Hadoop平台上对改进算法与原算法进行了比较验证:对于小规模样本,改进算法反而"化简为繁",不比原算法效率高;但在大规模样本的处理上,原算法的训练时间随样本规模呈指数型增长,而改进算法的训练时间随样本规模并没有特别明显的增幅,体现出了较好的时间优势。实验结果表明,基于MapReduce改进的SVM很好地弥补了原算法"样本规模"的短板,更适用于大数据环境下的网络态势评估。     

基于MapReduce和MSSA的并行K-means算法

针对大数据环境下并行K-means算法存在的面对高维数据聚类效果差、数据分区不均匀、初始质心敏感等问题,提出了一种基于MapReduce和MSSA的并行K-means算法MR-MSKCA。首先,提出基于肯德尔相关系数和深度稀疏自动编码器的降维策略（dimensionality reduction strategy based on Kendall correlation coefficient and DSAE,DRKCAE）对高维数据进行特征加权和特征提取,解决了高维数据不相关特征和结构稀疏导致的聚类效果差的问题;其次,提出基于两段映射的广义超平面分区策略 （uniform partition strategy based on two-stage mapping,UPS）对数据集进行划分,获取均匀的数据分区;最后提出非均匀变异麻雀搜索算法 （non-uniform mutation sparrow search algorithm,MSSA）用于获取并行K-means的聚类质心,解决了算法初始质心敏感的问题。在UCI数据集上进行的实验显示,MR-MSKCA较MR-KNMF、MR-PGDLSH、MR-GAPKCA的运行时间分别降低了45.1%、49.1%、59.8%,聚类效果分别提升了19.2%、22.8%、24%,表明 MR-MSKCA对大数据进行聚类时有良好性能,适用于不同场景的大数据聚类分析。     

基于细菌觅食的改进蚁群算法

蚁群算法是模仿蚂蚁觅食行为的一种新的仿生学智能优化算法。针对其收敛速度慢和易陷入局部最优的不足,将细菌觅食算法和蚁群算法相结合,提出一种细菌觅食 蚁群算法。在蚁群算法迭代过程中,引入细菌觅食算法的复制操作,以加快算法的收敛速度;引入细菌觅食算法的趋向操作,以增强算法的全局搜索能力。通过经典的旅行商问题和函数优化问题测试表明,细菌觅食 蚁群算法在寻优能力、可靠性、收敛效率和稳定性方面均优于基本蚁群算法及两种改进蚁群算法。     

自适应双向菌群优化算法

提出了自适应双向菌群优化算法,应用聚类思想将趋化步长进行自适应调整,提高算法的局部搜索能力,引入双向游动机制,提高了算法的搜索效率和速度。针对10个复杂Benchmark函数进行了数值优化实验,其结果表明,在所有测试函数中,该算法在搜索能力和稳定性等方面优于其他典型算法的比率达到60%～90%,验证了算法的有效性。     

一种新的多类支持向量机算法

提出了一种新的多类支持向量机算法OC-K-SVM.对k类分类问题,该方法构造了k个分类器,每一个分类器只对一类样本进行训练.使用Benchmark的数据集进行了初步的实验,实验结果验证了算法的有效性.     

基于细菌觅食的FCM聚类算法

针对FCM聚类算法对初始聚类中心敏感和易陷入局部最优解的缺点,提出一种基于细菌觅食的细菌觅食聚类算法。将细菌觅食算法与FCM算法相结合,并以反向学习来初始化细菌种群,增加种群的多样性和代表性,求得的最优解作为FCM算法的初始聚类中心,使FCM算法对初始聚类中心的依赖性降低,同时也降低了陷入局部最优解的可能性,提高了算法的稳定性。实验结果表明,该算法克服了FCM算法稳定性差的缺点,收敛速度更快,具有良好的性能和聚类效果。     

基于免疫算法的细菌觅食优化算法

针对细菌觅食优化算法经常出现的速度较慢、步长一致的缺陷,赋予细菌灵敏度的概念,对细菌游动的步长进行调节以提高收敛速度。采用免疫算法中的克隆选择思想,对精英细菌群体进行克隆、高频变异和随机交叉,引导算法提高搜索精度。典型高维函数测试表明,改进算法的搜索速度和精度得到极大提升,算法改造后可适用于多维、约束等实际工程问题中的优化。     

SVM参数优化的AFMC算法

支持向量机的参数选择仍未有系统的理论指导,其优化选择一直是支持向量机的一个重要研究方向。考虑到人工鱼群算法优化支持向量机参数往往易陷入最优参数组合微小邻域的问题,构造了用于支持向量机参数优化的AFMC算法。该算法前期利用鱼群算法较好的并行寻优性能,能快速寻得问题的近似最优解,而后利用MonteCarlo法进行局部寻优,以实现快速、有效地获取强近优解。数值实验结果表明,该算法具有较好的分类性能和较快的寻优速度,验证了在支持向量机参数寻优中的有效性和可行性。     

改进的细菌觅食优化算法及其应用研究

为了解决离散域问题,提出了改进的细菌觅食优化算法,并用该算法以减少分布式发电单元总的功率损耗,提高径向配电系统的电压分布。该算法旨在改进细菌觅食优化算法的性能。实验结果表明,提出的改进的细菌觅食优化算法得出的结果优于细菌觅食优化算法。最后将电力系统的12路、34路总线径向分布系统组成的11和33节进行仿真比较,证明了所提出的优化方法的可实现性和方便性。     

基于梯度粒子群算法的细菌觅食算法

针对细菌觅食算法在优化过程中环境感知能力较弱且容易陷入局部极值的缺陷,将梯度粒子群算法的基本思想引入细菌觅食算法中,改进原算法的收敛速度和收敛能力,并据此提出了基于梯度粒子群算法的细菌觅食算法GPSO-BFA。该算法既利用了细菌觅食算法出色的全局搜索能力,又借助梯度粒子群算法的快速局部寻优能力,很好地将两者的优势结合在一起。基于六个高维Benchmark函数的实验结果显示,该算法在收敛速度和精度方面都优于其他四种细菌觅食算法。     

基于细菌觅食优化的盲信号提取算法*

提出了一种新的基于细菌觅食优化的盲信号提取算法。采用负熵作为信号提取的目标函数,利用球坐标变换原理将对提取向量的求解转换为对旋转角度的求解。使用改进的细菌觅食优化算法对目标函数进行优化求解,从而实现对源信号的盲提取。通过多次提取和去相关消源过程,可以实现对所有源信号的成功提取。对多路语音信号混合后的盲提取实验验证了所提出算法的有效性。     

基于MapReduce的PageRank算法优化研究

为了提高PageRank算法的计算效率, 提出了基于块结构划分的方法, 将网页之间的链接关系转换成网络块间的关系, 减少了map和reduce操作的调用次数, 降低了I/O传输造成的开销, 提高计算的效率。实验证明, 该方法具有一定的优越性。