乌鸦搜索算法在SVM参数优化中的应用

参数的选择对支持向量机（SVM）分类精度和泛化能力有至关重要的影响，而群体智能算法近年来在参数优化方面应用广泛，在此背景下提出CSA-SVM模型。该模型将分类准确率作为目标函数，利用乌鸦搜索算法（CSA）求得SVM的最优参数组合。为了验证CSA-SVM模型的分类性能，将该模型应用于6个标准分类数据集，并分别与遗传算法（GA）和粒子群（PSO）算法优化后的SVM模型进行性能比较。实验结果表明，CSA算法在SVM参数选择中具有更好地寻优能力和更快地寻优速度，CSA-SVM模型具有较高的分类准确率。     

基于自适应粒子群的SVM参数优化研究

针对粒子群算法在优化SVM参数时,存在着易陷入局部最优,早熟收敛的问题,首先提出了一种用自适应权重来代替惯性权重的粒子群算法,再引入自适应变异对粒子群算法进行优化,增强粒子的种群多样性,使其能够跳出局部最优解,从而达到全局最优.最后,将改进后的算法(GPSO-SVM)应用到UCI标准数据集上进行验证,实验结果表明,改进后的算法提高了粒子的搜索性能,是一种有效的SVM参数优化算法.     

基于实数编码的自适应粒子群优化算法

提出了一种新的自适应粒子群优化算法(AMPSO)。该算法在运行过程中根据粒子群多样性的度量指标大小和当前最优解的大小来确定最优粒子的变异概率以对算法进行自适应变异,从而有效地增强了粒子群优化(PSO)算法跳出局部最优解的能力,使PSO算法既摆脱了后期易陷入局部最优点的束缚,又保持了其前期搜索速度快的优点。对几个典型函数的测试结果表明,该算法是非常有效的。     

基于改进的PSO优化SVM火灾火焰识别算法研究

针对室内复杂环境下火灾识别准确率会降低的问题,提出了一种改进的粒子群算法优化支持向量机参数进行火灾火焰识别的方法;首先在YCrCb颜色空间进行火焰图像分割,对获得的火焰图像进行预处理并提取相关特征量;其次采用PSO算法搜索SVM的最优核参数和惩罚因子,并在PSO算法中加入变异操作和非线性动态调整惯性权值的方法,加快了搜索SVM最优参数的精度和速度;然后将提取的火焰各个特征量作为训练样本输入SVM模型进行训练,并建立参数优化后的SVM分类器模型;最后将待测试样本输入SVM模型进行分类识别;算法的火灾识别准确率达到94.09%,分类效果明显优于其他分类算法;仿真结果表明,改进的PSO优化SVM算法提高了火焰识别的准确率和实时性,算法的自适应性更强,误判率更低。     

基于混合的GA-PSO神经网络算法

粒子群优化(PSO)算法是一类随机全局优化的技术,它通过粒子间的相互作用发现复杂搜索空间中的最优区域。提出了一种基于GA和PSO混合的算法(GA-PSO)用于神经网络训练。算法在产生下一代时,结合了交叉、变异算子和粒子群算法中的速度—位移公式,充分利用了遗传算法的全局寻优和粒子群算法收敛速度快的优点。经GA-PSO训练的神经网络应用于三元奇偶问题和IRIS模式分类问题,与BP、GA和PSO算法相比,该算法在提高训练误差精度的同时加快收敛速度,并能有效避免早熟收敛。仿真结果表明,GA-PSO算法是有效的神经网络训练算法。     

一种改进的小波变异粒子群优化算法

为提高粒子群优化(PSO)算法的优化性能,提出一种改进的小波变异粒子群算法(IPSOWM)。在每次迭代时以一定的概率选中粒子进行小波变异扰动,从而克服PSO算法后期易发生早熟收敛和陷入局部最优的缺点。数值仿真结果表明,IPSOWM算法的搜索精度、收敛速度及稳定性均优于PSO和PSOWM算法。     

带启发性变异的粒子群优化算法

粒子群优化算法(PSO)是一种群体智能计算方法,该算法精度高,收敛速度快,但在优化多峰函数的时候容易陷入早熟.加入启发性变异机制,可以在不破坏原算法高速收敛性质的同时,扩展算法的有效搜索区域.经过13个经典函数的测试证明,带启发性变异的粒子群优化算法(HMPSO)速度比原算法速度更快,精度更好,且不容易陷入局部最优.与其它带变异的粒子群优化算法相比,该算法收敛更快,在一些问题上有一定的精度优势.     

混沌粒子群算法对支持向量机模型参数的优化

研究支持向量机模型优化问题,支持向量机的参数选择决定了其学习性能和泛化能力,由于在参数的选择范围内可选择的数量很多,在多个参数中进和盲目搜索最优参数是需要极大的时间代价,并且很难得到最优参数.常用的支持向量机优化方法有遗传算法、粒子群算法都存在易陷入局部极值,优化效果较差.为解决支持向量机参数寻优问题,提出一种基于混沌粒子群的支持向量机参数选择方法.将混沌理论引入粒子群优化算法中,从而提高种群的多样性和粒子搜索的遍历性,从而有效地提高了PSO算法的收敛速度和精度,得了优化支持向量机模型.并以信用卡案例数据作为研究对象进行了仿真,实验结果表明,混沌粒子群优化的SVM分类器比传统算法优化的SVM分类器的精度高和更高的效率,应用效果好.     

一种用于高光谱遥感影像分类的改进多类支持向量机

将支持向量机(SVM)用于高光谱遥感影像分类的研究,采用决策边界特征提取(DBFE)算法对高光谱影像进行维数约简,以径向基函数(RBF)作为SVM模型的核函数,把混沌优化搜索技术引入到PSO算法中,以基本PSO算法为主体流程,对种群中最好的粒子进行给定步数的混沌优化搜索,以改进基本PSO算法进化后期收敛速度慢、易陷入局部极小值的缺陷。利用改进的混合粒子群优化算法(PSO)来实现SVM模型参数的自动选择,继而构建了一种参数最优的粒子群优化支持向量机(PSO-SVM)多类分类模型。选用220波段的AVIRIS高光谱遥感影像进行了分类试验。结果表明,与采用基于留一法(LOO)网格搜索策略的传统SVM相比,改进后的PSO-SVM算法可以提高分类精度约8.8%。该方法对于小样本、非均衡条件下的遥感影像数据分类非常有效。     

GA-PSO优化BP神经网络的遥感影像分类方法

针对BP神经网络在遥感影像分类中存在易陷入局部极值、受初始权阈值影响大和网络训练时间长等问题,提出一种遗传算法(GA)结合粒子群算法(PSO)优化BP神经网络(GA-PSO-BP)的遥感影像分类方法。通过PSO对问题的解空间进行迭代寻优,将粒子群粒子个体转化为GA染色体,利用GA的复制、交叉和变异对种群所有染色体进行寻优。GA-PSO迭代寻优得到的初始权阈值直接赋给BP神经网络,解决其易陷入局部极值的问题,同时提升其训练速率。利用Landsat-8中分辨率和高分二号高分辨率遥感影像进行地物分类。结果表明,相对于最大似然法、支持向量机、传统BP、GA优化BP和PSO优化BP,GA-PSO-BP的分类精度得到有效提高,能与AlexNet卷积神经网络分类精度接近,且简单易操作。     

基于改进斑点鬣狗优化算法的同步优化特征选择

针对传统支持向量机（SVM）在封装式特征选择中分类精度低、特征子集选择冗余以及计算效率差的不足,利用元启发式优化算法同步优化SVM与特征选择。为改善SVM分类效果以及选择特征子集的能力,首先,利用自适应差分进化（DE）算法、混沌初始化与锦标赛选择策略对斑点鬣狗优化（SHO）算法改进,以增强其局部搜索能力并提高其寻优效率与求解精度;其次,将改进后的算法用于特征选择与SVM参数调整的同步优化中;最后,在UCI数据集进行特征选择仿真实验,采取分类准确率、选择特征数、适应度值及运行时间来综合评估所提算法的优化性能。实验结果证明,改进算法的同步优化机制能够在高分类准确率下降低特征选择的数目,该算法比传统算法更适合解决封装式特征选择问题,具有良好的应用价值。     

A distributed PSO–SVM hybrid system with feature selection and parameter optimization

This study proposed a novel PSO–SVM model that hybridized the particle swarm optimization (PSO) and support vector machines (SVM) to improve the classification accuracy with a small and appropriate feature subset. This optimization mechanism combined the discrete PSO with the continuous-valued PSO to simultaneously optimize the input feature subset selection and the SVM kernel parameter setting. The hybrid PSO–SVM data mining system was implemented via a distributed architecture using the web service technology to reduce the computational time. In a heterogeneous computing environment, the PSO optimization was performed on the application server and the SVM model was trained on the client (agent) computer. The experimental results showed the proposed approach can correctly select the discriminating input features and also achieve high classification accuracy.     

基于IGA的支持向量机特征子集选择和参数优化

特征子集选择和训练参数的优化一直是SVM研究中的两个重要方面,选择合适的特征和合理的训练参数可以提高SVM分类器的性能,以往的研究是将两个问题分别进行解决。随着遗传优化等自然计算技术在人工智能领域的应用,开始出现特征选择及参数的同时优化研究。研究采用免疫遗传算法（IGA）对特征选择及SVM 参数的同时优化,提出了一种IGA-SVM 算法。实验表明,该方法可找出合适的特征子集及SVM 参数,并取得较好的分类效果,证明算法的有效性。     

Modified binary PSO for feature selection using SVM applied to mortality prediction of septic patients

This paper proposes a modified binary particle swarm optimization (MBPSO) method for feature selection with the simultaneous optimization of SVM kernel parameter setting, applied to mortality prediction in septic patients. An enhanced version of binary particle swarm optimization, designed to cope with premature convergence of the BPSO algorithm is proposed. MBPSO control the swarm variability using the velocity and the similarity between best swarm solutions. This paper uses support vector machines in a wrapper approach, where the kernel parameters are optimized at the same time. The approach is applied to predict the outcome (survived or deceased) of patients with septic shock. Further, MBPSO is tested in several benchmark datasets and is compared with other PSO based algorithms and genetic algorithms (GA). The experimental results showed that the proposed approach can correctly select the discriminating input features and also achieve high classification accuracy, specially when compared to other PSO based algorithms. When compared to GA, MBPSO is similar in terms of accuracy, but the subset solutions have less selected features.     

融合Shapley值和粒子群优化算法的混合特征选择算法

针对在模式分类问题中,数据往往存在不相关的或冗余的特征,从而影响分类的准确性的问题,提出一种融合Shapley值和粒子群优化算法的混合特征选择算法,以利用最少的特征获得最佳分类效果。在粒子群优化算法的局部搜索中引入博弈论的Shapley值,首先计算粒子（特征子集）中每个特征对分类效果的贡献值（Shapley值）,然后逐步删除Shapley值最低的特征以优化特征子集,进而更新粒子,同时也增强了算法的全局搜索能力,最后将改进后的粒子群优化算法运用于特征选择,以支持向量机分类器的分类性能和选择的特征数目作为特征子集评价标准,对UCI机器学习数据集和基因表达数据集的17个具有不同特征数量的医疗数据集进行分类实验。实验结果表明所提算法能有效地删除数据集中55%以上不相关的或冗余的特征,尤其对于中大型数据集能删减80%以上,并且所选择的特征子集也具有较好的分类能力,分类准确率能提高2至23个百分点。     

基于邻域粗糙集和帝王蝶优化的特征选择算法

针对经典的帝王蝶优化（MBO）算法不能很好地处理连续型数据,以及粗糙集模型对于大规模、高维复杂的数据处理能力不足等问题,提出了基于邻域粗糙集（NRS）和MBO的特征选择算法。首先,将局部扰动和群体划分策略与MBO算法结合,并构建传输机制以形成一种二进制MBO（BMBO）算法;其次,引入突变算子增强算法的探索能力,设计了基于突变算子的BMBO（BMBOM）算法;然后,基于NRS的邻域度构造适应度函数,并对初始化的特征子集的适应度值进行评估并排序;最后,使用BMBOM算法通过不断迭代搜索出最优特征子集,并设计了一种元启发式特征选择算法。在基准函数上评估BMBOM算法的优化性能,并在UCI数据集上评价所提出的特征选择算法的分类能力。实验结果表明,在5个基准函数上,BMBOM算法的最优值、最差值、平均值以及标准差明显优于MBO和粒子群优化（PSO）算法;在UCI数据集上,与基于粗糙集的优化特征选择算法、结合粗糙集与优化算法的特征选择算法、结合NRS与优化算法的特征选择算法、基于二进制灰狼优化的特征选择算法相比,所提特征选择算法在分类精度、所选特征数和适应度值这3个指标上表现良好,能够选择特征数少且分类精度高的最优特征子集。     

基于自适应均值粒子群算法的SVM参数优化方法

针对传统粒子群算法(Particle Swarm Optimization,PSO)对支持向量机(Support Vector Machine,SVM)参数寻优时的低效问题,运用了自适应均值粒子群算法(Adaptive Mean Particle Swarm Optimization,MAPSO)对SVM参数进行优化(MAPSO-SVM算法).采用自适应策略,引入了余弦函数、非线性动态调整惯性因子,每次进化都根据种群中粒子的适应度值大小将粒子分为3个等级,对每个等级的粒子赋予相应的惯性因子,将PSO算法速度更新方程中的个体历史最优位置和全局最优位置用它们的线性组合代替.分别用SVM、PSO-SVM和MAPSO-SVM算法对UCI中不同数据集进行实验测试,结果表明MAPSO-SVM算法比SVM和PSO-SVM算法的分类效果更好,分类准确率比SVM和PSO-SVM算法分别平均提高了14.7290％和1.8347％,同时与PSO-SVM算法相比,算法的收敛精度和效率更高.     

改进蚁群算法在SVM参数优化研究中的应用

支持向量机参数的选择决定着支持向量机的分类精度和泛化能力,而其参数优化缺乏理论指导,在此背景下提出了ACO-SVM模型。该模型将SVM分类预测准确率作为目标函数,对蚁群算法进行改进,引入有向搜索和基于时变函数更新的信息素更新原则,利用蚁群算法的并行性、正反馈机制和较强的鲁棒性,以求得最优目标并得到SVM的最优参数组合。数值实验结果表明,改进蚁群算法在SVM参数优化选取中具有更好的寻优性能,具有较高的分类准确率;该方法具有较好的并行性和较强的全局寻优能力。     

Hybrid particle swarm optimization for rule discovery in the diagnosis of coronary artery disease

Coronary artery disease (CAD) is one of the major causes of mortality worldwide. Knowledge about risk factors that increase the probability of developing CAD can help to understand the disease better and assist in its treatment. Recently, modern computer‐aided approaches have been used for the prediction and diagnosis of diseases. Swarm intelligence algorithms like particle swarm optimization (PSO) have demonstrated great performance in solving different optimization problems. As rule discovery can be modelled as an optimization problem, it can be mapped to an optimization problem and solved by means of an evolutionary algorithm like PSO. An approach for discovering classification rules of CAD is proposed. The work is based on the real‐world CAD data set and aims at the detection of this disease by producing the accurate and effective rules. The proposed algorithm is a hybrid binary‐real PSO, which includes the combination of categorical and numerical encoding of a particle and a different approach for calculating the velocity of particles. The rules were developed from randomly generated particles, which take random values in the range of each attribute in the rule. Two different feature selection methods based on multi‐objective evolutionary search and PSO were applied on the data set, and the most relevant features were selected by the algorithms. The accuracy of two different rule sets were evaluated. The rule set with 11 features obtained more accurate results than the rule set with 13 features. Our results show that the proposed approach has the ability to produce effective rules with highest accuracy for the detection of CAD.