SVM-KNN分类算法研究

SVM-KNN分类算法是一种将支持向量机（SVM）分类和最近邻（NN）分类相结合的新分类方法。针对传统SVM分类器中存在的问题,该算法通过支持向量机的序列最小优化（SMO）训练算法对数据集进行训练,将距离差小于给定阈值的样本代入以每类所有的支持向量作为代表点的K近邻分类器中进行分类。在UCI数据集上的实验结果表明,该分类器的分类准确率比单纯使用SVM分类器要高,它在一定程度上不受核函数参数选择的影响,具有较好的稳健性。     

一种支持向量机集成的核选择方法

核选择问题是支持向量机（Support Vector Machine,SVM）建模中的一个关键问题,虽然支持向量机具有良好的泛化性能,但其性能受核函数的影响比较明显,而对于一个给定问题,选择合适的核函数及参数通常很困难。提出一种基于SVM集成的核选择方法,利用不同的核函数构造子SVM学习器,然后对子学习器的预测结果集成。提出的核选择方法将SVM集成学习与核选择同时进行,不仅避免了单个SVM的核选择对泛化能力的影响,而且可以获得良好的泛化能力。在UCI标准数据集上的结果说明了提出的方法的有效性。     

小波包结合支持向量机的故障诊断方法

提出一种结合小波包分析（WPA）理论和支持向量机（SVM）分类器的机械故障诊断方法。该方法具有重复训练样本少,简单、直观的优点,具有很高的分类性能。利用获得的机械故障数据建立故障分类器,对不同测试集条件下的3种SVM核函数、SVM方法与神经网络方法的比较结果证明,基于小波包和支持向量机的故障诊断方法是机械故障诊断的发展方向。并对实验的最佳训练样本集进行讨论。     

改进GA-PSO优化SVM的行人检测算法

针对当前对于行人检测的准确率和检测效率的要求越来越高,提出一种GA-PSO算法对于支持向量机（SVM）参数优化的行人检测方法。首先,针对梯度直方图特征描述子的维数高、提取速度慢,使用PCA对其进行降维处理;以SVM算法作为分类器,为避免传统单核支持向量机算法检测率低的情况出现,以组合核函数作为分类器核函数,并设置松弛变量,引进惩罚因子,结合遗传算法（GA）和改进权重系数的粒子群算法（PSO）进行组合系数和参数的优化与选择,根据优化后的参数构成最终的SVM分类器进行行人检测。实验结果表明,与传统SVM检测以及其他优化方法相比,检测率方面都有明显改进,且满足对检测效率的要求。     

聚合支持向量机分类器的行人检测方法

针对支持向量机分类器的行人检测方法采用欠采样方法,存在正负行人比例不平衡造成的准确率不高问题,结合欠采样和EasyEnsemble方法,提出一种聚合支持向量机（Ensemble SVM）分类器的行人检测方法。随机选择负样本作为初始训练样本,并将其划分为与正样本集均衡的多个子负样本集,构建平衡子训练集,线性组合成EasyEnsemble SVM分类器;利用该分类器对负样本进行分类判断,将误判样本作为难例样本,重新划分构建新的平衡子训练集,训练子分类器,结合EasyEnsemble SVM分类器,得到Ensemble SVM分类器行人检测方法。在INRIA行人数据集上的实验表明,该方法在检测速度和检测率上都优于经典的SVM行人检测算法。     

基于时序核函数的支持向量回归机

为克服维数灾难和过拟合等传统算法所不可规避的问题,利用支持向量机（Support Vector Machine,SVM）提出基于时序数据时间相关性的核函数修正选择方法,并以真实的二氧化硫（SO2）数据为实验数据验证该方法的有效性．实验结果表明采用时序核函数对测试数据集的拟合效果更好,并对模型泛化能力有一定的提高．     

基于Fisher 准则和最大熵原理的SVM核参数选择方法

针对支持向量机(SVM)核参数选择困难的问题,提出一种基于Fisher准则和最大熵原理的SVM核参数优选方法.首先,从SVM分类器原理出发,提出SVM核参数优劣的衡量标准;然后,根据此标准利用Fisher准则来优选SVM核参数,并引入最大熵原理进一步调整算法的优选性能.整个模型采用粒子群优化算法(PSO)进行参数寻优.UCI标准数据集实验表明了所提方法具有良好的参数选择效果,优选出的核参数能够使SVM具有较高的泛化性能.     

一种基于SVM的相关反馈图像检索算法

相关反馈技术是近年来图像检索中的研究热点,本文以MPEG-7的边缘直方图作为图像特征,以支持向量机（SVM）为分类器,提出一种新的相关反馈算法。在每次反馈中对用户标记的相关样本进行学习,用历次返回的结果更新训练样本集,建立SVM分类器模型,并根据模型进行检索。本文还对不同核函数的SVM进行了对比,得出RBF核函数的SVM有较高的检索精度。使用由10000幅图像组成的图像库进行实验,结果表明,该算法可有效地检索出更多的相关图像,并且在有限训练样本情况下具有良好的泛化能力。     

基于人工蜂群优化高斯过程的运动想象脑电信号分类

针对传统的高斯过程采用共轭梯度法确定超参数时对初值有较强依赖性且易陷入局部最优的问题,提出了一种基于人工蜂群优化的高斯过程分类方法,用于脑电信号的模式识别.首先,构建高斯过程模型,选择合适的核函数且确定待优化的参数.然后,选取识别错误率的倒数为适应度函数,使用人工蜂群算法搜索寻找出限定范围内可以取得最优准确率的超参数.最后,采用参数优化后的高斯过程分类器对样本分类.分别采用2008年竞赛数据集BCI Competition Ⅳ Data Set 1和2005年数据集BCI Competition Ⅲ Data Set Ⅳa对所提方法进行验证,并与支持向量机(SVM)、人工蜂群优化的支持向量机(ABC-SVM)、高斯过程分类(GPC)方法进行比较,实验结果表明了所提方法的有效性.     

融合渐近性的灰狼优化支持向量机模型

大数据的发展对数据分类领域的分类准确性有了更高的要求;支持向量机(Support Vector Machine,SVM)的广泛应用需要一种高效的方法来构造一个分类能力强的SVM分类器;SVM的核函数参数与惩罚因子以及特征子集对预测模型的复杂度和预测精度有着重要影响。为提高SVM的分类性能,文中将SVM的渐近性融合到灰狼优化(Grey Wolf Optimization,GWO)算法中,提出了新的SVM分类器模型,该模型对SVM的参数与数据的特征子集同时进行优化,融合SVM渐近性的新灰狼个体将灰狼优化算法的搜索空间导向超参数空间中的最佳区域,能够更快地获得最优解;此外,将获得的分类准确率、所选特征个数和支持向量个数相结合,提出了一种新的适应度函数,新的适应度函数与融合渐近性的灰狼优化算法将搜索引向最优解。采用UCI中的多个经典数据集对所提模型进行验证,将其与网格搜素算法、未融合渐近性的灰狼优化算法以及其他文献中的方法进行对比,其分类准确率在不同数据集上均有不同程度的提升。实验结果表明,所提算法能找到SVM的最优参数与最小特征子集,具有更高的分类准确率和更短的平均处理时间。     

自动站气温数据异常的补偿方法

为了保证气象资料的完整性与准确性,针对含有间断噪声的自动站日平均气温数据提出了3种隶属度函数,设计了基于平方平均隶属度函数的模糊支持向量机（FSVM）补偿算法,建立了补偿模型,并与传统支持向量机（SVM）方法进行了对比。实验结果表明：基于平方平均隶属度函数的FSVM方法对噪声点有较强的识别能力,插补后的数据精度达到了1.4℃,优于传统SVM方法的1.6℃;整体预测精度达到了1.13℃,同样优于传统SVM方法的1.42℃。     

改进鲸鱼优化支持向量机的交通流量模糊粒化预测

针对支持向量机（SVM）在交通流量预测中存在波动性且预测精度低的问题,提出了采用模糊信息粒化（FIG）和改进鲸鱼优化算法（IWOA）的SVM模型来预测交通流量的变化趋势和动态区间。首先,对数据处理采用FIG方法进行处理,从而得到交通流量变化区间的上界（Up）、下界（Low）和趋势值（R）;其次,在鲸鱼优化算法（WOA）的种群初始化中采用动态对立学习来增加种群多样性,并引入了非线性收敛因子和自适应权重来增强算法的全局搜索及局部寻优能力,然后建立了IWOA模型,并分析了IWOA的复杂度;最后,以预测交通流量的均方误差（MSE）为目标函数,在IWOA迭代过程中不断优化SVM的超参数,建立了基于FIG-IWOA-SVM的交通流量区间预测模型。在国内和国外交通流量数据集上进行测试的结果表明,在国外交通流量预测上,与基于遗传算法优化的支持向量机（GA-SVM）、基于粒子群优化算法优化的支持向量机（PSO-SVM）和基于鲸鱼优化算法的支持向量机（WOA-SVM）相比,IWOA-SVM模型的平均绝对误差（MAE）分别降低了89.5%、81.5%和1.5%;而FIG-IWOA-SVM模型在交通流量动态区间和趋势预测上与FIG-GA-SVM、FIG-PSO-SVM和FIG-WOA-SVM等模型相比预测精度更高且预测范围更平稳。实验结果表明,在不增加算法复杂度的前提下,FIG-IWOA-SVM模型能够合理地预测交通流量的变化趋势和变化区间,为后续的交通规划和流量控制提供依据。     

基于支持向量机的卷烟焦油预测

分析了卷烟焦油含量预测问题,提出了基于支持向量机的卷烟焦油含量预测方法。首先,介绍了支持向量回归估计的学习算法。其次,建立了基于支持向量机的卷烟焦油含量预测模型。然后,提出了卷烟焦油含量支持向量机预测的实现算法。最后给出了一个算例。实例表明,该方法能够根据烟叶中的化学成分的测量值来预测卷烟的焦油含量。     

基于改进鲸鱼优化算法的外骨骼机器人步态检测

针对传统的外骨骼机器人步态检测算法中的信息单一化、准确率低、易陷入局部最优等问题，提出基于改进鲸鱼算法优化的支持向量机（IWOA-SVM）的外骨骼机器人步态检测算法，即在鲸鱼优化算法（WOA）中引入遗传算法（GA）的选择、交叉、变异操作，进而去优化支持向量机（SVM）的惩罚因子与核参数，再使用参数优化后的SVM建立分类模型，从而扩大算法的搜索范围，减小算法陷入局部最优的概率。首先，使用混合传感技术采集步态数据，即通过足底压力传感器和膝关节、髋关节角度传感器采集外骨骼机器人的运动数据，并作为步态检测系统的输入；然后，使用门限法对步态相位进行划分并标记标签；最后，将足底压力信号与髋关节、膝关节角度信号融合作为输入，使用IWOA-SVM算法完成对步态的检测。对6个标准测试函数进行仿真实验，并与GA、粒子群优化（PSO）算法、WOA进行比较，数值实验表明，改进鲸鱼优化算法（IWOA）的鲁棒性、寻优精度、收敛速度均优于其他优化算法。通过分析不同穿戴者的步态检测结果发现，准确率可达98.8%，验证了所提算法在新一代外骨骼机器人中的可行性和实用性，并与基于遗传优化算法的支持向量机（GA-SVM）、基于粒子群优化算法的支持向量机（PSO-SVM）、基于鲸鱼优化算法的支持向量机（WOA-SVM）算法进行比较，结果表明，该算法识别准确率分别提高了5.33%、2.70%、1.44%，能够对外骨骼机器人的步态进行有效检测，进而实现外骨骼机器人的精确控制及稳定行走。     

基于健康度分析与和声蚁群算法-支持向量机的故障预测模型

针对现有的故障预测技术无法从整体上反映系统性能下降趋势等问题,提出一种基于健康度分析的故障预测方法.首先,在支持向量机回归算法基础上构造多输出支持向量机,以实现健康度的多步预测,并提出一种和声蚁群算法优化支持向量机参数,解决了蚁群算法易陷入局部最优的问题; 然后, 根据最优参数建立拟合监测数据和未来健康度下降过程非线性映射关系的和声蚁群算法-支持向量机(HSACA-SVM)故障预测模型; 最后,通过某装备电源系统监测数据验证了该模型的有效性.实例验证表明该模型能够较好地实现对健康度下降趋势的预测,预测准确率达到97%,进而实现故障预测.     

基于VPRS理论的一种混合分类算法

在文本分类领域中,KNN与SVM算法都具有较高的分类准确率,但两者都有其内在的缺点,KNN算法会因为大量的训练样本而导致计算量过大;SVM算法对于噪声数据过于敏感,对分布在分类超平面附近的数据点无法进行准确的分类,基于此提出一种基于变精度粗糙集理论的混合分类算法,该算法能够充分利用二者的优势同时又能克服二者的弱点,最后通过实验证明混合算法能够有效改善计算复杂度与分类精度。     

基于元学习和叠加法的双层支持向量机算法

提出一种模式识别算法——双层支持量机算法,用来提高表面肌电识别精度。该算法融合集成学习中元学习的并行方法和叠加法的递进思想,把基本SVM分类器并行分布在第1层,第1层的预测结果作为第2层的输入,由第2层再进行分类识别,从而通过多层分类器组合来融合多源特征。以手臂表面肌电数据集为测试数据,采用文中的双层支持向量机,各肌肉的肌电信号分别输入基支持向量机,组合器融合各肌肉电信号特征,集成识别前臂肌肉群的肌电信号,从而实现运动意图的精确识别。实验结果显示,在预测精度上,此算法优于单个SVM分类器。在预测性能上(识别精度、耗时、鲁棒性),此算法优于随机森林和旋转森林等集成分类器。     

非球形分布数据集的去噪方法

针对传统支持向量机(SVM)对噪声点过于敏感,模糊支持向量机(FSVM)又对样本集几何形状过分依赖等问题,提出基于噪声过滤系统的粗糙支持向量机(NFS-RSVM)。该方法首先用噪声过滤系统(NFS)将极可能为噪声点的样本过滤掉;然后将数据间隐含的等价类信息作为双惩戒因子融入到支持向量机模型中,进一步区分有效样本和噪声样本。基于UCI数据集的仿真结果表明,NFS-RSVM方法能有效地将数据中的大部分噪声点去除,与传统的SVM和FSVM相比分类精度有一定程度的提高。因此,该方法在处理噪声样本较多又呈现非球形分布的数据集时,表现出较好的抗噪性、分类效果和泛化能力。     

基于主曲线的多输入多输出支持向量机算法

针对传统多输入多输出(MIMO)支持向量机(SVM)没有考虑多个输出端之间依赖关系的问题,提出了一种新的基于主曲线的MIMO SVM算法。该算法基于所有输出端的模型参数位于一个流形上的假设,首先在现有的多维支持向量回归机(M-SVR)的基础上,构建一个流形正则化的优化目标,其中正则项为输出端模型参数到通过所有参数集合中间的主曲线的投影距离;其次,由于该优化目标为非凸,采用交替优化的方法,交替计算模型参数和参数集合的主曲线,直至收敛。采用仿真数据和实际的载荷识别工程数据进行验证,结果表明,与M-SVR和SVM单独建模方法相比,该算法可有效提高预测精度和数值稳定性。     

基于信息浓缩的隐私保护支持向量机分类算法

支持向量机(SVM)的分类决策过程涉及到对原始训练样本的学习,容易导致数据中隐私信息的泄漏。为解决上述问题,提出一种基于信息浓缩的隐私保护分类方法IC-SVM。该算法首先根据样本的邻域信息,通过模糊C均值(FCM)聚类算法进行聚类分析;接着,使用信息浓缩准则对聚类中心进行处理,得到浓缩点组成的新样本;最后,使用新样本进行训练并得到决策函数,并用它去进行分类测试,可以较好地保护数据的隐私。在UCI真实数据和PIE人脸数据上的实验结果表明,IC-SVM方法既能保护数据信息的安全,又有较高的分类准确率。