SVM算法的区间自适应PSO优化及其应用

核(Kernel)参数选取对支持向量机的推广能力和泛化能力有至关重要的作用,尤其是在对大量数据进行识别分类时,需要占用计算机大量内存,SVM参数优化速度明显缓慢,从而影响了整个系统性能.针对此问题,笔者提出一种区间自适应粒子群算法来优化SVM参数,粒子根据实际情况动态平衡其全局搜索与局部搜索能力,提高了参数优化速度.在入侵检测系统的应用中,与蚁群算法、遗传算法优化SVM参数的结果进行比较.实验证明:此方法分类精度提高约9.7%,响应时间缩短约40.6%～56.5%,具有较大的优势.     

自适应GA-SVM参数选择算法研究

支持向量机是一种非常有前景的学习机器，它的回归算法已经成功地用于解决非线性函数的逼近问题．但是，SVM参数的选择大多数是凭经验选取，这种方法依赖于使用者的水平，这样不仅不能获得最佳的函数逼近效果，而且采用人工的方法选择SVM参数比较浪费时间，这在很大程度上限制了它的应用．为了能够自动地获得最佳的SVM参数，提出了基于自适应遗传算法的SVM参数选取方法．该方法根据适应度值自动调整交叉概率和变异概率，减少了遗传算法的收敛时间并且提高了遗传算法的精度，从而确保了SVM参数选择的准确性．将该方法应用于船用锅炉汽包水位系统建模，仿真结果表明由该方法所得的SVM具有较简单的结构和较好的泛化能力，仿真精度高，具有一定的理论推广意义．     

用于RBF-SVM参数搜索的伪梯度动态步长算法

针对基于径向基核函数(RBF)的支持向量机(SVM)超参数选择问题,提出了一种基于差分方程的新算法——伪梯度动态步长算法。该算法根据径向基核函数的特点提出由训练集的空间特性确定的核参数搜索范围,并采用对数刻度表示搜索空间;利用参数空间中SVM在两个临近点的分类精度的变化估计参数的搜索方向,并且随着搜索方向的变化动态调整搜索步长,从而实现较快的搜索。通过与Grid和PSO方法的对比实验,表明该算法具有良好的性能。     

改进遗传算法在水文模型参数优选中的应用

为改善传统水文模型参数优选算法的性能,针对遗传算法的寻优效果明显依赖于模型参数的初始变化区间的大小,并且局部搜索能力较差、可能会出现过早收敛等问题,在遗传算法中加入局部搜索算子和加速算子,并引入了生物学中的小生境概念,提出了基于小生境技术的混合加速遗传算法(HAGA).该算法在广西合浦水库流域的洪水预报中得到成功应用.结果表明:基于小生境技术的混合加速遗传算法不仅有较好的全局优化性能而且精度较高,是一种既可以较大概率搜索全局最优解,又能进行局部细致搜索的优秀非线性优化方法.     

基于微分进化算法的SVM参数选择

支持向量机(support vector machines, SVM)的性能在很大程度上取决于参数的设置, 所以参数选择问题一直是SVM理论和应用研究中的重点问题.SVM的参数选择本质上是一个优化搜索过程, 并且这个优化问题往往是多峰的.微分进化算法(differential evolution, DE)是一种实数编码的基于种群进化的优化算法, 具有强劲的全局搜索能力, 在多峰函数的寻优问题上已表现出优异的性能.为此, 将DE算法用于SVM参数选择, 提出了基于DE算法的SVM参数选择方法(DE-SVM).在标准数据集上的几个仿真实验证明了该方法的有效性.与基于微粒群算法(partical swarm algorithm, PSO)的参数选择方法相比, DE-SVM在复杂问题或多参数的寻优问题上具有更快的寻优速度.     

基于RBF核函数的支持向量机参数选择

由于SVM在各个领域中得到越来越广泛的应用,而决定SVM性能的因素是核函数的选取.其中,RBF核函数是应用最广泛的核函数,且有两个参数:惩罚因子C和核参数γ.因此,希望能找到最优化参数组(C,γ)使SVM具有最好推广性.首先提出了用E=lsvn代替留一法来评估SVM的推广性,它的优点是速度快、准确性高;然后,分析参数C和γ对SVM性能的影响,由此将问题归结在一个小的“好区”内选取最优参数组(C,γ);最后,分别用穷举法和下文所提出的方法进行比较,得出在“好区”内用Cγ=~C(常数)来确定最优化参数同样能得到很好的推广性,而且速度上比穷举法快的多.此方法,具有一定的实际应用价值.     

基于NGA-LSSVM的白水浓度软测量

提出了一种基于小生境遗传算法—最小二乘支持向量机(NGA-LSSVM)的软测量建模方法.充分利用遗传算法强大的全局搜索能力,引入小生境遗传算法对最小二乘支持向量机各个参数(损失函数参数、惩罚因子、核函数及其参数)进行优化选择,将支持向量机参数由人工选取变为自动确定,为解决支持向量机参数自动优化问题提供了一条有效的途径.将所提出的建模方法应用于制浆造纸生产过程白水浓度软测量研究中,研究结果表明:与普通最小二乘支持向量机相比,该建模方法具有更佳的预测精度,能满足造纸生产过程的实际需要.     

一种用于多分类问题的改进支持向量机

针对非均衡分布的多类分类问题,为提高支持向量机(SVM)算法的性能,提出了一种改进的SVM算法. 将遗传算法(GA)与传统SVM算法结合,构造出一种参数最优的进化SVM(GA-SVM), SVM模型采用径向基函数(RBF)作为核函数,利用格雷码编码方式对SVM算法的模型参数进行遗传编码和优化搜索,将搜索到的优化结果作为SVM的最终模型参数. 在两个不同特性的数据集上进行仿真测试,结果表明,与使用交叉验证策略的简单SVM相比,改进后的GA-SVM算法在多类非均衡问题上明显提高了分类正确率,学习速度也有提高.     

基于遗传算法与经验误差最小化的SVM模型选择方法

支持向量机（SVM）的推广能力依赖于核函数形式及核参数和惩罚因子的选取,即模型选择.在分析参数对分类器识别精度的影响基础上,提出了基于遗传算法和经验误差最小化的支持向量机参数选择方法.在13个UC I数据集上的实验表明了本文算法的正确性与有效性,且具有良好的推广性能.     

基于微分进化遗传算法的双目摄像机标定

为提高遗传算法全局寻优的性能,将标准遗传算法改进并运用到摄像机标定,提出一种新的双目摄像机标定方法。通过改进编码方法,自适应调整变量搜索区间;引入微分进化进行交叉和变异,使群体呈多元化发展。该方法与现有的非线性标定方法相比,标定精度更高,可有效解决传统优化方法难以解决的多参数、非线性的复杂函数优化问题。实验结果表明,该方法具有较强的泛化能力,鲁棒性好。     

Optimization of support vector machine power load forecasting model based on data mining and Lyapunov exponents

According to the chaotic and non-linear characters of power load data, the time series matrix is established with the theory of phase-space reconstruction, and then Lyapunov exponents with chaotic time series are computed to determine the time delay and the embedding dimension. Due to different features of the data, data mining algorithm is conducted to classify the data into different groups. Redundant information is eliminated by the advantage of data mining technology, and the historical loads that have highly similar features with the forecasting day are searched by the system. As a result, the training data can be decreased and the computing speed can also be improved when constructing support vector machine (SVM) model. Then, SVM algorithm is used to predict power load with parameters that get in pretreatment. In order to prove the effectiveness of the new model, the calculation with data mining SVM algorithm is compared with that of single SVM and back propagation network. It can be seen that the new DSVM algorithm effectively improves the forecast accuracy by 0.75%, 1.10% and 1.73% compared with SVM for two random dimensions of 11-dimension, 14-dimension and BP network, respectively. This indicates that the DSVM gains perfect improvement effect in the short-term power load forecasting.     

基于最小二乘支持向量机的黏着状态辨识

针对重载机车黏着状态辨识中分类准确率不高的问题,提出采用布谷鸟遗传算法对最小二乘支持向量机的参数进行优化,并采用交叉验证原理提高该模型的整体泛化性能。首先,采用布谷鸟算法寻找惩罚因子和核参数的初始值;然后,采用遗传算法对最小二乘支持向量机进行训练,从而得到具有最佳参数的最小二乘支持向量机的分类模型。该分类模型将重载机车黏着状态分为正常、故障征兆、微小故障和严重故障4个状态。实验结果表明,提出的最小二乘支持向量机模型在黏着状态辨识中的分类准确率高达94.59%,高于极限学习机的分类准确率(84.61%),证明布谷鸟遗传算法能够有效提高最小二乘支持向量机的分类准确率。     

Fault diagnosis of a mine hoist using PCA and SVM techniques

A new method based on principal component analysis (PCA) and support vector machines (SVMs) is proposed for fault diagnosis of mine hoists. PCA is used to extract the principal features associated with the gearbox. Then, with the irrelevant gearbox variables removed, the remaining gearbox, the hydraulic system and the wire rope parameters were used as input to a multi-class SVM. The SVM is first trained by using the one class-based multi-class optimization algorithm and it is then applied to fault identification. Comparison of various methods showed the PCA-SVM method successfully removed redundancy to solve the dimensionality curse. These results show that the algorithm using the RBF kernel function for the SVM had the best classification properties.     

基于支持向量机的随机聚焦搜索算法优化冲压成形工艺

针对板料冲压成形工艺优化问题,研究了一种新的优化设计方法。采用支持向量机(support vector ma-chine,SVM)构建工艺参数与成形质量之间的多元非线性回归函数模型,在此基础上将一种新的群集智能算法,即随机聚焦搜索(stochastic focusing search,SFS)算法应用于冲压成形工艺参数寻优,以达到优化成形质量的目的。结合盒形件拉深实验证明,SVM在小样本条件下学习后所构建的非线性拟合精度比神经网络具有优势,表明了SVM具有更好的泛化性能。在SVM模型基础上应用SFS算法对板料冲压成形的工艺参数进行优化,将优化后的工艺参数进行实验验证,结果表明可获得较好的成形质量,说明了该优化方法具有较好的精确度和有效性,有一定的工程实用价值。     

多分类支持向量机在公交换乘识别中的应用

为获取居民公交出行的换乘信息,设计了一套基于多分类支持向量机(multi-class support vector machine)的公交换乘识别方法.通过融合GPS数据和公交IC卡数据获取训练样本,利用多分类支持向量机进行样本训练,选取最佳训练样本量,并采用网格搜索法结合粒子优化算法对模型参数进行标定,以获取最优SVM分类模型.测试结果显示模型分类精度可达90%.以佛山市公交车GPS数据和IC卡数据对算法进行验证,并获取公交换乘量、公交换乘比例等基本换乘数据.结果表明:算法可在少样本条件下完成公交换乘识别,且分类识别精度高,尤其适用于公交线网复杂的大城市公交换乘识别,有助于在公交前期规划时进行线路布设和枢纽选址.     

基于Scikit Learn的SVM分类器算法优化

支持向量机(SVM)在高维度数据分类中表现出优异性能,可通过核函数对原始特征进行映射,解决原始空间线性不可分问题。但由于数据特征、维度不同,所以SVM在参数调整时,一般需要手动调整,效率较低且增加工作量。针对该问题,提出了一种基于Scikit Learn的SVM分类器参数调整优化方法。使用网格搜索对最优参数范围进行搜索,利用高斯径向基核函数进行参数调整,基于Python机器学习库Scikit Learn对不同参数、不同核函数的分类结果进行可视化观察,并在网格上显示其最优参数范围,寻找准确率高的参数分布。通过自动迭代的方式对参数进行更精确求解,设定相应值代入迭代计算。同时为防止陷入过拟合,设定最优参数邻域范围直接读取最优参数值。实验结果表明,所提出的方法可大量减少人工调参时间,且可以更精确地获得SVM的最优参数。     

一种改进的基于密度聚类的支持向量机

运用OPTICS算法能发现任意形状的聚类,且对输入参数不敏感的优势,提出一种基于OPTICS密度聚类的支持向量机算法,通过对原始数据进行预处理,利用可达图得到约简样本代替原始训练样本用支持向量机进行训练,降低了SVM训练所需的时间及空间复杂度.实验表明,该方法在保持分类精度的同时,大大缩短了训练时间,提高了分类效率.     

多源性数据SVM集成算法研究

针对数据特征的多源性特点,提出基于分组特征支持向量机集成算法．该方法将特征分组,对不同组特征采用不同的核函数映射到高维空间后用支持向量机分类,最后采用投票的方法得出决策标记,所得到的成员分类器具有较高的差异性．与传统的集成方法相比,该方法具有较好的检测性能．     

基于多核SVM-GMM的短语音说话人识别

运用多个核函数的线性组合构造多核空间,在多核空间上设计了基于支持向量机的说话人分类器,实现短语音说话人识别。多核映射能够解决单核映射核函数及其参数选择的难题,增加说话人的可区分性,提高分类器的性能。算法中结合了高斯混合模型(GMM),并以GMM超向量作为说话人的最终特征参数进行仿真实验。实验表明,在短语音和两种噪声环境中,基于多核SVM-GMM的短语音说话人识别算法较SVM-GMM算法能得到更好的识别性能和鲁棒性。