基于最小二乘支持向量机的车牌字符特征分类研究

最小二乘支持向量机是一种新的有效的机器学习算法。论文介绍了最小二乘支持向量机模型,研究了最小二乘支持向量机算法和经典的多类分类算法,提取车牌字符的奇异值特征,将奇异值系数特征作为最小二乘支持向量机的输入进行训练和分类。实验采用 LS‐SVM 工具箱,得到了较好的结果。     

一种新型的多元分类支持向量机

最小二乘支持向量机采用最小二乘线性系统代替传统的支持向量机采用二次规划方法解决模式识别问题。该文详细推理和分析了二元分类最小二乘支持向量机算法，构建了多元分类最小二乘支持向量机，并通过典型样本进行测试，结果表明采用多元分类最小二乘支持向量机进行模式识别是有效、可行的。     

基于确定性退火聚类的LSSVM短期负荷预测

提出了确定性退火聚类和最小二乘支持向量机(Least square Support Vectormachine.LSSVM)相结合的电力系统短期负荷预测方法.考虑影响负荷变化的各种因素构造负荷样本数据,利用确定性退火聚类算法对样本数据进行分类,得到的分类样本数据作为最小二乘支持向量机的学习样本,保证最小二乘支持向量机具有较高的预测精度.利用某电力公司2007年负荷数据和气象数据进行仿真实验,仿真结果表明该方法具有较高的预测精度.     

基于改进多输出支持向量机的声发射源定位研究

为了提高根据声发射(AE)现象预报煤与瓦斯突出位置的精度,结合核主成分分析(KPCA),提出了一种改进的多输出最小二乘支持向量机(LSSVM)的目标定位方法.对于采集的声发射参数信号,采用核主成分分析提取重要定位特征;采用多输出最小二乘支持向量机建立定位模型,采用文化基因算法对多输出最小二乘支持向量机参数进行优化.试验测试定位性能,结果表明:算法提高了试验平台声发射定位的精度且定位时间少于其他定位算法,具有很高的实际应用价值.     

基于PSO的LS-SVM特征选择与参数优化算法

针对最小二乘支持向量机特征选择及参数优化问题,提出了一种基于PSO的LS-SVM特征选择与参数同步优化算法。首先产生若干种群（特征子集）,然后用PSO算法对特征及参数进行优化。在UCI标准数据集上进行的仿真实验表明,该算法可有效地找出合适的特征子集及LS-SVM参数,且与基于遗传算法的最小二乘支持向量机算法（GALS-SVM）和传统的LS-SVM算法相比具有较好的分类效果。     

最小二乘分解算法在车型识别中的应用

提出一种最小二乘支持向量机的序贯最小分类分解算法.针对最小二乘支持向量机,通过对核函数的相关变换,将二阶的误差信息归结到优化方程的一阶信息中,从而简化运算过程.采用最优函数梯度二阶信息选择工作集,实现最小二乘支持向量机分解算法,提高了算法的收敛性.采用径向基核函数和交叉验证网格搜索的方法验证算法的分类准确性.实验结果表明,提出的分类算法应用于车型识别中,可以得到比其他分类方法更好的分类准确度.     

基于最小二乘支持向量机的短期电力负荷预测

提出了结合遗传算法(Genetic Algorithm,GA)和最小二乘支持向量机(Least Squares Support Vector Machines,LS-SVM)的短期电力负荷预测。由于影响负荷预测因素的复杂性和最小二乘支持向量机参数选择的不确定性,提出了采用遗传算法同时对电力负荷训练样本进行特征提取和最小二乘支持向量机的参数选择,然后利用提取出的数据序列和选择的参数,建立最小二乘支持向量机预测模型。通过实际算例分析,证明了该算法可以改善预测模型的精度和泛化能力。     

用SVM和LS-SVM分析变压器故障诊断

介绍并比较了支持向量机分类器和最小二乘支持向量机分类器的算法,提出了基于支持向量机的二叉树多分类变压器故障诊断模型.将标准支持向量机(C-SVM)分类器和最小二乘支持向量机(LS-SVM)分类器分别用于变压器故障诊断,通过网格搜索和交叉验证法取得支持向量机的参数,准确率较高.试验结果表明,支持向量机和最小二乘支持向量机在变压器故障诊断中具有很大的应用潜力.     

基于GEP的最小二乘支持向量机模型参数选择

针对最小二乘支持向量机的多参数寻优问题,提出了一种基于基因表达式编程的最小二乘支持向量机参数优选方法.该算法将最小二乘支持向量机参数(C,σ)样本作为GEP的基因,按其变异算子随着进化代数和染色体所含基因数目动态变化的机制执行,其收敛速度和精确度大大提高.并与基于粒子群算法和遗传算法参数优选方法比较,通过标准测试函数验证了该算法的拟合误差最低.最后用其建立氧化铝生产蒸发过程参数预测模型,应用工业生产数据进行验证,实验结果表明该方法有效且获得了满意的效果.     

一种广义最小二乘支持向量机算法及其应用

最小二乘支持向量机(LS SVM)是处理不可分样本集情况下模式分类的有效工具,但是该算法在处理很多实际分类问题时,表现出了一定的局限性。为了进一步增强最小二乘支持向量机的推广能力,提出一种通用的广义最小二乘支持向量机算法,并且把这种新算法首先应用到雷达一维距离像的识别中,实验表明新的算法能取得更好的识别效果。     

Wrapper–Filter Feature Selection Algorithm Using a Memetic Framework

This correspondence presents a novel hybrid wrapper and filter feature selection algorithm for a classification problem using a memetic framework. It incorporates a filter ranking method in the traditional genetic algorithm to improve classification performance and accelerate the search in identifying the core feature subsets. Particularly, the method adds or deletes a feature from a candidate feature subset based on the univariate feature ranking information. This empirical study on commonly used data sets from the University of California, Irvine repository and microarray data sets shows that the proposed method outperforms existing methods in terms of classification accuracy, number of selected features, and computational efficiency. Furthermore, we investigate several major issues of memetic algorithm (MA) to identify a good balance between local search and genetic search so as to maximize search quality and efficiency in the hybrid filter and wrapper MA     

Wrapper-filter feature selection algorithm using a memetic framework.

This correspondence presents a novel hybrid wrapper and filter feature selection algorithm for a classification problem using a memetic framework. It incorporates a filter ranking method in the traditional genetic algorithm to improve classification performance and accelerate the search in identifying the core feature subsets. Particularly, the method adds or deletes a feature from a candidate feature subset based on the univariate feature ranking information. This empirical study on commonly used data sets from the University of California, Irvine repository and microarray data sets shows that the proposed method outperforms existing methods in terms of classification accuracy, number of selected features, and computational efficiency. Furthermore, we investigate several major issues of memetic algorithm (MA) to identify a good balance between local search and genetic search so as to maximize search quality and efficiency in the hybrid filter and wrapper MA.     

基于光圈模式识别的直拉晶体生长温度测量技术研究

针对直拉硅晶体生长引晶流程中生长界面温度无法自动测量和校准的问题,本文提出一种基于光圈图像特征与最小二乘支持向量机相结合的温度模式分类检测方法.以数字相机获取的籽晶熔接处的光圈图像作为输入数据,利用图像处理算法提取光圈特征,并以人工校准产生的分类数据和持续生长的后验数据为训练样本,对最小二乘支持向量机分类模型进行训练.实际生长测试证明,可通过多个分类器的组合使用,将生长界面温度在红外测温仪的基础上校准到满足自动引晶所需要的温度.     

融合PLS监督特征提取和虚假最近邻点的数据分类特征选择

在高维数据分类中,针对多重共线性、冗余特征及噪声易导致分类器识别精度低和时空开销大的问题,提出融合偏最小二乘(Partial Least Squares,PLS)有监督特征提取和虚假最近邻点(False Nearest Neighbors,FNN)的特征选择方法:首先利用偏最小二乘对高维数据提取主元,消除特征之间的多重共线性,得到携带监督信息的独立主元空间;然后通过计算各特征选择前后在此空间的相关性,建立基于虚假最近邻点的特征相似性测度,得到原始特征对类别变量解释能力强弱排序;最后,依次剔除解释能力弱的特征,构造出各种分类模型,并以支持向量机(Support Vector Machine,SVM)分类识别率为模型评估准则,搜索出识别率最高但含特征数最少的分类模型,此模型所含的特征即为最佳特征子集。3个数据集模型仿真结果:均表明,由此法选择出的最佳特征子集与各数据集的本质分类特征吻合,说明该方法:有良好的特征选择能力,为数据分类特征选择提供了一条新途径。     

森林优化特征选择算法的增强与扩展

特征选择作为一种重要的数据预处理方法，不但能解决维数灾难问题，还能提高算法的泛化能力.各种各样的方法已被应用于解决特征选择问题，其中，基于演化计算的特征选择算法近年来获得了更多的关注并取得了一些成功.近期研究结果表明，森林优化特征选择算法具有更好的分类性能及维度缩减能力.然而，初始化阶段的随机性、全局播种阶段的人为参数设定，影响了该算法的准确率和维度缩减能力；同时，算法本身存在着高维数据处理能力不足的本质缺陷.从信息增益率的角度给出了一种初始化策略，在全局播种阶段，借用模拟退火控温函数的思想自动生成参数，并结合维度缩减率给出了适应度函数；同时，针对形成的优质森林采取贪心算法，形成一种特征选择算法EFSFOA（enhanced feature selection using forest optimization algorithm）.此外，在面对高维数据的处理时，采用集成特征选择的方案形成了一个适用于EFSFOA的集成特征选择框架，使其能够有效处理高维数据特征选择问题.通过设计对比实验，验证了EFSFOA与FSFOA相比在分类准确率和维度缩减率上均有明显的提高，高维数据处理能力更是提高到了100 000维.将EFSFOA与近年来提出的比较高效的基于演化计算的特征选择方法进行对比，EFSFOA仍具有很强的竞争力.     

An adaptive memetic algorithm for feature selection using proximity graphs

We propose a multivariate feature selection method that uses proximity graphs for assessing the quality of feature subsets. Initially, a complete graph is built, where nodes are the samples, and edge weights are calculated considering only the selected features. Next, a proximity graph is constructed on the basis of these weights and different fitness functions, calculated over the proximity graph, to evaluate the quality of the selected feature set. We propose an iterative methodology on the basis of a memetic algorithm for exploring the space of possible feature subsets aimed at maximizing a quality score. We designed multiple local search strategies, and we used an adaptive strategy for automatic balancing between the global and local search components of the memetic algorithm. The computational experiments were carried out using four well‐known data sets. We investigate the suitability of three different proximity graphs (minimum spanning tree, k‐nearest neighbors, and relative neighborhood graph) for the proposed approach. The selected features have been evaluated using a total of 49 classification methods from an open‐source data mining and machine learning package (WEKA). The computational results show that the proposed adaptive memetic algorithm can perform better than traditional genetic algorithms in finding more useful feature sets. Finally, we establish the competitiveness of our approach by comparing it with other well‐known feature selection methods.     

基于偏最小二乘回归的鲁棒性特征选择与分类算法

提出一种基于偏最小二乘回归的鲁棒性特征选择与分类算法（RFSC-PLSR）用于解决特征选择中特征之间的冗余和多重共线性问题。首先,定义一个基于邻域估计的样本类一致性系数;然后,根据不同k近邻（kNN）操作筛选出局部类分布结构稳定的保守样本,用其建立偏最小二乘回归模型,进行鲁棒性特征选择;最后,在全局结构角度上,用类一致性系数和所有样本的优选特征子集建立偏最小二乘分类模型。从UCI数据库中选择了5个不同维度的数据集进行数值实验,实验结果表明,与支持向量机（SVM）、朴素贝叶斯（NB）、BP神经网络（BPNN）和Logistic回归（LR）四种典型的分类器相比,RFSC-PLSR在低维、中维、高维等不同情况下,分类准确率、鲁棒性和计算效率三种性能上均表现出较强的竞争力。     

基于动态特征提取和神经网络的数据流分类研究

为提高数据流分类的精确性和适应性,提出了一种新的数据流分类方法。该方法基于总体最小二乘法对数据流进行分段拟合,并将传统曲线分析算法——滑动窗口(SW)和在线数据分割(OSD)进行结合、改进,以可变滑动窗口算法实现对数据流的合理分割,提高趋势分析精度。在此基础上,对数据流进行动态特征提取和判断,并以神经网络对数据流特征进行模式识别,精确分类,进而对监控对象提供早期预警、状态评估和决策支持。实验结果表明,该方法能对数据流进行有效的动态特征描述,分类效果明显。     

基于离散粒子群和支持向量机的特征基因选择算法

基因芯片表达谱信息,为识别疾病相关基因及对癌症等疾病分型、诊断及病理学研究提供一新途径。在基因表达谱数据中选择特征基因可以提高疾病诊断、分类的准确率,并降低分类器的复杂度。本文研究了基于离散粒子群(binary particle swarm optimization,BPSO)和支持向量机(support vector machine,SVM)封装模式的BPSO-SVM特征基因选择方法,首先随机产生若干种群(特征子集),然后用BPSO算法优化随机产生的特征基因,并用SVM分类结果指导搜索,最后选出最佳适应度的特征基因子集以训练SVM。结果表明,基于BPSO-SVM的特征基因选择方法,的确是一种行之有效的特征基因选择方法。     

基于小波变换和LS-SVM的事件检测算法

根据高速公路有事件发生时交通流将产生突变这一原理,提出一种基于小波变换和最小二乘支持向量机的事件自动检测算法。首先用小波变换提取特征数据,然后用最小二乘支持向量机进行分类,仿真实验表明该算法具有检测时间短、检测率高和误报率低的优点,它为事件检测提供了一种切实可行的新思路。