机器学习中的核覆盖算法

基于统计学习理论的支持向量机（SVM）方法在样本空间或特征空间构造最优分类超平面解决了分类器的构造问题,但其本质是二分类的,且核函数中的参数难以确定,计算复杂性高．构造性学习算法根据训练样本构造性地设计分类网络,运行效率高,便于处理多分类问题,但存在所得的分界面零乱、测试计算量大的缺点．该文将SVM中的核函数法与构造性学习的覆盖算法相融合,给出一种新的核覆盖算法．新算法克服了以上两种模型的缺点,具有运算速度快、精度高、鲁棒性强的优点．其次．文中给出风险误差上界与覆盖个数的关系．最后给出实验模     

构造性核覆盖算法在图像识别中的应用

构造性神经网络的主要特点是：在对给定的具体数据的处理过程中,能同时给出网络的结构和参数;支持向量机就是先通过引入核函数的非线性变换,然后在这个核空间中求取最优线性分类面,其所求得的分类函数,形式上类似于一个神经网络,而构造性核覆盖算法(简称为CKCA)则是一种将神经网络中的构造性学习方法(如覆盖算法)与支持向量机(SVM)中的核函数法相结合的方法。CKCA方法具有运算量小、构造性强、直观等特点,适于处理大规模分类问题和图像识别问题。为验证CKCA算法的应用效果,利用图像质量不高的车牌字符进行了识别实验,并取得了较好的结果。     

一种入侵检测的分类方法研究

针对传统的入侵检测算法精度低,结果稳定性差的问题,提出了一种基于构造性核函数覆盖聚类和最大化最小概率机器回归方法的入侵检测算法。首先,利用核函数覆盖将原空间的待分类样本映射到一个高维的特征空间中,使得样本变得线性可分;然后通过控制错分率实现分类的最大化,并利用最大最小概率机的高维映射泛化特性,实现了不同核函数下的数据多维分类问题。实验结果证明,该算法具有分类准确率高、稳定性好的特点。     

截断核函数在图像分类中的应用

多类别图像分类是计算机视觉领域的一个基本问题,现有分类方法大多是根据一对多的原则构建一个多类别分类器,在构建分类器时忽视了类与类之间的本质关联,难以较好地利用样本特征。为此,提出一种基于截断核函数的分类器构建方法。利用截断核函数捕捉图像类别之间的关联,同时避免传统核函数在逼近矩阵秩时的偏差问题,并针对建立的截断核函数优化模型,设计一种有效的交叉迭代算法。实验结果表明,该截断核函数方法能够提高图像分类的精确度。     

一种基于核的模糊多球分类算法及其集成

提出了一种基于核的模糊多球分类算法,该算法在训练阶段为每一个模式类构造多个最小球覆盖其所有的训练样本,并且在识别阶段算法利用一个模糊隶属函数来归类测试样本。此外,在提出的分类算法的基础上,还给出了它的集成方法。最后,采用了4个真实数据集进行实验,实验结果表明该文提出的算法具有较好的分类性能,是一种行之有效的分类算法。     

最大边界模糊核超球分类方法

为了提高多类问题的分类精度,提出最大边界模糊核超球(LMFKHB)算法。首先将样本数据通过核函数映射到高维数据特征空间,然后利用提出的方法找出各个判决函数;同时引入模糊隶属函数解决死区样本的错分问题,从而增强了算法适应性,提高了分类精度。人造数据和现实数据的实验结果表明最大边界模糊核超球算法具有较好的性能。     

Gauss诱导核模糊c均值聚类算法

针对核模糊聚类算法优异的非线性表达能力,提出一种Gauss诱导核模糊c均值聚类算法(GIKFCMs)。首先,基于核目标函数和梯度法,得到特征空间聚类中心表达式,并通过内积运算得到聚类中心与样本的核矩阵表达式。其次,取核目标函数中的核函数为Gauss核函数,并利用梯度法得到输入空间聚类中心表达式。最后将聚类中心与样本的核矩阵代入输入空间聚类中心表达式中,从而得到GIKFCMs核聚类中心计算方法,同时得到相应的GIKFCMs核聚类算法。研究GIKFCMs算法的相关性质,分析算法的收敛性和初始化约束。GIKFCMs算法克服了原有核聚类算法在收敛性与初始化约束方面的缺陷。通过仿真实验验证了该算法的有效性。     

基于支持向量机的水质评估模型研究

针对水质评估因子的模糊性和非线性特征,且水质样本小类(如高污染水质类)因样本量少而容易导致误分的问题,深入研究了支持向量机(SVM)这一善于解决非线性问题的智能模型,设计了一种多宽度复合高斯核的支持向量机模型。该模型通过多个复合高斯核扩大和控制核函数宽度,以此扩大样本间欧氏距离与差异,以解决小类的误分问题。运用MATLAB平台对2017年全国98个重点断面水质周报数据进行算法对比实验,结果证实多宽度核评估模型较好地提升了SVM的分类精度,对水质分类问题是可行有效的,对其他小样本分类问题也有一定的借鉴作用。     

基于组合核函数的径向基过程神经网络及其在示功图诊断中的应用

针对复杂时间信号动态模式分类问题,提出了一种基于局部核函数与全局核函数组合的径向基过程神经网络(RBFPNN)模型。考虑时间信号过程特征的多样性和复杂性,以及核函数对信号分布形态特征的局部与全局表征能力,通过将具有全局性质的多项式核函数与具有局部性质的高斯核函数进行线性叠加,构成组合核函数,以此建立一种新的径向基过程神经网络,从信息模型上改善RBFPNN对动态样本复杂过程特征的抽取和记忆性质,提高网络对时间信号特征的辨识能力。分析了基于RBFPNN的性质,建立了基于混沌遗传算法CGA的模型参数优化算法。以基于示功图的往复运动机械工作状态诊断为例,实际资料处理结果验证了模型和算法的有效性。     

基于核聚类方法的多层次支持向量机分类树

针对解决多类模式识别问题的SVM方法进行研究,在比较常用的几种多类SVM分类算法基础上,提出了一种基于核聚类方法的多层次SVM分类树,将核空间中的无监督学习方法和有监督学习方法结合起来,实现了一种结构更加简洁清晰、计算效率更高的多层SVM分类树算法,并在实验中取得了良好的结果。     

基于AUC的SVM多类分类方法的研究

AUC(ROC曲线下面积)评价标准已经广泛地用于度量机器学习中各种分类算法在两类数据集上的分类性能。首先介绍了SVM(支持向量机)多类分类方法,然后对AUC方法进行了系统地介绍,最后通过实验来比较各种SVM多类分类方法在多类别数据集上的AUC的值。实验结果表明,AUC值和核函数和多类转换方法的选取都有着密切的联系。     

SVM在多源遥感图像分类中的应用研究

在利用遥感图像进行土地利用/覆盖分类过程中,可采用以下两种途径来提高分类精度:一是通过增加有利于分类的数据源,引入地理辅助数据和归一化植被指数(NDVI)来进行多源信息融合;二是选择更好的分类方法,例如支持向量机(SVM)学习方法,由于该方法克服了最大似然法和神经网络的弱点,非常适合高维、复杂的小样本多源数据的分类。为了提高多源遥感图像分类的精度,还研究了支持向量机在遥感图像分类中模型的选择,包括多类模型和核函数的选择。分类结果表明,支持向量机比传统的分类方法具有更高的精度,尤其是基于径向基核函数和一对一多类方法的支持向量机模型更适合多源遥感图像分类,因此,基于支持向量机的多源土地利用/覆盖分类能大大提高分类精度。     

基于核聚类的SVM多类分类方法

对支持向量机的多类分类问题进行研究，提出了一种基于核聚类的多类分类方法。利用核聚类方法将原始样本特征映射到高维特征进行聚类分组，对每一组使用一个支持向量机二值分类器进行分类，并用这些二值分类器组成决策树的节点，构成了一个决策分类树。给出决策树的生成算法，提出了利用交叠系数来控制交叠，从而克服错分积累，提高分类准确率。实验结果表明，采用该方法，手写体汉字识别速度和正确率都达到了实用的要求。     

基于SVM的多类别轨迹的分类方法

轨迹分析是解决视觉监控系统中异常检测问题的重要途径.文章将对轨迹进行采样得到的坐标点集作为特征向量,利用SVM训练分类器,并采用一对一算法实现多类别轨迹的分类.实验结果表明,该方法能够满足SVM中核函数对于输入数据的要求,并实现对多类别轨迹的有效分类.     

支持向量机分类器遥感图像分类研究

SVM分类器核函数的选择以及参数的设置直接影响系统的泛化能力和运行速度。引入交叉验证技术和栅格搜索技术,对径向基核、多项式核和Sigmoid核函数应用于图像多类别分类的性能进行理论推导、测试及分析,求得三种核函数应用于SVM分类器的性能,并证明了栅格搜索寻找最优参数的有效性。最后通过对TM 6波段BSQ格式遥感图像进行分类对比证明了SVM分类器核函数用于TM图像分类的可行性及高效性。     

基于支撑向量机的航空发动机故障诊断研究进展

支撑向量机因其适用于多参数、小样本的非线形问题,是一种极具潜力的航空发动机故障诊断方法。在分析基于支撑向量机的航空发动机故障诊断研究进展的基础上,对若干需要进一步研究的问题,如核函数的参数选择、核函数的选择、多类故障的分类策略以及SVM算法的优化进行探讨。     

基于支持向量机的控制图模式识别

为了提高控制图模式识别效果，提出混合核函数支持向量机的模式识别方法。在模型构造中采用一对一多类分类支持向量机，并利用遗传算法优化混合核函数支持向量机参数。仿真和应用结果表明，混合核函数支持向量机对各种模式控制图的总体识别率，I型错判均优于单独核函数、概率神经网络和小波概率神经网络，且具有良好的泛化能力，适合生产现场实时在线工序质量控制。     

Kernel selection in multi-class support vector machines and its consequence to the number of ties in majority voting method

Support vector machines are a relatively new classification method which has nowadays established a firm foothold in the area of machine learning. It has been applied to numerous targets of applications. Automated taxa identification of benthic macroinvertebrates has got generally very little attention and especially using a support vector machine in it. In this paper we investigate how the changing of a kernel function in an SVM classifier effects classification results. A novel question is how the changing of a kernel function effects the number of ties in a majority voting method when we are dealing with a multi-class case. We repeated the classification tests with two different feature sets. Using SVM, we present accurate classification results proposing that SVM suits well to the automated taxa identification of benthic macroinvertebrates. We also present that the selection of a kernel has a great effect on the number of ties.     

稀疏Tikhonov正则化多分类支持向量机

Tikhonov正则化多分类支持向量机是一种将多分类问题简化为单个优化问题的新型支持向量机.由于Tikhonov正则化多分类支持向量机利用全部类别数据样本构建核函数矩阵,因此不适合大规模数据集的模式分类问题,鉴于该原因,一种稀疏Tikhonov正则化多分类支持量机被建立,其训练算法首先构建样本重要性评价标准,在标准下通过迭代学习获取约简集,最后利用约简集构建核函数矩阵并训练支持向量机.仿真实验结果表明稀疏Tikhonov正则化多分类支持向量机在训练速度和稀疏性方面具有很大的优越性.     

基于小波特征和多类支持向量机的病态语音识别方法

研究一种应用小波特征向量和多类支持向量机进行病态语音识别的方法,该方法基于连续小波变换提取语音特征向量,利用多类支持向量机进行病态语音分类。为了简化二分类支持向量机进行多类分类时所带来的计算复杂性,根据一类支持向量机分类思想提出一种多类分类算法。该算法能够使每一类样本都独立地获得一个决策函数,通过决策函数的最大值来判断样本所属的类。实验表明,在病态语音识别系统中,多类支持向量机与小波特征向量相结合具有良好的识别效果和应用价值。