基于模糊多核学习的改进支持向量机算法研究

针对传统SVM对噪声点和孤立点敏感的问题,以及不能解决样本特征规模大、含有异构信息、在特征空间中分布不平坦的问题,将模糊隶属度融入多核学习中,提出了一种模糊多核学习的方法;通过实验验证了模糊多核学习比传统SVM、模糊支持向量机以及多核学习具有更好的分类效果,从而验证了所提方法能够有效的克服传统SVM对噪声点敏感以及数据分布不平坦的问题。     

基于AdaBoost的弹性网型正则化多核学习算法

在正则化多核学习中,稀疏的核函数权值会导致有用信息丢失和泛化性能退化,而通过非稀疏模型选取所有核函数则会产生较多的冗余信息并对噪声敏感。针对上述问题,基于AdaBoost框架提出一种弹性网型正则化多核学习算法。在迭代选取基本分类器时对核函数的权值进行弹性网型正则化约束,即混合L_1范数和L_p范数约束,构造基于多个基本核最优凸组合的基本分类器,并将其集成到最终的强分类器中。实验结果表明,该算法在保留集成算法优势的同时,能够实现核函数权值稀疏性和非稀疏性的平衡,与L_1-MKL和L_p-MKL算法相比,能够以较少的迭代次数获得分类精度较高的分类器。     

基于改进多核学习的语音情感识别算法

提出一种基于改进多核学习的语音情感识别算法.算法以高斯径向基核函数为基准,通过采样不同的样本,采用不同的评价标准并获得不同的参数,来提高分类性能.此外,通过引入多核技术,将得到的高斯核函数构建多核学习的基核,并通过利用松弛因子构建的软间隔多核学习的目标函数改善了学习效率.对比仿真实验结果表明,本文提出的基于多核学习语音情感识别算法有效提高了语音情感识别性能.     

面向数据流的多任务多核在线学习算法

多任务多核学习已逐渐成为在线学习算法研究的热点。对于数据流的处理,现有的在线学习算法在准确性上有一定的欠缺,因此提出一种新的多任务多核在线学习模型用于提高数据流预测的准确性。在保持多任务多核学习的基础上,将其扩展到在线学习中,从而得到一个新的在线学习算法;同时为输入数据保持一定大小的数据窗口,用较小空间换取数据的完整性。实验部分对核函数的选取以及训练样本集的大小进行了较为详细的分析,通过对UCI数据和实际的机场客流量数据进行分析,很好地保障了流数据处理的准确性及实时性,有一定的实际应用价值。     

多核学习方法

多核学习方法是当前核机器学习领域的一个新的热点. 核方法是解决非线性模式分析问题的一种有效方法, 但在一些复杂情形下, 由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求, 因此将多个核函数进行组合, 以获得更好的结果是一种必然选择. 本文根据多核的构成, 从合成核、多尺度核、无限核三个角度, 系统综述了多核方法的构造理论, 分析了多核学习典型方法的特点及不足, 总结了各自的应用领域, 并凝炼了其进一步的研究方向.     

基于牛顿梯度优化的弹性多核学习

已有稀疏多核学习(MKL)模型在产生核函数权重稀疏解时容易导致信息丢失且泛化能力差,且基于梯度下降法的MKL在接近最优解时收敛速度慢.建立了基于支持向量机(SVM)的弹性多核学习(EMKL)模型并给出了一种基于牛顿梯度优化的EMKL(NO-EMKL).模型在MKL的目标函数中引入弹性项,并设计了基于二阶牛顿梯度下降法的优化算法.实验结果表明:算法不仅具有更好的分类精度,还具有较快的收敛速度.     

Lp范数约束的多核半监督支持向量机学习方法

在机器学习领域,核方法是解决非线性模式识别问题的一种有效手段.目前,用多核学习方法代替传统的单核学习已经成为一个新的研究热点,它在处理异构、不规则和分布不平坦的样本数据情况下,表现出了更好的灵活性、可解释性以及更优异的泛化性能.结合有监督学习中的多核学习方法,提出了基于L_p范数约束的多核半监督支持向量机(semi-supervised support vector machine,简称S³VM)的优化模型.该模型的待优化参数包括高维空间的决策函数f_m和核组合权系数θm.同时,该模型继承了单核半监督支持向量机的非凸非平滑特性.采用双层优化过程来优化这两组参数,并采用改进的拟牛顿法和基于成对标签交换的局部搜索算法分别解决模型关于f_m的非平滑及非凸问题,以得到模型近似最优解.在多核框架中同时加入基本核和流形核,以充分利用数据的几何性质.实验结果验证了算法的有效性及较好的泛化性能.     

面向概念漂移问题的渐进多核学习方法

针对概念漂移问题,构建数据特性随时间发生渐进变化特点的分类学习模型,提出一种基于渐进支持向量机（G-SVM）的渐进多核学习方法（G-MKL）。该方法采用支持向量机（SVM）为基本分类器,进行多区间上的子分类器耦合训练,并通过约束子分类器增量方式使模型适应数据渐进变化特性,最终将多个核函数以线性组合方式融入SVM求解框架。该方法综合发挥了各个核函数的优势,大大提高了模型适应性和有效性。在具有渐变特性的模拟数据集和真实数据集上将所提算法与多种经典算法进行了对比,验证了所提算法在处理非静态数据问题的有效性。     

基于多核学习支持向量机的音乐流派分类

针对不同特征向量下选择最优核函数的学习方法问题,将多核学习支持向量机(MK-SVM)应用于音乐流派自动分类中,提出了将最优核函数进行加权组合构成合成核函数进行流派分类的方法。多核分类学习能够针对不同的声学特征采用不同的最优核函数,并通过学习得到各个核函数在分类中的权重,从而明确各声学特征在流派分类中的权重,为音乐流派分类中特征向量的分析和选择提供了一个清晰、明确的结果。在ISMIR 2011竞赛数据集上验证了提出的基于多核学习支持向量机(MKL-SVM)的分类方法,并与传统的基于单核支持向量机的方法进行了比较分析。实验结果表明基于MKL-SVM的音乐流派自动分类准确率比传统单核支持向量机的分类准确率提高了6.58%,且该方法与传统的特征选择结果比较,更清楚地解释了所选择的特征向量对流派分类的影响大小,通过选择影响较大的特征组合进行分类,分类结果也有了明显的提升。     

融合深度特征与多核学习的LSTWSVM及其工业应用

为了提高多核学习(MKL)的表示能力同时降低其计算成本,提出一种融合深度特征与多核学习的最小二乘孪生支持向量机(LSTWSVM)算法.针对支持向量机等核分类器在多核学习中高计算复杂度的问题,提出一种基于边缘错误最小化原则的多核LSTWSVM框架,利用分类器优势提高多核学习的性能.针对高斯多核浅层结构的问题,采用MKL法设计一种基于深度神经网络多层信息的高鲁棒性深度映射核,将此深度核与多尺度高斯基核以核矩阵哈达玛积方式相融合,构造一组新的具有高度表达能力的改进核.最后,将基于LSTWSVM的多核训练算法与改进的多核结构进行高度集成,通过大量基准数据集与工业数据实验表明,其能有效结合深度学习与多核学习的优势,且以较低的计算成本提高分类精度与泛化能力.     

一种改进的显性多核支持向量机

在支持向量机(Support vector machine, SVM)中, 对核函数的定义非常重要, 不同的核会产生不同的分类结果. 如何充分利用多个不同核函数的特点, 来共同提高SVM学习的效果, 已成为一个研究热点. 于是, 多核学习(Multiple kernel learning, MKL)方法应运而生. 最近, 有的学者提出了一种简单有效的稀疏MKL算法,即GMKL (Generalized MKL)算法, 它结合了L1 范式和L2范式的优点, 形成了一个对核权重的弹性限定. 然而, GMKL算法也并没有考虑到如何在充分利用已经选用的核函数中的共有信息. 另一方面, MultiK-MHKS算法则考虑了利用典型关联分析(Canonical correlation analysis, CCA)来获取核函数之间的共有信息, 但是却没有考虑到核函数的筛选问题. 本文模型则基于这两种算法进行了一定程度的改进, 我们称我们的算法为改进的显性多核支持向量机 (Improved domain multiple kernel support vector machine, IDMK-SVM). 我们证明了本文的模型保持了GMKL 的特性, 并且证明了算法的收敛性. 最后通过模拟实验, 本文证明了本文的多核学习方法相比于传统的多核学习方法有一定的精确性优势.     

基于多微商核函数的SVM话者确认

给出了一种基于多微商核函数(MDK)的结合高斯混合模型(GMM)和支持向量机(SVM)的方法,并应用于SVM文本无关话者确认。从GMM话者语音特征概率分布出发,用多阶微商描述GMM概率分布,将GMM和SVM结合的问题转化为用多阶微商建立SVM话者模型的问题。首先对说话人语音进行基于因子分析的参数域失配补偿,用GMM描述失配补偿后的话者语音特征的概率分布;然后对GMM求多阶微商;最后构建多微商核函数,建立多SVM话者模型。在NIST’01 2min-1min话者确认数据库上的实验表明,基于多微商核函数的SVM话者确认系统性能优于基于失配补偿的GMM系统,也比基于失配补偿的Fisher核函数SVM话者系统和基于失配补偿的Kullback-Leibler(KL)距离SVM话者系统有较大的提高。     

高斯核支撑向量机的性能分析

高斯核函数因其良好的性态，在新近提出的学习机器——支撑向量机中得到广泛的应用，以高斯核为其核函数的支撑向量机在实际应用中表现出良好的学习性能。然而，研究发现，高斯核中尺度参数σ的大小对支撑向量机性能的优劣发挥着关键性的作用。该文研究和讨论了支撑向量机的性能随尺度参数σ从0到∞的变化规律，证明了高斯核支撑向量机在σ→0和σ→∞时所具有的重要性质。数值实验结果进一步验证了所得结论。     

核函数的选择研究综述

核方法是解决非线性模式分析问题的一种有效方法,是当前机器学习领域的一个研究热点.核函数是影响核方法性能的关键因素,以支持向量机作为核函数的载体,从核函数的构造、核函数中参数的选择、多核学习3个角度对核函数的选择的研究现状及其进展情况进行了系统地概述,并指出根据特定应用领域选择核函数、设计有效的核函数度量标准和拓宽核函数选择的研究范围是其中3个值得进一步研究的方向.     

一种基于Morlet小波核的约简支持向量机

针对支持向量机（SVM）的训练数据量仅局限于较小样本集的问题,结合Morlet小波核函数,提出了一种基于Morlet小波核的约倚支持向量机（MWRSVM—DC）．算法的核心是通过密度聚类寻找聚类中每个簇的边缘点作为约倚集合,并利用该约倚集合寻找支持向量．实验表明,利用小波核,该算法不仅提高了分类的准确率,而且提高了整体分类效率．     

基于CUR矩阵分解的多核学习正则化路径近似算法

多核学习在解决不规则、大规模数据问题时表现出良好的优越性。正则化路径是一种多次求解多核学习,选择最优模型的措施。针对多核学习正则化路径算法处理大规模数据时,核矩阵规模较大,计算代价高,影响优化模型效率的问题,提出一种基于CUR矩阵分解的多核学习正则化路径近似算法(Multiple kernel learning regularization path approximation algorithm with CUR, MKLRPCUR)。该算法首先采用CUR算法获得核矩阵的低秩近似矩阵的多个分解矩阵,然后在求解过程中利用低维的分解矩阵相乘替代核矩阵,调整相关矩阵计算的顺序,从而简化算法中核矩阵和拉格朗日乘子向量乘积的计算。 MKLRPCUR算法降低了矩阵的计算规模,优化了矩阵计算,提高了精确算法的计算效率。 从理论上分析低秩近似矩阵的相对误差和算法的时间复杂度,验证了近似算法的合理性。同时,在UCI数据集、ORL和COIL图像数据库上的实验结果表明,本文提出的近似算法不仅保证了学习的准确率,并且降低了算法的运行时间,提高了模型的效率。     

基于模糊核聚类的图像SVM分类辨识

提出一种结合特征场和模糊核聚类支持向量机的图像分类辨识方法。首先,构造符合人类视觉特性的图像彩色和纹理特征数据场,一方面,引入新阈值,建立图像纹理特征;另一方面,在图像彩色特征上,对能够引起注意的像素区域的像素点进行加权处理,并使用彩色空间分布离散度来描述彩色的空间分布。其次,采用模糊核聚类支持向量机对图像进行分类研究。在使用特征空间时,不仅考虑了样本与类中心间的关系,还考虑了类中各个样本间的关系,以模糊连接度来度量类中各个样本间的关系,并以二叉树方式构造子分类器。实验结果表明,该方法可以获得较好的图像分类效果。     

基于局部多核支持向量机的视频镜头边界检测

提出了一种基于局部多核支持向量机的视频镜头边界检测方法.利用视频图像相邻帧的时空信息构建视频中间特征,在此基础上利用局部多核支持向量机将视频帧划分为边界帧和非边界帧.为了提高基于全局优化的多核支持向量机的检测精度,利用局部敏感哈希算法将视频帧投影全哈希子空间,结合多核学习方法为各个哈希子空间构建局部多核支持向量机,利用SMOTE上采样技术解决了视频图像边界帧和普通帧的不平衡问题.试验结果表明,本文提出的镜头边界检测方法的金全率和查准率得到了提高.