基于核的支持向量机构造方法的研究

核函数的选择是构造支持向量机的关键.通过研究当前机器学习领域3类主要核函数及其主要性质,派生出其他相关函数,同时引入其他一些更精密的核函数应用于SVM构造.得出SVM用于非线性分类器构造时,核函数的选择原则.并以实例分析了核函数方法的计算性和泛化性,扩展了核函数的应用领域,使得SVM的构造方法更加丰富.     

基于样本相似度曲面重构的核函数构造

根据数据特征构造核函数是当前SVM(支持向量机)的难点，文章采用重构数据样本相似度曲面的方法构造三种新的核函数．证明前两种核是Mercer核，并且讨论了三种核的存在性、稳定性和唯一性．指出核函数的本质是表达相似性的工具，核函数与Mercer条件、正定性、对称性互为非充分非必要条件．仿真研究表明，本核函数对学习样本本身的分类是完美的，而且其泛化能力优于传统核函数的SVM．     

基于正交多项式的核函数性质研究

核函数及其参数的选择是支持向量机(SVM)研究中的一个核心问题.正交多项式的正交性和可变性使其可以构造通用核函数以代替多项式核、高斯核等常用核函数.基于正交多项式构造核函数的参数仅在自然数中取值,因而能较大地简化核参数的选择.分析基于切比雪夫多项式、埃尔米特多项式、勒让德多项式及拉盖尔多项式构造的6类正交多项式核函数的性质,并在多个数据集上对比这些核函数的鲁棒性和泛化性,所得结论可为选择这些核函数进行支持向量分类提供理论依据和技术支持.     

组合核函数SVM在特定领域文本分类中的应用

面向特定领域文本分类的实际应用,存在大量样本相互掺杂的现象,使其无法线性表述,在SVM中引入核函数可以有效地解决非线性分类的问题,而选择不同的核函数可以构造不同的SVM,其识别性能也不同,因此,选择合适的核函数及其参数优化成为SVM的关键.本文基于单核核函数的性质,对多项式核函数与径向基核函数进行线性加权,构建具有良好的泛化能力与良好的学习能力的组合核函数.仿真实验结果表明,在选择正确参数的情况下,组合核函数SVM的宏平均准确率、宏平均召回率及宏平均综合分类率都明显优于线性核、多项式核与径向基核,而且能够兼顾准确率与召回率.     

基于混合核函数的SVM在文本自动分类的应用

核函数是SVM的关键技术,核函数的选择将影响着学习机器的学习能力和泛化能力。不同的核函数确定了不同的非线性变换和特征空间,选取不同核函数训练SVM就会得到不同的分类效果。本文提出了一种混合的核函数[1]Kmix=λKpoly+(1-λ)Krbf,从而兼并二项式核函数及径向基核函数的优势。实验证明选用混合核函数的支持向量机,与普通核函数构造的支持向量机的评估效果进行比较,混合核函数支持向量机具有较高的分类精度。     

基于SVM用户建模的核函数选择研究

用户建模是从用户偏好数据中建立用户偏好模型的过程,用户偏好数据具有系统运行初期的稀疏性和非线形的特点。支持向量机(Support Vector Machine,简称SVM)具有小样本学习、非线形处理的能力,是合适的用户建模工具。SVM的非线形处理能力主要依赖于核函数,采用不同的核函数进行建模对模型的预测效果有重大影响。本文重点研究核函数的选择对基于SVM建模方法的影响,从中选取了表现较优的小波核函数,构建性能突出的SVM进行用户建模。实验证明该建模方法可以有效地从小样本数据中学习用户偏好信息,建立反映用户真实偏好的用户模型。     

一种支持向量机集成的核选择方法

核选择问题是支持向量机（Support Vector Machine,SVM）建模中的一个关键问题,虽然支持向量机具有良好的泛化性能,但其性能受核函数的影响比较明显,而对于一个给定问题,选择合适的核函数及参数通常很困难。提出一种基于SVM集成的核选择方法,利用不同的核函数构造子SVM学习器,然后对子学习器的预测结果集成。提出的核选择方法将SVM集成学习与核选择同时进行,不仅避免了单个SVM的核选择对泛化能力的影响,而且可以获得良好的泛化能力。在UCI标准数据集上的结果说明了提出的方法的有效性。     

组合核函数SVM在网络安全风险评估中的应用

核函数是SVM的关键技术,核函数的选择将影响着支持向量机的学习能力和泛化能力。各个普通核函数各有利弊,在分析各个普通核函数的基础上,采用了一种新的组合核函数,它既具有很好的泛化能力,也具有很好的学习能力,并将其构造的支持向量机应用到网络安全的风险评估中,与普通核函数构造的支持向量机的评估效果进行比较。结果表明组合核函数支持向量机不仅提高了分类速度,而且具有较高的分类精度。     

一种基于球状分布的SVM核选择方法

核选择是支撑向量机(Support Vector Machine,SVM)研究中的核心问题之一。提出了一种基于数据分布特征的SVM核函数选择的方法。分析了几种常用核函数的性能,提出了判断数据呈球状分布的方法,探讨了SVM核函数及其参数选择与数据分布的相关性。数值实验说明了该方法的可行性与有效性。     

用核K-means聚类和半定规划SVM实现垃圾标签检测

提出使用核K-means聚类算法从样本集中抽取特征向量集来训练SVM,达到减少SVM规模的目的。SVM核函数的选择会影响SVM模型的分类效果,提出将多个非线性映射能力不同的核函数进行线性组合,在特征训练集上构造出组合SVM的半定规划模型,用内点法求解出最优组合系数,得到非线性映射能力更强的半定规划SVM,并用做垃圾标签检测。在UCI数据集上与双层减样支持向量机方法进行比较,实验结果表明,新的垃圾标签检测法提高了识别率,并大幅度减少了训练时间。     

一种支持向量机的组合核函数

核函数是支持向量机的核心，不同的核函数将产生不同的分类效果，核函数也是支持向量机理论中比较难理解的一部分。通过引入核函数，支持向量机可以很容易地实现非线性算法。首先探讨了核函数的本质，说明了核函数与所映射空间之间的关系，进一步给出了核函数的构成定理和构成方法，说明了核函数分为局部核函数与全局核函数两大类，并指出了两者的区别和各自的优势。最后，提出了一个新的核函数——组合核函数，并将该核函数应用于支持向量机中，并进行了人脸识别实验，实验结果也验证了该核函数的有效性。     

一种支持向量机的混合核函数

核函数是支持向量机的核心,不同的核函数将产生不同的分类效果.由于普通核函数各有其利弊,为了得到学习能力和泛化能力较强的核函数,根据核函数的基本性质,两个核函数之和仍然是核函数,将局部核函数和全局核函数线性组合构成新的核函数--混合核函数.该核函数吸取了局部核函数和全局核函数的优点.利用混合核函数进行流程企业供应链预测实验,仿真结果验证了该核函数的有效性和正确性.     

使用超椭球参数化坐标的支持向量机

基于n维超椭球面坐标变换公式,构造一类核函数--n维超椭球坐标变换核.由于是同维映射,且增大了类间距离,这类核函数在一定程度上改善了支持向量机的性能.与其他核函数(如高斯核)相比,将所构造的核函数用于支持向量机,仅产生了很少的支持向量,因而大大加快了学习速度,改善了泛化性能.数值实验结果表明了所构造的核函数的有效性和正确性.     

基于混合核函数的SVM及其应用

支持向量机可以很好地应用于函数拟合中,其中核函数的选择尤其重要。由于普通核函数各有其利弊,为了得到学习能力和泛化性能都很强的核函数,文中采用了混合核函数,并将由其构造的支持向量机运用于函数拟合中,且与普通核函数构造的支持向量机的实验结果进行了比较。结果表明其性能明显优于由普通核函数构造的支持向量机。     

弹性多核学习

多核学习 (MKL) 的提出是为了解决多个核矩阵的融合问题, 多核学习求解关于多个核矩阵的最优的线性组合并同时解出对应于这个组合矩阵的支持向量机(SVM)问题. 现有的多核学习的框架倾向于寻找稀疏的组合系数, 但是当有信息的核的比例较高的时候, 对稀疏性的倾向会使得只有少量的核被选中而损失相当的分类信息. 在本文中, 我们提出了弹性多核学习的框架来实现自适应的多核学习. 弹性多核学习的框架利用了一个混合正则化函数来均衡稀疏性和非稀疏性, 多核学习和支持向量机问题都可以视作弹性多核学习的特殊情形. 基于针对多核学习的梯度下降法, 我们导出了针对弹性多核学习的梯度下降法. 仿真数据的结果显示了弹性多核学习方法相对多核学习和支持向量机的优势; 我们还进一步将弹性多核学习应用于基因集合分析问题并取得了有意义的结果; 最后, 我们比较研究了弹性多核学习与另一种利用了非稀疏思想的多核学习.     

一种改进的显性多核支持向量机

在支持向量机(Support vector machine, SVM)中, 对核函数的定义非常重要, 不同的核会产生不同的分类结果. 如何充分利用多个不同核函数的特点, 来共同提高SVM学习的效果, 已成为一个研究热点. 于是, 多核学习(Multiple kernel learning, MKL)方法应运而生. 最近, 有的学者提出了一种简单有效的稀疏MKL算法,即GMKL (Generalized MKL)算法, 它结合了L1 范式和L2范式的优点, 形成了一个对核权重的弹性限定. 然而, GMKL算法也并没有考虑到如何在充分利用已经选用的核函数中的共有信息. 另一方面, MultiK-MHKS算法则考虑了利用典型关联分析(Canonical correlation analysis, CCA)来获取核函数之间的共有信息, 但是却没有考虑到核函数的筛选问题. 本文模型则基于这两种算法进行了一定程度的改进, 我们称我们的算法为改进的显性多核支持向量机 (Improved domain multiple kernel support vector machine, IDMK-SVM). 我们证明了本文的模型保持了GMKL 的特性, 并且证明了算法的收敛性. 最后通过模拟实验, 本文证明了本文的多核学习方法相比于传统的多核学习方法有一定的精确性优势.     

特征加权的核学习方法

提出了一种特征加权的核学习方法,其主要为了解决当前核方法在分类任务中对所有数据特征的同等对待的不足。在分类任务中,数据样本的每个特征所起的作用并不是相同的,有些特征对分类任务有促进作用,应该给予更多的关注。提出的算法集成了多核学习的优势,以加权的方式组合不同的核函数,但所需的计算复杂度更低。实验结果证明,提出的算法与支持向量机、多核学习算法相比,分类准确度优于支持向量机和多核学习算法,在计算复杂度上略高于支持向量机,但远远低于多核学习算法。     

模糊多核支持向量机研究进展

模糊多核支持向量机将模糊支持向量机与多核学习方法结合,通过构造隶属度函数和利用多个核函数的组合形式有效缓解了传统支持向量机模型对噪声数据敏感和多源异构数据学习困难等问题,广泛应用于模式识别和人工智能领域.综述了模糊多核支持向量机的理论基础及其研究现状,详细介绍模糊多核支持向量机中的关键问题,即模糊隶属度函数设计与多核学习方法,最后对模糊多核支持向量机算法未来的研究进行展望.     

Evolutionary strategies for hyperparameters of support vector machines based on multi-scale radial basis function kernels

Kernel functions are used in support vector machines (SVM) to compute inner product in a higher dimensional feature space. SVM classification performance depends on the chosen kernel. The radial basis function (RBF) kernel is a distance-based kernel that has been successfully applied in many tasks. This paper focuses on improving the accuracy of SVM by proposing a non-linear combination of multiple RBF kernels to obtain more flexible kernel functions. Multi-scale RBF kernels are weighted and combined. The proposed kernel allows better discrimination in the feature space. This new kernel is proved to be a Mercer’s kernel. Furthermore, evolutionary strategies (ESs) are used for adjusting the hyperparameters of SVM. Training accuracy, the bound of generalization error, and subset cross-validation on training accuracy are considered to be objective functions in the evolutionary process. The experimental results show that the accuracy of multi-scale RBF kernels is better than that of a single RBF kernel. Moreover, the subset cross-validation on training accuracy is more suitable and it yields the good results on benchmark datasets.     

基于CPSO的混合核函数SVM参数优化及应用

支持向量机(SVM)建模的拟合精度和泛化能力取决于相关参数的选取,目前SVM中的参数的寻优一般只针对惩罚系数和核参数,而混合核函数的引入,使SVM增加了一个可调参数.针对混合核函数SVM的多参数选择问题,提出利用具有较强全局搜索能力的混沌粒子群(CPSO)优化算法对混合核函数SVM建模过程中的重要参数进行优化调整,每一...