基于多核学习支持向量机的音乐流派分类

针对不同特征向量下选择最优核函数的学习方法问题,将多核学习支持向量机(MK-SVM)应用于音乐流派自动分类中,提出了将最优核函数进行加权组合构成合成核函数进行流派分类的方法。多核分类学习能够针对不同的声学特征采用不同的最优核函数,并通过学习得到各个核函数在分类中的权重,从而明确各声学特征在流派分类中的权重,为音乐流派分类中特征向量的分析和选择提供了一个清晰、明确的结果。在ISMIR 2011竞赛数据集上验证了提出的基于多核学习支持向量机(MKL-SVM)的分类方法,并与传统的基于单核支持向量机的方法进行了比较分析。实验结果表明基于MKL-SVM的音乐流派自动分类准确率比传统单核支持向量机的分类准确率提高了6.58%,且该方法与传统的特征选择结果比较,更清楚地解释了所选择的特征向量对流派分类的影响大小,通过选择影响较大的特征组合进行分类,分类结果也有了明显的提升。     

核聚类启发式转导SVM

传统转导支持向量机有效地利用了未标记样本,具有较高的分类准确率,但是计算复杂度较高。针对该不足,论文提出了一种基于核聚类的启发式转导支持向量机学习算法。首先将未标记样本利用核聚类算法进行划分,然后对划分后的每一簇样本标记为同一类别,最后根据传统的转导支持向量机算法进行新样本集合上的分类学习。所提方法通过对核聚类后同一簇未标记样本赋予同样的类别,极大地降低了传统转导支持向量机算法的计算复杂度。在MNIST手写阿拉伯数字识别数据集上的实验表明,所提算法较好地保持了传统转导支持向量机分类精度高的优势。     

多尺度核方法的自适应序列学习及应用

多尺度核方法是当前核机器学习领域的一个热点。通常多尺度核的学习在多核处理时存在诸如多核平均组合、迭代学习时间长、经验选择合成系数等弊端。文中基于核目标度量规则,提出一种多尺度核方法的自适应序列学习算法,实现多核加权系数的自动快速求取。实验表明,该方法在回归精度、分类正确率方面比单核支持向量机方法结果更优,函数拟合与分类稳定性更强,证明该算法具有普遍适用性。     

基于改进支持向量机的高维隐写盲检测方法

针对高维大样本空间中支持向量机( SVM)存在计算复杂度高、分类精度低等问题,在随机子空间方法与主成分分析方法的基础上,提出一种特征加权支持向量机的高维隐写盲检测方法。通过随机子空间对原始高维样本的特征空间进行随机采样,产生多个低维的特征子集,在特征子集中采用主成分分析法进行特征提取,并利用卡方统计计算特征权重,运用特征加权核函数训练各基SVM分类器,并用多数投票法融合各基分类器结果得到最终分类结果。对HUGO隐写算法的实验结果表明,该方法能有效降低SVM计算复杂度,与传统方法相比,具有较高的隐写检测率和更快的分类速度。     

模糊多核支持向量机研究进展

模糊多核支持向量机将模糊支持向量机与多核学习方法结合,通过构造隶属度函数和利用多个核函数的组合形式有效缓解了传统支持向量机模型对噪声数据敏感和多源异构数据学习困难等问题,广泛应用于模式识别和人工智能领域.综述了模糊多核支持向量机的理论基础及其研究现状,详细介绍模糊多核支持向量机中的关键问题,即模糊隶属度函数设计与多核学习方法,最后对模糊多核支持向量机算法未来的研究进行展望.     

一种基于样本加权的合成多核学习方法

多核学习是目前基于内核学习的机器学习领域中的一个新的研究热点。内核学习方法可以把数据映射到高维空间来增加线性分类器如支持向量机的计算性能,它是目前处理非线性模式识别与分类问题的一种便捷、高效的方法。然而,在某些特殊情况下,基于单一核函数的内核学习方法并不能完全有效地处理如数据异构或者不规则、样本规模大、样本分布不平坦等实际问题,所以通过将多个核函数以加权的形式合成一个核函数,来得到更好的识别精度以及效率,是当前研究的一个发展趋势。因此,提出一种基于样本加权的合成多核学习方法,通过单一核函数对样本的拟合以及适应能力(对样本的学习精度),对每一个核函数按照对应的拟合以及适应能力加权,最终得到基于样本加权的合成多核决策函数。为了验证基于样本加权的合成多核学习方法的有效性和可靠性,在多个数据集上进行了实验分析,实验结果表明,与已有的多核学习方法相比较,本文提出的方法取得了更好的分类结果。     

基于QPSO训练的SVM核函数集成学习研究

针对训练子集随机性强、规模大、算法时空复杂度高等问题,提出了基于量子微粒群的支持向量机（QPSO-SVM）核函数集成学习算法。该方法首先采用K-Means算法对训练样本进行聚类分析,然后根据其聚类分布选择少量具有代表性的样本,并通过基于量子行为的粒子群算法来训练单个支持向量机（SVM）,最后通过贝叶斯投票方法得到集成的SVM分类学习器。实验表明该方法在非线性高复杂度的数据分类中对分类精度有较大提高。     

一种基于样本加权的多尺度核支持向量机方法

多核学习方法是机器学习领域中的一个新的热点。核方法通过将数据映射到高维空间来增加线性分类器的计算能力,是目前解决非线性模式分析与分类问题的一种有效途径。但是在一些复杂的情况下,单个核函数构成的核学习方法并不能完全满足如数据异构或者不规则、样本规模大、样本分布不平坦等实际应用中的需求问题,因此将多个核函数进行组合以期获得更好的结果,是一种必然的发展趋势。因此提出一种基于样本加权的多尺度核支持向量机方法,通过不同尺度核函数对样本的拟合能力进行加权,从而得到基于样本加权的多尺度核支持向量机决策函数。通过在多个数据集上的实验分析可以得出所提方法对于各个数据集都获得了很高的分类准确率。     

基于相似度差的大间隔快速学习模型

许多模式分类方法比如支持向量机和L₂核分类器等都会利用核方法并转化为二次规划问题进行求解,而计算核矩阵需要O(m²)的空间复杂度,求解QP问题则需要O(m³)的时间复杂度,这就使得此类方法在大样本数据上的学习性能非常低下。对此,首次提出了相似度差支持向量机算法DSSVM。算法旨在寻求样本与某类相似度的一个最佳线性表示,并从线性表示的稀疏性以及相似度差意义上的间隔最大化角度构造了新的最优化问题。同时,证明了该算法等价于中心约束型最小包含球问题,这样就可以通过引入最小包含球的快速学习理论将相似度差支持向量机扩展为相似度差核支持向量机DSCVM,从而较好地解决了大规模数据集的分类问题。实验证明了相似度差支持向量机和相似度差核支持向量机的有效性。     

双重特征加权模糊支持向量机

针对当前基于特征加权的模糊支持向量机(FSVM)只考虑特征权重对隶属度函数的影响,而没有考虑在样本训练过程中将特征权重应用到核函数计算中的缺陷,提出了同时考虑特征加权对隶属度函数和核函数计算的影响的模糊支持向量机算法——双重特征加权模糊支持向量机(DFW-FSVM).首先,利用信息增益(IG)计算出每个特征的权重;然后...     

Online chaotic time series prediction using unbiased composite kernel machine via Cholesky factorization

The kernel method has proved to be an effective machine learning tool in many fields. Support vector machines with various kernel functions may have different performances, as the kernels belong to two different types, the local kernels and the global kernels. So the composite kernel, which can bring more stable results and good precision in classification and regression, is an inevitable choice. To reduce the computational complexity of the kernel machine’s online modeling, an unbiased least squares support vector regression model with composite kernel is proposed. The bias item of LSSVR is eliminated by improving the form of structure risk in this model, and then the calculating method of the regression coefficients is greatly simplified. Simultaneously, through introducing the composite kernel to the LSSVM, the model can easily adapt to the irregular variation of the chaotic time series. Considering the real-time performance, an online learning algorithm based on Cholesky factorization is designed according to the characteristic of extended kernel function matrix. Experimental results indicate that the unbiased composite kernel LSSVR is effective and suitable for online time series with both the steep variations and the smooth variations, as it can well track the dynamic character of the series with good prediction precisions, better generalization and stability. The algorithm can also save much computation time comparing to those methods using matrix inversion, although there is a little more loss in time than that with the usage of single kernels.     

一种改进的显性多核支持向量机

在支持向量机(Support vector machine, SVM)中, 对核函数的定义非常重要, 不同的核会产生不同的分类结果. 如何充分利用多个不同核函数的特点, 来共同提高SVM学习的效果, 已成为一个研究热点. 于是, 多核学习(Multiple kernel learning, MKL)方法应运而生. 最近, 有的学者提出了一种简单有效的稀疏MKL算法,即GMKL (Generalized MKL)算法, 它结合了L1 范式和L2范式的优点, 形成了一个对核权重的弹性限定. 然而, GMKL算法也并没有考虑到如何在充分利用已经选用的核函数中的共有信息. 另一方面, MultiK-MHKS算法则考虑了利用典型关联分析(Canonical correlation analysis, CCA)来获取核函数之间的共有信息, 但是却没有考虑到核函数的筛选问题. 本文模型则基于这两种算法进行了一定程度的改进, 我们称我们的算法为改进的显性多核支持向量机 (Improved domain multiple kernel support vector machine, IDMK-SVM). 我们证明了本文的模型保持了GMKL 的特性, 并且证明了算法的收敛性. 最后通过模拟实验, 本文证明了本文的多核学习方法相比于传统的多核学习方法有一定的精确性优势.     

用于文本分类的多核SVM算法研究

根据文本分类通常包含多异类数据源的特点，提出了多核SVM学习算法。该算法将分类核矩阵的二次组合重新表述成半无限规划，并说明其可以通过重复利用SVM来实现有效求解。实验结果表明，提出的算法可以用于数百个核的结合或者是数十万个样本的结合，对于多异类数据源的文本分类具有较高的查全率和查准率。     

基于极限学习机的船舶柴油机故障诊断

针对传统深度核极限学习机网络仅利用端层特征进行分类导致特征不全面，以及故障诊断分类器中核函数选择不恰当等问题，提出基于多层特征表达和多核极限学习机的船舶柴油机故障诊断方法。利用深度极限学习机网络提取故障数据的多层特征；将提取出的各层特征级联为一个具有多属性特征的故障数据特征向量；使用多核极限学习机分类器准确地实现柴油机的故障诊断。在标准分类数据集和船舶柴油机仿真故障数据集上的实验结果表明，与其他极限学习机算法相比，该方法能够有效提高故障诊断的准确率和稳定性，且具有较好的泛化性能，是柴油机故障诊断一个更为优秀实用的工具。     

Evolutionary strategies for hyperparameters of support vector machines based on multi-scale radial basis function kernels

Kernel functions are used in support vector machines (SVM) to compute inner product in a higher dimensional feature space. SVM classification performance depends on the chosen kernel. The radial basis function (RBF) kernel is a distance-based kernel that has been successfully applied in many tasks. This paper focuses on improving the accuracy of SVM by proposing a non-linear combination of multiple RBF kernels to obtain more flexible kernel functions. Multi-scale RBF kernels are weighted and combined. The proposed kernel allows better discrimination in the feature space. This new kernel is proved to be a Mercer’s kernel. Furthermore, evolutionary strategies (ESs) are used for adjusting the hyperparameters of SVM. Training accuracy, the bound of generalization error, and subset cross-validation on training accuracy are considered to be objective functions in the evolutionary process. The experimental results show that the accuracy of multi-scale RBF kernels is better than that of a single RBF kernel. Moreover, the subset cross-validation on training accuracy is more suitable and it yields the good results on benchmark datasets.     

基于支持向量机的分段线性学习方法

1.引言包括感知器、神经网络等在内的学习方法都是基于经验风险最小(ERM)原则的,而在实际的基于小样本的学习系统中,这些学习方法在经验风险最小的情况下并不能保证期望风险最小化。对于线性不可分情况不能给出是否分段线性可分的可靠信息。如果简单地引入非线性变换,则容易导致过学习现象。这显然不是我们所希望的。     

Multi-layer radial basis function neural network based on multi-scale kernel learning

The conversion functions in the hidden layer of radial basis function neural networks (RBFNN) are Gaussian functions. The Gaussian functions are local to the kernel centers. In most of the existing research, the spatial local response of the sample is inaccurately calculated because the kernels have the same shape as a hypersphere, and the kernel parameters in the network are determined by experience. The influence of the fine structure in the local space is not considered during feature extraction. In addition, it is difficult to obtain a better feature extraction ability with less computational complexity. Therefore, this paper develops a multi-scale RBF kernel learning algorithm and proposes a new multi-layer RBF neural network model. For the samples of each class, the expectation maximization (EM) algorithm is used to obtain multi-layer nested sub-distribution models with different local response ranges, which are called multi-scale kernels in the network. The prior information of each sub-distribution is used as the connection weight between the multi-scale kernels. Finally, feature extraction is implemented using multi-layer kernel subspace embedding. The multi-scale kernel learning model can efficiently and accurately describe the fine structure of the samples and is fault tolerant to setting the number of kernels to a certain extent. Considering the prior probability of each kernel as the weight makes the feature extraction process satisfy the Bayes rule, which can enhance the interpretability of feature extraction in the network. This paper also theoretically proves that the proposed neural network is a generalized version of the original RBFNN. The experimental results show that the proposed method has better performance compared with some state-of-the-art algorithms.     

基于核聚类方法的多层次支持向量机分类树

针对解决多类模式识别问题的SVM方法进行研究。在比较几种常用的多类SVM分类算法的基础上，提出一种基于核聚类方法的多层次SVM分类树，将核空问中的无监督学习方法和有监督学习方法结合起来，实现了一种结构更加简洁清晰、计算效率更高的多层SVM分类树算法，并在实验中取得了良好的结果．     

免疫多域特征融合的多核学习SVM运动想象脑电信号分类

针对多通道四类运动想象(Motor imagery, MI)脑电信号(Electroencephalography, EEG)的分类问题, 提出免疫多域特征融合的多核学习SVM (Support vector machine)运动想象脑电信号分类算法.首先, 通过离散小波变换(Discrete wavelet transform, DWT)提取脑电信号的时频域特征, 并利用一对多公共空间模式(One versus the rest common spatial patterns, OVR-CSP)提取脑电信号的空域特征, 融合时频空域特征形成特征向量.其次, 利用多核学习支持向量机(Multiple kernel learning support vector machine, MKL-SVM)对提取的特征向量进行分类.最后, 利用免疫遗传算法(Immune genetic algorithm, IGA)对模型的相关参数进行优化, 得到识别率更高的脑电信号分类模型.采用BCI2005desc-Ⅲa数据集进行实验验证, 对比结果表明, 本文所提出的分类模型有效地解决了传统单域特征提取算法特征单一、信息描述不足的问题, 更准确地表达了不同受试者个性化的多域特征, 取得了94.21%的识别率, 优于使用相同数据集的其他方法.