代价约束多核最小二乘支持向量机及其应用

针对多核最小二乘支持向量机(multiple kernel least squares support vector machine,MK-LSSVM)忽略了核函数的代价以及缺乏稀疏性的问题,提出了一种代价约束的稀疏多核最小二乘支持向量机方法.将MK-LSSVM的原始优化问题转化为二阶锥规划形式,引入核函数代价因子,约束复杂核函数的权重,以节约变量存储空间利计算时间,利用Schmidt 正交化理论约简核矩阵,进一步减小计算量,并根据支持向量的数目以及活动核函数的类型评估多核学习的总代价.测试数据集仿真结果表明,相比传统的MK-LSSVM,该方法利用更少的支持向量和更简单的组合核函数达到了相同的精度要求,代价更小.采用该方法预测浮选回收率的代价值降低了27.56.     

弹性多核学习

多核学习 (MKL) 的提出是为了解决多个核矩阵的融合问题, 多核学习求解关于多个核矩阵的最优的线性组合并同时解出对应于这个组合矩阵的支持向量机(SVM)问题. 现有的多核学习的框架倾向于寻找稀疏的组合系数, 但是当有信息的核的比例较高的时候, 对稀疏性的倾向会使得只有少量的核被选中而损失相当的分类信息. 在本文中, 我们提出了弹性多核学习的框架来实现自适应的多核学习. 弹性多核学习的框架利用了一个混合正则化函数来均衡稀疏性和非稀疏性, 多核学习和支持向量机问题都可以视作弹性多核学习的特殊情形. 基于针对多核学习的梯度下降法, 我们导出了针对弹性多核学习的梯度下降法. 仿真数据的结果显示了弹性多核学习方法相对多核学习和支持向量机的优势; 我们还进一步将弹性多核学习应用于基因集合分析问题并取得了有意义的结果; 最后, 我们比较研究了弹性多核学习与另一种利用了非稀疏思想的多核学习.     

一种支持向量逐步回归机算法研究

支持向量机是解决非线性问题的重要工具,对多元线性回归模型和支持向量机的原始形式进行比较,拟定从样本子集的多元线性回归模型出发,逐步搜索支持向量,提出了一种建立支持向量回归机的快速算法,以降低核矩阵的规模从而降低解凸二次规划的复杂度;最后,分析了该算法的复杂度,并提供了一个算例。     

基于约简核矩阵的稀疏最小二乘支持向量机

为了解决最小二乘支持向量机模型稀疏性不足的问题,提出了一种约简核矩阵的LS-SVM稀疏化方法.按照空间两点的欧式距离寻找核矩阵中相近的行(列),并通过特定的规则进行合并,以减小核矩阵的规模,进而求得稀疏LS-SVM模型.以高斯径向基核函数为例,详细阐述了改进方法的实现步骤,并通过仿真表明了采用该方法求得的稀疏LS-SVM模型泛化能力良好.     

模糊多核支持向量机研究进展

模糊多核支持向量机将模糊支持向量机与多核学习方法结合,通过构造隶属度函数和利用多个核函数的组合形式有效缓解了传统支持向量机模型对噪声数据敏感和多源异构数据学习困难等问题,广泛应用于模式识别和人工智能领域.综述了模糊多核支持向量机的理论基础及其研究现状,详细介绍模糊多核支持向量机中的关键问题,即模糊隶属度函数设计与多核学习方法,最后对模糊多核支持向量机算法未来的研究进行展望.     

基于马氏距离的孪生多分类支持向量机

孪生支持向量机(TWSVM)的研究是近来机器学习领域的一个热点。TWSVM具有分类精度高、训练速度快等优点,但训练时没有充分利用样本的统计信息。作为TWSVM的改进算法,基于马氏距离的孪生支持向量机(TMSVM)在分类过程中考虑了各类样本的协方差信息,在许多实际问题中有着很好的应用效果。然而TMSVM的训练速度有待提高,并且仅适用于二分类问题。针对这两个问题,将最小二乘思想引入TMSVM,用等式约束取代TMSVM中的不等式约束,将二次规划问题的求解简化为求解两个线性方程组,得到基于马氏距离的最小二乘孪生支持向量机(LSTMSVM),并结合有向无环图策略(DAG)设计出基于马氏距离的最小二乘孪生多分类支持向量机。为了减少DAG结构的误差累积,构造了基于马氏距离的类间可分性度量。人工数据集和UCI数据集上的实验均表明,所提算法不仅有效,而且相对于传统多分类SVM,其分类性能有明显提高。     

稀疏Tikhonov正则化多分类支持向量机

Tikhonov正则化多分类支持向量机是一种将多分类问题简化为单个优化问题的新型支持向量机.由于Tikhonov正则化多分类支持向量机利用全部类别数据样本构建核函数矩阵,因此不适合大规模数据集的模式分类问题,鉴于该原因,一种稀疏Tikhonov正则化多分类支持量机被建立,其训练算法首先构建样本重要性评价标准,在标准下通过迭代学习获取约简集,最后利用约简集构建核函数矩阵并训练支持向量机.仿真实验结果表明稀疏Tikhonov正则化多分类支持向量机在训练速度和稀疏性方面具有很大的优越性.     

混合核函数中权重求解方法

为了克服支持向量机(SVM)中单核函数的局限性,经常使用混合核函数做预测,但混合核函数中各函数权重难以确定。为解决该问题,提出了一种基于特征距离的权重求解方法。该方法首先利用支持向量机的几何意义,根据同类样本特征距离最小化和异类样本特征距离最大化原理,分析得出优化函数,然后对优化函数求解得出权重系数。实验结果表明,与传统的交叉验证法和PSO算法相比,该方法在保证预测精度的情况下,将计算时间减少了70%左右。     

基于超椭球支持向量机的兼类文本分类算法

提出一种基于超椭球支持向量机的多类文本分类算法。对每一类样本,利用超椭球支持向量机方法在特征空间求得一个超椭球,使其包含该类尽可能多的样本,同时将噪音点排除在外。分类时,利用待分类样本映射到每个超椭球球心的马氏距离确定其类别。在标准数据集Reuters 21578上的实验结果表明,该算法有效地提高了分类精度。     

马氏距离法在支持向量机拒识区域中的应用

为克服传统多分类支持向量机中存在的拒识区域,提出一种基于马氏距离的拒识区域解决方案.该方法首先计算落入拒识区域中的样本点到每类样本集的马氏距离,然后选择较小的马氏距离对应的类为样本的所属类.标准数据实验结果表明,马氏距离法在实验数据上消除拒识区域,有效提高了算法的分类性能和泛化能力.     

确定高斯核参数的聚类方法

高斯核参数σ的选择,直接影响着高斯核支持向量机的分类性能。将聚类方法与最小距离分类法进行融合,构造了能有效确定高斯核参数σ的优化算法。采用高斯核支持向量机方法对测试集进行分类,以分类正确率来评判选取核参数σ的效果。实验表明,该方法适宜于较广泛的数据类型,具有良好的推广能力,并能有效提高分类效果。     

基于核函数与马氏距离的FCM图像分割算法

针对模糊聚类算法邻域信息与空间信息利用率低易受噪声影响的问题,提出一种结合核函数与马氏距离的FCM算法,即FCMKM算法。首先,将图像像素点由低维空间通过核函数非线性映射到高维空间;然后,利用马氏距离替换原有的欧氏距离作为高维空间距离量度;最后,利用改进后的算法对图像进行分割。为验证FCMKM算法的性能,选取Bezdek划分系数、Xie-Beni系数、重构错误率、运行时间、迭代次数五个评测指标作为对比实验的评价标准。实验结果表明,与传统FCM算法、基于核函数的FCM算法、基于马氏距离的FCM算法相比,FCMKM算法能有效地提高模糊聚类算法的抗噪性。     

基于核的图像欧氏距离人脸识别

引进了两幅图像之间的一种新的距离度量方法——图像欧氏距离,该距离是利用核函数对传统的欧氏距离进行改进而得到的。在此基础上,设计了一种新的分类识别方法——基于核的图像欧氏距离人脸识别方法,并应用于人脸识别中。为验证该算法的可行性,对人脸图像进行DCT变换得到预处理样本,并在ORL和Yale人脸库上进行多角度的比较实验。分析实验结果表明,该方法优于其它距离分类器算法。     

改进的SIFT算法图像匹配研究

对SIFT(尺度不变特征变换)算法特征描述子维数过高,导致匹配速度过慢、匹配率低等问题,提出了一种分级放射状分区的方法来构建特征描述子,将特征点邻域划分为8个区域,统计各个区域内8个方向的梯度方向直方图,得到64维特征描述子,使特征描述子维数降低50%。同时因马氏距离考虑了特征描述子向量间的相关性,在匹配时用马氏距离双向匹配方法代替欧氏距离进行匹配,并用RANSAC(随机抽样一致性)方法消除误配点。实验结果表明,改进的SIFT算法保留了SIFT算法对模糊、压缩、旋转和缩放等不变性优势,并提高了匹配速度,正确匹配率平均增加10%~15%。     

用路径跟踪法和核距离矩阵优化大规模SVM

支持向量机在大规模训练集上学习时,存在学习时间长、泛化能力下降的问题。路径跟踪算法具有O(n L)的时间复杂度,能够在多项式时间内求解大规模QP问题。分析了影响SVM分类超平面的主要因素,使用路径跟踪内点算法和核距离矩阵快速约简训练集,再用约简后的训练集重新训练SVM。实验结果表明,重新训练后的SVM模型得到了简化,模型的泛化能力也得到提高。     

PSO优化多核RVM的模拟电路故障预测

针对模拟电路健康管理的特点，提出了一种基于PSO优化多核RVM的模拟电路故障预测方法。利用参数分析得到电路的输出频域响应作为特征，计算其与电路无故障标准响应的欧氏距离来表征电路元件健康值，将多个核函数线性组合，并用PSO优化多核RVM参数后的模型实现对各个时间点元件的健康值变化轨迹进行预测。仿真结果表明，该方法在小样本情况下，预测效果优于单一核函数的RVM模型，适用于健康管理中实时预测，具有较好的实用性。     

组合核支持向量机的模式分析新方法

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数和多项式核函数进行有效的线性组合,给出一种新的支持向量机的组合核函数,提出一种基于再生核的组合核函数支持向量机的模式分析方法,该方法兼具了全局核函数与局部核函数的优点,且算法的复杂度被降低。仿真实验结果表明：支持向量机的核函数采用基于再生核的组合核函数是可行的,且此核函数不仅具有核函数的非线性映射特征,而且也继承了核函数对非线性逐级精细逼近的特征,模式分析的效果比单核函数可以更加细腻。     

支持向量机最优模型选择的研究

通过对核矩阵的研究,利用核矩阵的对称正定性,采用核校准的方法提出了一种SVM最优模型选择的算法——OMSA算法．利用训练样本不通过SVM标准训练和测试过程而寻求最优的核参数和相应的最优学习模型,弥补了传统SVM在模型选择上经验性强和计算量大的不足．采用该算法在UCI标准数据集和FERET标准人脸库上进行了实验,结果表明,通过该算法找到的核参数以及相应的核矩阵是最优的,得到的SVM分类器的错误率最小．该算法为SVM最优模型选择提供了一种可行的方法,同时对其他基于核的学习方法也具有一定的参考价值．     

基于马氏距离的改进核Fisher化工故障诊断研究

针对化工故障诊断数据存在非线性分布、 数据类别复杂、数据量大且故障特征不易区分等问题, 本文提出一种基于马氏距离的改进核Fisher故障诊断方法(Mahalanobis distance-based kernel Fisher discrimination, MKFD). 首先, 针对数据非线性分布的特点, 本文将核Fisher判别分析算法改进, 改进后的算法可以有效解决原始样本在投影后出现的因类间距离差异过大、类内距离不够紧凑造成的样本混叠现象. 除此之外, 利用Euclidean距离对类间距做加权处理时, 用组平均距离取代质心距离, 提升了运算效率, 降低了时间复杂度; 其次, 根据高斯径向基核函数(Radial basis function, RBF)在MKFD中所呈现出的诊断精度的规律, 本文采用一种新的核参数选择方法: 区间三分法, 用以取代在实际应用中依靠经验的交叉验证法; 最后, 本文采用马氏距离对故障进行分类, 基于田纳西伊—斯特曼过程(Tennessee-Eastman, TE)数据将本方法与其他改进核Fisher算法进行仿真验证对比. 结果表明新提出MKFD算法不仅可以提高故障诊断的运算效率, 也能有效提高诊断的精度.     

一种半监督局部线性嵌入算法的文本分类方法*

针对局部线性嵌入算法（LLE）应用于非监督机器学习中的缺陷,将该算法与半监督思想相结合,提出了一种基于半监督局部线性嵌入算法的文本分类方法。通过使用文本数据的流形结构和少量的标签样本,将LLE中的距离矩阵采用分段形式进行调整;使用调整后的矩阵进行线性重建从而实现数据降维;针对半监督LLE中使用欧氏距离的缺点,采用高斯核函数将欧氏距离进行变换,并用新的核距离取代欧氏距离,提出了基于核的半监督局部线性嵌入算法;最后通过仿真实验验证了改进算法的有效性。