代价约束多核最小二乘支持向量机及其应用

针对多核最小二乘支持向量机(multiple kernel least squares support vector machine,MK-LSSVM)忽略了核函数的代价以及缺乏稀疏性的问题,提出了一种代价约束的稀疏多核最小二乘支持向量机方法.将MK-LSSVM的原始优化问题转化为二阶锥规划形式,引入核函数代价因子,约束复杂核函数的权重,以节约变量存储空间利计算时间,利用Schmidt 正交化理论约简核矩阵,进一步减小计算量,并根据支持向量的数目以及活动核函数的类型评估多核学习的总代价.测试数据集仿真结果表明,相比传统的MK-LSSVM,该方法利用更少的支持向量和更简单的组合核函数达到了相同的精度要求,代价更小.采用该方法预测浮选回收率的代价值降低了27.56.     

集成散度的MKL模型在模拟电路诊断中的应用

为提升模拟电路故障诊断精度,结合基于故障特征间一维模糊度的特征选择算法,提出一种新的多核超限学习机诊断模型。该模型通过设置虚拟的基核,将正则化参数融入基核权重求解过程中;同时,通过将特征空间类内散度集成到多核优化目标函数中,在最小化训练误差的同时,使得同一模式的故障样本更加集中,有效提升了故障模式间的辨识力。通过两个模拟电路诊断实例表明：相比于单核学习算法,所提方法可以显著提升诊断精度,并且可以将难以辨识的故障样本更加准确地隔离到相应模糊组中;相比于一般的多核学习算法,所提方法在取得相似诊断精度的同时,时间花费更少。     

核对齐多核模糊支持向量机

支持向量机（SVMs）是当前被广泛使用的机器学习技术,其通过最优分割超平面来提高分类器的泛化能力,在实际应用中表现优异。然而SVM也存在易受噪声影响,以及核函数选择等难题。针对以上问题,本文将基于核对齐的多核学习方法引入到模糊支持向量机（fuzzy support vector machine, FSVM）中,提出了模糊多核支持向量机模型（multiple kernel fuzzy support vector machine,MFSVM）。MFSVM通过模糊粗糙集方法计算每一样例隶属度;其次,利用核对齐的多核方法计算每一单核权重,并将组合核引入到模糊支持向量机中。该方法不仅提高了支持向量机的抗噪声能力,也有效避免了核选择难题。在UCI数据库上进行实验,结果表明本文所提方法具有较高的分类精度,验证了该方法的可行性与有效性。     

基于E2LSH-MKL的视觉语义概念检测

多核学习方法(Multiple kernel learning, MKL)在视觉语义概念检测中有广泛应用, 但传统多核学习大都采用线性平稳的核组合方式而无法准确刻画复杂的数据分布. 本文将精确欧氏空间位置敏感哈希(Exact Euclidean locality sensitive Hashing, E2LSH)算法用于聚类, 结合非线性多核组合方法的优势, 提出一种非线性非平稳的多核组合方法—E2LSH-MKL. 该方法利用Hadamard内积实现对不同核函数的非线性加权,充分利用了不同核函数之间交互得到的信息; 同时利用基于E2LSH哈希原理的聚类算法,先将原始图像数据集哈希聚类为若干图像子集, 再根据不同核函数对各图像子集的相对贡献大小赋予各自不同的核权重, 从而实现多核的非平稳加权以提高学习器性能; 最后,把E2LSH-MKL应用于视觉语义概念检测. 在Caltech-256和TRECVID 2005数据集上的实验结果表明,新方法性能优于现有的几种多核学习方法.     

模糊多核支持向量机研究进展

模糊多核支持向量机将模糊支持向量机与多核学习方法结合,通过构造隶属度函数和利用多个核函数的组合形式有效缓解了传统支持向量机模型对噪声数据敏感和多源异构数据学习困难等问题,广泛应用于模式识别和人工智能领域.综述了模糊多核支持向量机的理论基础及其研究现状,详细介绍模糊多核支持向量机中的关键问题,即模糊隶属度函数设计与多核学习方法,最后对模糊多核支持向量机算法未来的研究进行展望.     

基于AdaBoost的弹性网型正则化多核学习算法

在正则化多核学习中,稀疏的核函数权值会导致有用信息丢失和泛化性能退化,而通过非稀疏模型选取所有核函数则会产生较多的冗余信息并对噪声敏感。针对上述问题,基于AdaBoost框架提出一种弹性网型正则化多核学习算法。在迭代选取基本分类器时对核函数的权值进行弹性网型正则化约束,即混合L_1范数和L_p范数约束,构造基于多个基本核最优凸组合的基本分类器,并将其集成到最终的强分类器中。实验结果表明,该算法在保留集成算法优势的同时,能够实现核函数权值稀疏性和非稀疏性的平衡,与L_1-MKL和L_p-MKL算法相比,能够以较少的迭代次数获得分类精度较高的分类器。     

基于多核学习的协同滤波算法

协同滤波是当前推荐系统中一种主流的个性化推荐算法,通过近似用户对商品的评价进行推荐。核函数是解决非线性模式问题的一种方法。协同滤波通常会选用不同的核函数来分析用户之间的影响关系。由于单核函数无法适应于复杂多变场景。因此,结合多个核函数成为一种解决方法。多核学习能够针对场景来组合各个核函数以获取更好的结果。本文提出了一种基于多核学习的协同滤波算法。该算法在现有核函数的基础上,优化各个核函数的权重以匹配数据的分布。在大众点评数据集和Foursquare数据集上的实验结果表明：基于多核学习的协同滤波算法比经验给定的相似函数的性能要高,具有更好的普适性。     

通用稀疏多核学习

针对L1范数多核学习方法产生核权重的稀疏解时可能会导致有用信息的丢失和泛化性能退化,Lp范数多核学习方法产生核权重的非稀疏解时会产生很多冗余信息并对噪声敏感,提出了一种通用稀疏多核学习方法。该算法是基于L1范数和Lp范数(p>1) 混合的网状正则化多核学习方法,不仅能灵活的调整稀疏性,而且鼓励核权重的组效应,L1范数和Lp范数多核学习方法可以认为是该方法的特例。该方法引进的混合约束为非线性约束,故对此约束采用二阶泰勒展开式近似,并使用半无限规划来求解该优化问题。实验结果表明,改进后的方法在动态调整稀疏性的前提下能获得较好的分类性能,同时也支持组效应,从而验证了改进后的方法是有效可行的。     

基于多核学习支持向量机的音乐流派分类

针对不同特征向量下选择最优核函数的学习方法问题,将多核学习支持向量机(MK-SVM)应用于音乐流派自动分类中,提出了将最优核函数进行加权组合构成合成核函数进行流派分类的方法。多核分类学习能够针对不同的声学特征采用不同的最优核函数,并通过学习得到各个核函数在分类中的权重,从而明确各声学特征在流派分类中的权重,为音乐流派分类中特征向量的分析和选择提供了一个清晰、明确的结果。在ISMIR 2011竞赛数据集上验证了提出的基于多核学习支持向量机(MKL-SVM)的分类方法,并与传统的基于单核支持向量机的方法进行了比较分析。实验结果表明基于MKL-SVM的音乐流派自动分类准确率比传统单核支持向量机的分类准确率提高了6.58%,且该方法与传统的特征选择结果比较,更清楚地解释了所选择的特征向量对流派分类的影响大小,通过选择影响较大的特征组合进行分类,分类结果也有了明显的提升。     

多核模糊聚类

针对单核聚类的性能局限性问题,提出将高斯核、Sigmoid核以及多项式核等多种核组成一种新的多核函数,并利用于模糊核进行聚类。高斯核在聚类中有广泛应用,同时Sigmoid核在神经网络中被证明具有很好的全局分类性能。将不同的核函数组合起来的多核函数将结合各种核函数的优点,其聚类性能优于利用单核的模糊核聚类（KFCM）,实验结果表明了该方法的有效性。     

混合特性正则化约束的运动模糊盲复原

目的 为了提高运动模糊图像盲复原清晰度,提出一种混合特性正则化约束的运动模糊盲复原算法。方法 首先利用基于局部加权全变差的结构提取算法提取显著边缘,降低了噪声对边缘提取的影响。然后改进模糊核模型的平滑与保真正则项,在保证精确估计的同时,增强了模糊核的抗噪性能。最后改进梯度拟合策略,并加入保边正则项,使图像梯度更加符合重尾分布特性,且保证了边缘细节。结果 本文通过两组实验验证改进模型与所提算法的优越性。实验1以模拟运动模糊图像作为实验对象,通过对比分析5种组合步骤算法的复原效果,验证了本文改进模糊核模型与改进复原图像模型的鲁棒性较强。实验结果表明,本文改进模型复原图像的边缘细节更加清晰自然,评价指标明显提升。实验2以小型无人机真实运动模糊图像为实验对象,通过与传统算法进行对比,对比分析了所提算法的鲁棒性与实用性。实验结果表明,本文算法复原图像的标准差提升约11.4%,平均梯度提升约30.1%,信息熵提升约2.2%,且具有较好的主观视觉效果。结论 针对运动模糊图像盲复原,通过理论分析和实验验证,说明了本文改进模型的优越性,所提算法的复原效果较好。     

依存关系树在文本多语义约束检测中的运用

提出一种运用依存关系树比对来检测文本中多语义约束的方法.对每一类语义约束,搜集信号词以及相应的例句组成案例库,并定义部分依存关系树(PDT)核函数来计算两个对象之间的相似度.Apriori算法的运用,降低了计算该核函数的复杂度.在问答系统的问题分析中的应用结果表明,该方法比带有语义特征的字符串匹配方法精确度提高了18.05%,召回率提高了16.98%.另外,在三个TREC问题集上的实验结果表明,该方法在较大规模文本问题集上也可取得较稳定的结果.     

一种快速核密度估计背景建模方法

针对核密度估计背景建模方法运算量大难以实时应用的问题,提出了一种基于背景直方图分布的快速核密度估计背景建模方法。选用三角核函数进行核密度估计,根据三角核带宽函数的截断效应,引入背景分布的直方图完成快速背景建模,在保证目标检测准确性的同时提高运算速度。测试实验结果验证了算法能够满足监控系统的实时性要求。     

基于改进YOLO的双网络桥梁表观病害快速检测算法

桥梁表观病害检测是确保桥梁安全的关键步骤. 然而, 桥梁表观病害类型多样, 不同病害间外观差异显著且病害之间可能发生重叠, 现有算法无法实现快速且准确的桥梁多病害检测. 针对这一问题, 对YOLO (You only look once) 进行了改进, 提出了YOLO-lump和YOLO-crack以提高网络检测多病害的能力, 进而形成基于双网络的桥梁表观病害快速检测算法. 一方面, YOLO-lump在较大的滑动窗口图像上实现块状病害的检测. 在YOLO-lump中, 提出了混合空洞金字塔模块, 其结合了混合空洞卷积与空间金字塔池化, 用于提取稀疏表达的多尺度特征, 同时可以避免空洞卷积造成的局部信息丢失; 另一方面, YOLO-crack在较小的滑动窗口图像上实现裂缝病害的检测. 在YOLO-crack中, 提出了下采样注意力模块, 利用1×1卷积和3×3分组卷积分别解耦特征的通道相关性和空间相关性, 可以增强裂缝在下采样阶段的前景响应, 减少空间信息的损失. 实验结果表明, 该算法能够提高桥梁表观病害检测的精度, 同时可实现病害的实时检测.     

支持向量机的进化多核设计

为提高支持向量机分类精度,提出一种基于遗传程序设计的进化多核算法.算法中每个个体表示一个多核函数,并采用树形结构进行编码,增强了多核函数的非线性;初始种群由生长法产生,经过遗传操作后得到适合具体问题的进化多核函数.遗传程序设计的全局搜索性能使得算法设计不需要先验知识.与单核函数及其他多核函数的对比实验结果表明,进化多核...     

基于特征融合的多尺度窗口产品外观检测方法

为提高产品外观质量的检测精度和实时性,提出一种基于特征融合的多尺度滑动窗口机器视觉检测方法;在训练阶段,首先提取图像的HOG特征和Lab颜色特征,并采用典型相关分析法(CCA)进行特征融合;接下来,采用支持向量机(SVM)对融合的特征进行训练,生成分类器;在检测阶段,产品外观不同区域对精度的要求不同,为提高检测效率,生成不同尺度的滑动窗口,在每个窗口中都进行图像的特征提取与特征融合;最后,对采集的图像序列进行匹配,实现产品外观划痕的实时检测;实验中,选取不同的特征提取方法进行对比,并分别生成大小不同的滑动窗口,通过分析实验结果,结合检测时间与精度,确定各个区域的窗口尺度;实验表明,与传统的检测方法相比,所提方法在检测精度和实时性上具有显著提高。     

基于可控高斯核的色织物疵点检测方法

针对复杂色织物背景与疵点对比度不明显而导致疵点难以检测的问题,提出了一种基于局部可控高斯核的织物疵点检测方法。该方法将输入的RGB色织物图像转换到CIEL*a*b颜色空间,分别在L、A和B颜色通道下,提取各个通道下的图像梯度特征进行奇异值分解,以构造具有结构自适应的调制因子。利用获得的调制因子调制高斯核函数的形状和大小,提取每个像素局部邻域内的可控高斯核特征构成特征矩阵,以表征色织物图像的局部结构。利用矩阵余弦相似性度量核特征矩阵之间的相似性,建立织物疵点的映射图。实验结果表明,提出的疵点检测方法能有效表征色织物的奇异性结构,相比于其他方法,该方法对不同纹理类型的色织物疵点具有较好的检测性能。     

基于改进KPCA与混合核函数LSSVR的泥石流预测

针对引发泥石流灾害的多重影响因素而导致的预测维数灾难，以及最小二乘支持向量回归（least squares support vector regression， LSSVR）模型中选取单核函数而导致的模型训练性能部分缺陷的问题，提出了一种基于改进的核主成分分析（kernel principal component analysis， KPCA）与混合核函数LSSVR的泥石流灾害预测方法.首先，将影响泥石流发生的7种初始因子赋予权重，利用加权KPCA法筛选出3个主成分影响因子作为模型输入；然后，将局部核函数与全局核函数相结合，运用到LSSVR模型上，进行泥石流发生概率预测，以平衡样本学习能力与泛化能力，并使用果蝇优化算法（fruit fly optimization algorithm， FOA）更新模型的最优参数；最后，以磨子沟监测数据进行仿真验证.结果表明，该方法能够有效地降低维数灾难并提升预测模型精确度，在误差允许范围内预测出泥石流发生概率值及对应的预警等级，为相关决策部门提供一定的借鉴经验.