基于AdaBoost的弹性网型正则化多核学习算法

在正则化多核学习中,稀疏的核函数权值会导致有用信息丢失和泛化性能退化,而通过非稀疏模型选取所有核函数则会产生较多的冗余信息并对噪声敏感。针对上述问题,基于AdaBoost框架提出一种弹性网型正则化多核学习算法。在迭代选取基本分类器时对核函数的权值进行弹性网型正则化约束,即混合L_1范数和L_p范数约束,构造基于多个基本核最优凸组合的基本分类器,并将其集成到最终的强分类器中。实验结果表明,该算法在保留集成算法优势的同时,能够实现核函数权值稀疏性和非稀疏性的平衡,与L_1-MKL和L_p-MKL算法相比,能够以较少的迭代次数获得分类精度较高的分类器。     

通用稀疏多核学习

针对L1范数多核学习方法产生核权重的稀疏解时可能会导致有用信息的丢失和泛化性能退化,Lp范数多核学习方法产生核权重的非稀疏解时会产生很多冗余信息并对噪声敏感,提出了一种通用稀疏多核学习方法。该算法是基于L1范数和Lp范数(p>1) 混合的网状正则化多核学习方法,不仅能灵活的调整稀疏性,而且鼓励核权重的组效应,L1范数和Lp范数多核学习方法可以认为是该方法的特例。该方法引进的混合约束为非线性约束,故对此约束采用二阶泰勒展开式近似,并使用半无限规划来求解该优化问题。实验结果表明,改进后的方法在动态调整稀疏性的前提下能获得较好的分类性能,同时也支持组效应,从而验证了改进后的方法是有效可行的。     

基于多核学习的投影非负矩阵分解算法

非负矩阵分解(NMF)把给定的数据矩阵分解成低维的非负基矩阵和对应的系数矩阵,两者之间存在必然联系。为此,研究者将基矩阵转换为系数矩阵的投影,进一步提高分解效率。但是该方法无法处理非线性数据,核函数的引入部分解决了此问题,却同时导致核函数参数选择的问题。基于多核学习理论,提出了一种多核学习的投影非负矩阵分解(MKPNMF)算法,该算法有效地避免了核函数参数选择的问题,同时提高了学习性能。在实际人脸数据上的实验结果表明,MKPNMF较已有的NMF类方法具备明显的性能优势。     

基于多核学习的表情识别方法

传统的表情识别方法大多采用一种特征提取方法如Gabor特征、LBP特征等进行表情识别,其中每种特征提取方法对人脸表情特征的描述各有优缺点,单纯利用一种表情特征进行表情识别,识别率往往不高.提出一种基于多核学习的多种特征有效结合的表情识别方法,以兼顾不同特征对表情识别的作用.利用日本表情数据库JAFFE进行方法的仿真实验,结果表明:基于多核学习的表情识别方法识别率高于传统的基于单核方法.     

基于多核学习卷积神经网络的稀疏数据推荐

针对当前稀疏数据推荐准确率低的问题,提出一种基于多核学习卷积神经网络的稀疏数据推荐算法.将项目的辅助信息送入卷积神经网络学习特征,将向量在可再生核希尔伯特空间组合,利用多核学习技术增强卷积神经网络的特征学习能力;基于学习的卷积特征集初始化非负矩阵模型,通过非负矩阵模型实现对缺失评分的预测.实验结果表明,该算法有效提高了稀疏数据集的推荐性能,验证了多核学习卷积神经网络的有效性.     

基于多核学习的自适应DDoS攻击检测方法

分布式拒绝服务DDoS攻击是互联网安全的主要威胁之一。当前大多数检测方法采用单一特征,在大数据环境下不能有效地检测DDoS早期攻击。提出了一种基于多核学习的特征自适应DDoS攻击检测方法FADADM,根据DDoS攻击流量的突发性、地址的分布性以及通信双方的交互性定义了5个特征。基于集成学习框架,分别提出采用增大同类方差与异类均值差的比值IS/M和减少同类方差与异类均值差的比值RS/M的方式自适应地调整各特征值的权重,基于简单多核学习SimpleMKL模型训练出IS/M-SimpleMKL和RS/M-SimpleMKL 2种具有不同特性的多核学习模型,以识别DDoS早期攻击。实验结果表明,本文方法能够快速、准确地检测DDoS早期攻击。     

基于稀疏连接的层次化多核K-Means算法

多核学习(Multiple Kernel Learning, MKL)的目标是寻找一个最优的一致性核函数。在层次化多核聚类算法(HMKC)中,通过从高维空间中对样本特征进行逐层提取的方式来实现最大化地保留有效信息,但是却忽略了层与层之间的信息交互。该模型中只有相邻层中对应的结点会进行信息交互,对于其他结点来说是孤立的,而采用全连接的方式又会削弱最终一致性矩阵的多样性。因此,文中提出了一种基于稀疏连接的层次化多核K-Means算法(Sparse Connectivity Hierarchical Multiple Kernel K-Means, SCHMKKM)。该算法通过稀疏率来控制分配矩阵以达到稀疏连接的效果,从而将层与层之间信息蒸馏得到的特征进行局部融合。最后,在多个数据集上进行聚类分析,并在实验中与全连接的层次化多核K-Means算法(FCHMKKM)进行实验对比,证明了具有更多差异性的信息融合有利于学习更好的一致性划分矩阵,并且稀疏连接的融合策略优于全连接的策略。     

多核学习方法

多核学习方法是当前核机器学习领域的一个新的热点. 核方法是解决非线性模式分析问题的一种有效方法, 但在一些复杂情形下, 由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求, 因此将多个核函数进行组合, 以获得更好的结果是一种必然选择. 本文根据多核的构成, 从合成核、多尺度核、无限核三个角度, 系统综述了多核方法的构造理论, 分析了多核学习典型方法的特点及不足, 总结了各自的应用领域, 并凝炼了其进一步的研究方向.     

结合Boosting方法与SVM的多核学习跟踪算法

针对传统算法在外界环境及目标运动导致外形变化的影响下跟踪效果不稳定的问题,提出一种鲁棒的多核学习跟踪算法,将Boosting提升方法引入到多核学习框架中,用比传统多核学习算法更少的样本训练,构建出基于互补性特征集和核函数集的弱分类器池,从中将多个单核的弱分类器组合出一个多核的强分类器,从而在出现较强背景干扰、目标被遮挡的情况下仍能正确地对候选图块中的背景和目标进行分类。对不同视频序列的测试结果表明,与同样采用Boosting方法的OAB算法及近年跟踪精度高的LOT算法相比,该算法能够在复杂环境下更准确地跟踪到目标。     

结合组稀疏效应和多核学习的图像标注

图像中存在的纹理、颜色和形状等异构视觉特征,在表示特定高层语义时所起作用的重要程度不同,为了在图像标注过程中更加有效地利用这些异构特征,提出了一种基于组稀疏(group sparsity)的多核学习方法(multiple kernel learning with group sparsity,简称MKLGS),为不同图像语义选择不同的组群特征.MKLGS先将包含多种异构特征的非线性图像数据映射到一个希尔伯特空间,然后利用希尔伯特空间中的核函数以及组LASSO(groupLASSO)对每个图像类别选择最具区别性特征的集合,最终训练得到分类模型对图像进行标注.通过与目前其他图像标注算法进行对比,实验结果表明,基于组稀疏的多核学习方法在图像标注中能取得很好的效果.     

基于随机特征映射的四层多核学习方法

针对单核网络模型的核函数选择无理论依据以及基于随机特征映射的四层神经网络(FRMFNN)节点规模过大的问题,提出了一种基于随机特征映射的四层多核学习神经网络(MK-FRMFNN)算法.首先,把原始输入特征通过特定的随机映射算法转化为随机映射特征;然后,经过不同的随机核映射生成多个基本核矩阵;最后,将基本核矩阵组成合成核...     

A kernel learning framework for domain adaptation learning

Domain adaptation learning(DAL) methods have shown promising results by utilizing labeled samples from the source(or auxiliary) domain(s) to learn a robust classifier for the target domain which has a few or even no labeled samples.However,there exist several key issues which need to be addressed in the state-of-theart DAL methods such as sufficient and effective distribution discrepancy metric learning,effective kernel space learning,and multiple source domains transfer learning,etc.Aiming at the mentioned-above issues,in this paper,we propose a unified kernel learning framework for domain adaptation learning and its effective extension based on multiple kernel learning(MKL) schema,regularized by the proposed new minimum distribution distance metric criterion which minimizes both the distribution mean discrepancy and the distribution scatter discrepancy between source and target domains,into which many existing kernel methods(like support vector machine(SVM),v-SVM,and least-square SVM) can be readily incorporated.Our framework,referred to as kernel learning for domain adaptation learning(KLDAL),simultaneously learns an optimal kernel space and a robust classifier by minimizing both the structural risk functional and the distribution discrepancy between different domains.Moreover,we extend the framework KLDAL to multiple kernel learning framework referred to as MKLDAL.Under the KLDAL or MKLDAL framework,we also propose three effective formulations called KLDAL-SVM or MKLDAL-SVM with respect to SVM and its variant μ-KLDALSVM or μ-MKLDALSVM with respect to v-SVM,and KLDAL-LSSVM or MKLDAL-LSSVM with respect to the least-square SVM,respectively.Comprehensive experiments on real-world data sets verify the outperformed or comparable effectiveness of the proposed frameworks.     

集成优化核极限学习机的冠心病无创性诊断

冠心病的早期无创性诊断一直是医疗诊断领域的研究热点,为了提高冠心病诊断的准确率和诊断效率,提出了一种新颖的局部Fisher判别分析(LFDA)特征提取方法和集成核极限学习机(KELM)相结合的冠心病诊断模型(LFDA-EKELM)。首先使用LFDA方法剔除不相关特征和冗余特征,找出对分类结果贡献度较高的特征子集,产生不同的训练集以训练粒子群优化的KELM分类器PSO-KELM,并基于旋转森林(RF)构建集成分类器,实现冠心病的智能诊断。实验结果表明,与基于ELM、SVM和BPNN方法相比,提出方法有效提高了冠心病诊断准确率,提升了诊断效率,且分类结果高于已有方法和相似方法,是一种有效冠心病诊断模型。     

基于类内方差和位置敏感哈希的多经验核学习

多随机经验核学习机（multiple random empirical kernel learning machine,MREKLM）选取少量样本来构造经验特征空间,但在投影时没有考虑数据的分布信息,并且样本选择时间长。为了利用样本的分布信息,引入了类内散度矩阵,提出了基于类内方差的多经验核学习（ICVMEKL）,使得样本在投影时能考虑样本类内信息,强化了分类边界,提高了分类精度。进一步,为了降低样本选择时间,利用了基于位置敏感哈希的边界点提取方法（BPLSH）来选择样本,提出了基于位置敏感哈希算法改进的ICVMEKL（ICVMEKL_I）,使构建经验核的样本不再需要从候选集中获取,降低了训练时间。多个数据集上的实验结果表明,ICVMEKL能有效提高精度,ICVMEKL_I能大幅降低训练时间,两者都表现出了良好的泛化性能。     

基于多核学习的多特征融合图像分类研究

图像分类任务是计算机视觉中的一个重要研究方向。组合多种特征在一定程度上能够使得图像分类准确度得到提高。然而,如何组合多种图像特征是一个悬而未决的难题。提出了一种基于多类多核学习的多特征融合算法,并应用到图像分类任务。算法在有效地利用多核学习自动选取对当前任务有价值特征的优势的同时,避免了在多核学习中将多类问题分解为多个二分问题。在图像特征表示方面,使用字典自学习方法。实验结果表明,提出的算法能够有效地提高图像分类的准确度。     

多核学习中基于复合梯度映射的学习算法研究

现有的多核学习算法大多假设训练样本分类完全正确,将其应用到受扰分类样本上时,由于分类存在差错,因此往往只能实现次优性能.为了解决这一问题,首先将受扰分类多核学习问题建模为随机规划问题,并得到一种极小极大表达式;然后提出基于复合梯度映射的一阶学习算法对问题进行求解.理论分析表明,该算法的收敛速度为O(1/T),大大快于传统算法的收敛速度O(1/√T).最后,基于五个UCI数据集的实验结果也验证了本文观点和优化算法的有效性.     

基于非下采样轮廓波变换和多核学习的盲图像质量评价

非下采样轮廓波(Contourlet)变换具有多尺度、多方向特性,能够对图像纹理和结构信息进行精确提取,可以很好地模拟人类视觉系统的多分辨率特性,基于此提出一种基于非下采样Contourlet变换的通用型盲(无参考)图像质量评价算法。首先在空间域上对图像进行非下采样Contourlet变换;然后在各方向带中分别提取能有效反映人类视觉失真程度的特征:高频幅值、平均梯度、信息熵作为图像的特征;最后将其输入到高效的分层多核学习机中学习,预测图像的质量得分。在混合失真型数据库和3个单失真型数据库上的交叉实验结果表明,该算法性能优越,能很好地预测失真图像质量,具有很好的主客观一致性。     

基于多核学习支持向量机的音乐流派分类

针对不同特征向量下选择最优核函数的学习方法问题,将多核学习支持向量机(MK-SVM)应用于音乐流派自动分类中,提出了将最优核函数进行加权组合构成合成核函数进行流派分类的方法。多核分类学习能够针对不同的声学特征采用不同的最优核函数,并通过学习得到各个核函数在分类中的权重,从而明确各声学特征在流派分类中的权重,为音乐流派分类中特征向量的分析和选择提供了一个清晰、明确的结果。在ISMIR 2011竞赛数据集上验证了提出的基于多核学习支持向量机(MKL-SVM)的分类方法,并与传统的基于单核支持向量机的方法进行了比较分析。实验结果表明基于MKL-SVM的音乐流派自动分类准确率比传统单核支持向量机的分类准确率提高了6.58%,且该方法与传统的特征选择结果比较,更清楚地解释了所选择的特征向量对流派分类的影响大小,通过选择影响较大的特征组合进行分类,分类结果也有了明显的提升。