通用稀疏多核学习

针对L1范数多核学习方法产生核权重的稀疏解时可能会导致有用信息的丢失和泛化性能退化,Lp范数多核学习方法产生核权重的非稀疏解时会产生很多冗余信息并对噪声敏感,提出了一种通用稀疏多核学习方法。该算法是基于L1范数和Lp范数(p>1) 混合的网状正则化多核学习方法,不仅能灵活的调整稀疏性,而且鼓励核权重的组效应,L1范数和Lp范数多核学习方法可以认为是该方法的特例。该方法引进的混合约束为非线性约束,故对此约束采用二阶泰勒展开式近似,并使用半无限规划来求解该优化问题。实验结果表明,改进后的方法在动态调整稀疏性的前提下能获得较好的分类性能,同时也支持组效应,从而验证了改进后的方法是有效可行的。     

弹性多核学习

多核学习 (MKL) 的提出是为了解决多个核矩阵的融合问题, 多核学习求解关于多个核矩阵的最优的线性组合并同时解出对应于这个组合矩阵的支持向量机(SVM)问题. 现有的多核学习的框架倾向于寻找稀疏的组合系数, 但是当有信息的核的比例较高的时候, 对稀疏性的倾向会使得只有少量的核被选中而损失相当的分类信息. 在本文中, 我们提出了弹性多核学习的框架来实现自适应的多核学习. 弹性多核学习的框架利用了一个混合正则化函数来均衡稀疏性和非稀疏性, 多核学习和支持向量机问题都可以视作弹性多核学习的特殊情形. 基于针对多核学习的梯度下降法, 我们导出了针对弹性多核学习的梯度下降法. 仿真数据的结果显示了弹性多核学习方法相对多核学习和支持向量机的优势; 我们还进一步将弹性多核学习应用于基因集合分析问题并取得了有意义的结果; 最后, 我们比较研究了弹性多核学习与另一种利用了非稀疏思想的多核学习.     

Mixture of KL subspaces for relevance feedback

Relevance feedback has recently emerged as a solution to the problem of improving the retrieval performance of an image retrieval system based on low-level information such as color, texture and shape features. Most of the relevance feedback approaches limit the utilization of the user’s feedback to a single search session, performing a short-term learning. In this paper we present a novel approach for short and long term learning, based on the definition of an adaptive similarity metric and of a high level representation of the images. For short-term learning, the relevant and non-relevant information given by the user during the feedback process is employed to create a positive and a negative subspace of the feature space. For long-term learning, the feedback history of all the users is exploited to create and update a representation of the images which is adopted for improving retrieval performance and progressively reducing the semantic gap between low-level features and high-level semantic concepts. The experimental results prove that the proposed method outperforms many other state of art methods in the short-term learning, and demonstrate the efficacy of the representation adopted for the long-term learning.

基于多特征融合词包模型的SAR目标鉴别算法

针对复杂场景中的SAR目标鉴别问题,该文提出一种基于多特征融合词包(Bag-of-Words, BoW)模型的SAR目标鉴别算法。在BoW模型底层特征提取阶段,算法采用SAR-SIFT特征描述局部区域的形状信息;同时,采用该文基于传统鉴别特征提出的一组新的SAR图像局部特征描述局部区域的对比度信息和纹理信息。对于BoW模型中多个底层特征的融合,算法采用图像层的特征融合方式生成图像的全局鉴别特征,其中各单底层特征BoW模型特征的权系数通过L2范数约束的多核学习方法训练得到。在MiniSAR实测SAR图像数据上的目标鉴别实验表明,与基于传统鉴别特征以及单底层特征BoW模型特征的鉴别算法相比较,该文基于多特征融合BoW模型SAR目标鉴别算法具有更好的鉴别性能。     

基于多核学习的下肢肌电信号动作识别

为了提高下肢肌电控制系统中多运动模式识别的准确性,提出一种基于多核学习(MKL)和小波变换尺度间相关性特征提取的多类识别方法.根据多核学习理论,采用二叉树组合策略构造基于多核学习的多类分类器.对下肢4路表面肌电信号进行离散平稳小波变换,用小波系数尺度间的相关性提取特征向量输入构造的多类分类器,对水平行走时划分的支撑前期、支撑中期、支撑末期、摆动前期、摆动末期这5个细分运动状态进行分类.实验结果表明,所提的多模式识别方法能够以较高识别率区分多个细分运动状态,得到比标准的单核支持向量机(SVM)分类器更好的准确性.     

Multiple kernel-based multi-instance learning algorithm for image classification

In this paper, a novel multi-instance learning (MIL) algorithm based on multiple-kernels (MK) framework has been proposed for image classification. This newly developed algorithm defines each image as a bag, and the low-level visual features extracted from its segmented regions as instances. This algorithm is started from constructing a “word-space” from instances based on a collection of “visual-words” generated by affinity propagation (AP) clustering method. After calculating the distance between a “visual-word” and the bag (image), a nonlinear mapping mechanism is introduced for registering each bag as a coordinate point in the “word-space”. In this case, the MIL problem is transformed into a standard supervised learning problem, which allows multiple-kernels support vector machine (MKSVM) classifiers to be trained for the image categorization. Compared with many popular MIL algorithms, the proposed method, named as MKSVM-MIL, shows its satisfactorily experimental results on the COREL dataset, which highlights the robustness and effectiveness for image classification applications.     

组合核相关向量机在电力变压器故障诊断中的应用研究

仅依据反映变压器运行状态的单一特征信息很难对变压器的状态做出正确的诊断,而组合核相关向量机可实现多特征空间的融合。鉴于此,提出了基于组合核相关向量机的变压器故障诊断新方法。该诊断方法可融合蕴含变压器运行状态的多种特征信息,输出变压器为各种状态的概率,为变压器的检修提供更多的可用信息。此外,为进一步提高组合核相关向量机的性能,提出了基于 K 折交叉验证和遗传算法的核函数参数优化方法,对组合核相关向量机进行了优化。实例分析表明,与BP神经网络、支持向量机诊断方法相比,该文所提方法具有较好的故障诊断效果。     

基于深度卷积神经网络和多核学习的遥感图像分类方法

为解决传统遥感图像分类方法特征提取过程复杂、特征表现力不强等问题,该文提出一种基于深度卷积神经网络和多核学习的高分辨率遥感图像分类方法。首先基于深度卷积神经网络对遥感图像数据集进行训练,学习得到两个全连接层的输出将作为遥感图像的两种高层特征;然后采用多核学习理论训练适合这两种高层特征的核函数,并将它们映射到高维空间,实现两种高层特征在高维空间的自适应融合;最后在多核融合特征的基础上,设计一种基于多核学习-支持向量机的遥感图像分类器,对遥感图像进行精确分类。实验结果表明,与目前已有的基于深度学习的遥感图像分类方法相比,该算法在分类准确率、误分类率和Kappa系数等性能指标上均有所提升,在实验测试集上3个指标分别达到了96.43%, 3.57%和96.25%,取得了令人满意的结果。

     

面向深度学习的多模态融合技术研究综述

面向深度学习的多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能,而模态的普遍性和深度学习的热度促进了多模态融合技术的发展。在多模态融合技术发展前期,以提升深度学习模型分类与回归性能为出发点,阐述多模态融合架构、融合方法和对齐技术。重点分析联合、协同、编解码器3种融合架构在深度学习中的应用情况与优缺点,以及多核学习、图像模型和神经网络等具体融合方法与对齐技术,在此基础上归纳多模态融合研究的常用公开数据集,并对跨模态转移学习、模态语义冲突消解、多模态组合评价等下一步的研究方向进行展望。     

多核与众核上MNF并行算法与性能优化

高光谱遥感影像降维最大噪声分数变换(maximum noise fraction rotation,简称MNF rotation)方法运算量大,耗时长.基于多核CPU与众核MIC(many integrated cores)平台,研究MNF算法的并行方案和性能优化.通过热点分析,针对滤波、协方差矩阵运算和MNF变换等热点,提出相应并行方案和多种优化策略,量化分析优化效果,设计MKL(math kernel library)库函数实现方案并测评其性能;设计并实现基于多核CPU的C-MNF和基于CPU/MIC的M-MNF并行算法.实验结果显示,C-MNF算法在多核CPU取得的加速比为58.9~106.4,而基于CPU/MIC异构系统的M-MNF算法性能最好,加速比最高可达137倍.