基于多尺度高斯核的分布式正则化回归学习算法

针对工业、信息等领域出现的基于较大规模、非平稳变化复杂数据的回归问题,已有算法在计算成本及拟合效果方面无法同时满足要求.因此,文中提出基于多尺度高斯核的分布式正则化回归学习算法.算法中的假设空间为多个具有不同尺度的高斯核生成的再生核Hilbert空间的和空间.考虑到整个数据集划分的不同互斥子集波动程度不同,建立不同组合系数核函数逼近模型.利用最小二乘正则化方法同时独立求解各逼近模型.最后,通过对所得的各个局部估计子加权合成得到整体逼近模型.在2个模拟数据集和4个真实数据集上的实验表明,文中算法既能保证较优的拟合性能,又能降低运行时间.     

多核学习方法

多核学习方法是当前核机器学习领域的一个新的热点. 核方法是解决非线性模式分析问题的一种有效方法, 但在一些复杂情形下, 由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求, 因此将多个核函数进行组合, 以获得更好的结果是一种必然选择. 本文根据多核的构成, 从合成核、多尺度核、无限核三个角度, 系统综述了多核方法的构造理论, 分析了多核学习典型方法的特点及不足, 总结了各自的应用领域, 并凝炼了其进一步的研究方向.     

基于耦合度量的多尺度聚类挖掘方法

为了能够更好地对非独立同分布的多尺度分类型数据集进行研究,基于无监督耦合度量相似性方法,提出针对非独立同分布的分类属性型数据集的多尺度聚类挖掘算法。首先,对基准尺度数据集进行基于耦合度量的基准尺度聚类;其次,提出基于单链的尺度上推和基于Lanczos核的尺度下推尺度转换算法;最后,利用公用数据集以及H省真实数据集进行实验验证。将耦合度量相似性（Couple metric similarity, CMS）、逆发生频率（Inverse occurrence frequency, IOF）、汉明距离（Hamming distance, HM）等方法与谱聚类结合作为对比算法,结果表明,尺度上推算法与对比算法相比,NMI值平均提高13.1%,MSE值平均减小0.827,F-score值平均提高12.8%;尺度下推算法NMI值平均提高19.2%,MSE值平均减小0.028,F-score值平均提高15.5%。实验结果表明,所提出的算法具有有效性和可行性。     

基于多特征融合和尺度自适应的核相关滤波算法

为了提高在复杂背景下进行跟踪的精度,在KCF(Kernel Correlation Filter)算法的基础上提出了一种改进方案。首先,提取HOG(Histogram of Gradient)、CN(Color-Naming)和LBP(Local Binary Pattern)三种特征进行融合,获得充分的目标特征信息;其次,引入尺度滤波机制用于估计目标最佳尺度大小,得出最合适的跟踪框;最后,提出了一个峰值更新策略,确保模型更新不受错误信息干扰。实验表明,改进后的算法比KCF算法在精确度和成功率上分别提升了6.5%和4.8%,并且在处理尺度变化、变形、旋转等方面也有很好的鲁棒性。     

基于多图核的迁移学习方法

医学数据标注成本高昂,不同研究中心提供的脑影像数据间存在分布差异,无法有效整合,影响预测模型性能.针对此问题,文中提出基于多图核的迁移学习方法,将不同的图核用于挖掘脑网络结构信息并衡量脑网络间的相似性.提出多核学习框架,提高迁移模型的性能.在自闭症谱系障碍(ASD)多中心数据集上验证文中方法可有效利用脑网络数据的结构信息.多核学习框架也可综合不同图核的优点,进一步提高方法在脑网络数据上的分类性能.     

结合学习速率调整的尺度自适应核相关滤波跟踪算法

提出一种结合学习速率调整的尺度自适应核相关滤波目标跟踪算法。通过使用核相关滤波器获得目标的初步位置,使用低复杂度的尺度估计来提高算法对目标发生尺度变化的适应能力,同时也保证了跟踪速度;采用相邻两帧图像之间的平均差分析图像变化,并按平均差的大小来分段调整目标模型的学习速率,解决了目标发生严重遮挡时的跟踪失败问题。通过和5种经典的目标跟踪算法进行实验对比,结果表明:所提算法能够很好地适应目标发生尺度变化、严重遮挡、背景干扰等复杂环境,同时具有231帧/s的实时跟踪速度。     

核相关滤波跟踪算法的尺度自适应改进

针对基于检测的核相关滤波跟踪（CSK）算法难以适应目标尺度变化的问题,提出多尺度核相关滤波分类器以实现尺度自适应目标跟踪。首先,采用多尺度图像构建样本集,训练多尺度核相关滤波分类器,通过分类器对目标的尺度估计实现目标的最佳尺度检测;然后,在最佳尺度下采集样本在线学习更新分类器,实现尺度自适应的目标跟踪。对比实验与分析表明,本文算法在目标跟踪过程中能够正确适应目标的尺度变化,相比CSK算法,偏心距误差减少至其1/5~1/3,能满足复杂场景长时间跟踪的需求。     

时间序列多尺度异常检测方法

针对时间序列异常模式检测大多采用线性模式分割方式的局限性,研究了在Haar小波变换多尺度特征的基础上,结合时间序列模式分割技术,提出一种时间序列多尺度异常检测方法。该方法首先通过小波变换压缩时间序列,把时间序列分解在不同的尺度上;再利用二次回归模型将分解后的时间序列分割成可变长度的模式序列,计算模式异常值;最后重构原时间序列,检测原时间序列中的异常模式。实验结果表明,该方法可以有效地检测异常,而且可以从不同分解级数的压缩时间序列中检测多尺度异常模式。     

基于核策略的半监督学习方法

通过扩展核一致性方法,提出基于核策略的半监督学习算法GCM,研究5种不同度量方法中参数与算法性能的关系,对使用不同度量的GCM算法的性能进行比较。实验结果表明,使用指数度量的GCM算法的性能最优,而使用欧几里得度量的GCM算法的性能最差。不同度量中的参数取值对算法的性能具有一定的影响。     

基于局部尺度转换的拉普拉斯核方法

采用数据点的结构信息可以提高半监督学习的性能。为此,提出一种基于图的半监督学习方法。利用局部尺度转换对不同密度区域中的边权重设置不同的尺度参数,在此基础上构造图的拉普拉斯核分类器进行分类学习。在多个数据集上的实验显示该方法优于其他基于核的半监督分类方法。     

基于核稀疏分类与多尺度分块旋转扩展的鲁棒图像识别

针对在图像旋转或局部扭曲变形等复杂情况下的图像识别问题,提出一种基于核稀疏分类与多尺度分块旋转扩展的鲁棒图像识别算法。该算法首先对图像进行多尺度分块与旋转扩展,使得字典能近似测试图像局部的旋转扭曲与各种排列组合。为了增加字典类间稀疏度,改善系统效率,提出一种字典降维策略。通过核随机坐标下降方法高效求解核稀疏分类的凸优化问题,进而通过对比不同类对测试图像的重构误差完成图像识别。实验表明,与经典方法相比,文中方法具有更好的识别效果,对图像旋转或局部扭曲变形等复杂情况具有较好的鲁棒性。     

Multiple Empirical Kernel Learning with dynamic pairwise constraints

Unlike the traditional Multiple Kernel Learning (MKL) with the implicit kernels, Multiple Empirical Kernel Learning (MEKL) explicitly maps the original data space into multiple feature spaces via different empirical kernels. MEKL has been demonstrated to bring good classification performance and to be much easier in processing and analyzing the adaptability of kernels for the input space. In this paper, we incorporate the dynamic pairwise constraints into MEKL to propose a novel Multiple Empirical Kernel Learning with dynamic Pairwise Constraints method (MEKLPC). It is known that the pairwise constraint provides the relationship between two samples, which tells whether these samples belong to the same class or not. In the present work, we boost the original pairwise constraints and design the dynamic pairwise constraints which can pay more attention onto the boundary samples and thus to make the decision hyperplane more reasonable and accurate. Thus, the proposed MEKLPC not only inherits the advantages of the MEKL, but also owns multiple folds of prior information. Firstly, MEKLPC gets the side-information and boosts the classification performance significantly in each feature space. Here, the side-information is the dynamic pairwise constraints which are constructed by the samples near the decision boundary, i.e. the boundary samples. Secondly, in each mapped feature space, MEKLPC still measures the empirical risk and generalization risk. Lastly, different feature spaces mapped by multiple empirical kernels can agree to their outputs for the same input sample as much as possible. To the best of our knowledge, it is the first time to introduce the dynamic pairwise constraints into the MEKL framework in the present work. The experiments on a number of real-world data sets demonstrate the feasibility and effectiveness of MEKLPC.     

求解大规模问题的多核学习正则化路径算法

多核学习在处理异构、不规则和分布不平坦的样本数据时表现出良好的灵活性和可解释性.针对精确正则化路径算法难以处理大规模样本数据的问题,文中提出正则化路径近似算法.根据采样分布函数进行抽样,在原始核矩阵的基础上生成近似矩阵,同时在拉格朗日乘子向量中抽取对应行,实现矩阵乘积的近似计算,提高多核学习正则化路径的求解效率.最后分析多核学习正则化路径近似算法的近似误差界和计算复杂性.在标准数据集上的实验验证文中算法的合理性和计算效率.     

核耦合度量学习方法及其在步态识别中的应用

针对已有基于线性变换的耦合度量学习方法在解决实际问题时会遇到维数灾难和无法很好描述非线性模型等问题,通过引入核方法,提出核耦合度量学习方法。首先采用非线性变换将来自不同集合的数据投影到同一个高维耦合空间,使两个集合中具有相关关系的元素投影后尽可能接近。然后在这个公共的耦合空间使用传统的核方法进行运算。最后将其应用到步态识别中,以解决步态识别中不同集合间的匹配问题。采用CASIA(B)步态数据库进行实验分析,结果表明文中方法取得较满意的识别效果。     

Multiple Empirical Kernel Learning with Majority Projection for imbalanced problems

Traditional Multiple Empirical Kernel Learning (MEKL) expands the expressions of the sample and brings better classification ability by using different empirical kernels to map the original data space into multiple kernel spaces. To make MEKL suit for the imbalanced problems, this paper introduces a weight matrix and a regularization term into MEKL. The weight matrix assigns high misclassification cost to the minority samples to balanced misclassification cost between minority and majority class. The regularization term named Majority Projection (MP) is used to make the classification hyperplane fit the distribution shape of majority samples and enlarge the between-class distance of minority and majority class. The contributions of this work are: (i) assigning high cost to minority samples to deal with imbalanced problems, (ii) introducing a new regularization term to concern the property of data distribution, (iii) and modifying the original PAC-Bayes bound to test the error upper bound of MEKL-MP. Through analyzing the experimental results, the proposed MEKL-MP is well suited to the imbalanced problems and has lower generalization risk in accordance with the value of PAC-Bayes bound.     

基于字典学习的核稀疏表示人脸识别方法

受Metafaces方法的启发,提出一种基于字典学习方法的核稀疏表示方法并成功应用于人脸识别。首先,采用核技术将稀疏表示方法推广到高维空间得到核稀疏表示方法。其次,借鉴Metaface字典学习方法,进行字典学习得到一组核基向量构成核稀疏表示字典。最后,利用学习得到的核字典基重构样本,并根据样本与重构样本之间的残差最小原则对人脸图像进行分类。在AR、ORL和Yale人脸数据库上的实验表明该方法的良好识别性能。     

一种新颖的核学习算法用于小波特征的人脸识别

文中将一种新颖的核学习算法一核最近邻凸包分类算法用于人脸的小波特征识别。该算法的设计受到支持向量机几何解释启发,利用核函数方法将数据映射到高维核空间,并在核空间构造以训练集凸包为扩展类集的最近邻分类器。文中采用的人脸图像的小波低频特征对人脸识别十分有效。人脸的小波低频特征不但保留了人脸的主要信息,而且具有较少的维度。在ORL人脸图像库上的“leave-one-out”测试方法的实验中,这种基于小波低频特征的核最近邻凸包分类算法取得了99．25％的识别率。     

特征有效提取的自适应核特征子空间方法

基于核的主成分分析(KPCA)方法能提取数据的非线性特征,但特征提取的效率却与训练样本集合的容量成反比.文中提出一种特征提取的自适应核特征子空间方法来快速有效地提取特征.该方法和KPCA方法在理论分析框架上是一致的,但通过自适应的选取核子空间的张成向量,能在提高特征提取效率的同时不影响特征提取的精度.针对模拟数据和MNIST数据的实验结果表明文中方法优于经典KPCA方法和参考方法.