稀疏标签传播:一种鲁棒的领域适应学习方法

稀疏表示因其所具有的鲁棒性,在模式分类领域逐渐得到关注.研究了一种基于稀疏保留模型的新颖领域适应学习方法,并提出一种鲁棒的稀疏标签传播领域适应学习(sparse label propagation domain adaptation learning,简称SLPDAL)算法.SLPDAL通过将目标领域数据进行稀疏重构,以实现源领域数据标签向目标领域平滑传播.具体来讲,SLPDAL算法分为3步:首先,基于领域间数据分布均值差最小化准则寻求一个优化的核空间,并将领域数据嵌入到该核空间;然后,在该嵌入核空间,基于l₁-范最小化准则计算各领域数据的核稀疏重构系数;最后,通过保留领域数据间核稀疏重构系数约束,实现源领域数据标签向目标领域的传播.最后,将SLPDAL算法推广到多核学习框架,提出一个SLPDAL多核学习模型.在鲁棒人脸识别、视频概念检测和文本分类等领域适应学习任务上进行比较实验,所提出的方法取得了优于或可比较的学习性能.     

多核局部领域适应学习

领域适应(或跨领域)学习旨在利用源领域(或辅助领域)中带标签样本来学习一种鲁棒的目标分类器,其关键问题在于如何最大化地减小领域间的分布差异.为了有效解决领域间特征分布的变化问题,提出一种三段式多核局部领域适应学习(multiple kernel local leaning-based domain adaptation,简称MKLDA)方法:1)基于最大均值差(maximum mean discrepancy,简称MMD)度量准则和结构风险最小化模型,同时,学习一个再生多核Hilbert空间和一个初始的支持向量机(support vector machine,简称SVM),对目标领域数据进行初始划分;2)在习得的多核Hilbert空间,对目标领域数据的类别信息进行局部重构学习;3)最后,利用学习获得的类别信息,在目标领域训练学习一个鲁棒的目标分类器.实验结果显示,所提方法具有优化或可比较的领域适应学习性能.     

核分布一致局部领域适应学习

针对领域适应学习(Domain adaptation learning, DAL)问题,提出一种核分布一致局部领域适应学习机(Kernel distribution consistency based local domain adaptation classifier, KDC-LDAC),在某个通用再生核Hilbert空间(Universally reproduced kernel Hilbert space, URKHS),基于结构风险最小化模型, KDC-LDAC首先学习一个核分布一致正则化支持向量机(Support vector machine, SVM),对目标数据进行初始划分; 然后,基于核局部学习思想,对目标数据类别信息进行局部回归重构; 最后,利用学习获得的类别信息,在目标领域训练学习一个适于目标判别的分类器.人 造和实际数据集实验结果显示,所提方法具有优化或可比较的领域适应学习性能.     

适于渐变概念漂移数据的自适应分类算法

数据的概念漂移特性是广泛存在的。针对渐变概念漂移的分类问题,提出一种自适应近邻投影均值差支持向量机算法。该算法基于结构风险最小化模型,以再生核Hilbert空间中近邻投影均值差为相邻分类器间差异的度量,在全局优化中融入数据自身的分布特征,提高算法的适应性。在模拟数据和真实数据集上的实验结果表明该算法是有效的。     

领域适应学习算法研究与展望

领域适应学习旨在利用源领域中带标签的样本来解决目标领域的学习问题,其关键在于如何最大化地减小领域间的分布差异,有效解决领域间数据分布的变化。对当前领域适应学习算法进行了归纳和分类,总结了每类算法的特点,分析了5个相关典型算法并比较了其性能。最后指出了领域适应学习值得进一步探索的方向。     

基于KPCA和FMSD的人脸识别

针对核最大散度差(KMSD)方法在人脸识别中存在边缘类和次优性问题,提出一种基于核主成分分析(KPCA)与模糊最大散度差(FMSD)的人脸识别方法(KFMSD)。利用KPCA方法提取人脸的非线性结构特征,选取投影后类间散度大于类内散度的特征向量作为最优投影轴,采用FMSD方法,根据隶属度函数将样本的原始分布信息完全融入人脸的特征提取中,采用最近邻分类器进行分类识别。在ORL和YALE人脸库上的实验证明了KFMSD方法的有效性。     

基于最大均值差异的多标记迁移学习算法

针对多标记迁移学习中源领域与目标领域的特征分布差异会导致源领域数据无法被目标领域利用的问题,提出了一种基于最大均值差异的多标记迁移学习算法（Multi-Label Transfer Learning via Maximum mean discrepancy,M-MLTL）,算法通过分解关系矩阵构造共享子空间,并采用最大均值差异（maximum mean discrepancy）作为评价指标,最小化子空间特征的分布差异,从而使源领域与目标领域的特征分布尽可能相似．多标记图像分类实验的结果表明,新算法比同类算法有更高的精度和计算效率．     

一种基于局部加权均值的领域适应学习框架

最大均值差异(Maximum mean discrepancy, MMD)作为一种能有效度量源域和目标域分布差异的标准已被成功运用.然而, MMD作为一种全局度量方法一定程度上反映的是区域之间全局分布和全局结构上的差异.为此, 本文通过引入局部加权均值的方法和理论到MMD中, 提出一种具有局部保持能力的投影最大局部加权均值差异(Projected maximum local weighted mean discrepancy, PMLWD)度量,%从而一定程度上使得PMLWD更能有效度量源域和目标域中局部分块之间的分布和结构上的差异,结合传统的学习理论提出基于局部加权均值的领域适应学习框架(Local weighted mean based domain adaptation learning framework, LDAF), 在LDAF框架下, 衍生出两种领域适应学习方法: LDAF_MLC和 LDAF_SVM.最后,通过测试人工数据集、高维文本数据集和人脸数据集来表明LDAF比其他领域适应学习方法更具优势.     

基于W12再生核支持向量机的模式分类研究

支持向量机是基于统计学习理论的模式分类器.它通过结构风险最小化准则和核函数方法,较好地解决了模式分类器复杂性和推广性之间的矛盾,引起了大家对模式识别领域的极大关注.近年来,支持向量机在手写体识别、人脸识别、文本分类等领域取得了很大的成功.文章将一种新的核函数用于虹膜识别,并与传统的多项式核函数、高斯核函数进行了比较.初步结果显示了该核函数的应用潜力.     

一种核最大散度差判别分析人脸识别方法

提出一种有效的非线性子空间学习方法--核最大散度差判别分析(KMSD),并将其用于人脸识别.核最大散度差判别分析首先把输入空间的样本非线性映射到特征空间,然后通过核方法的技巧,采用最大散度差判别分析(MSD)方法在特征空间里求解.在Yale和ORL人脸数据库上的实验结果表明,提出的核最大散度差判别分析方法用于人脸识别具有较高的识别率.     

A kernel learning framework for domain adaptation learning

Domain adaptation learning(DAL) methods have shown promising results by utilizing labeled samples from the source(or auxiliary) domain(s) to learn a robust classifier for the target domain which has a few or even no labeled samples.However,there exist several key issues which need to be addressed in the state-of-theart DAL methods such as sufficient and effective distribution discrepancy metric learning,effective kernel space learning,and multiple source domains transfer learning,etc.Aiming at the mentioned-above issues,in this paper,we propose a unified kernel learning framework for domain adaptation learning and its effective extension based on multiple kernel learning(MKL) schema,regularized by the proposed new minimum distribution distance metric criterion which minimizes both the distribution mean discrepancy and the distribution scatter discrepancy between source and target domains,into which many existing kernel methods(like support vector machine(SVM),v-SVM,and least-square SVM) can be readily incorporated.Our framework,referred to as kernel learning for domain adaptation learning(KLDAL),simultaneously learns an optimal kernel space and a robust classifier by minimizing both the structural risk functional and the distribution discrepancy between different domains.Moreover,we extend the framework KLDAL to multiple kernel learning framework referred to as MKLDAL.Under the KLDAL or MKLDAL framework,we also propose three effective formulations called KLDAL-SVM or MKLDAL-SVM with respect to SVM and its variant μ-KLDALSVM or μ-MKLDALSVM with respect to v-SVM,and KLDAL-LSSVM or MKLDAL-LSSVM with respect to the least-square SVM,respectively.Comprehensive experiments on real-world data sets verify the outperformed or comparable effectiveness of the proposed frameworks.     

On minimum distribution discrepancy support vector machine for domain adaptation

Domain adaptation learning (DAL) is a novel and effective technique to address pattern classification problems where the prior information for training is unavailable or insufficient. Its effectiveness depends on the discrepancy between the two distributions that respectively generate the training data for the source domain and the testing data for the target domain. However, DAL may not work so well when only the distribution mean discrepancy between source and target domains is considered and minimized. In this paper, we first construct a generalized projected maximum distribution discrepancy (GPMDD) metric for DAL on reproducing kernel Hilbert space (RKHS) based domain distributions by simultaneously considering both the projected maximum distribution mean and the projected maximum distribution scatter discrepancy between the source and the target domain. In the sequel, based on both the structure risk and the GPMDD minimization principle, we propose a novel domain adaptation kernelized support vector machine (DAKSVM) with respect to the classical SVM, and its two extensions called LS-DAKSVM and μ-DAKSVM with respect to the least-square SVM and the v-SVM, respectively. Moreover, our theoretical analysis justified that the proposed GPMDD metric could effectively measure the consistency not only between the RKHS embedding domain distributions but also between the scatter information of source and target domains. Hence, the proposed methods are distinctive in that the more consistency between the scatter information of source and target domains can be achieved by tuning the kernel bandwidth, the better the convergence of GPMDD metric minimization is and thus improving the scalability and generalization capability of the proposed methods for DAL. Experimental results on artificial and real-world problems indicate that the performance of the proposed methods is superior to or at least comparable with existing benchmarking methods.     

基于类分布的领域自适应支持向量机

现有的领域自适应方法在定义领域间分布距离时, 通常仅从领域样本的整体分布上考虑, 而未对带类标签的领域样本分布分别进行考虑, 从而在一些具有非平衡数据集的应用领域上表现出一定的局限性. 对此, 在充分考虑源领域样本类信息的基础上, 基于结构风险最小化模型, 提出了基于类分布的领域自适应支持向量机(Domain adaptation support vector machine based on class distribution, CDASVM), 并将其拓展为可处理多源问题的多源领域自适应支持向量机(CDASVM from multiple sources, MSCDASVM), 在人造和真实的非平衡数据集上的实验结果表明, 所提方法具有优化或可比较的模式分类性能.     

基于双重权重偏差建模的无监督域适应

无监督域适应(Unsupervised Domain Adaptation,UDA)是一类新兴的机器学习范式,其通过对源域知识在无标记目标域上的迁移利用,来促进目标域模型的训练。为建模源域与目标域之间的域分布差异,最大均值差异(Maximum Mean Discrepancy,MMD)建模被广泛应用,其对UDA的性能提升起到了有效的促进作用。然而,这些方法通常忽视了领域之间对应类规模与类分布等结构信息,因为目标域与源域的数据类规模与数据分布通常并非一致。为此,文中提出了一种基于跨域类和数据样本双重加权的无监督域适应模型(Sample weighted and Class weighted based Unsupervised Domain Adaptation Network,SCUDAN)。具体而言,一方面,通过源域类层面的适应性加权来调整源域类权重,以实现源域与目标域之间的类分布对齐;另一方面,通过目标域样本层面的适应性加权来调整目标域样本权重,以实现目标域与源域类中心的对齐。此外,文中还提出了一种CEM(Classification Expectation Maximization)优化算法,以实现对SCUDAN的优化求解。最后,通过对比实验和分析,验证了所提模型和算法的有效性。     

高斯核支持向量机分类和模型参数选择研究

支持向量机(SupportVectorMachine,SVM)是近几年发展起来的机器学习新方法,以高斯核为核函数的支持向量机在实际应用中表现出良好的学习性能,被广泛应用于模式分类中。论文研究了高斯核支持向量机分类在IRIS分类问题上的应用,并结合结构风险最小化原则分析了误差惩罚参数C和高斯核宽度σ对SVM性能的影响,最后通过数值实验进一步分析了这种影响。