稀疏标签传播:一种鲁棒的领域适应学习方法

稀疏表示因其所具有的鲁棒性,在模式分类领域逐渐得到关注.研究了一种基于稀疏保留模型的新颖领域适应学习方法,并提出一种鲁棒的稀疏标签传播领域适应学习(sparse label propagation domain adaptation learning,简称SLPDAL)算法.SLPDAL通过将目标领域数据进行稀疏重构,以实现源领域数据标签向目标领域平滑传播.具体来讲,SLPDAL算法分为3步:首先,基于领域间数据分布均值差最小化准则寻求一个优化的核空间,并将领域数据嵌入到该核空间;然后,在该嵌入核空间,基于l₁-范最小化准则计算各领域数据的核稀疏重构系数;最后,通过保留领域数据间核稀疏重构系数约束,实现源领域数据标签向目标领域的传播.最后,将SLPDAL算法推广到多核学习框架,提出一个SLPDAL多核学习模型.在鲁棒人脸识别、视频概念检测和文本分类等领域适应学习任务上进行比较实验,所提出的方法取得了优于或可比较的学习性能.     

基于中文电子病历的跨科室组块分析

针对医疗领域的研究,发现了不同科室间电子病历存在着差异,但是新语料的标注成本又非常高。为了解决这一问题,利用迁移学习的方法在中文电子病历中进行跨科室组块分析的研究。在构建的中文电子病历中,对比了SSVM与CRF模型在词性标注和组块分析上的实验结果,发现SSVM模型的效果更好并选择该模型作为基本标注模型。此外,使用了改进的结构对应学习算法(SCL)进行组块分析,使得该算法能适用于SSVM模型进行领域适应。实验结果表明该算法有效地改善了序列标注任务中跨科室的领域适应性问题。     

领域适应核支持向量机

领域适应学习是一种新颖的解决先验信息缺少的模式分类问题的有效方法, 最大化地缩小领域间样本分布差是领域适应学习成功的关键因素之一,而仅考虑领域间分布均值差最小化, 使得在具体领域适应学习问题上存在一定的局限性.对此,在某个再生核Hilbert空间, 在充分考虑领域间分布的均值差和散度差最小化的基础上,基于结构风险最小化模型, 提出一种领域适应核支持向量学习机(Kernel support vector machine for domain adaptation, DAKSVM)及其最小平方范式,人造和实际数据集实验结果显示,所提方法具有优化或可比较的模式分类性能.     

多核局部领域适应学习

领域适应(或跨领域)学习旨在利用源领域(或辅助领域)中带标签样本来学习一种鲁棒的目标分类器,其关键问题在于如何最大化地减小领域间的分布差异.为了有效解决领域间特征分布的变化问题,提出一种三段式多核局部领域适应学习(multiple kernel local leaning-based domain adaptation,简称MKLDA)方法:1)基于最大均值差(maximum mean discrepancy,简称MMD)度量准则和结构风险最小化模型,同时,学习一个再生多核Hilbert空间和一个初始的支持向量机(support vector machine,简称SVM),对目标领域数据进行初始划分;2)在习得的多核Hilbert空间,对目标领域数据的类别信息进行局部重构学习;3)最后,利用学习获得的类别信息,在目标领域训练学习一个鲁棒的目标分类器.实验结果显示,所提方法具有优化或可比较的领域适应学习性能.     

基于Web信息使用改进的无监督关系抽取方法构建交通本体

领域本体是对领域概念及其关系的一种高效合理的展现形式.在构建领域本体过程中,常常遇到的问题就是尽管本体概念完备但概念间关系复杂多样导致人工标记关系代价过高.使用无监督学习的关系抽取算法对包含丰富的领域概念的web信息进行抽取解决了这一问题.然而,传统的无监督学习的算法没有考虑到"单样例多概念对"的问题,导致最终抽取的概念关系不完整.本文利用交通领域的Web信息构建本体,将样例概念关系对权重引入传统的无监督学习方法Kmeans中,解决了此项问题并通过实验证明该算法取得了良好的效果.     

带有双判别器的对抗性领域适应图像分类算法

生成对抗网络的出现将对抗学习的思想引入了机器学习的不同知识体系,带来了全新的发展。对抗性的领域适应算法利用一个共享特征提取器提取域不变表征,一个判别器进行辨别,双方通过对抗性的迭代更新方式达到最优解。在数据来源上,生成对抗网络和领域适应都有极其类似的2个域。在目标函数上,两者都试图追寻一致性。从理论和逻辑结构出发分析两者的内在相似性,尝试利用已成熟的生成对抗网络体系从更深层次进一步提升领域适应性能。通过类比,提出使用2个判别器解决已有对抗性领域适应算法中存在的“模式崩溃”问题,并使用伪标签进行结构上的完善。最后,在标准领域适应任务上的实验表明了本文算法的可行性和有效性。     

半监督跨领域语义依存分析技术研究

近年来,尽管深度学习给语义依存分析带来了长足的进步,但由于语义依存分析数据标注代价非常高昂,并且在单领域上性能较好的依存分析器迁移到其他领域时,其性能会大幅度下降。因此为了使其走向实用,就必须解决领域适应问题。该文提出一个新的基于对抗学习的领域适应依存分析模型,该模型基于对抗学习的共享双编码器结构,并引入领域私有辅助任务和正交约束,同时也探究了多种预训练模型在跨领域依存分析任务上的效果和性能。     

基于余弦距离度量学习的伪K近邻文本分类算法

距离度量学习在分类领域有着广泛的应用,将其应用到文本分类时,由于一般采用的向量空间模型(VSM)中的TF*IDF算法在对文本向量表达时向量均是维度相同并且归一化的,这就导致传统距离度量学习过程中采用的欧式距离作为相似度判别标准在文本分类领域往往无法取得预期的效果,在距离度量学习中的LMNN算法的启发下提出一种余弦距离度量学习算法,使其适应于文本分类领域,称之为CS-LMNN.考虑到文本分类领域中样本类偏斜情况比较普遍,提出采用一种伪K近邻分类算法与CS-LMNN结合实现文本分类,该算法首先利用CS-LMNN算法对训练数据进行距离度量学习,根据训练结果对测试数据使用伪K近邻分类算法进行分类,实验结果表明,该算法可以有效的提高分类精度.     

基于特征和类别对齐的领域适应算法

针对现有的基于对抗学习的领域适应算法未能充分挖掘样本的可转移特征导致泛化能力较差和分类精确度较低的问题,提出基于特征和类别对齐的领域适应(FCDA)算法.首先,针对最大均值差异(MMD)度量准则存在的不足进行改进,得到一种新的MID (maximizes the intra-domain density)度量函数,分别度量具有相同标签的源域样本特征间的分布散度和相同标签的目标域样本特征间的分布散度,实现最大化域内同类样本的类密度,从而降低类的错分率;其次,为了能更深层次地学习目标样本的抽象的、可转移的特征,从而减小域间差异,在特征提取网络后加入残差校正块,深化基础网络,提高其特征的可迁移性;最后,将获取的特征经过联合判别网络,通过对抗损失函数同时实现在类级和域级的对齐.所提出的算法在数据集Office-31上平均准确率为88.6%,在数据集Office-Home上平均准确率为67.7%,并与其他算法相比,验证了所提算法具备良好的泛化能力,可以实现较高的分类性能.     

针对非连通流形数据降维的过渡曲线方法

针对位于非连通流形上的数据的特征提取是流形学习领域的一个公开问题,分解-整合算法是目前处理此问题的最有效的方法.然而,此算法的最大局限是边缘问题,即当不同类间的最短距数据对位于相应类内而非类边缘时,算法往往表现异常.针对这一关键问题,提出了一种解决方法——过渡曲线方法.其主要思想为,通过构建连接不同类边缘最短距数据对间的平滑过渡曲线以使流形类间的连接关系更为有效,进而使得数据的全局形态在低维空间中能够更好地保持.一系列人工与图像数据集上的实验结果表明,过渡曲线方法的表现明显优于分解-整合算法,特别是,边缘问题得到了解决,这极大地扩展了分解-整合算法的应用范围.     

域自适应学习研究进展

传统的机器学习假设测试样本和训练样本来自同一概率分布. 但当前很多学习场景下训练样本和测试样本可能来自不同的概率分布. 域自 适应学习能够有效地解决训练样本和测试样本概率分布不一致的学习问题,作为 机器学习新出现的研究领域在近几年受到了广泛的关注. 鉴于域自适应学习技术 的重要性,综述了域自适应学习的研究进展. 首先概述了域自适应学习的基本问 题,并总结了近几年出现的重要的域自适应学习方法. 接着介绍了近几年提出的 较为经典的域自适应学习理论和当下域自适应学习的热门研究方向,包括样例加 权域自适应学习、特征表示域自适应学习、参数和特征分解域自适应学习和多 源域自适应学习. 然后对域自适应学习进行了相关的理论分析,讨论了高效的度 量判据,并给出了相应的误差界. 接着对当前域自适应学习在算法、模型结构和 实际应用这三个方面的研究新进展进行了综述. 最后分别探讨了域自适应学习在 特征变换和假设、训练优化、模型和数据表示、NLP 研究中存在的问题这四个方面 的有待进一步解决的问题.     

领域自适应研究综述

经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和数据分布,但在很多现实应用中这一假设通常并不成立,导致经典机器学习算法失效。领域自适应是一种新的机器学习策略,其关键技术在于通过学习新的特征表达来对齐源域和目标域的数据分布,使得在有标签源域中训练的模型可以直接迁移到没有标签的目标域上,且不会引起模型性能的明显下降。介绍领域自适应的定义、分类和代表性算法,讨论基于度量学习和基于对抗学习的两类领域自适应算法。在此基础上,分析领域自适应的典型应用和现存挑战,并对其发展趋势及未来研究方向进行展望。     

小样本学习下的特征中心对齐域适应算法

域适应是一种在训练集和测试集不满足独立同分布条件时使用的迁移学习算法.当两个领域间的分布差异较大时,会降低域内可迁移性,并且现有域适应算法需要获取大量的目标域数据,这在一些实际应用中无法实现.针对现有域适应方法的不足,基于卷积神经网络提出小样本学习下的基于特征中心对齐的域适应算法,寻找域不变特征的同时,提高目标域特征的可区分度,提高分类效果.面向小样本条件下的office-31公共数据集识别和雷达工作模式识别的仿真实验结果表明,所提方法对office-31数据集的平均识别精度比最大均值差异方法提升12.9%,而对雷达工作模式识别精度达到91%,比最大均值差异方法性能提升10%.     

深度域适应综述: 一般情况与复杂情况

信息时代产生的大量数据使机器学习技术成功地应用于许多领域. 大多数机器学习技术需要满足训练集与测试集独立同分布的假设, 但在实际应用中这个假设很难满足. 域适应是一种在训练集和测试集不满足独立同分布条件下的机器学习技术. 一般情况下的域适应只适用于源域目标域特征空间与标签空间都相同的情况, 然而实际上这个条件很难满足. 为了增强域适应技术的适用性, 复杂情况下的域适应逐渐成为研究热点, 其中标签空间不一致和复杂目标域情况下的域适应技术是近年来的新兴方向. 随着深度学习技术的崛起, 深度域适应已经成为域适应研究领域中的主流方法. 本文对一般情况与复杂情况下的深度域适应的研究进展进行综述, 对其缺点进行总结, 并对其未来的发展趋势进行预测. 首先对迁移学习相关概念进行介绍, 然后分别对一般情况与复杂情况下的域适应、域适应技术的应用以及域适应方法性能的实验结果进行综述, 最后对域适应领域的未来发展趋势进行展望并对全文内容进行总结.     

Class conditional distribution alignment for domain adaptation

In this paper, we study the problem of domain adaptation, which is a crucial ingredient in transfer learning with two domains, that is, the source domain with labeled data and the target domain with none or few labels. Domain adaptation aims to extract knowledge from the source domain to improve the performance of the learning task in the target domain. A popular approach to handle this problem is via adversarial training, which is explained by the $\mathcal H \Delta \mathcal H$-distance theory. However, traditional adversarial network architectures just align the marginal feature distribution in the feature space. The alignment of class condition distribution is not guaranteed. Therefore, we proposed a novel method based on pseudo labels and the cluster assumption to avoid the incorrect class alignment in the feature space. The experiments demonstrate that our framework improves the accuracy on typical transfer learning tasks.     

基于决策边界优化域自适应的跨库语音情感识别

域自适应算法被广泛应用于跨库语音情感识别中;然而,许多域自适应算法在追求减小域差异的同时,丧失了目标域样本的鉴别性,导致其以高密度的形式存在于模型决策边界处,降低了模型的性能。基于此,提出一种基于决策边界优化域自适应（DBODA）的跨库语音情感识别方法。首先利用卷积神经网络进行特征处理,随后将特征送入最大化核范数及均值差异（MNMD）模块,在减小域间差异的同时,最大化目标域情感预测概率矩阵的核范数,从而提升目标域样本的鉴别性并优化决策边界。在以Berlin、eNTERFACE和CASIA语音库为基准库设立的六组跨库实验中,所提方法的平均识别精度领先于其他算法1.68～11.01个百分点,说明所提模型有效降低了决策边界的样本密度,提升了预测的准确性。     

A kernel learning framework for domain adaptation learning

Domain adaptation learning(DAL) methods have shown promising results by utilizing labeled samples from the source(or auxiliary) domain(s) to learn a robust classifier for the target domain which has a few or even no labeled samples.However,there exist several key issues which need to be addressed in the state-of-theart DAL methods such as sufficient and effective distribution discrepancy metric learning,effective kernel space learning,and multiple source domains transfer learning,etc.Aiming at the mentioned-above issues,in this paper,we propose a unified kernel learning framework for domain adaptation learning and its effective extension based on multiple kernel learning(MKL) schema,regularized by the proposed new minimum distribution distance metric criterion which minimizes both the distribution mean discrepancy and the distribution scatter discrepancy between source and target domains,into which many existing kernel methods(like support vector machine(SVM),v-SVM,and least-square SVM) can be readily incorporated.Our framework,referred to as kernel learning for domain adaptation learning(KLDAL),simultaneously learns an optimal kernel space and a robust classifier by minimizing both the structural risk functional and the distribution discrepancy between different domains.Moreover,we extend the framework KLDAL to multiple kernel learning framework referred to as MKLDAL.Under the KLDAL or MKLDAL framework,we also propose three effective formulations called KLDAL-SVM or MKLDAL-SVM with respect to SVM and its variant μ-KLDALSVM or μ-MKLDALSVM with respect to v-SVM,and KLDAL-LSSVM or MKLDAL-LSSVM with respect to the least-square SVM,respectively.Comprehensive experiments on real-world data sets verify the outperformed or comparable effectiveness of the proposed frameworks.     

Source-Free Unsupervised Domain Adaptation with Sample Transport Learning

Unsupervised domain adaptation (UDA) has achieved great success in handling cross-domain machine learning applications.It typically benefits the model training of unlabeled target domain by leveraging knowledge from labeled source domain.For this purpose,the minimization of the marginal distribution divergence and conditional distribution divergence between the source and the target domain is widely adopted in existing work.Nevertheless,for the sake of privacy preservation,the source domain is usually not provided with training data but trained predictor (e.g.,classifier).This incurs the above studies infeasible because the marginal and conditional distributions of the source domain are incalculable.To this end,this article proposes a source-free UDA which jointly models domain adaptation and sample transport learning,namely Sample Transport Domain Adaptation (STDA).Specifically,STDA constructs the pseudo source domain according to the aggregated decision boundaries of multiple source classifiers made on the target domain.Then,it refines the pseudo source domain by augmenting it through transporting those target samples with high confidence,and consequently generates labels for the target domain.We train the STDA model by performing domain adaptation with sample transport between the above steps in alternating manner,and eventually achieve knowledge adaptation to the target domain and attain confident labels for it.Finally,evaluation results have validated effectiveness and superiority of the proposed method.