联合类间及域间分布适配的迁移学习方法

在域间分布适配的过程中,容易丢失一些重要的域自身信息,在源域上难以训练获得一个有效的分类器,影响其在目标域上的泛化与标注性能.基于此种情况,文中提出联合类间及域间分布适配的迁移学习方法.通过学习一个公共投影矩阵,分别将源域与目标域映射到一个公共子空间上.采用最大均值差异方法分别度量类间及域间分布距离.在目标函数的优化过程中,不但显式地使域间分布差异变小,而且增大不同类别间的差异性,提高源域与目标域之间知识迁移的性能.在迁移学习数据集上的实验表明文中方法的有效性.     

基于自步学习的开放集领域自适应

领域自适应的目的是将从源领域获得的知识泛化到具有不同数据分布的目标领域.传统的领域自适应方法假设源域和目标域的类别是相同的，但在现实世界的场景中并非总是如此.为了解决这个缺点，开放集领域自适应在目标域中引入了未知类以代表源域中不存在的类别.开放集领域自适应旨在不仅识别属于源域和目标域共享的已知类别样本，还要识别未知类别样本.传统的领域自适应方法旨在将整个目标域与源域对齐以最小化域偏移，这在开放集领域自适应场景中不可避免地导致负迁移.为了解决开放集领域自适应带来的挑战，提出了一种基于自步学习的新颖框架SPL-OSDA (self-paced learning for openset domain adaptation)，用于精确区分已知类和未知类样本，并进行领域自适应.为了利用未标记的目标域样本实现自步学习，为目标域样本生成伪标签，并为开放集领域自适应场景设计一个跨领域混合方法.这种方法最大程度地减小了伪标签的噪声，并确保模型逐步从简单到复杂的例子中学习目标域的已知类特征.为了提高模型在开放场景的可靠性以满足开放场景可信人工智能的要求，引入了多个准则以区分已知类和未知类样本.此外，与现有...     

基于最大均值差异的多标记迁移学习算法

针对多标记迁移学习中源领域与目标领域的特征分布差异会导致源领域数据无法被目标领域利用的问题,提出了一种基于最大均值差异的多标记迁移学习算法（Multi-Label Transfer Learning via Maximum mean discrepancy,M-MLTL）,算法通过分解关系矩阵构造共享子空间,并采用最大均值差异（maximum mean discrepancy）作为评价指标,最小化子空间特征的分布差异,从而使源领域与目标领域的特征分布尽可能相似．多标记图像分类实验的结果表明,新算法比同类算法有更高的精度和计算效率．     

基于最大分布加权均值嵌入的领域适应学习

最大均值差异仅用于反映样本空间总体的分布信息和全局结构信息,忽略了单个样本对全局度量贡献的差异性。为此,提出一种最大分布加权均值差异（MDWMD）度量方法,采用白化余弦相似性度量为源域和目标域的所有样本设计相应的分布权重,使得每个样本的分布差异信息在全局度量中均得以体现。进一步,在MDWMD基础上,结合联合分布调整思想,提出一种领域适应学习算法：基于最大分布加权均值嵌入的联合分布调整,同时对源域和目标域中的数据进行边缘概率分布调整和条件分布调整。实验结果表明,与现有典型的迁移学习和无迁移学习算法相比,所提算法在不同类型跨领域图片数据集上的分类精度较高。     

结合风格迁移的最小化类混淆领域自适应算法

在无监督领域自适应中分类器对目标域的样本进行类别预测时容易产生混淆预测,虽然已有研究提出了相关算法提取到样本的类间相关性,降低了分类器在目标域上的类混淆预测。但该方法仍然未能解决源域和目标域因共享特征稀疏导致的迁移学习能力不足的问题,针对这个问题,通过使用生成对抗网络对源域进行了风格迁移,扩展源域各类样本的特征空间可供目标域匹配的共享特征,解决因共享特征稀疏导致分类器正迁移力不足的问题,从而进一步减少分类器在目标域上产生的类混淆预测。当分类器利用扩充后的共享特征对目标域样本预测分类概率时,基于不确定性权重机制,加重预测概率权重使其能在几个预测概率峰值上以更高的概率值突出,准确地量化类混淆,最小化跨域的类混淆预测,抑制跨域的负迁移。在UDA场景下,对标准的数据集ImageCLEF-DA和Office-31的三个子数据集分别进行了领域自适应实验,相较于RADA算法平均识别精度分别提升了1.3个百分点和1.7个百分点。     

基于传递式领域自适应的异构样本增强方法

小样本问题广泛存在于数据驱动建模。领域自适应方法通过将源域中的样本知识迁移到目标域,从而实现目标域中的小样本增强,然而此类方法在实际应用中受限,原因在于难以应对领域分布差异较大的样本增强场景。针对上述问题,该文提出基于传递式领域自适应的异构样本增强方法。首先,提出传递式探索策略,通过私有特征和共享特征设计了面向异构域的领域分布探索策略,有效地缓解了负迁移,并为后续分布匹配提供支撑;然后,提出分布联合匹配机制,通过联合匹配异构领域的边缘分布和条件分布,并嵌入自适应机制,从而保证了异构域分布的匹配精度。该方法在业界公认的田纳西-伊斯曼数据集进行验证,实验结果表明该方法在异构域中的建模表现优于其他方法。     

基于边际Fisher准则和迁移学习的小样本集分类器设计算法

如何利用大量已有的同构标记数据（源域）设计小样本训练数据（目标域）的分类器是一个具有很强应用意义的研究问题. 由于不同域的数据特征分布有差异,直接使用源域数据对目标域样本进行分类的效果并不理想. 针对上述问题,本文提出了一种基于迁移学习的分类器设计算法. 首先,本文利用内积度量的边际Fisher准则对源域进行特征映射,提高源域中类内紧凑性和类间区分性. 其次,为了筛选合理的训练样本对,本文提出一种去除边界奇异点的算法来选择源域密集区域样本点,与目标域中的标记样本点组成训练样本对. 在核化空间上,本文学习了目标域特征到源域特征的非线性转换,将目标域映射到源域. 最后,利用邻近算法（k-nearest neighbor,kNN）分类器对映射后的目标域样本进行分类. 本文不仅改进了边际Fisher准则方法,并且将基于自适应样本对 筛选的迁移学习应用到小样本数据的分类器设计中,提高域间适应性. 在通用数据集上的实验结果表明,本文提出的方法能够有效提高小样本训练域的分类器性能.     

基于改进残差卷积自编码网络的类自适应旋转机械故障诊断

针对旋转机械传感器信号样本有限影响深层网络模型训练学习的问题,提出一种结合改进残差卷积自编码网络与类自适应方法的故障诊断模型应对小样本数据。首先将少量已标记的源域数据和目标域数据创建为成对样本,并设计一种改进的一维残差卷积自编码网络对两种不同分布的原始振动信号进行特征提取;其次,利用最大均值差异（MMD）减小分布差异,并将两个域同一故障类别的数据空间映射到一个共同的特征空间,最终实现准确的故障诊断。实验结果表明,与微调、域自适应等方法相比,所提模型能够有效提高不同工况、微量已标记的目标域振动数据下的故障诊断准确率。     

深度指导的无监督领域自适应语义分割

为了提高语义分割精度,解决模型在不同数据域上泛化性差的问题,提出基于深度信息的无监督领域自适应语义分割方法.首先,深度感知自适应框架通过捕捉深度信息和语义信息的内在联系,减小不同域之间的差异;然后,设计了一个轻量级深度估计网络来提供深度信息,通过跨任务交互策略融合深度和语义信息,并在深度感知空间对齐源域和目标域的分布差距;最后,提出基于深度信息的域内自适应策略弥合目标域内部的分布差异,将目标域分为子源域和子目标域,并缩小子源域和子目标域分布差距.实验结果表明,所提方法在SYNTHIA-2-Cityscapes和SYNTHIA-2-Mapillary跨域任务上的平均交并比分别为46.7%和73.3%,与同类方法相比,该方法在语义分割和深度估计精度上均有显著提升.     

基于特征联合概率分布和实例的迁移学习算法*

针对在单一匹配边缘概率分布以缩减源域和目标域的差异性时存在的泛化能力差的问题,提出联合边缘概率分布和条件概率分布减小域间差异性的基于特征和实例的迁移学习算法.通过核主成分分析在子空间中寻找样本新的特征表示,在该子空间中利用最小化最大均值差异,联合匹配边缘概率分布和条件概率分布以减小源域和目标域间的差异性.同时利用L_2,1范数约束选择源域中相关实例进行训练,进一步提高迁移学习获得的模型泛化性能.在字符集和对象识别数据集上的实验表明文中算法的有效性.     

关联子域对齐网络的跨域高光谱图像分类

目的 近年来,深度网络成功应用于高光谱图像分类。然而,难以获取充足的标记数据大大限制了深度网络的充分训练,进而导致网络对高光谱图像的分类能力下降。为解决以上困难,提出一种关联子域对齐网络的高光谱图像迁移分类方法。方法 基于深度迁移学习方法,通过对两域分布进行多角度、全面领域适应的同时将两域分类器进行差异适配。一方面,利用关联对齐从整体上对齐了两域的二阶统计量信息,适配了两域的全局分布;另一方面,利用局部最大均值差异对齐了相关子域的一阶统计量信息,适配了两域的局部分布。另外,构造一种分类器适配模块并将其加入所提网络中,通过对两域分类器差异进行适配,进一步增强网络的领域适应效果。结果 从4组真实高光谱数据集上的实验结果可看出：在分别采集于不同区域的高光谱图像数据对上,所提方法的精度比排名第2的分类方法高出1.01%、0.42%、0.73%和0.64%。本文方法的Kappa系数也取得最优结果。结论 与现有主流算法相比较,所提网络能够在整体和局部、一阶和二阶统计量上分别对两域进行有效对齐,进而充分利用在源域上训练好的分类器完成对目标域高光谱数据的跨域分类。     

Source-Free Unsupervised Domain Adaptation with Sample Transport Learning

Unsupervised domain adaptation (UDA) has achieved great success in handling cross-domain machine learning applications.It typically benefits the model training of unlabeled target domain by leveraging knowledge from labeled source domain.For this purpose,the minimization of the marginal distribution divergence and conditional distribution divergence between the source and the target domain is widely adopted in existing work.Nevertheless,for the sake of privacy preservation,the source domain is usually not provided with training data but trained predictor (e.g.,classifier).This incurs the above studies infeasible because the marginal and conditional distributions of the source domain are incalculable.To this end,this article proposes a source-free UDA which jointly models domain adaptation and sample transport learning,namely Sample Transport Domain Adaptation (STDA).Specifically,STDA constructs the pseudo source domain according to the aggregated decision boundaries of multiple source classifiers made on the target domain.Then,it refines the pseudo source domain by augmenting it through transporting those target samples with high confidence,and consequently generates labels for the target domain.We train the STDA model by performing domain adaptation with sample transport between the above steps in alternating manner,and eventually achieve knowledge adaptation to the target domain and attain confident labels for it.Finally,evaluation results have validated effectiveness and superiority of the proposed method.     

Visual domain adaptation via transfer feature learning

One of the serious challenges in computer vision and image classification is learning an accurate classifier for a new unlabeled image dataset, considering that there is no available labeled training data. Transfer learning and domain adaptation are two outstanding solutions that tackle this challenge by employing available datasets, even with significant difference in distribution and properties, and transfer the knowledge from a related domain to the target domain. The main difference between these two solutions is their primary assumption about change in marginal and conditional distributions where transfer learning emphasizes on problems with same marginal distribution and different conditional distribution, and domain adaptation deals with opposite conditions. Most prior works have exploited these two learning strategies separately for domain shift problem where training and test sets are drawn from different distributions. In this paper, we exploit joint transfer learning and domain adaptation to cope with domain shift problem in which the distribution difference is significantly large, particularly vision datasets. We therefore put forward a novel transfer learning and domain adaptation approach, referred to as visual domain adaptation (VDA). Specifically, VDA reduces the joint marginal and conditional distributions across domains in an unsupervised manner where no label is available in test set. Moreover, VDA constructs condensed domain invariant clusters in the embedding representation to separate various classes alongside the domain transfer. In this work, we employ pseudo target labels refinement to iteratively converge to final solution. Employing an iterative procedure along with a novel optimization problem creates a robust and effective representation for adaptation across domains. Extensive experiments on 16 real vision datasets with different difficulties verify that VDA can significantly outperform state-of-the-art methods in image classification problem.     

A Gaussian-guided adversarial adaptation transfer network for rolling bearing fault diagnosis

Most current unsupervised domain networks try to alleviate domain shifts by only considering the difference between source domain and target domain caused by the classifier, without considering task-specific decision boundaries between categories. In addition, these networks aim to completely align data distributions, which is difficult because each domain has its characteristics. In light of these issues, we develop a Gaussian-guided adversarial adaptation transfer network (GAATN) for bearing fault diagnosis. Specifically, GAATN introduces a Gaussian-guided distribution alignment strategy to make the data distribution of two domains close to the Gaussian distribution to reduce data distribution discrepancies. Furthermore, GAATN adopts a novel adversarial training mechanism for domain adaptation, which designs two task-specific classifiers to identify target data to consider the relationship between target data and category boundaries. Massive experimental results prove that the superiority and robustness of the proposed method outperform existing popular methods.     

多核局部领域适应学习

领域适应(或跨领域)学习旨在利用源领域(或辅助领域)中带标签样本来学习一种鲁棒的目标分类器,其关键问题在于如何最大化地减小领域间的分布差异.为了有效解决领域间特征分布的变化问题,提出一种三段式多核局部领域适应学习(multiple kernel local leaning-based domain adaptation,简称MKLDA)方法:1)基于最大均值差(maximum mean discrepancy,简称MMD)度量准则和结构风险最小化模型,同时,学习一个再生多核Hilbert空间和一个初始的支持向量机(support vector machine,简称SVM),对目标领域数据进行初始划分;2)在习得的多核Hilbert空间,对目标领域数据的类别信息进行局部重构学习;3)最后,利用学习获得的类别信息,在目标领域训练学习一个鲁棒的目标分类器.实验结果显示,所提方法具有优化或可比较的领域适应学习性能.     

基于目标域局部近邻几何信息的域自适应图像分类方法

在许多实际工程应用中,训练场景（源域）和测试场景（目标域）的分布并不相同,如果将源域中训练的分类器直接应用到目标域,性能往往会出现大幅度下降。目前大多数域自适应方法以概率推导为基础。从图像特征表达的角度出发,针对自适应图像分类问题,提出一种新的基于协同特征的无监督方法。首先,所有源样本被作为字典;然后,距离目标样本最近的三个目标域样本被用来帮助鲁棒地表达局部近邻几何信息;最后,结合字典和局部近邻信息实现编码,并利用最近邻分类器完成分类。因为协同特征通过融合目标域局部近邻信息,获得了更强的鲁棒性和区分性,基于该特征编码的分类方法具有更好的分类性能。在域自适应数据集上的对比实验结果表明所提算法是有效的。     

伪标签不确定性估计的源域无关鲁棒域自适应

无监督域自适应是解决训练集(源域)和测试集(目标域)分布不一致的有效途径之一.现有的无监督域自适应的理论和方法在相对封闭、静态的环境下取得了一定成功,但面向开放动态任务环境时,在隐私保护、数据孤岛等限制条件下,源域数据往往不可直接获取,现有无监督域自适应方法的鲁棒性将面临严峻的挑战.鉴于此,研究了一个更具挑战性却又未被...     

基于分类差异与信息熵对抗的无监督域适应算法

采用对抗训练的方式成为域适应算法的主流,通过域分类器将源域和目标域的特征分布对齐,减小不同域之间的特征分布差异。但是,现有的域适应方法仅将不同域数据之间的距离缩小,而没有考虑目标域数据分布与决策边界之间的关系,这会降低目标域内不同类别的特征的域内可区分性。针对现有方法的缺点,提出一种基于分类差异与信息熵对抗的无监督域适应算法(adversarial training on classification discrepancy and information entropy for unsupervised domain adaptation, ACDIE)。该算法利用两个分类器之间的不一致性对齐域间差异,同时利用最小化信息熵的方式降低不确定性,使目标域特征远离决策边界,提高了不同类别的可区分性。在数字标识数据集和Office-31数据集上的实验结果表明,ACDIE算法可以学习到更优的特征表示,域适应分类准确率有明显提高。