局部一致性主动学习的源域无关开集域自适应

无监督域自适应在解决训练集(源域)和测试集(目标域)分布不一致的问题上已经取得了一定的成功.在面向低能耗场景和开放动态任务环境时,在资源约束和开放类别出现的情况下,现有的无监督域自适应方法面临着严峻的挑战.源域无关开集域自适应(SF-ODA)旨在将源域模型中的知识迁移到开放类出现的无标签目标域,从而在无源域数据资源的限制下辨别公共类和检测开放类.现有的源域无关开集域自适应的方法聚焦于设计准确检测开放类别的源域模型或增改模型的结构.但是,这些方法不仅需要额外的存储空间和训练开销,而且在严格的隐私保护场景下难以实现.提出了一个更加实际的场景:主动学习的源域无关开集域自适应(ASF-ODA),目标是基于一个普通训练的源域模型和少量专家标注的有价值的目标域样本来实现鲁棒的迁移.为了达成此目标,提出了局部一致性主动学习(LCAL)算法.首先,利用目标域中局部特征标签一致的特点,LCAL设计了一种新的主动选择方法:局部多样性选择,来挑选更有价值的阈值模糊样本来促进开放类和公共类分离.接着,LCAL基于信息熵初步筛选出潜在的公共类集合和开放类集合,并利用第一步得到的主动标注样本对这两个集合进行匹配纠...     

基于自步学习的开放集领域自适应

领域自适应的目的是将从源领域获得的知识泛化到具有不同数据分布的目标领域.传统的领域自适应方法假设源域和目标域的类别是相同的，但在现实世界的场景中并非总是如此.为了解决这个缺点，开放集领域自适应在目标域中引入了未知类以代表源域中不存在的类别.开放集领域自适应旨在不仅识别属于源域和目标域共享的已知类别样本，还要识别未知类别样本.传统的领域自适应方法旨在将整个目标域与源域对齐以最小化域偏移，这在开放集领域自适应场景中不可避免地导致负迁移.为了解决开放集领域自适应带来的挑战，提出了一种基于自步学习的新颖框架SPL-OSDA (self-paced learning for openset domain adaptation)，用于精确区分已知类和未知类样本，并进行领域自适应.为了利用未标记的目标域样本实现自步学习，为目标域样本生成伪标签，并为开放集领域自适应场景设计一个跨领域混合方法.这种方法最大程度地减小了伪标签的噪声，并确保模型逐步从简单到复杂的例子中学习目标域的已知类特征.为了提高模型在开放场景的可靠性以满足开放场景可信人工智能的要求，引入了多个准则以区分已知类和未知类样本.此外，与现有...     

渐进式分离的开放集模糊域自适应算法

域自适应的目的是利用有标记（源）域中的信息来提高未标记（目标）域模型的分类性能,且这种方法已经取得了不错的成果。然而在具有开放性的现实场景下,目标域通常包含源域中未观察到的未知类样本,这被称为开放集域自适应问题。传统的域自适应算法对这样具有挑战性的场景设定无能为力,因此提出了渐进式分离的开放集模糊域自适应算法。首先,基于引进隶属度的开放集模糊域自适应算法,探索了逐步分离目标域中已知类和未知类样本的方法;然后,仅将从目标域中分离出的已知类与源域对齐,从而减小两个域之间的分布差异,进行模糊域自适应。所提算法很好地解决了由于未知类和已知类之间的不匹配而导致的负迁移所带来的影响。在Office数据集上的6组域自适应转化实验结果表明,与传统的域自适应算法比较,所提算法在图像分类中的精度有显著的提升,验证了该算法可以逐步增强域自适应分类模型的准确性和鲁棒性。     

多源域分布下优化权重的无监督迁移学习Boosting方法

深度决策树迁移学习Boosting方法（DTrBoost）可以有效地实现单源域有监督情况下向一个目标域迁移学习,但无法实现多个源域情况下的无监督迁移场景。针对这一问题,提出了多源域分布下优化权重的无监督迁移学习Boosting方法,主要思想是根据不同源域与目标域分布情况计算出对应的KL值,通过比较选择合适数量的不同源域样本训练分类器并对目标域样本打上伪标签。最后,依照各个不同源域的KL距离分配不同的学习权重,将带标签的各个源域样本与带伪标签的目标域进行集成训练得到最终结果。对比实验表明,提出的算法实现了更好的分类精度并对不同的数据集实现了自适应效果,分类错误率平均下降2.4%,在效果最好的marketing数据集上下降6%以上。     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

一种基于伪标签的深度迁移学习算法

深度学习的成功依赖于海量的训练数据，然而获取大规模有标注的数据并不容易，成本昂贵且耗时；同时由于数据在不同场景下的分布有所不同，利用某一特定场景的数据集所训练出的模型往往在其他场景表现不佳。迁移学习作为一种将知识从一个领域转移到另一个领域的方法，可以解决上述问题。深度迁移学习则是在深度学习框架下实现迁移学习的方法。提出一种基于伪标签的深度迁移学习算法，该算法以ResNet-50为骨干，通过一种兼顾置信度和类别平衡的样本筛选机制为目标域样本提供伪标签，然后进行自训练，最终实现对目标域样本准确分类，在Office-31数据集上的三组迁移学习任务中，平均准确率较传统算法提升5.0%。该算法没有引入任何额外网络参数，且注重源域数据隐私，可移植性强，具有一定的实用价值。     

结合风格迁移的最小化类混淆领域自适应算法

在无监督领域自适应中分类器对目标域的样本进行类别预测时容易产生混淆预测,虽然已有研究提出了相关算法提取到样本的类间相关性,降低了分类器在目标域上的类混淆预测。但该方法仍然未能解决源域和目标域因共享特征稀疏导致的迁移学习能力不足的问题,针对这个问题,通过使用生成对抗网络对源域进行了风格迁移,扩展源域各类样本的特征空间可供目标域匹配的共享特征,解决因共享特征稀疏导致分类器正迁移力不足的问题,从而进一步减少分类器在目标域上产生的类混淆预测。当分类器利用扩充后的共享特征对目标域样本预测分类概率时,基于不确定性权重机制,加重预测概率权重使其能在几个预测概率峰值上以更高的概率值突出,准确地量化类混淆,最小化跨域的类混淆预测,抑制跨域的负迁移。在UDA场景下,对标准的数据集ImageCLEF-DA和Office-31的三个子数据集分别进行了领域自适应实验,相较于RADA算法平均识别精度分别提升了1.3个百分点和1.7个百分点。     

基于dropout正则化的半监督域自适应方法

针对机器学习中训练样本和测试样本概率分布不一致的问题,提出了一种基于dropout正则化的半监督域自适应方法来实现将神经网络的特征表示从标签丰富的源域转移到无标签的目标域。此方法从半监督学习的角度出发,在源域数据中添加少量带标签的目标域数据,使得神经网络在学习到源域数据特征分布的同时也能学习到目标域数据的特征分布。由于有了先验知识的指导,即使没有丰富的标签信息,神经网络依然可以很好地拟合目标域数据。实验结果表明,此算法在几种典型的数字数据集SVHN、MNIST和USPS的域自适应任务上的性能优于现有的其他算法,并且在涵盖广泛自然类别的真实数据集CIFAR-10和STL-10的域自适应任务上有较好的鲁棒性。     

一种基于损失预测的双主动域适应算法研究

近年来深度学习在图像分类任务上取得了显著效果,但通常要求大量人工标记数据,模型训练成本很高.因此,领域自适应等小样本学习方法成为当前研究热点.通常,域适应方法利用源域的经验知识也仅能一定程度降低对目标域标记数据的依赖,因此可以引入主动学习方法对样本价值进行评估并做筛选,从而进一步降低标记成本.本文将典型样本价值估计模型引入域适应学习,结合特征迁移思路,提出了双主动域适应学习算法D＿Ac T(Dual active domain adaptation).该算法同时对源域与目标域数据进行价值度量,并挑选最具训练价值的样本,在保证模型精度的前提下,大幅度减少了模型对标签数据的需求.具体而言,首先利用极大极小熵和核心集采样方法,用主动学习价值评估模型挑选目标域样本,得到单主动域适应算法S＿Ac T (Single active domain adaptation).随后利用损失预测策略,将价值评估策略适配至源域,进一步提升迁移学习知识复用有效性,降低模型训练成本.本文在常用的四个图像迁移数据集进行了测试,将所提两个算法和传统主动迁移学习及半监督迁移学习算法进行了实验对比.结果表明双主动域适应方...     

基于迁移子空间的半监督领域自适应方法

传统子空间学习方法在对齐领域总体分布时往往忽略样本类别信息,若原始样本判别力不足,将难以保证投影后子空间中样本的判别性.针对该问题,提出迁移子空间的半监督领域自适应方法.通过充分利用样本类别标签先验信息,在得到具有判别性子空间的同时充分挖掘重构矩阵中蕴含的鉴别信息,增强子空间跨领域特征表达的鉴别力和鲁棒性,提高模型的分类性能.在领域自适应问题常用的基准图像数据集上进行实验,其结果表明,该算法有较好的分类效果.     

领域自适应研究综述

经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和数据分布,但在很多现实应用中这一假设通常并不成立,导致经典机器学习算法失效。领域自适应是一种新的机器学习策略,其关键技术在于通过学习新的特征表达来对齐源域和目标域的数据分布,使得在有标签源域中训练的模型可以直接迁移到没有标签的目标域上,且不会引起模型性能的明显下降。介绍领域自适应的定义、分类和代表性算法,讨论基于度量学习和基于对抗学习的两类领域自适应算法。在此基础上,分析领域自适应的典型应用和现存挑战,并对其发展趋势及未来研究方向进行展望。     

核空间广义均衡模糊C-均值聚类算法

目的 针对现有广义均衡模糊C-均值聚类不收敛问题,提出一种改进广义均衡模糊聚类新算法,并将其推广至再生希尔伯特核空间以便提高该类算法的普适性。方法 在现有广义均衡模糊C-均值聚类目标函数的基础上,利用Schweizer T范数极限表达式的性质构造了新的广义均衡模糊C-均值聚类最优化目标函数,然后采用拉格朗日乘子法获取其迭代求解所对应的隶属度和聚类中心表达式,同时对其聚类中心迭代表达式进行修改并得到一类聚类性能显著改善的修正聚类算法;最后利用非线性函数将数据样本映射至高维特征空间获得核空间广义均衡模糊聚类算法。结果 对Iris标准文本数据聚类和灰度图像分割测试表明,提出的改进广义均衡模模糊聚类新算法及其修正算法具有良好的分类性能,核空间广义均衡模糊聚类算法对比现有融入类间距离的改进模糊C-均值聚类(FCS)算法和改进再生核空间的模糊局部C-均值聚类(KFLICM)算法能将图像分割的误分率降低10%30%。结论 本文算法克服了现有广义均衡模糊C-均值聚类算法的缺陷,同时改善了聚类性能,适合复杂数据聚类分析的需要。     

A survey of multi-source domain adaptation

In many machine learning algorithms, a major assumption is that the training and the test samples are in the same feature space and have the same distribution. However, for many real applications this assumption does not hold. In this paper, we survey the problem where the training samples and the test samples are from different distributions. This problem can be referred as domain adaptation. The training samples, always with labels, are obtained from what is called source domains, while the test samples, which usually have no labels or only a few labels, are obtained from what is called target domains. The source domains and the target domains are different but related to some extent; the learners can learn some information from the source domains for the learning of the target domains. We focus on the multi-source domain adaptation problem where there is more than one source domain available together with only one target domain. A key issue is how to select good sources and samples for the adaptation. In this survey, we review some theoretical results and well developed algorithms for the multi-source domain adaptation problem. We also discuss some open problems which can be explored in future work.     

基于自适应权重的多源部分域适应

作为机器学习的一个新兴领域,多源部分域适应(MSPDA)问题由于其源域自身的复杂性、领域之间的差异性以及目标域自身的无监督性,给相关研究带来了挑战,以致目前鲜有相关工作被提出.在该场景下,多个源域中的无关类样本在域适应过程中会造成较大的累积误差和负迁移.此外,现有多源域适应方法大多未考虑不同源域对目标域任务的贡献度不同.因此,提出基于自适应权重的多源部分域适应方法(AW-MSPDA).首先,构建了多样性特征提取器以有效利用源域的先验知识;同时,设计了多层次分布对齐策略从不同层面消除了分布差异,促进了正迁移;此外,为量化不同源域贡献度以及过滤源域无关类样本,利用相似性度量以及伪标签加权方式构建自适应权重;最后,通过大量实验验证了所提出AW-MSPDA算法的泛化性以及优越性.     

基于特征和类别对齐的领域适应算法

针对现有的基于对抗学习的领域适应算法未能充分挖掘样本的可转移特征导致泛化能力较差和分类精确度较低的问题,提出基于特征和类别对齐的领域适应(FCDA)算法.首先,针对最大均值差异(MMD)度量准则存在的不足进行改进,得到一种新的MID(maximizes the intra-domain density)度量函数,分别度...     

基于分类差异与信息熵对抗的无监督域适应算法

采用对抗训练的方式成为域适应算法的主流,通过域分类器将源域和目标域的特征分布对齐,减小不同域之间的特征分布差异。但是,现有的域适应方法仅将不同域数据之间的距离缩小,而没有考虑目标域数据分布与决策边界之间的关系,这会降低目标域内不同类别的特征的域内可区分性。针对现有方法的缺点,提出一种基于分类差异与信息熵对抗的无监督域适应算法(adversarial training on classification discrepancy and information entropy for unsupervised domain adaptation, ACDIE)。该算法利用两个分类器之间的不一致性对齐域间差异,同时利用最小化信息熵的方式降低不确定性,使目标域特征远离决策边界,提高了不同类别的可区分性。在数字标识数据集和Office-31数据集上的实验结果表明,ACDIE算法可以学习到更优的特征表示,域适应分类准确率有明显提高。