领域自适应研究综述

经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和数据分布,但在很多现实应用中这一假设通常并不成立,导致经典机器学习算法失效。领域自适应是一种新的机器学习策略,其关键技术在于通过学习新的特征表达来对齐源域和目标域的数据分布,使得在有标签源域中训练的模型可以直接迁移到没有标签的目标域上,且不会引起模型性能的明显下降。介绍领域自适应的定义、分类和代表性算法,讨论基于度量学习和基于对抗学习的两类领域自适应算法。在此基础上,分析领域自适应的典型应用和现存挑战,并对其发展趋势及未来研究方向进行展望。     

多层校正的无监督领域自适应方法

目的 目前深度神经网络已成功应用于众多机器学习任务,并展现出惊人的性能提升效果。然而传统的深度网络和机器学习算法都假定训练数据和测试数据服从的是同一分布,而这种假设在实际应用中往往是不成立的。如果训练数据和测试数据的分布差异很大,那么由传统机器学习算法训练出来的分类器的性能将会大大降低。为了解决此类问题,提出了一种基于多层校正的无监督领域自适应方法。方法 首先利用多层校正来调整现有的深度网络,利用加法叠加来完美对齐源域和目标域的数据表示;然后采用多层权值最大均值差异来适应目标域,增加网络的表示能力;最后提取学习获得的域不变特征来进行分类,得到目标图像的识别效果。结果 本文算法在Office-31图像数据集等4个数字数据集上分别进行了测试实验,以对比不同算法在图像识别和分类方面的性能差异,并进行准确度测量。测试结果显示,与同领域算法相比,本文算法在准确率上至少提高了5%,在应对照明变化、复杂背景和图像质量不佳等干扰情况时,亦能获得较好的分类效果,体现出更强的鲁棒性。结论 在领域自适应相关数据集上的实验结果表明,本文方法具备一定的泛化能力,可以实现较高的分类性能,并且优于其他现有的无监督领域自适应方法。     

基于域自适应均值网络的素描人脸识别方法

针对素描图像和光学图像间模态差异大，以及传统深度学习方法在少量训练数据情况下易过拟合的问题，提出一种基于域自适应均值网络的素描人脸识别方法。该方法设计元学习训练策略将学习水平从数据提升至任务，来提升模型的泛化能力；提出一种均值损失来辅助特征提取器提取判别性特征；在训练集的素描图像域和光学图像域之间引入一种域自适应模块来减少二者模态差异。在UoM-SGFS素描人脸数据库和e-PRIP素描人脸数据库上进行实验，结果表明该方法优于其他算法。     

面向异质性医学图像处理的深度学习算法综述

近年来深度学习技术在诸多计算机视觉任务上取得了令人瞩目的进步,也让越来越多的研究者尝试将其应用于医学图像处理领域,如面向高通量医学图像(CT、MRI)的解剖结构分割等,旨在为医生提供诊断辅助,提高其阅片效率.由于训练医学图像处理的深度学习模型同样需要大量的标注数据,同一医疗机构的数据往往不能满足需求,而受设备和采集协议的差异的影响,不同医疗机构的数据具有很大的异质性,这导致通过某些医疗机构的数据训练得到模型很难在其他医疗机构的数据上取得可靠的结果.此外,不同的医疗数据在患者个体病情阶段的分布上也往往是十分不均匀的,这同样会降低模型的可靠性.为了减少数据异质性的影响,提高模型的泛化能力,域适应、多站点学习等技术应运而生.其中域适应技术作为迁移学习中的研究热点,旨在将源域上学习的知识迁移到未标记的目标域数据上;多站点学习和数据非独立同分布的联邦学习技术则旨在在多个数据集上学习一个共同的表示,以提高模型的鲁棒性.从域适应、多站点学习和数据非独立同分布的联邦学习技术入手,对近年来的相关方法和相关数据集进行了综述、分类和总结,为相关研究提供参考.     

域自适应学习研究进展

传统的机器学习假设测试样本和训练样本来自同一概率分布. 但当前很多学习场景下训练样本和测试样本可能来自不同的概率分布. 域自 适应学习能够有效地解决训练样本和测试样本概率分布不一致的学习问题,作为 机器学习新出现的研究领域在近几年受到了广泛的关注. 鉴于域自适应学习技术 的重要性,综述了域自适应学习的研究进展. 首先概述了域自适应学习的基本问 题,并总结了近几年出现的重要的域自适应学习方法. 接着介绍了近几年提出的 较为经典的域自适应学习理论和当下域自适应学习的热门研究方向,包括样例加 权域自适应学习、特征表示域自适应学习、参数和特征分解域自适应学习和多 源域自适应学习. 然后对域自适应学习进行了相关的理论分析,讨论了高效的度 量判据,并给出了相应的误差界. 接着对当前域自适应学习在算法、模型结构和 实际应用这三个方面的研究新进展进行了综述. 最后分别探讨了域自适应学习在 特征变换和假设、训练优化、模型和数据表示、NLP 研究中存在的问题这四个方面 的有待进一步解决的问题.     

遥感图像语义分割中的弱监督域自适应算法

近年来,遥感图像的语义分割得到广泛应用。虽然基于深度学习的方法极大程度地提高了遥感图像的语义分割精度,但由于遥感图像的多样性（不同的地理位置、地形和天气条件）以及像素级标签的缺乏,该算法难以适用于跨多个域的任务。而若重新训练新的域则需要消耗大量人力资源来收集相应的像素级标签。为了解决这一跨域问题,基于对抗学习提出了一种目标域图像级标签已知的弱监督域自适应方法：利用图像级标签,提出多类域判别器,使目标域各个类别自适应地对齐到源域;为保持训练过程的平稳,一种基于熵值产生目标域像素级伪标签的方法被提出以监督特征提取器,提升模型表现。在ISPRS Vaihingen与ISPRS Potsdam数据集上的大量实验表明,改进后的算法优于其他遥感图像语义分割中的基于对抗学习域自适应算法。     

一种基于损失预测的双主动域适应算法研究

近年来深度学习在图像分类任务上取得了显著效果,但通常要求大量人工标记数据,模型训练成本很高.因此,领域自适应等小样本学习方法成为当前研究热点.通常,域适应方法利用源域的经验知识也仅能一定程度降低对目标域标记数据的依赖,因此可以引入主动学习方法对样本价值进行评估并做筛选,从而进一步降低标记成本.本文将典型样本价值估计模型引入域适应学习,结合特征迁移思路,提出了双主动域适应学习算法D＿Ac T(Dual active domain adaptation).该算法同时对源域与目标域数据进行价值度量,并挑选最具训练价值的样本,在保证模型精度的前提下,大幅度减少了模型对标签数据的需求.具体而言,首先利用极大极小熵和核心集采样方法,用主动学习价值评估模型挑选目标域样本,得到单主动域适应算法S＿Ac T (Single active domain adaptation).随后利用损失预测策略,将价值评估策略适配至源域,进一步提升迁移学习知识复用有效性,降低模型训练成本.本文在常用的四个图像迁移数据集进行了测试,将所提两个算法和传统主动迁移学习及半监督迁移学习算法进行了实验对比.结果表明双主动域适应方...     

融合深度主动学习的医学图像半自动标注系统

目前深度学习在医学图像分析领域取得的良好表现大多取决于高质量带标注的数据集, 但是医学图像由于其专业性和复杂性, 数据集的标注工作往往需要耗费巨大的成本. 本文针对这一问题设计了一种基于深度主动学习的半自动标注系统, 该系统通过主动学习算法减少训练深度学习标注模型所需的标注样本数量, 训练完成后的标注模型可以用于剩余数据集的标注工作. 系统基于Web应用构建, 无需安装且能跨平台访问, 便于用户完成标注工作.     

基于渐进多源域迁移的无监督跨域目标检测

针对目标检测任务中获取人工标注训练样本的困难, 提出一种在像素级与特征级渐进完成域自适应的无监督跨域目标检测方法. 现有的像素级域自适应方法中, 存在翻译图像风格单一、内容结构不一致的问题. 因此, 将输入图像分解为域不变的内容空间及域特有的属性空间, 综合不同空间表示进行多样性的图像翻译, 同时保留图像的空间语义结构以实现标注信息的迁移. 此外, 对特征级域自适应而言, 为缓解单源域引起的源域偏向问题, 将得到的带有标注的多样性翻译图像作为多源域训练集, 设计基于多领域的对抗判别模块, 从而获取多个领域不变的特征表示. 最后, 采用自训练方案迭代生成目标域训练集伪标签, 以进一步提升模型在目标域上的检测效果. 在Cityscapes & Foggy Cityscapes与VOC07 & Clipart1k数据集上的实验结果表明, 相比现有的无监督跨域检测算法, 该检测框架具更优越的迁移检测性能.     

局部一致性主动学习的源域无关开集域自适应

无监督域自适应在解决训练集(源域)和测试集(目标域)分布不一致的问题上已经取得了一定的成功.在面向低能耗场景和开放动态任务环境时,在资源约束和开放类别出现的情况下,现有的无监督域自适应方法面临着严峻的挑战.源域无关开集域自适应(SF-ODA)旨在将源域模型中的知识迁移到开放类出现的无标签目标域,从而在无源域数据资源的限制下辨别公共类和检测开放类.现有的源域无关开集域自适应的方法聚焦于设计准确检测开放类别的源域模型或增改模型的结构.但是,这些方法不仅需要额外的存储空间和训练开销,而且在严格的隐私保护场景下难以实现.提出了一个更加实际的场景:主动学习的源域无关开集域自适应(ASF-ODA),目标是基于一个普通训练的源域模型和少量专家标注的有价值的目标域样本来实现鲁棒的迁移.为了达成此目标,提出了局部一致性主动学习(LCAL)算法.首先,利用目标域中局部特征标签一致的特点,LCAL设计了一种新的主动选择方法:局部多样性选择,来挑选更有价值的阈值模糊样本来促进开放类和公共类分离.接着,LCAL基于信息熵初步筛选出潜在的公共类集合和开放类集合,并利用第一步得到的主动标注样本对这两个集合进行匹配纠...     

深度域适应综述:一般情况与复杂情况

信息时代产生的大量数据使机器学习技术成功地应用于许多领域.大多数机器学习技术需要满足训练集与测试集独立同分布的假设,但在实际应用中这个假设很难满足.域适应是一种在训练集和测试集不满足独立同分布条件下的机器学习技术.一般情况下的域适应只适用于源域目标域特征空间与标签空间都相同的情况,然而实际上这个条件很难满足.为了增强域...     

多源域混淆的双流深度迁移学习

目的 针对深度学习严重依赖大样本的问题,提出多源域混淆的双流深度迁移学习方法,提升了传统深度迁移学习中迁移特征的适用性。方法 采用多源域的迁移策略,增大源域对目标域迁移特征的覆盖率。提出两阶段适配学习的方法,获得域不变的深层特征表示和域间分类器相似的识别结果,将自然光图像2维特征和深度图像3维特征进行融合,提高小样本数据特征维度的同时抑制了复杂背景对目标识别的干扰。此外,为改善小样本机器学习中分类器的识别性能,在传统的softmax损失中引入中心损失,增强分类损失函数的惩罚监督能力。结果 在公开的少量手势样本数据集上进行对比实验,结果表明,相对于传统的识别模型和迁移模型,基于本文模型进行识别准确率更高,在以DenseNet-169为预训练网络的模型中,识别率达到了97.17%。结论 利用多源域数据集、两阶段适配学习、双流卷积融合以及复合损失函数,构建了多源域混淆的双流深度迁移学习模型。所提模型可增大源域和目标域的数据分布匹配率、丰富目标样本特征维度、提升损失函数的监督性能,改进任意小样本场景迁移特征的适用性。     

一种基于元学习的医疗文本分类模型

医疗文本专业术语复杂,垂直领域训练样本不足,传统的分类方法不能满足现实需求,提出一种基于元学习的小样本文本分类模型提高医疗文本分类效率。该模型基于迁移学习思想,加入注意力机制赋予句子中的词语不同的权重,利用两个相互竞争的神经网络分别扮演领域识别者和元知识生成者的角色,通过自适应性网络加强元学习对新数据集的适应性,最后使用岭回归获得数据集的分类。实验对比分析结果验证了该模型对一些公开文本数据集和医疗文本数据具有很好的分类效果。基于元学习的小样本文本分类模型可以成功地应用在医疗文本分类领域。     

基于域自适应的云南重彩画无监督情感识别

计算机视觉中,深度学习之所以取得如此巨大的突破,均得益于可获得的大规模标记数据集,而在图像情感分析中,由于情感语义的模糊性,导致图像情感标注困难,公开可获得图像情感数据集较少,其规模也小,制约了基于深度学习的图像情感分析性能。情感语义具有其特有的有序性和极性分组特征,而已有的图像情感分析方法中很少关注到情感语义的这些本质特征。基于域自适方法,考虑情感语义的本质特征,提出一种基于推土机距离的情感语义对齐方式,将带标记的情感数据集的训练模型更好地迁移到无标记的情感数据集上,实现无监督的图像情感分析,解决情感数据集标注困难的问题。该方法应用于创建的云南重彩画数据集,实验结果表明,其能有效地对齐源域和目标域数据,实现无监督的情感数据集自动标注,有利于扩充图像情感数据集规模。     

注意力迁移的联合平衡领域自适应

目的 现有的图像识别方法应用于从同一分布中提取的训练数据和测试数据时具有良好性能,但这些方法在实际场景中并不适用,从而导致识别精度降低。使用领域自适应方法是解决此类问题的有效途径,领域自适应方法旨在解决来自两个领域相关但分布不同的数据问题。方法 通过对数据分布的分析,提出一种基于注意力迁移的联合平衡自适应方法,将源域有标签数据中提取的图像特征迁移至无标签的目标域。首先,使用注意力迁移机制将有标签源域数据的空间类别信息迁移至无标签的目标域。通过定义卷积神经网络的注意力,使用关注信息来提高图像识别精度。其次,基于目标数据集引入网络参数的先验分布,并且赋予网络自动调整每个领域对齐层特征对齐的能力。最后,通过跨域偏差来描述特定领域的特征对齐层的输入分布,定量地表示每层学习到的领域适应性程度。结果 该方法在数据集Office-31上平均识别准确率为77.6%,在数据集Office-Caltech上平均识别准确率为90.7%,不仅大幅领先于传统手工特征方法,而且取得了与目前最优的方法相当的识别性能。结论 注意力迁移的联合平衡领域自适应方法不仅可以获得较高的识别精度,而且能够自动学习领域间特征的对齐程度,同时也验证了进行域间特征迁移可以提高网络优化效果这一结论。     

结合域适应学习的糖尿病视网膜病变分级诊断

目的 传统的糖尿病视网膜病变(糖网)(diabetic retinopathy, DR)依赖于早期病理特征的精确检测,但由于数据集缺乏病灶标记区域导致无法有效地建立监督性分类模型,引入其他辅助数据集又会出现跨域数据异质性问题;另外,现有的糖网诊断方法大多无法直观地从语义上解释医学模型预测的结果。基于此,本文提出一种端到端式结合域适应学习的糖网自动多分类方法,该方法协同注意力机制和弱监督学习加强优化。方法 首先,利用已标记病灶区域的辅助数据训练病灶检测模型,再将目标域数据集的糖网诊断转化为弱监督学习问题,依靠多分类预测结果指导深度跨域生成对抗网络模型,提升跨域的样本图像质量,用于微调病灶检测模型,进而过滤目标域中一些无关的病灶样本,提升多分类分级诊断性能。最后,在整体模型中融合注意力机制,从医学病理诊断角度提供可解释性支持其分类决策。结果 在公开数据集Messidor上进行糖网多分类评估实验,本文方法获得了71.2%的平均准确率和80.8%的AUC(area under curve)值,相比于其他多种方法具有很大优势,可以辅助医生进行临床眼底筛查。结论 结合域适应学习的糖网分类方法在没有...     

基于目标图像先验信息的无监督多聚焦图像融合

多聚焦图像融合（MFIF）是从不同源图像中获取聚焦区域,以形成全清晰图像的一种图像增强方法。针对目前MFIF方法主要存在的两个方面问题,即传统的空间域方法在其融合边界存在较强的散焦扩散效应（DSE）以及伪影等问题;深度学习方法缺乏还原光场相机生成的数据集,并且因需要大量手动调参而存在训练过程耗时过多等问题,提出了一种基于目标图像先验信息的无监督多聚焦图像融合方法。首先,将源图像本身的内部先验信息和由空间域方法生成的初始融合图像所具有的外部先验信息分别用于G-Net和F-Net网络输入,其中,G-Net和F-Net网络都是由UNet组成的深度图像先验（DIP）网络;然后,引入一种由空间域方法生成的参考掩膜辅助G-Net网络生成引导决策图;最后,该决策图联合初始融合图像对F-Net网络进行优化,并生成最终的融合图像。验证实验基于具有真实参考图像的Lytro数据集和融合边界具有强DSE的MFFW数据集,并选用了5个广泛应用的客观指标进行性能评价。实验结果表明,该方法有效地缩短了优化迭代次数,在主观和客观性能评价上优于8种目前最先进的MFIF方法,尤其在融合边界具有强DSE的数据集上表现得更有优势。     

基于深度学习的医学影像诊断综述

目前各类医学影像数据积累迅速,给利用传统影像分析方法实现疾病诊断的医生带来了巨大挑战;计算机视觉领域的深度学习方法日渐成熟,为实现医学影像的自动分析及辅助医生实现疾病的高精度智能诊断提供了新的契机。文中综述了深度学习方法在医学影像领域的最新研究进展。首先,介绍了深度学习方法以及该类方法在医学影像领域的应用情况;然后,从应用深度学习主要研究的几大病症来分析具体的研究进展;最后,总结研究动向,预测研究趋势,并提出深度学习在医学影像研究中可能存在的问题以及建议。     

基于深度学习的草图检索方法研究进展

草图检索(SBIR)是基于内容的图像检索(CBIR)的扩展,是一种灵活便捷的目标图像检索方式,其研究的焦点是如何减少手绘草图域与自然图像域之间的域差。传统方法提取手工特征完成草图域与图像域之间的近似转换以减少域差,但该类方法无法有效拟合2个域内容,导致检索精度不高。深度学习方法依赖大量数据进行图像高维特征的提取,突破了传统方法的局限,已被证明可以有效解决跨域建模问题。研究聚焦于基于深度学习的草图检索方法,在深度特征提取模型、公开的数据测试集、粗粒度和细粒度检索、哈希技术和类别泛化等几个方面对草图检索的深度学习方法的相关研究工作进行了综述和评论。然后进行了实验比较研究,一方面,对现有3个公开的SBIR测试集Sketchy、TU-Berlin和QuickDraw进行适用性评估;另一方面,选取3个最新的SBIR深度学习模型GRLZS模型、SEM-PCYC模型和SAKE模型进行性能分析与比较。最后,对草图检索面临的挑战和未来研究方向进行了总结与展望。