面向小样本约束的域适应分类算法

近年来,人工智能的相关应用被越来越细化到不同的应用场景,而对不同的应用场景都进行相应的数据收集,模型训练,模型调优等步骤需要消耗大量的时间精力会严重影响人工智能技术应用的效率.因此如何基于现有的成熟的训练过的模型迁移到其他应用场景是当前应用人工智能技术的关键问题.域适应算法主要研究将源域模型有效地迁移到目标域,这为上述问题提供了一个重要的解决思路.本文提出小样本对抗判别域适应算法,相对于无监督域适应算法能够在更严格的约束下-仅需要少量的目标域样本,在标准数据集上取得了优于对抗判别域适应算法(Adversarial Discriminative Domain Adaptation,ADDA)算法的表现,在单任务中最高提升幅度达16.9%.本文中,首先,提出了两种新的数据增强方法,以构建符合双域联合分布的图像以丰富样本多样性并填充特征空间,解决小样本约束下模型易过拟合到少量目标域样本的问题.接着,结合双域样本配对机制和ADDA算法,将以大量目标域样本为条件的无监督域适应算法改进为面向小样本约束的有监督域适应算法.在域适应过程中,引入类标签平滑损失来抑制过拟合现象,并结合度量学习中的最大平均...     

基于联合域适应的异构样本增强网络

域适应网络在样本增强领域应用受限,其根源在于领域的不同会加剧样本空间分布的差异。针对上述问题,提出基于联合域适应的异构样本增强网络。具体而言,异构域维度对齐子网中的支持域样本,在实现异构领域中样本维度对齐的同时,还嵌入了领域的分布知识,提高了后续异构域分布匹配的表现。此外,异构域分布匹配子网联合匹配了异构领域的边缘分布和条件分布,并嵌入了自适应机制,从而保证了联合域适应网络的匹配精度。由此,其他领域的样本通过上述设计的基于联合域适应的异构样本增强网络,能够被可靠地用于增强当前领域中的小样本。该网络在业界公认的田纳西-伊斯曼数据集上进行验证,实验结果表明了该网络的有效性。     

基于序列对抗域适应的智能裁剪算法

智能裁剪任务一直受到缺乏训练数据的困扰,目前还局限于公开数据集中.因为实际应用场景与训练场景之间存在域迁移,文中提出基于序列对抗域适应的智能裁剪算法.首先,通过实验证实裁剪数据集GAICD和CPC之间存在域迁移问题.然后,构造由美学评分模块和对抗域适应模块组成的算法.美学评分模块用于预测图像的美学评分,并辅助提取面向裁剪任务的不变特征.对抗域适应模块实现基于对抗的域适应学习.不同裁剪数据集之间的域迁移实验及室内/室外场景之间的域迁移实验均验证文中算法的有效性.     

基于双矫正机制的源域无关域适应学习

标准域无监督域适应学习是从相关的源域学习知识迁移到目标域,通常假设源域数据在训练阶段是可直接使用的。但是由于隐私和安全问题,在一些现实的应用中,源域数据往往是不可直接获取的,如何有效利用目标域数据从而减少噪声类的输出或特征的产生是源域无关域适应学习的巨大挑战。为解决这个问题,提出了一个基于双矫正机制的源域无关域适应学习模型（source-free domain adaptation with dual-correction mechanism,DCM）。首先,探索目标域样本信息结构,对噪声类输出进行矫正;其次,采用教师—学生模型指导特征的学习,最大化高置信度特征间的一致性以及低置信度特征间的差异性。最后,在数字集、Office-31和Office-Home数据集上的实验结果证实了DCM的有效性。     

基于间接域适应特征生成的直推式零样本学习方法

近年来,零样本学习备受机器学习和计算机视觉领域的关注.传统的归纳式零样本学习方法通过建立语义与视觉之间的映射关系,实现类别之间的知识迁移.这类方法存在着可见类和未见类之间的映射域漂移（projection domain shift）问题,直推式零样本学习方法通过在训练阶段引入无标定的未见类数据进行域适应,能够有效地缓解上述问题并提升零样本学习精度.然而,通过实验分析发现,这种直接在视觉空间同时进行语义映射建立和域适应的直推式零样本学习方法容易陷入“相互制衡”问题,从而无法充分发挥语义映射和域适应的最佳性能.针对上述问题,提出了一种基于间接域适应特征生成（feature generation with indirect domain adaptation,FG-IDA）的直推式零样本学习方法.该方法通过串行化语义映射和域适应优化过程,使得直推式零样本学习的这两大核心步骤能够在不同特征空间分别进行最佳优化,从而激发其潜能提升零样本识别精度.在4个标准数据集（CUB,AWA1,AWA2,SUN）上对FG-IDA模型进行了评估,实验结果表明,FG-IDA模型不仅展示出了相对其他直推学习方法的优越性,同时还在AWA1,AWA2和CUB数据集上取得了当前最优结果（the state-of-the-art performance）.此外还进行了详尽的消融实验,通过与直接域适应方法进行对比分析,验证了直推式零样本学习中的“相互制衡”问题以及间接域适应思想的先进性.     

带有双判别器的对抗性领域适应图像分类算法

生成对抗网络的出现将对抗学习的思想引入了机器学习的不同知识体系,带来了全新的发展。对抗性的领域适应算法利用一个共享特征提取器提取域不变表征,一个判别器进行辨别,双方通过对抗性的迭代更新方式达到最优解。在数据来源上,生成对抗网络和领域适应都有极其类似的2个域。在目标函数上,两者都试图追寻一致性。从理论和逻辑结构出发分析两者的内在相似性,尝试利用已成熟的生成对抗网络体系从更深层次进一步提升领域适应性能。通过类比,提出使用2个判别器解决已有对抗性领域适应算法中存在的“模式崩溃”问题,并使用伪标签进行结构上的完善。最后,在标准领域适应任务上的实验表明了本文算法的可行性和有效性。     

部分域适应研究综述

域适应通过将源域知识迁移到任务相似的目标域,旨在辅助后者更好地学习.当目标域的数据标签集为源域标签的子集时,该类场景的域适应称为部分或偏域适应(partial domain adaption, PDA).相比一般的域适应,尽管PDA更具普遍性,但也更具挑战性,相关研究较少,尤其缺少系统的综述.为此,旨在弥补这一欠缺,对现有PDA方法进行全面回顾、分析和总结,为相关社区提供主题研究概貌和参考.首先针对PDA背景、概念和应用领域进行概况总结.其次,根据方法的建模特点, PDA被划分为促进正迁移和抑制负迁移两大类,进而分别作出回顾和分析.然后,对常用的实验基准数据集进行归类和总结.最后,对现有PDA工作存在的问题进行了分析,并提出了其未来可能的发展方向.     

多源域适应方法综述

域适应是解决源域样本和目标域样本不满足独立同分布问题的迁移学习范式,是当下研究的重点方法。然而实际情况下获取源域样本的渠道和方法并不唯一,这会导致源域中存在多种不同分布的样本。多源域适应方法是解决源域样本分布多样性问题的有效途径,其主要研究各源域分布间的关系和与目标域分布对齐的策略,进一步减轻各域之间的域偏移,具有实用意义和挑战价值。随着深度学习技术的不断进步,多源域适应方法主要使用深度神经网络提取各域的域不变特征作为分布对齐的依据,结合使用度量准则衡量分布差异或者利用对抗思想对齐域间分布。经过理论证明和实验验证,多源域适应方法训练的模型比单源域方法训练的模型具有更好的泛化性能,更符合现实需求。通过介绍多源域适应的研究现状和相关概念,对现有算法进行总结和综述,按照迁移方式不同对多源域适应方法进行分类,进一步分析多源域适应方法性能的实验结果,阐述其存在的不足和缺点,并对多源域适应领域的发展和趋势进行预测。     

基于分类差异与信息熵对抗的无监督域适应算法

采用对抗训练的方式成为域适应算法的主流,通过域分类器将源域和目标域的特征分布对齐,减小不同域之间的特征分布差异。但是,现有的域适应方法仅将不同域数据之间的距离缩小,而没有考虑目标域数据分布与决策边界之间的关系,这会降低目标域内不同类别的特征的域内可区分性。针对现有方法的缺点,提出一种基于分类差异与信息熵对抗的无监督域适应算法(adversarial training on classification discrepancy and information entropy for unsupervised domain adaptation, ACDIE)。该算法利用两个分类器之间的不一致性对齐域间差异,同时利用最小化信息熵的方式降低不确定性,使目标域特征远离决策边界,提高了不同类别的可区分性。在数字标识数据集和Office-31数据集上的实验结果表明,ACDIE算法可以学习到更优的特征表示,域适应分类准确率有明显提高。     

基于图像风格迁移的人脸识别域适应方法

监控场景下的带标签人脸数据难以获取,尽管可以利用已有的公开数据集或合成数据,但这些数据与真实的监控人脸数据在图像风格上存在较大的域间差异。针对该问题,不同于基于特征或公共子空间的域适应方法,提出一种基于图像风格迁移的解决方法。具体地,基于CycleGAN网络改进得到Face-CycleGAN,在保持身份属性的前提下,对现有带标签数据进行风格迁移,使其在背景、光照、皮肤材质等方面与监控场景更接近,并进一步通过联合滤波对迁移图像进行后处理。最后,利用迁移得到的数据优化人脸识别算法,减小域间差异带来的负面影响。提出的方法在公开数据集EK-LFH和自建数据集3DProj-Sur上进行了实验评估,分别取得了21.93%和4.77%的识别率提升,证明了该方法在解决域适应问题上是有效的。     

基于极限学习机参数迁移的域适应算法

针对含少量标签样本的迁移学习问题,本文提出了基于极限学习机（Extreme learning machine,ELM）参数迁移的域适应算法,其核心思想是将目标域的ELM分类器参数投影到源域参数空间中,使其最大限度地与源域的分类器参数分布相同.此外,考虑到迁移中有可能带来负迁移的情况,在目标函数中引入正则项约束.本文算法与以往的域适应算法相比优势在于,其分类器参数以及转移矩阵是同时优化得到的,并且其目标函数求解过程相对简单.实验结果表明,与主流的域适应算法相比,本文算法在精度与效率上都表现出明显的优势.     

基于无监督域适应的可区分联合匹配算法

当域之间差异较大时,域适应的迁移效果较差.缩小域差可改善迁移效果,但却忽略后期分类时的可区分性.因此,文中提出基于无监督域适应的可区分联合匹配算法,根据域间类别的不同进行差异化处理,并结合特征匹配和实例重加权提高迁移效果.使用联合概率分布作为域之间数据分布差异的度量,缩小相同类域之间的距离,提高迁移性;扩大不同类域之间的距离,提高区分性.在特征降维的过程中联合特征匹配和实例重加权,共同构造特征变换矩阵.实验表明,文中算法在18组任务上的分类效果较优.     

深度域适应综述: 一般情况与复杂情况

信息时代产生的大量数据使机器学习技术成功地应用于许多领域. 大多数机器学习技术需要满足训练集与测试集独立同分布的假设, 但在实际应用中这个假设很难满足. 域适应是一种在训练集和测试集不满足独立同分布条件下的机器学习技术. 一般情况下的域适应只适用于源域目标域特征空间与标签空间都相同的情况, 然而实际上这个条件很难满足. 为了增强域适应技术的适用性, 复杂情况下的域适应逐渐成为研究热点, 其中标签空间不一致和复杂目标域情况下的域适应技术是近年来的新兴方向. 随着深度学习技术的崛起, 深度域适应已经成为域适应研究领域中的主流方法. 本文对一般情况与复杂情况下的深度域适应的研究进展进行综述, 对其缺点进行总结, 并对其未来的发展趋势进行预测. 首先对迁移学习相关概念进行介绍, 然后分别对一般情况与复杂情况下的域适应、域适应技术的应用以及域适应方法性能的实验结果进行综述, 最后对域适应领域的未来发展趋势进行展望并对全文内容进行总结.     

基于深度域适应的跨域目标检测算法综述

近年来,基于深度学习的目标检测算法在自动驾驶、人机交互等众多域上有着成功的应用,且因其检测性能较高引起学者的广泛关注。传统的深度学习方法一般基于源域与目标域服从同一分布的假设,但该假设不具备现实性,严重地降低了模型的泛化性能。如何对齐源域与目标域的分布,提高目标检测模型的泛化性成为近两年的研究热点。对跨域目标检测算法进行了综述,介绍了跨域目标检测的预备知识：深度域适应和目标检测,将跨域目标检测分解为两个子问题进行了概述,从底层逻辑理解其发展进程;给出了跨域目标检测算法的最新进展,从差异、对抗、重构、混合和其他等几个分类角度切入,梳理了每个类别的研究脉络并对比了在不同数据集上的性能;通过对目前跨域目标检测算法的梳理和总结,就其未来的研究方向进行展望。     

通用域适应综述

域适应问题放宽了传统机器学习问题关于训练样本和测试样本同分布的假设,在域间差异存在的情况下从富有标签的源域迁移知识到缺少标签的目标域.但现有域适应方法大多依赖于对源域和目标域标签集合的相对关系的假设,不贴合实际应用场景,因此,通用域适应问题考虑如何在缺少源域和目标域的标签集合先验信息的情况下,实现对目标域的标记.在此过程中,通用域适应方法需要判定目标域样本是否属于源域类别,克服域间差异和潜在的类别差异,在源域和目标域共有类上完成标签的迁移.首先从问题设置与方法策略2方面,对通用域适应方法进行梳理;然后通过实验对比了典型方法,进而分析了通用域适应问题的研究难点;随后整理了现有方法的应用情况,对与之有关的实际应用问题进行了分析;最后探讨了通用域适应问题未来研究方向.     

一种基于SVM和主动学习的图像检索方法

为了提高图像检索的速度和准确性,提出了一种基于SVM和主动学习的图像检索方法,该方法分为两个阶段,第一阶段用K-means聚类算法在图像数据库中找出代表性样本,有效的缩小了目标图像的查找范围。第二阶段通过对未标注样本与分类边界之间的距离以及其近邻密度进行综合评价,选出最有价值的关键性样本作为训练样本,使得分类器可以通过较少的反馈次数快速达到较高的准确性。实验表明,本文算法可以有效提高图像的检索性能。     

元迁移学习在少样本跨域图像分类中的研究

目的 现有基于元学习的主流少样本学习方法假设训练任务和测试任务服从相同或相似的分布,然而在分布差异较大的跨域任务上,这些方法面临泛化能力弱、分类精度差等挑战。同时,基于迁移学习的少样本学习方法没有考虑到训练和测试阶段样本类别不一致的情况,在训练阶段未能留下足够的特征嵌入空间。为了提升模型在有限标注样本困境下的跨域图像分类能力,提出简洁的元迁移学习（compressed meta transfer learning,CMTL）方法。方法 基于元学习,对目标域中的支持集使用数据增强策略,构建新的辅助任务微调元训练参数,促使分类模型更加适用于域差异较大的目标任务。基于迁移学习,使用自压缩损失函数训练分类模型,以压缩源域中基类数据所占据的特征嵌入空间,微调阶段引导与源域分布差异较大的新类数据有更合适的特征表示。最后,将以上两种策略的分类预测融合视为最终的分类结果。结果 使用mini-ImageNet作为源域数据集进行训练,分别在EuroSAT(EuropeanSatellite)、ISIC(InternationalSkinImagingCollaboration)、CropDiseas(Cr...     

基于深度多源子域适应网络的滚动轴承跨域故障诊断

针对域适应技术在源域数据集子类距离过近以及样本数量少时分类精度低的问题,提出一种基于深度卷积生成对抗网络(DCGAN)数据扩充的深度多源子域适应网络(DMSAN)故障诊断方法.首先,针对目标域样本少的问题,引入深度卷积生成对抗网络对其进行数据扩充;其次,通过网络分支结构获取多源域的共享特征;再次,使用局部最大均值差异(LMMD)进行特征映射,对齐每个源域和目标域的子领域;最后,采用加权模块实现全局损失的最小化,以及多源域联合诊断.引入美国凯斯西储大学(CWRU)数据集和搭建故障诊断平台测得的轴承故障数据集进行实验,结果表明所提出模型的跨域故障诊断精度高于其他域适应对比模型,在目标域数据较少时优势尤为明显.