伪标签不确定性估计的源域无关鲁棒域自适应

无监督域自适应是解决训练集(源域)和测试集(目标域)分布不一致的有效途径之一.现有的无监督域自适应的理论和方法在相对封闭、静态的环境下取得了一定成功,但面向开放动态任务环境时,在隐私保护、数据孤岛等限制条件下,源域数据往往不可直接获取,现有无监督域自适应方法的鲁棒性将面临严峻的挑战.鉴于此,研究了一个更具挑战性却又未被...     

基于反向伪标签最优化传输的无监督域自适应

现实世界中训练数据和测试数据往往存在分布差异,导致基于独立同分布假设的模型丧失鲁棒性. 无监督域自适应是一种重要解决方法,极具应用价值. 鉴于此,国内外研究者进行大量理论基础和方法技术的研究,促进了很多应用领域的发展,包括自动驾驶、智慧医疗等. 但是,目前主流的方法仍存在一些问题：源域和目标域的概率分布距离是否能真正代表它们之间的差异,以及如何更准确地度量2个分布之间的差异,仍然是一个值得探讨的问题. 同时,如何更有效地利用伪标签,也是一个值得继续探索的问题. 提出了反向伪标签最优化传输（backward pseudo-label and optimal transport,BPLOT）,不仅利用瓦瑟斯坦距离和格罗莫夫-瓦瑟斯坦距离,从最优化特征-拓扑传输的角度更准确地计算了2个分布之间的差异;而且提出了反向验证伪标签的模块来更有效地利用伪标签,在训练过程中验证伪标签的质量. 将所提出的方法在多个无监督域自适应的数据集上进行了实验验证. 实验结果表明,BPLOT模型的效果超过了所有对比的基准方法.

     

基于渐进多源域迁移的无监督跨域目标检测

针对目标检测任务中获取人工标注训练样本的困难, 提出一种在像素级与特征级渐进完成域自适应的无监督跨域目标检测方法. 现有的像素级域自适应方法中, 存在翻译图像风格单一、内容结构不一致的问题. 因此, 将输入图像分解为域不变的内容空间及域特有的属性空间, 综合不同空间表示进行多样性的图像翻译, 同时保留图像的空间语义结构以实现标注信息的迁移. 此外, 对特征级域自适应而言, 为缓解单源域引起的源域偏向问题, 将得到的带有标注的多样性翻译图像作为多源域训练集, 设计基于多领域的对抗判别模块, 从而获取多个领域不变的特征表示. 最后, 采用自训练方案迭代生成目标域训练集伪标签, 以进一步提升模型在目标域上的检测效果. 在Cityscapes & Foggy Cityscapes与VOC07 & Clipart1k数据集上的实验结果表明, 相比现有的无监督跨域检测算法, 该检测框架具更优越的迁移检测性能.     

基于伪标签的无监督领域自适应分类方法

现有的领域自适应方法在匹配分布时并未完全考虑伪标签置信度或伪标签损失计算问题,针对此类问题,提出循环选择伪标签分类模型（CSPL）。利用深度网络提取图像特征,为目标域打上高置信度伪标签使得训练数据增强,采用MMD距离度量方法对齐源域和目标域的概率分布,同时设计伪标签损失同步迭代学习,更新模型作为下一次循环的训练模型直至模型收敛。在常用的领域自适应数据集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上实验表明,该模型相比之前域适应模型在准确度方面平均提升4%~8%且模型的鲁棒性也明显增加。     

基于LSTM的无监督域自适应行人重识别

本文提出一种基于无监督域自适应的行人重识别方法.给定有标签的源域训练集和无标签的目标域训练集,探索如何提升行人重识别模型在目标域测试集上的泛化能力.以此为目的,在模型的训练过程中,将源域和目标域训练集同时输入到模型中进行训练,提取全局特征的同时,提取局部特征进行行人图像描述以学到更加细粒度的特征.提出将长短时记忆网络(...     

局部一致性主动学习的源域无关开集域自适应

无监督域自适应在解决训练集(源域)和测试集(目标域)分布不一致的问题上已经取得了一定的成功.在面向低能耗场景和开放动态任务环境时,在资源约束和开放类别出现的情况下,现有的无监督域自适应方法面临着严峻的挑战.源域无关开集域自适应(SF-ODA)旨在将源域模型中的知识迁移到开放类出现的无标签目标域,从而在无源域数据资源的限制下辨别公共类和检测开放类.现有的源域无关开集域自适应的方法聚焦于设计准确检测开放类别的源域模型或增改模型的结构.但是,这些方法不仅需要额外的存储空间和训练开销,而且在严格的隐私保护场景下难以实现.提出了一个更加实际的场景:主动学习的源域无关开集域自适应(ASF-ODA),目标是基于一个普通训练的源域模型和少量专家标注的有价值的目标域样本来实现鲁棒的迁移.为了达成此目标,提出了局部一致性主动学习(LCAL)算法.首先,利用目标域中局部特征标签一致的特点,LCAL设计了一种新的主动选择方法:局部多样性选择,来挑选更有价值的阈值模糊样本来促进开放类和公共类分离.接着,LCAL基于信息熵初步筛选出潜在的公共类集合和开放类集合,并利用第一步得到的主动标注样本对这两个集合进行匹配纠...     

基于无源性的异步机自适应控制

对近年来出现的一种异步机控制方法--基于无源性的控制(简称PBC)进行了发展,从理论上取消了对定子电流反馈的要求,并针对转子电阻变化,增加了参数自调整的自适应控制和转子磁链闭环控制.该控制器保留了PBC方法的简单、无奇异点等优点,而且抑制了由于转子电阻变化引起的转速和磁链跟踪误差.     

融合动态残差的多源域自适应算法研究

多源域自适应问题通常是指拥有多个源域与单个目标域的场景.常见做法是依据域标签两两对齐源域与目标域分布,通过减小域间距离,将分布映射到共同隐空间内,去预测未知目标域的数据分类.源数据集通常需要域标签,且模型在经过训练阶段后,参数固定,这就很难达到拟合未知目标域分布的目的.基于动态残差块的多源域自适应算法不是从域的角度而是...     

基于可靠性集成的无监督域自适应行人重识别

为了缓解基于伪标签的无监督域自适应行人重识别(UDA person ReID)方法中噪声标签带来的负面影响,提出了一种基于可靠性集成的无监督域自适应行人重识别(UDA-RI)方法。该方法包含渐进式伪标签提炼策略和基于可靠性集成策略两个部分。渐进式伪标签提炼策略通过建立一个不确定性的定量标准来衡量伪标签的可靠性,并采用渐进式采样使得模型得到更加稳定的训练。基于可靠性集成策略考虑了来自不同适应时刻的知识,将来自不同迭代的模型按照可靠性高低分配的权重进行了集成,并将自集成后的两种不同架构的模型再进行集成作为最终推理模型。实验表明,与目前先进的无监督域自适应行人重识别方法相比,UDA-RI方法在Market1501、DukeMTMC-ReID和MSMT17数据集上都取得了优越的性能。     

基于域自适应的肿瘤识别模型

关注人的生命健康,定期进行癌症筛查是一项极为重要的工作。针对肿瘤图像数据集数量较少且存在部分无标签的问题,提出了一种基于域自适应算法的肿瘤识别模型。其主干网络包括特征提取器、标签分类器和域判别器。其中,特征提取器对源域和目标域的特征进行提取,学习肿瘤特征;标签分类器对肿瘤图像进行分类输出;域判别器对数据特征的来源进行判定。标签分类器与域判别器博弈,获取源域和目标域的数据分布,直到二者在特征空间上的分布趋于一致,此时得到的分类器可对目标域的数据进行分类。在BreakHis数据集上的实验结果表明,所提算法的平均准确率达到了87.6%,与两种经典域自适应方法相比,其准确率分别提高了16.2%和14.1%,并且在无标签的数据集上显示出了良好的性能。     

一种基于自适应域值混合差分的目标检测方法

基于视频的目标检测中,现有流行的高斯混合模型GMM(Gaussian Mixture Model)目标检测的效果最好,但是其计算量很大,而简单的帧间差分方法和背景差分方法计算速度快,但是检测效果较差.提出在改进聚类方法基础上的基于自适应域值混合差分的目标检测方法,能够一方面具有很好的运动目标检测效果,另一方面具有很快的计算处理速度.同时该方法具有自适应能力,免除人工设置域值的麻烦,因而在实践中具有良好的实际使用价值.     

基于自适应权重的多源部分域适应

作为机器学习的一个新兴领域,多源部分域适应(MSPDA)问题由于其源域自身的复杂性、领域之间的差异性以及目标域自身的无监督性,给相关研究带来了挑战,以致目前鲜有相关工作被提出.在该场景下,多个源域中的无关类样本在域适应过程中会造成较大的累积误差和负迁移.此外,现有多源域适应方法大多未考虑不同源域对目标域任务的贡献度不同.因此,提出基于自适应权重的多源部分域适应方法(AW-MSPDA).首先,构建了多样性特征提取器以有效利用源域的先验知识;同时,设计了多层次分布对齐策略从不同层面消除了分布差异,促进了正迁移;此外,为量化不同源域贡献度以及过滤源域无关类样本,利用相似性度量以及伪标签加权方式构建自适应权重;最后,通过大量实验验证了所提出AW-MSPDA算法的泛化性以及优越性.     

基于域自适应的云南重彩画无监督情感识别

计算机视觉中,深度学习之所以取得如此巨大的突破,均得益于可获得的大规模标记数据集,而在图像情感分析中,由于情感语义的模糊性,导致图像情感标注困难,公开可获得图像情感数据集较少,其规模也小,制约了基于深度学习的图像情感分析性能。情感语义具有其特有的有序性和极性分组特征,而已有的图像情感分析方法中很少关注到情感语义的这些本质特征。基于域自适方法,考虑情感语义的本质特征,提出一种基于推土机距离的情感语义对齐方式,将带标记的情感数据集的训练模型更好地迁移到无标记的情感数据集上,实现无监督的图像情感分析,解决情感数据集标注困难的问题。该方法应用于创建的云南重彩画数据集,实验结果表明,其能有效地对齐源域和目标域数据,实现无监督的情感数据集自动标注,有利于扩充图像情感数据集规模。     

结合源域差异性与目标域不确定性的深度迁移主动学习方法

针对训练深度模型时样本标注成本较大的问题,文中提出结合源域差异性与目标域不确定性的深度迁移主动学习方法.以源任务网络模型作为目标任务初始模型,在主动学习迭代中结合源域差异性和目标域不确定性挑选对模型最具有贡献的目标域样本进行标注,根据学习阶段动态调整两种评价指标的权重.定义信息榨取比概念,提出基于信息榨取比的主动学习批次训练策略及T&N训练策略.两个跨数据集迁移实验表明,文中方法在取得良好性能的同时可有效降低标注成本,提出的主动学习训练策略可优化计算资源在主动学习过程中的分配,即让方法在初始学习阶段对样本学习更多次数,在终末学习阶段对样本学习较少次数.     

域自适应学习研究进展

传统的机器学习假设测试样本和训练样本来自同一概率分布. 但当前很多学习场景下训练样本和测试样本可能来自不同的概率分布. 域自 适应学习能够有效地解决训练样本和测试样本概率分布不一致的学习问题,作为 机器学习新出现的研究领域在近几年受到了广泛的关注. 鉴于域自适应学习技术 的重要性,综述了域自适应学习的研究进展. 首先概述了域自适应学习的基本问 题,并总结了近几年出现的重要的域自适应学习方法. 接着介绍了近几年提出的 较为经典的域自适应学习理论和当下域自适应学习的热门研究方向,包括样例加 权域自适应学习、特征表示域自适应学习、参数和特征分解域自适应学习和多 源域自适应学习. 然后对域自适应学习进行了相关的理论分析,讨论了高效的度 量判据,并给出了相应的误差界. 接着对当前域自适应学习在算法、模型结构和 实际应用这三个方面的研究新进展进行了综述. 最后分别探讨了域自适应学习在 特征变换和假设、训练优化、模型和数据表示、NLP 研究中存在的问题这四个方面 的有待进一步解决的问题.     

基于深度学习的医学图像分析域自适应研究

深度学习技术的广泛应用有力推动了医学图像分析领域的发展,然而大多数深度学习方法通常假设训练集和测试集是独立同分布的,这个假设在模型临床部署时很难保证实现,因此常出现模型性能下降、场景泛化能力不强的困境。基于深度学习的域自适应技术是提升模型迁移能力的主流方法,其目的是使在一个数据集上训练的模型,能够在另一个没有或只有少量标签的数据集上也获得较好结果。由于医学图像存在着样本获取和标注困难、图像性质特殊、模态差异等情况,这给域自适应技术带来很多现实挑战。首先将介绍域自适应的定义及面临的主要挑战,进而从技术角度分类总结了近年来的相关算法,并对比分析其优缺点;然后详细介绍了域自适应常用的医学图像数据集以及相关算法结果情况;最后,从发展瓶颈、技术手段、交叉领域等方面,展望了面向医学图像分析的域自适应的未来研究方向。     

对抗一致性约束的无监督域自适应绝缘子检测

目的 绝缘子检测是输电线路智能巡维工作的重要组成部分,然而大多数情况仅能获得单一类型的绝缘子样本。将单一类型的绝缘子样本训练得到的模型直接用于其他类型的绝缘子检测,会由于训练数据与目标数据之间存在的域偏移导致其检测性能急剧下降。因此,提高模型的泛化能力以保持良好的检测性能显得尤为必要。为此,提出一种新颖的对抗一致性约束的无监督域自适应绝缘子检测算法。方法 对源域样本与目标域样本分别设计了两个不同的分类器,并将网络的预测结果与对应的绝缘子进行类别约束,使模型能够提取到不同类型绝缘子独有的特征。此外,在对抗学习过程中引入一个额外的分类器用于将源域中绝缘子特征与从目标域中预测到的目标物特征分到同一类别下,从而使模型能提取不同类型绝缘子共有的鲁棒性特征。结果 实验表明本文方法显著提高了模型的跨域检测性能。在glass→composite和composite→glass任务上的平均精度均值(mean average precision, mAP)分别达到55.1%和23.4%,优于主流的无监督域自适应目标检测方法。在公开数据集COCO(common objects in context)上的实验结果也较为优异,平均精度均值(mean average precision,mAP)达到61.5%。消融实验中,在glass→composite和composite→glass任务上,本文方法在基准性能上分别提升了11.5%和6.4%,表明了所提方法的有效性。结论 本文方法减少了不同类型绝缘子间的差异带来的域偏移,提升了模型在跨域绝缘子检测任务中的泛化能力,提高了输电线路巡维工作的绝缘子检测效率。同时,在COCO数据集上的普适性实验表明本文方法同样适用于其他不同类物体的检测并且性能优异。     

基于伪标签的无监督领域自适应行人重识别研究综述

行人重识别是计算机视觉领域的热点研究课题之一。近年来，为了解决行人重识别实际应用中标签数据稀缺的问题，同时也为了有效地利用现有的标签数据，研究者们提出了基于生成对抗网络以及基于伪标签的领域自适应方法，用于进行跨领域的行人重识别研究。基于伪标签的无监督领域自适应行人重识别方法由于效果显著而备受研究者的青睐。文中梳理了近7年来基于伪标签的无监督领域自适应行人重识别的研究成果，将基于伪标签的方法从模型训练角度划分为两个阶段。1)伪标签生成阶段。现有工作的伪标签生成方法大多使用聚类方法，部分工作采用基于图结构学习的图匹配、图卷积网络方法来生成目标域的伪标签。2)伪标签精炼阶段。文中将现有的伪标签精炼方法归纳为基于表征学习的精炼方法以及基于相似度学习的精炼方法，并分别进行模型方法的总结与整理。最后，讨论现阶段基于伪标签的无监督领域自适应行人重识别面临的挑战并对未来可能的发展方向进行展望。     

模型参数自适应迁移的多源域适应

在新领域中,常常存在样本不充分或标记不足的问题。针对此问题,人们提出了域适应,该方法利用相关领域（源域）的知识来提高当前领域（目标域）学习性能。单个源域的知识往往不充分且类别完全相同的多个源域难以满足,同时域之间存在漂移问题。而现有的多源域适应模型难以解决类别不完全一致的问题,因此给多源域适应带来了较大的挑战。为此提出了一种基于模型参数自适应迁移的方法（Adaptive Transfer for ModelParameter,ATMP）,通过对每个源域的模型参数进行私有和公有模型参数字典学习,同时将多个源域中所学的模型参数字典作为目标域的模型参数字典,然后通过对字典系数的行稀疏约束实现源域和目标域模型参数的自适应选择。除此之外,该方法迁移的是模型参数而不是数据本身,因此有效实现了对源域数据的隐私保护。经过一系列实验表明,在相关数据集上的实验显示了本文所提方法在聚类性能上的显著有效性。     

基于自适应无源化的蔡氏电路混沌同步

根据蔡氏电路混沌系统的特点,得出了蔡氏电路混沌驱动系统与响应系统的误差系统.根据混沌系统的同步条件,可将混沌的同步问题转化成为误差系统的稳定性问题,即使混沌同步误差系统渐近稳定以实现混沌同步控制.针对蔡氏电路混沌系统的误差系统,采用自适应无源化方法,设计了使同步误差系统渐近稳定的具有自适应功能的反馈镇定器.该控制方法实现了2个蔡氏电路混沌系统同步,仿真研究验证了该方法的有效性.