基于深度域适应的跨域目标检测算法综述

近年来,基于深度学习的目标检测算法在自动驾驶、人机交互等众多域上有着成功的应用,且因其检测性能较高引起学者的广泛关注。传统的深度学习方法一般基于源域与目标域服从同一分布的假设,但该假设不具备现实性,严重地降低了模型的泛化性能。如何对齐源域与目标域的分布,提高目标检测模型的泛化性成为近两年的研究热点。对跨域目标检测算法进行了综述,介绍了跨域目标检测的预备知识：深度域适应和目标检测,将跨域目标检测分解为两个子问题进行了概述,从底层逻辑理解其发展进程;给出了跨域目标检测算法的最新进展,从差异、对抗、重构、混合和其他等几个分类角度切入,梳理了每个类别的研究脉络并对比了在不同数据集上的性能;通过对目前跨域目标检测算法的梳理和总结,就其未来的研究方向进行展望。     

对抗一致性约束的无监督域自适应绝缘子检测

目的 绝缘子检测是输电线路智能巡维工作的重要组成部分,然而大多数情况仅能获得单一类型的绝缘子样本。将单一类型的绝缘子样本训练得到的模型直接用于其他类型的绝缘子检测,会由于训练数据与目标数据之间存在的域偏移导致其检测性能急剧下降。因此,提高模型的泛化能力以保持良好的检测性能显得尤为必要。为此,提出一种新颖的对抗一致性约束的无监督域自适应绝缘子检测算法。方法 对源域样本与目标域样本分别设计了两个不同的分类器,并将网络的预测结果与对应的绝缘子进行类别约束,使模型能够提取到不同类型绝缘子独有的特征。此外,在对抗学习过程中引入一个额外的分类器用于将源域中绝缘子特征与从目标域中预测到的目标物特征分到同一类别下,从而使模型能提取不同类型绝缘子共有的鲁棒性特征。结果 实验表明本文方法显著提高了模型的跨域检测性能。在glass→composite和composite→glass任务上的平均精度均值(mean average precision, mAP)分别达到55.1%和23.4%,优于主流的无监督域自适应目标检测方法。在公开数据集COCO(common objects in context)上的实验结果也较为优异,平均精度均值(mean average precision,mAP)达到61.5%。消融实验中,在glass→composite和composite→glass任务上,本文方法在基准性能上分别提升了11.5%和6.4%,表明了所提方法的有效性。结论 本文方法减少了不同类型绝缘子间的差异带来的域偏移,提升了模型在跨域绝缘子检测任务中的泛化能力,提高了输电线路巡维工作的绝缘子检测效率。同时,在COCO数据集上的普适性实验表明本文方法同样适用于其他不同类物体的检测并且性能优异。     

一种基于自适应域值混合差分的目标检测方法

基于视频的目标检测中,现有流行的高斯混合模型GMM(Gaussian Mixture Model)目标检测的效果最好,但是其计算量很大,而简单的帧间差分方法和背景差分方法计算速度快,但是检测效果较差.提出在改进聚类方法基础上的基于自适应域值混合差分的目标检测方法,能够一方面具有很好的运动目标检测效果,另一方面具有很快的计算处理速度.同时该方法具有自适应能力,免除人工设置域值的麻烦,因而在实践中具有良好的实际使用价值.     

基于渐进多源域迁移的无监督跨域目标检测

针对目标检测任务中获取人工标注训练样本的困难, 提出一种在像素级与特征级渐进完成域自适应的无监督跨域目标检测方法. 现有的像素级域自适应方法中, 存在翻译图像风格单一、内容结构不一致的问题. 因此, 将输入图像分解为域不变的内容空间及域特有的属性空间, 综合不同空间表示进行多样性的图像翻译, 同时保留图像的空间语义结构以实现标注信息的迁移. 此外, 对特征级域自适应而言, 为缓解单源域引起的源域偏向问题, 将得到的带有标注的多样性翻译图像作为多源域训练集, 设计基于多领域的对抗判别模块, 从而获取多个领域不变的特征表示. 最后, 采用自训练方案迭代生成目标域训练集伪标签, 以进一步提升模型在目标域上的检测效果. 在Cityscapes & Foggy Cityscapes与VOC07 & Clipart1k数据集上的实验结果表明, 相比现有的无监督跨域检测算法, 该检测框架具更优越的迁移检测性能.     

基于自适应和最优特征的合成孔径雷达舰船检测方法

针对合成孔径雷达(SAR)目标舰船检测中对小目标检测效果不佳的问题,提出一种自适应锚框单阶段舰船检测方法.首先,在单阶段无锚框特征选择(FSAF)算法的基础上利用神经架构搜索(NAS)得到最优特征融合方式,以充分利用图像特征信息;然后提出新的损失函数,在解决正负样本不均衡的同时使网络能够更加精确地对位置进行回归;最后结...     

域自适应学习研究进展

传统的机器学习假设测试样本和训练样本来自同一概率分布. 但当前很多学习场景下训练样本和测试样本可能来自不同的概率分布. 域自 适应学习能够有效地解决训练样本和测试样本概率分布不一致的学习问题,作为 机器学习新出现的研究领域在近几年受到了广泛的关注. 鉴于域自适应学习技术 的重要性,综述了域自适应学习的研究进展. 首先概述了域自适应学习的基本问 题,并总结了近几年出现的重要的域自适应学习方法. 接着介绍了近几年提出的 较为经典的域自适应学习理论和当下域自适应学习的热门研究方向,包括样例加 权域自适应学习、特征表示域自适应学习、参数和特征分解域自适应学习和多 源域自适应学习. 然后对域自适应学习进行了相关的理论分析,讨论了高效的度 量判据,并给出了相应的误差界. 接着对当前域自适应学习在算法、模型结构和 实际应用这三个方面的研究新进展进行了综述. 最后分别探讨了域自适应学习在 特征变换和假设、训练优化、模型和数据表示、NLP 研究中存在的问题这四个方面 的有待进一步解决的问题.     

基于目标域局部近邻几何信息的域自适应图像分类方法

在许多实际工程应用中,训练场景（源域）和测试场景（目标域）的分布并不相同,如果将源域中训练的分类器直接应用到目标域,性能往往会出现大幅度下降。目前大多数域自适应方法以概率推导为基础。从图像特征表达的角度出发,针对自适应图像分类问题,提出一种新的基于协同特征的无监督方法。首先,所有源样本被作为字典;然后,距离目标样本最近的三个目标域样本被用来帮助鲁棒地表达局部近邻几何信息;最后,结合字典和局部近邻信息实现编码,并利用最近邻分类器完成分类。因为协同特征通过融合目标域局部近邻信息,获得了更强的鲁棒性和区分性,基于该特征编码的分类方法具有更好的分类性能。在域自适应数据集上的对比实验结果表明所提算法是有效的。     

基于自适应特征融合的场景文本检测

基于深度学习的自然场景文本检测发展快速,其中基于分割的文本检测算法因其对多方向和弯曲文本检测效果好而备受关注。目前大多数基于分割的文本检测方法为了更加充分利用高层语义特征和底层细粒度特征,特征提取部分通常采用ResNet+特征金字塔（FPN）结构,特征融合部分多用concat或者add进行融合,但FPN存在的不同特征尺度不一致问题可能导致融合结果冲突,进而影响后续分割效果。因此,基于目前快速高效的DBnet网络,对其特征融合方式进行改进,提出了一种基于自适应特征融合的场景文本检测网络。在公开数据集Icdar2015和ICDAR 2017-MLT上的实验结果均表明：文本改进网络与经典的DBnet相比,准确率、召回率、F分数均有所提升,仅FPS稍有降低。     

基于域对抗学习的可泛化虚假人脸检测方法研究

随着生成式对抗网络(generative adversarial networks, GAN)的快速发展,虚假人脸生成技术取得了显著进展.为了降低以假乱真的人脸生成技术给社会带来的危害,虚假人脸鉴别成为一个非常重要的课题,吸引了国内外研究者的广泛关注.然而,目前虚假人脸鉴别的研究工作相对较少,仍然有许多问题需要被解决.其中如何提升鉴别模型的迁移泛化能力是至关重要的问题,也是虚假人脸检测任务能否实际投入使用的关键所在.如何提升虚假人脸鉴别方法的泛化能力,即做到在没有见过的生成方法产生的数据上仍然准确有效非常重要.对此,提出了基于域对抗学习的可泛化虚假人脸检测模型,通过引入领域对抗分支,弱化特征提取器对于特定生成模型非鲁棒性特征的提取,模型能够抽取鲁棒性更强、泛化能力更高的特征,从而在没有见过的生成方法产生的虚假人脸图片上具有更好的鉴别表现.实验结果表明：所提出的方法能够提升鉴别模型的泛化能力,显著提升虚假人脸鉴别模型在未知生成模型产生的虚假图像上的性能.     

基于空间语义信息特征融合的目标检测与分割

高质量的特征表示可以提高目标检测和其他计算机视觉任务的性能.现代目标检测器诉诸于通用的特征金字塔结构以丰富表示能力,但是他们忽略了对于不同方向的路径应当使用不同的融合操作,以满足其对信息流的不同需求.提出了分离式空间语义融合（separated spatial semantic fusion,SSSF）,它在自上而下的路径中使用通道注意模块（channel attention block,CAB）来传递语义信息,在自下而上的路径中使用具有瓶颈结构的空间注意模块（spatial attention block,SAB）来通过较少的参数和较少的计算量（相比于直接利用不降维的空间注意模块）将精确的位置信号传递到顶层.SSSF十分有效,并且具有很强大的泛化能力：对于目标检测,它可以将AP提高1.3%以上,对于自上而下的路径进行语义分割的融合操作,它可以将普通加和版本的AP提高约0.8%,对于实例分割,所提方法能够在所有指标上提高实例分割的包围框AP和掩膜AP.     

图引导的特征融合和分组对比学习的域自适应语义分割

在无监督域自适应语义分割任务中,有效地融合源域和目标域的特征以及解决不同类别像素数量分布不均衡的问题是提升跨域语义分割网络性能的关键。为了充分融合源域和目标域的特征,建立源域和目标域之间的长距离上下文关系,本文构建了双跨域图卷积网络,利用图卷积来引导源域和目标域的特征进行融合。本文分别构造了跨域位置相似矩阵和通道相似矩阵,提出了跨域位置图卷积和跨域通道图卷积。为了解决数据集中存在的类不平衡问题,同时提取到更多域不变特征,本文提出了分组对比学习策略,通过在组内构造正负样本,拉近2个域相同类之间的距离并拉远2个域不同类之间的距离。实验证明,本文提出的方法在数据集GTA5到Cityscapes和SYNTHIA到Cityscapes上的跨域语义分割均取得了良好的效果。     

局部一致性主动学习的源域无关开集域自适应

无监督域自适应在解决训练集(源域)和测试集(目标域)分布不一致的问题上已经取得了一定的成功.在面向低能耗场景和开放动态任务环境时,在资源约束和开放类别出现的情况下,现有的无监督域自适应方法面临着严峻的挑战.源域无关开集域自适应(SF-ODA)旨在将源域模型中的知识迁移到开放类出现的无标签目标域,从而在无源域数据资源的限制下辨别公共类和检测开放类.现有的源域无关开集域自适应的方法聚焦于设计准确检测开放类别的源域模型或增改模型的结构.但是,这些方法不仅需要额外的存储空间和训练开销,而且在严格的隐私保护场景下难以实现.提出了一个更加实际的场景:主动学习的源域无关开集域自适应(ASF-ODA),目标是基于一个普通训练的源域模型和少量专家标注的有价值的目标域样本来实现鲁棒的迁移.为了达成此目标,提出了局部一致性主动学习(LCAL)算法.首先,利用目标域中局部特征标签一致的特点,LCAL设计了一种新的主动选择方法:局部多样性选择,来挑选更有价值的阈值模糊样本来促进开放类和公共类分离.接着,LCAL基于信息熵初步筛选出潜在的公共类集合和开放类集合,并利用第一步得到的主动标注样本对这两个集合进行匹配纠...     

域自适应城市场景语义分割

目的 域自适应分割网（AdaptSegNet）在城市场景语义分割中可获得较好的效果,但是该方法直接采用存在较大域差异（domain gap）的源域数据集GTA（grand theft auto）5与目标域数据集Cityscapes进行对抗训练,并且在网络的不同特征层间的对抗学习中使用固定的学习率,所以分割精度仍有待提高。针对上述问题,提出了一种新的域自适应的城市场景语义分割方法。方法 采用SG-GAN（semantic-aware grad-generative adversarial network（GAN））方法对虚拟数据集GTA5进行预处理,生成新的数据集SG-GTA5,其在灰度、结构以及边缘等信息上都更加接近现实场景Cityscapes,并用新生成的数据集代替原来的GTA5数据集作为网络的输入。针对AdaptSegNet加入的固定学习率问题,在网络的不同特征层引入自适应的学习率进行对抗学习,通过该学习率自适应地调整不同特征层的损失值,达到动态更新网络参数的目标。同时,在对抗网络的判别器中增加一层卷积层,以增强网络的判别能力。结果 在真实场景数据集Cityscapes上进行验证,并与相关的域自适应分割模型进行对比,结果表明：提出的网络模型能更好地分割出城市交通场景中较复杂的物体,对于sidewalk、wall、pole、car、sky的平均交并比（mean intersection over union, mIoU）分别提高了9.6%、5.9%、4.9%、5.5%、4.8%。结论 提出方法降低了源域和目标域数据集之间的域差异,减少了训练过程中的对抗损失值,规避了网络在反向传播训练过程中出现的梯度爆炸问题,从而有效地提高了网络模型的分割精度;同时提出基于该自适应的学习率进一步提升模型的分割性能;在模型的判别器网络中新添加一个卷积层,能学习到图像的更多高层语义信息,有效地缓解了类漂移的问题。     

基于深度学习的图像目标检测研究

目前,大多数图像检测算法在进行图像检测时都会遇到图像显著特征保留不完整的问题。本文针对这个问题对简单图像检测算法进行改进,提出一种基于ResNet残差网络与深度学习的自适应加权策略的图像检测算法。首先,将ResNet模型提取的图像特征点,按照多尺度和多方向的特点划分为高频分量和低频分量进行深度学习,高频分量为含有较多图像信息的特征点,低频分量为含有较少图像信息的特征点;其次,对这些特征点进行权值分配,对于高频分量,分配较高的权值,对于低频分量,本文提出一种基于图像显著性的自适应权重分配规则,用来保留图像中重要显著点;最后,利用这些高低频分量特征点重构检测图像。     

特征互斥化的目标检测域适应方法

当前,蒸馏学习已成为目标检测无监督域适应领域中的一种常用技术手段。然而蒸馏带来的特征偏移会导致目标域上伪标签的准确性较低,不利于目标域的精确检测。因此提出特征互斥化方法,包括特征分布互斥化和特征属性互斥化。其中特征分布互斥化鼓励网络对不同类别的特征分布进行互斥,特征属性互斥化促使分类器对不同类别主要使用的属性进行互斥。还提出强弱增强一致性方法对网络的预测输出进行一致性约束,促使网络提取的特征中主要包含与目标域检测相关的属性,进一步提高特征互斥化方法的效果。所提方法在多个域适应场景上进行了广泛的实验,在相同实验设置下的结果表明,所提方法较其他先进方法具有更好的有效性。     

雷达目标检测深层自编码器自适应优化算法

研究了现阶段雷达低小慢目标探测技术的难点与方法。分析了深层自编码器基本模型与算法，通过引入自适应学习理论，提出了基于Rumelhart函数的深层自编码器自适应算法（RDAAA），并证明了算法的收敛性。优化算法避免了网络训练过程中出现惩罚过度的现象，克服了学习速率过高导致网络振荡发散，或学习速率过小降低网络收敛速度等缺陷。利用两种数据集对RDAAA、基于交叉熵函数的深层自编码器学习算法（CDAA）与误差反向传播算法（BPA）进行模式识别能力分析，结果表明在确定限定误差与选取最佳学习速率的情况下，RDAAA相对于CDAA与BPA收敛速度最快，正确识别率更高。围绕雷达目标检测与深度学习理论，分析了低小慢目标特性，将目标检测问题转化为模式分类问题，利用上述三种算法进行目标检测仿真实验，结果表明RDAAA与CDAA的性能明显优于BPA，且RDAAA的检测率更高，特别是处于低信噪比阶段，仍可保持较高的发现概率。     

基于FD-SSD的遥感图像多目标检测方法

针对遥感图像中目标物体过小,不易检测的难点,提出对SSD的改进网络FD-SSD(Feature Fusion and Dilated Convolution Single Shot Multibox Detector)。FD-SSD去掉了SSD网络数据预处理层的随机剪裁步骤,并结合FSSD将具有高分辨率的低层特征图和具有高语义信息的高层特征图进行融合。使用空洞卷积增大第三层特征图的感受野,利用具有高分辨率的低层特征图对小目标进行预测。同时不再使用1×1的顶层特征图产生目标框。模型训练阶段将原始遥感图像进行"二次切割"处理,增加训练样本量。在预测阶段先将原始图像进行切割预测,再将目标框映射回原图,并对原图所有的目标框进行二次非极大值抑制(NMS),保留最优目标框。FD-SSD在DOTA数据集上有良好的表现,比原始SSD的m AP提升31%。