基于渐进多源域迁移的无监督跨域目标检测

针对目标检测任务中获取人工标注训练样本的困难, 提出一种在像素级与特征级渐进完成域自适应的无监督跨域目标检测方法. 现有的像素级域自适应方法中, 存在翻译图像风格单一、内容结构不一致的问题. 因此, 将输入图像分解为域不变的内容空间及域特有的属性空间, 综合不同空间表示进行多样性的图像翻译, 同时保留图像的空间语义结构以实现标注信息的迁移. 此外, 对特征级域自适应而言, 为缓解单源域引起的源域偏向问题, 将得到的带有标注的多样性翻译图像作为多源域训练集, 设计基于多领域的对抗判别模块, 从而获取多个领域不变的特征表示. 最后, 采用自训练方案迭代生成目标域训练集伪标签, 以进一步提升模型在目标域上的检测效果. 在Cityscapes & Foggy Cityscapes与VOC07 & Clipart1k数据集上的实验结果表明, 相比现有的无监督跨域检测算法, 该检测框架具更优越的迁移检测性能.     

面向水下图像目标检测的退化特征增强算法

目的 基于清晰图像训练的深度神经网络检测模型因为成像差异导致的域偏移问题使其难以直接泛化到水下场景。为了有效解决清晰图像和水下图像的特征偏移问题,提出一种即插即用的特征增强模块(feature de-drifting module Unet, FDM-Unet)。方法 首先提出一种基于成像模型的水下图像合成方法,从真实水下图像中估计色偏颜色和亮度,从清晰图像估计得到场景深度信息,根据改进的光照散射模型将清晰图像合成为具有真实感的水下图像。然后,借鉴U-Net结构,设计了一个轻量的特征增强模块FDM-Unet。在清晰图像和对应的合成水下图像对上,采用常见的清晰图像上预训练的检测器,提取它们对应的浅层特征,将水下图像对应的退化浅层特征输入FDM-Unet进行增强,并将增强之后的特征与清晰图像对应的特征计算均方误差(mean-square error, MSE)损失,从而监督FDM-Unet进行训练。最后,将训练好的FDM-Unet直接插入上述预训练的检测器的浅层位置,不需要对网络进行重新训练或微调,即可以直接处理水下图像目标检测。结果 实验结果表明,FDM-Unet在PASCAL VOC ...     

适合跨域目标检测的雾霾图像增强

目的 室外监控在雾霾天气所采集图像的成像清晰度和目标显著程度均会降低,当在雾霾图像提取与人眼视觉质量相关的自然场景统计特征和与目标检测精度相关的目标类别语义特征时,这些特征与从清晰图像提取的特征存在明显差别。为了提升图像质量并且在缺乏雾霾天气目标检测标注数据的情况下提升跨域目标检测效果,本文综合利用传统方法和深度学习方法,提出了一种无监督先验混合图像特征级增强网络。方法 利用本文提出的传统先验构成雾气先验模块;其后连接一个特征级增强网络模块,将去散射图像视为输入图像,利用像素域和特征域的损失实现场景统计特征和目标类别语义相关表观特征的增强。该混合网络突破了传统像素级增强方法难以表征抽象特征的制约,同时克服了对抗迁移网络难以准确衡量无重合图像域在特征空间分布差异的弱点,也减弱了识别算法对于低能见度天候采集图像标注数据的依赖,可以同时提高雾霾图像整体视觉感知质量以及局部目标可识别表现。结果 实验在两个真实雾霾图像数据集、真实图像任务驱动的测试数据集(real-world taskdriven testing set, RTTS)和自动驾驶雾天数据集(foggy driving dense)...     

基于跳跃特征金字塔的域适应目标检测模型

针对训练数据和测试数据来源不同,特征分布差异较大,以及目标大小不一时,深度目标检测模型性能下降明显的问题,提出基于跳跃特征金字塔的域适应遥感图像目标检测模型。首先,在目标检测网络中增加域适应部分,将训练数据作为源域,测试数据作为目标域,通过对抗训练的方式,对具有不同特征分布的两个域,关注其差异,同时提取源域和目标域数据的特征,减小遥感图像由光照、角度等不同造成的源域和目标域图像在图像级的域偏移对目标检测的影响,提升检测模型的推广性能。其次,提出跳跃特征金字塔结构,通过特征上采样,以及同层连接、相隔层间的跳跃连接与特征融合,来增强特征图的细节信息和语义信息,以提高模型对不同尺度目标的检测精度。最后,使用区域推荐网络在多个不同分辨率的特征图上提取候选区域,检测不同尺度的目标。所提模型在NWPUVHR-10数据集上检测精度达到了98.2%、误检率为5.4%、漏检率为8.3%;在RSOD-DATA的低亮度数据集上检测精度达到了62%,误检率、漏检率为18.2%和18.5%。与其他模型相比,所提模型的性能有明显提升,具有更好的推广性。     

基于特征重加权的小样本遥感图像目标检测算法

针对遥感图像具有目标尺度多变、目标模糊、背景复杂的特点,提出了一种基于特征重加权的遥感小样本目标检测算法RE-FSOD。该模型包括3部分:元特征提取器、特征重加权提取器、预测模块,其中元特征提取器由CSPDarknet-53、FPN以及PAN构成,负责提取数据的元特征;特征重加权提取器用于生成特征重加权向量,用于调整元特征来强化对于检测新类有帮助的特征;预测模块由YOLOv3的预测模块构成,在此基础上将定位损失函数替换为CIOU损失函数,提升模型的定位精度。最后在NWPU VHR-10遥感数据集上进行了训练和测试,实验结果表明,该方法相较于基线方法FSODM的在3-shot、5-shot、10-shot情况下分别提升了约19%、11%、8%。     

HSKDLR：同类自知识蒸馏的轻量化唇语识别方法

针对唇语识别模型的识别率较低和计算量较大的问题,提出一种同类自知识蒸馏的轻量化唇语识别模型(HSKDLR)。首先,提出关注唇部图像空间特征的S-SE注意力模块,用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块,以提升唇语识别模型的准确率;其次,基于i-Ghost Bottleneck构建唇语识别模型,该模型通过优化瓶颈结构的组合方式降低模型计算量;然后,为提升模型准确率,减少模型运行时间,提出同类自知识蒸馏(HSKD)的模型训练方法;最后,使用同类自知识蒸馏方法训练唇语识别模型,并检验其识别性能。实验结果表明：与其他方法相比,HSKDLR具有更高的识别准确率和更低的计算量,在LRW数据集上的准确率达87.3%,浮点数运算量低至2.564 GFLOPs,参数量低至3.872 3×10⁷;同类自知识蒸馏可被应用于大多数唇语识别模型,帮助其有效提升识别准确率,减少训练时间。     

跨域图像分类中域不变细节特征提取算法

为从源域和目标域的图像中提取域不变细节特征,提高目标域分类器的分类精度,提出基于混合池化及样本筛选机制的域不变细节特征提取方法.通过优化卷积神经网络中的池化层,提取图像中的细节特征,利用样本筛选机制挑选源域和目标域中细节信息较明显的样本图像,将两域中属于同一类别的样本组成样本对,用于提取域不变细节特征表示.结合实例,对模型和算法进行了实验分析,验证了模型的可行性和算法的有效性.     

多尺度深层特征加强的CME小样本目标检测模型

针对现有的小样本目标检测模型存在对图像全局语义信息考虑不足、输入图像大小不一而导致检测器性能下降的问题,提出了多尺度深层特征加强的CME小样本目标检测模型。利用大量有标签的基类数据和基于残差跳跃的多层卷积神经网络及多尺度特征增强模块训练一个泛化性良好的模型,经过少量有标签的新类数据和基类数据对模型微调,利用微调后的模型进行目标检测。为验证模型的有效性,使用VOC2007和VOC2012数据集对模型进行训练和评估,相关消融实验证明了引入残差跳跃结构的多层卷积神经网络和多尺度特征增强模块的单独使用和组合使用均可进一步增加模型的准确率。在与6个具有代表性的小样本目标检测模型的对比实验中表明,多尺度深层特征加深的CME比最先进的检测器得分平均提高4.75个百分点。     

基于改进知识蒸馏的多天候车辆检测方法

为提高多天候下的车辆检测效果，本文提出一种基于改进知识蒸馏方法的卷积网络训练框架。该网络框架利用复杂CNN(Convolutional Neural Network)作为教师网络、轻量CNN作为学生网络，在不增加新训练数据集和略微增加轻量CNN参数量的同时提高轻量CNN多天候下车辆检测的效果。该知识蒸馏方法采用特殊的数据增强方法产生含有多天候特征的数据集，将不含天气特征的原始图片投入教师网络，将对应含有天气特征的增强图片投入学生网络训练。由于不含天气特征的图片能够提供更多的信息，相较于一般知识蒸馏方法，该种训练方式能使学生网络对教师网络的输出信息进行更有效的学习。最终，经过在天气数据增强后的BDD100k数据集上进行训练和多天候车辆检测的性能测试，在本文知识蒸馏卷积网络框架下训练的学生网络模型目标检测的能力和在多天候环境下检测精度的稳定性得到了提高；在DAWN多天候数据集上进行多个网络的泛化能力对比测试表明，本文改进的知识蒸馏卷积网络框架在平均查准率（Average precision,AP）和检测速度上均取得了一定的优势。     

无锚点的遥感图像任意角度密集目标检测方法

针对基于深度学习的遥感图像目标检测方法密集目标漏检率高、分类不准确的问题,建立了一种基于深度学习的无锚点的遥感图像任意角度的密集目标检测方法。首先采用CenterNet作为基线模型,经过主干网络提取特征,并改造原有检测器结构,即加入角度回归分支进行目标角度回归;然后提出一种基于非对称卷积的特征增强模块,并将主干网络提取到的特征图输入特征增强模块,从而增强目标的旋转不变性特征,消除由于目标的旋转、翻转带来的影响,进一步提升目标中心点、尺寸信息的回归精度。采用HourGlass-101作为主干网络时,该方法在DOTA数据集上的平均精度均值（mAP）比旋转区域候选网络（RRPN）提升了7.80个百分点,每秒处理帧数（FPS）提升了7.5;在自建数据集Ship3上,该方法的mAP比RRPN提升了8.68个百分点,FPS提升了6.5。结果表明,所提方法能获得检测精度和速度的平衡。     

基于LSTM的无监督域自适应行人重识别

本文提出一种基于无监督域自适应的行人重识别方法.给定有标签的源域训练集和无标签的目标域训练集,探索如何提升行人重识别模型在目标域测试集上的泛化能力.以此为目的,在模型的训练过程中,将源域和目标域训练集同时输入到模型中进行训练,提取全局特征的同时,提取局部特征进行行人图像描述以学到更加细粒度的特征.提出将长短时记忆网络(...     

高分辨率SAR图像目标属性散射中心特征提取方法

目标属性散射中心模型是基于物理光学和几何绕射理论解的散射中心模型,该模型中提供了可供目标识别的属性散射中心特征。为了能从高分辨率SAR图像中获得这些特征,讨论了目标属性散射中心模型,研究了从高分辨率SAR图像中提取目标属性散射中心特征参数的方法。该方法是一种基于图像域的参数估计方法,它通过图像分割、模型类别选择、参数初值选择和参数优化4个步骤,得到单个散射中心的7个参数。循环进行上面的步骤,就可以从SAR图像中提取出目标所有的散射中心特征。仿真结果验证了该算法的有效性。     

基于相似一致性的模型自蒸馏方法

针对传统自蒸馏方法存在数据预处理成本高、局部特征检测缺失，以及模型分类精度低的情况，提出了基于相似一致性的模型自蒸馏方法(Similarity and Consistency by Self-Distillation, SCD),提高模型分类精度。首先，对样本图像的不同层进行学习得到特征图，通过特征权值分布获取注意力图。然后，计算Mini-batch内样本间注意力图的相似性获得相似一致性知识矩阵，构建基于相似一致性的知识，使得无须对实例数据进行失真处理或提取同一类别的数据来获取额外的实例间知识，避免了大量的数据预处理工作带来的训练成本高和训练复杂的问题。最后，将相似一致性知识矩阵在模型中间层之间单向传递，让浅层次的相似矩阵模仿深层次的相似矩阵，细化低层次的相似性，捕获更加丰富的上下文场景和局部特征，解决局部特征检测缺失问题，实现单阶段单向知识转移的自蒸馏。实验结果表明，采用基于相似一致性的模型自蒸馏方法：在公开数据集CIFAR100和TinyImageNet上，验证了SCD提取的相似一致性知识在模型自蒸馏中的有效性，相较于自注意力蒸馏方法(Self Attention Distilla...     

基于域自适应均值网络的素描人脸识别方法

针对素描图像和光学图像间模态差异大，以及传统深度学习方法在少量训练数据情况下易过拟合的问题，提出一种基于域自适应均值网络的素描人脸识别方法。该方法设计元学习训练策略将学习水平从数据提升至任务，来提升模型的泛化能力；提出一种均值损失来辅助特征提取器提取判别性特征；在训练集的素描图像域和光学图像域之间引入一种域自适应模块来减少二者模态差异。在UoM-SGFS素描人脸数据库和e-PRIP素描人脸数据库上进行实验，结果表明该方法优于其他算法。     

基于伪标签的无监督领域自适应分类方法

现有的领域自适应方法在匹配分布时并未完全考虑伪标签置信度或伪标签损失计算问题,针对此类问题,提出循环选择伪标签分类模型（CSPL）。利用深度网络提取图像特征,为目标域打上高置信度伪标签使得训练数据增强,采用MMD距离度量方法对齐源域和目标域的概率分布,同时设计伪标签损失同步迭代学习,更新模型作为下一次循环的训练模型直至模型收敛。在常用的领域自适应数据集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上实验表明,该模型相比之前域适应模型在准确度方面平均提升4%~8%且模型的鲁棒性也明显增加。     

基于深度学习的红外视频显著性目标检测

面对背景越来越复杂的海量红外视频图像,传统方法的显著性目标检测性能不断下降。为了提升红外图像的显著性目标检测性能,提出了一种基于深度学习的红外视频显著性目标检测模型。该模型主要由空间特征提取模块、时间特征提取模块、残差连接块以及像素级分类器4个模块组成。首先利用空间特征提取模块获得空间特征,然后利用时间特征提取模块获得时间特征并实现时空一致性,最后将时空特征信息和由残差连接块连接空间模块获得的空间低层特征信息一同送入像素级分类器,生成最终的显著性目标检测结果。训练网络时,使用BCEloss和DICEloss两个损失函数结合的方式,以提高模型训练的稳定性。在红外视频数据集OTCBVS以及背景复杂的红外视频序列上进行测试,结果表明所提模型都能够获得准确的显著性目标检测结果,并且具有鲁棒性及较好的泛化能力。     

甲状腺超声影像的元优化多级对抗域适应网络

目的 计算机辅助诊断是临床诊断中一种重要的辅助手段。然而在多机型超声影像的应用现状中,单一深度卷积神经网络面临难以从不同数据源中提取样本特征的问题,导致模型在区分多源数据方面性能欠佳。为提升单一深度模型在多源数据的泛化能力,本文提出一种无监督域自适应网络。方法 将深度对抗域适应方法应用于多源甲状腺超声影像分类任务,通过生成对抗思想提取源域图像与目标域图像的域不变特征,提出一种多级对抗域自适应网络(multi-level adversarial domain adaptation network, MADAN)。将元优化(meta-optimized)策略引入对抗域适应的学习中,将域对齐目标和样本分类目标以协调的方式联合优化,提升了模型对无标记目标域数据的分类性能。结果 在包含4种域的甲状腺超声影像数据集上实验,与7种经典域自适应方法比较。实验结果表明,MADAN在全部迁移任务中取得90.141%的目标域样本平均分类准确率,优于残差分类网络和多种经典域自适应分类网络。融合元优化训练策略后的MADAN在目标域的测试平均准确率提升约1.67%。结论 本文提出的元优化多级对抗域适应网络一方面通...     

用于热成像数据的卷积神经网络特征图筛选方法

红外热成像数据可以有效辅助可见光图像数据,弥补其在天气和光照条件上的不足。现有的研究往往借助域适应将基于可见光图像数据训练得到的卷积神经网络用于处理热成像数据,以弥补热成像数据缺少大量标注训练集的不足,但是这类方法仍无法避免一定程度的训练。而一些研究者发现,图像在频域上呈现域不变成分和随域改变成分的分离现象。受这一现象的启发,提出一种基于离散余弦变换和卡方独立性分数的卷积神经网络特征图筛选方法。利用频域分离域不变成分和随域改变成分,借鉴卡方独立性检验的思想提出基于频段分量的独立性分数,用于度量特征图的差异度,使用聚类将特征图分类,保留主要包含域不变成分的特征图分支,得到适用于热成像数据的网络。实验结果表明,该方法可以充分利用预训练卷积神经网络的潜在预测能力,且不需要重新训练模型。预训练网络无法预测热成像数据,而筛选后的网络前5位预测结果与目标相关的比例最高可达90%。     

基于知识蒸馏的缅甸语光学字符识别方法

与传统的图像文本识别任务不同,缅甸语光学字符识别(Optical character recognition,OCR)需要计算机在一个感受野内识别由多个字符嵌套组合的复杂字符,这给缅甸语OCR任务带来了巨大的挑战。为了解决该问题,提出了一种基于知识蒸馏的缅甸语OCR方法,构建了使用卷积神经网络(Convolutional neural networks,CNN)+循环神经网络(Recurrent neural network,RNN)框架的教师网络和学生网络,以集成学习的方式进行训练的模型架构,在训练过程中通过教师集成的子网络与学生网络进行耦合,实现学生网络中单个感受野对应的局部字符图像特征与教师网络中整体字符图像特征的对齐,以此增强对长序列字符图像中局部特征的获取。实验结果表明,在没有背景噪声图像和有背景噪声图像作为训练数据集的情况下,本文模型的性能分别优于基线2.9%和2.7%。