基于多尺度分块卷积神经网络的图像目标识别算法

针对图像在平移、旋转或局部形变等复杂情况下的识别问题,提出一种基于非监督预训练和多尺度分块的卷积神经网络(CNN)目标识别算法。算法首先利用不含标签的图像训练一个稀疏自动编码器,得到符合数据集特性、有较好初始值的滤波器集合。为了增强鲁棒性,同时减小下采样对特征提取的影响,提出一种多通路结构的卷积神经网络,对输入图像进行多尺度分块形成多个通路,每个通路与相应尺寸的滤波器卷积,不同通路的特征经过局部对比度标准化和下采样后在全连接层进行融合,从而形成最终用于图像分类的特征,将特征输入分类器完成图像目标识别。仿真实验中,所提算法对STL-10数据集和遥感飞机图像的识别率较传统的CNN均有提高,并对图像各种形变具有较好的鲁棒性。     

用于手绘检索的伪监督边缘检测算法

基于深度学习的边缘检测算法需要大量的标注，这阻碍了边缘检测的推广应用。因此提出一种伪监督边缘检测算法，能够在无标注的手绘图像数据集上提取图像边缘。算法分成三部分，包括伪监督标签生成、多尺度边缘检测网络和特征增强模块。伪监督标签为多尺度监督的边缘检测网络生成监督信息，特征增强模块可以弥补伪监督带来的信息丢失。该算法比现有边缘检测算法提取的边缘更完整，在手绘数据集QMUL-Shoe和QMUL-Chair上可以提高1%～6%的检索精度，对需要边缘检测的所有领域都有启发性意义。     

ProMIS:概率图采样图像增广驱动的弱监督物体检测方法

目的 弱监督物体检测是一种仅利用图像类别标签训练物体检测器的技术。近年来弱监督物体检测器的精度不断提高,但在如何提升检出物体的完整性、如何从多个同类物体中区分出单一个体的问题上仍面临极大挑战。围绕上述问题,提出了基于物体布局后验概率图进行多物体图像增广的弱监督物体检测方法ProMIS（probability-based multi-object image synthesis）。方法 将检出物体存储到物体候选池,并将候选池中的物体插入到输入图像中,构造带有伪边界框标注的增广图像,进而利用增广后的图像训练弱监督物体检测器。该方法包含图像增广与弱监督物体检测两个相互作用的模块。图像增广模块将候选池中的物体插入一幅输入图像,该过程通过后验概率的估计与采样对插入物体的类别、位置和尺度进行约束,以保证增广图像的合理性;弱监督物体检测模块利用增广后的多物体图像、对应的类别标签、物体伪边界框标签训练物体检测器,并将原始输入图像上检到的高置信度物体储存到物体候选池中。训练过程中,为了避免过拟合,本文在基线算法的基础上增加一个并行的检测分支,即基于增广边界框的检测分支,该分支利用增广得到的伪边界框标注进行训练,原有基线算法的检测分支仍使用图像标签进行训练。测试时,本文方法仅使用基于增广边界框的检测分支产生检测结果。本文提出的增广策略和检测器的分支结构在不同弱监督物体检测器上均适用。结果 在Pascal VOC（pattern analysis, statistical modeling and computational learning visual object classes）2007和Pascal VOC 2012数据集上,将该方法嵌入到多种现有的弱监督物体检测器中,平均精度均值（mean average precision,mAP）平均获得了2.9%和4.2%的提升。结论 本文证明了采用弱监督物体检测伪边界框标签生成的增广图像包含丰富信息,能够辅助弱监督检测器学习物体部件、整体以及多物体簇之间的区别。     

基于边缘增强的遥感图像弱监督语义分割方法

随着弱监督学习被应用于遥感图像语义分割,大大降低了模型训练的数据成本。然而,由于监督信息不足,类激活图难以准确激活出遥感图像中不同尺度大小的目标,这使得基于类激活图获得的伪分割掩码边缘粗糙,从而导致最终的分割结果不准确。此外,大部分的弱监督语义分割方法都是基于可视化的两阶段方法,模型复杂繁琐。针对上述问题,设计了一种基于边缘增强的端到端弱监督语义分割网络。在特征空间边缘增强模块中,以自监督方式引导网络学习遥感图像中尺寸不一的目标,并且,细化伪分割掩码的边缘;在输出空间边缘增强模块中,通过端到端训练提升分割精度,同时降低模型训练的繁琐度。在ISPRS 2D数据集上的实验结果表明,该方法在仅使用图像级标签的情况下MIoU分别为57.72%和59.45%,与其他方法相比,效果较好。     

基于对数Gabor的超复数视觉显著性检测算法

为在没有先验知识的情况下准确获取图像显著性目标,提出一种基于对数Gabor滤波器和超复数傅里叶变换的视觉显著性检测算法。利用对数Gabor滤波器模仿人类视觉感受野,对输入图像进行预处理,提取颜色、纹理方向等特征。根据所得特征构造各尺度下的超复数图像,并求其傅里叶变换相位谱,将多尺度超复数相位谱反变换后进行归一化,从而获得视觉显著图。实验结果表明,该算法与传统的算法相比具有更高的准确率,应用于复杂场景下的交通标志检测能取得较好的检测效果。     

多尺度深层特征加强的CME小样本目标检测模型

针对现有的小样本目标检测模型存在对图像全局语义信息考虑不足、输入图像大小不一而导致检测器性能下降的问题,提出了多尺度深层特征加强的CME小样本目标检测模型。利用大量有标签的基类数据和基于残差跳跃的多层卷积神经网络及多尺度特征增强模块训练一个泛化性良好的模型,经过少量有标签的新类数据和基类数据对模型微调,利用微调后的模型进行目标检测。为验证模型的有效性,使用VOC2007和VOC2012数据集对模型进行训练和评估,相关消融实验证明了引入残差跳跃结构的多层卷积神经网络和多尺度特征增强模块的单独使用和组合使用均可进一步增加模型的准确率。在与6个具有代表性的小样本目标检测模型的对比实验中表明,多尺度深层特征加深的CME比最先进的检测器得分平均提高4.75个百分点。     

图像级标记弱监督目标检测综述

目标检测是计算机视觉领域的基本任务之一，根据标签信息的不同，可分为全监督目标检测、半监督目标检测和弱监督目标检测等。弱监督目标检测旨在仅利用图像级别的类别标记信息训练检测器，从而完成对测试图像中所有目标物体的定位和分类。因能够显著降低数据标记成本，弱监督目标检测愈发受到关注且已取得令人瞩目的进展。本文由弱监督目标检测的研究意义引入，首先介绍了弱监督目标检测的标签设置及问题定义、基于多示例学习的基础框架和面临的局部主导、实例歧义和计算消耗这3大难题，接着按核心网络架构将该领域的典型算法归纳为3大类，分别是基于优化候选框生成的算法、结合图像分割的算法和基于自训练的算法，并分别阐述各类算法的核心贡献。进一步地，本文通过实验在多种评估指标上对比了各类弱监督目标检测算法的检测效果。在VOC2007(visual object classes 2007)数据集中，平均精度均值（mean average precision,mAP）最高的方法为MIST(multiple instance self-training)算法（54.9%），正确定位率（correct localization,CorLo...     

弱监督显著性目标检测研究进展

显著性目标检测旨在准确检测和定位图像或视频中最引人注目的目标或区域,为更好地进行目标识别和场景分析提供帮助。尽管全监督显著性检测方法取得一定成效,但获取大规模像素级标注数据集十分困难且昂贵。弱监督检测方法利用相对容易获取的图像级标签或带噪声的弱标签训练模型,在实际应用中表现出良好效果。全面对比了全监督和弱监督显著性检测的主流方法和应用场景,重点分析了常用的弱标签数据标注方法及其对显著目标检测的影响。综述了弱监督条件下显著目标检测方法的最新研究进展,并在常用数据集上对不同弱监督方法的性能进行了比较。最后探讨了弱监督显著性检测在农业、医学和军事等特殊领域的应用前景,指出了该研究领域存在的问题及未来发展趋势。     

基于渐进多源域迁移的无监督跨域目标检测

针对目标检测任务中获取人工标注训练样本的困难, 提出一种在像素级与特征级渐进完成域自适应的无监督跨域目标检测方法. 现有的像素级域自适应方法中, 存在翻译图像风格单一、内容结构不一致的问题. 因此, 将输入图像分解为域不变的内容空间及域特有的属性空间, 综合不同空间表示进行多样性的图像翻译, 同时保留图像的空间语义结构以实现标注信息的迁移. 此外, 对特征级域自适应而言, 为缓解单源域引起的源域偏向问题, 将得到的带有标注的多样性翻译图像作为多源域训练集, 设计基于多领域的对抗判别模块, 从而获取多个领域不变的特征表示. 最后, 采用自训练方案迭代生成目标域训练集伪标签, 以进一步提升模型在目标域上的检测效果. 在Cityscapes & Foggy Cityscapes与VOC07 & Clipart1k数据集上的实验结果表明, 相比现有的无监督跨域检测算法, 该检测框架具更优越的迁移检测性能.     

伪球滤波和边缘检测

提出了一种图像滤波器——伪球滤波器.在伪球滤波器中,除了尺度参数外,还引入了边缘保持参数,因而它能较好地解决传统滤波器的平滑性能与边缘定位精度之间的矛盾.以伪球滤波器取代经典Canny边缘检测算子中的高斯滤波器,得到一种基于伪球的边缘检测算子.模拟图像和真实图像的实验结果表明,与经典的Canny边缘检测算子相比,在具有相当平滑性的条件下,基于伪球的边缘检测算子对边缘定位具有更高的精度.     

基于多尺度特征融合和残差注意力机制的目标检测

作为一个多任务的学习过程,目标检测相较于分类网络需要更好的特征。基于多尺度特征对不同尺度的目标进行预测的检测器性能已经大大超过了基于单一尺度特征的检测器。同时,特征金字塔结构被用于构建所有尺度的高级语义特征图,从而进一步提高了检测器的性能。但是,这样的特征图没有充分考虑到上下文信息对语义的补充作用。在SSD基准网络的基础上,采用残差注意力的特征融合方法充分利用上下文信息,提高特征图的表征能力,然后利用残差注意力机制强化关键特征。在基准数据集PASCAL VOC上的实验表明,所提方法在输入图像尺寸为300×300和512×512情况下的mAP分别为78.8%和807%。     

面部动作单元检测方法进展与挑战

人脸动作编码系统从人脸解剖学的角度定义了一组面部动作单元（action unit,AU）,用于精确刻画人脸表情变化。每个面部动作单元描述了一组脸部肌肉运动产生的表观变化,其组合可以表达任意人脸表情。AU检测问题属于多标签分类问题,其挑战在于标注数据不足、头部姿态干扰、个体差异和不同AU的类别不均衡等。为总结近年来AU检测技术的发展,本文系统概述了2016年以来的代表性方法,根据输入数据的模态分为基于静态图像、基于动态视频以及基于其他模态的AU检测方法,并讨论在不同模态数据下为了降低数据依赖问题而引入的弱监督AU检测方法。针对静态图像,进一步介绍基于局部特征学习、AU关系建模、多任务学习以及弱监督学习的AU检测方法。针对动态视频,主要介绍基于时序特征和自监督AU特征学习的AU检测方法。最后,本文对比并总结了各代表性方法的优缺点,并在此基础上总结和讨论了面部AU检测所面临的挑战和未来发展趋势。     

基于图像语义的弱监督显著性物体检测

为了减少显著性物体检测对像素级标签的依赖,提出了一种基于图像语义的弱监督显著性物体检测方法.利用鱼网络和注意力机制的组合模型,在图像语义热力映射图的基础上,对弱标签采用余弦相似度进行训练更新,同时在网络训练初期采用训练诱导策略,利用简单数据集对整个网络进行诱导训练,使其具有一定的能力.然后,经过不断地增加数据集的复杂性,使得网络提取特征的能力越来越强.在4个显著性检测数据集上进行实验,并与传统监督方法进行对比分析,实验结果表明,该方法的F-MAX值在各个数据集上平均提高0.03~0.08,MAE减少0.02~0.05,在较弱的监督标签下能更精确地提取图像中的显著性特征.     

基于弱监督表示学习的热红外目标跟踪

由于热红外成像技术具有更强的穿透雾、霾、雨、雪的能力,在恶劣天气条件下的成像效果几乎不受影响,使得基于热红外图像的目标跟踪任务越来越被研究者重视。针对基于卷积神经网络的热红外目标跟踪算法在模型训练过程中需要的带有标签的数据不足的问题,提出了一种基于弱监督表示学习的方法,利用少量的标签数据及大量的无标签数据进行模型训练,从而用于热红外目标跟踪任务。首先,利用主动学习的指导在大量无标签的数据中挑选最具有代表性的训练样本;然后,给定每个样本序列的首帧目标的真实标签,利用基础跟踪器生成该序列中其他图像帧中目标的伪标签;之后,利用带有真实标签和伪标签的训练数据进行模型训练;最后,利用训练好的模型在热红外目标跟踪算法测试数据集上进行模型测试。实验结果表明：该方法可以在减少模型训练对标签数据需求的同时保证跟踪器的准确性。     

基于序贯三支决策的半监督目标检测算法

深度学习对大规模数据的需求以及目标检测标注任务的复杂性促进了半监督目标检测任务的发展。近年来，半监督目标检测已经取得了很多优秀的成果。然而，伪标签中的不确定性依然是半监督目标检测研究中难以避免的问题，优越的半监督方法要求选取合适的过滤阈值来权衡伪标签的噪声信息比例和召回率，以最大程度保留准确有效的伪标签。为了解决此问题，在半监督检测的框架中引入了序贯三支决策算法，将模型输出的伪标签根据不同的筛选阈值划分为干净的前景标签、有噪声的前景标签，以及干净的背景标签，并对其采取不同的处理策略。对有噪声的前景标签采用负类学习损失来学习这些存在噪声的标签，避免学习到其中的噪声信息。实验结果表明了所提算法的性能优势，针对COCO数据集，在有监督数据占比只有10%的情况下，该方法实现了35.2%的检测精度，相比仅依靠有监督训练性能提升了11.34%。     

融合深度特征和多核增强学习的显著目标检测

目的 针对现有基于手工特征的显著目标检测算法对于显著性物体尺寸较大、背景杂乱以及多显著目标的复杂图像尚不能有效抑制无关背景区域且完整均匀高亮显著目标的问题,提出了一种利用深度语义信息和多核增强学习的显著目标检测算法。方法 首先对输入图像进行多尺度超像素分割计算,利用基于流形排序的算法构建弱显著性图。其次,利用已训练的经典卷积神经网络对多尺度序列图像提取蕴含语义信息的深度特征,结合弱显著性图从多尺度序列图像内获得可靠的训练样本集合,采用多核增强学习方法得到强显著性检测模型。然后,将该强显著性检测模型应用于多尺度序列图像的所有测试样本中,线性加权融合多尺度的检测结果得到区域级的强显著性图。最后,根据像素间的位置和颜色信息对强显著性图进行像素级的更新,以进一步提高显著图的准确性。结果 在常用的MSRA5K、ECSSD和SOD数据集上与9种主流且相关的算法就准确率、查全率、F-measure值、准确率—召回率（PR）曲线、加权F-measure值和覆盖率（OR）值等指标和直观的视觉检测效果进行了比较。相较于性能第2的非端到端深度神经网络模型,本文算法在3个数据集上的平均F-measure值、加权F-measure值、OR值和平均误差（MAE）值,分别提高了1.6%,22.1%,5.6%和22.9%。结论 相较于基于手工特征的显著性检测算法,本文算法利用图像蕴含的语义信息并结合多个单核支持向量机（SVM）分类器组成强分类器,在复杂图像上取得了较好的检测效果。     

基于显著性背景引导的弱监督语义分割网络

目前基于图像级标注的弱监督语义分割方法大多依赖类激活初始响应以定位分割对象区域.然而,类激活响应图通常只集中在对象最具辨别性的区域,存在目标区域范围较小、边界模糊等缺点,导致最终分割区域不完整.针对此问题,文中提出基于显著性背景引导的弱监督语义分割网络.首先通过图像显著性映射和背景迭代产生背景种子区域.然后将其与分类网络生成的类激活映射图融合,获取有效的伪像素标签,用于训练语义分割模型.分割过程不再完全依赖最具判别性的类激活区域,而是通过图像显著性背景特征与类激活响应信息相互补充,这样可提供更精确的像素标签,提升分割网络的性能.在PASCAL VOC 2012数据集上的实验验证文中方法的有效性,同时分割性能较优.     

改进YOLOv5网络在遥感图像目标检测中的应用北大核心CSCD

针对遥感图像目标检测存在的尺度多样化、分布密集、小目标检测困难等问题,提出了一种改进YOLOv5网络的遥感图像目标检测的新方法Fca_YOLOv5。该方法引入了频率通道注意力网络,引导模型更加关注信息丰富的特征;将网络输入尺寸优化为1 024,减少了图像缩放带来的影响;采用圆形平滑标签计算角度损失,对船舰目标进行旋转目标检测,进一步提升检测效果。在DOTA遥感图像数据集上进行实验,检测精度最高达到了75.9%,船舰旋转目标检测精度达到了96.1%,并且Fca_YOLOv5s的检测精度比YOLOv5s提高了3.1%。实验结果表明,改进网络对遥感图像中的微小目标具有较好的检测效果,有效提升了遥感图像的检测精度,对实现遥感图像中的微小目标检测具有一定的参考意义。     

基于并行通道级联网络的鲁棒行人检测

针对广角视场下远处行人分辨率较低、存在不同程度的畸变的问题,文中提出基于并行通道级联网络的鲁棒行人检测算法.以更快的区域卷积神经网络(Faster RCNN)为基础,引入差分图作为弱监督信息,再引入基于通道级联网络(CCN).然后设计并行CCN,将差分图和原图同时作为并行网络输入,融合更丰富的图像特征.最后在候选区域建议网络中,结合行人尺度在图像中分布的特点,聚类确定符合行人特点的搜索框.实验表明,文中算法在广角视场存在畸变情况下更有利于小尺寸行人检测.     

基于分层伪标签的图像聚类方法

图像聚类是图像处理中一个重要且开放的问题。最近，一些方法利用联合对比学习的良好表征能力来进行端到端聚类学习，利用伪标签技术来生成高质量的伪标签以提升聚类模型的鲁棒性。伪标签方法通常需要设置一个较大的概率阈值，并对满足要求的样本生成one-hot的标签，同时利用生成的标签来更新模型。但是，这种简单的伪标签生成方法难以获得足够数量的高质量伪标签。为了解决以上问题，提出了一种基于分层伪标签的图像聚类方法，它旨在利用结构化信息与伪标签信息对分类模型进行训练和精炼。引入3个假设来指导聚类方法的设计，包括局部平滑假设、自训练假设及低密度分离假设。新方法包含两个阶段：1)基于流形的一致性学习，利用近邻一致性学习来初始化聚类模型；2)基于分层伪标签的模型精炼，基于第一阶段的结果生成伪标签，并利用其来提升聚类模型的鲁棒性。首先，将基于第一阶段的结果生成强伪标签数据集及弱伪标签数据集；然后，提出了基于标签传播及分层混合的伪标签提升技术来提升弱伪标签数据集的质量；最后，同时利用强伪标签数据集及弱伪标签数据集来提升分类模型的泛化能力。相较于最优结果，SPC算法在STL10和Cifar100-20基准数据集上，...