弱监督显著性目标检测研究进展

显著性目标检测旨在准确检测和定位图像或视频中最引人注目的目标或区域,为更好地进行目标识别和场景分析提供帮助。尽管全监督显著性检测方法取得一定成效,但获取大规模像素级标注数据集十分困难且昂贵。弱监督检测方法利用相对容易获取的图像级标签或带噪声的弱标签训练模型,在实际应用中表现出良好效果。全面对比了全监督和弱监督显著性检测的主流方法和应用场景,重点分析了常用的弱标签数据标注方法及其对显著目标检测的影响。综述了弱监督条件下显著目标检测方法的最新研究进展,并在常用数据集上对不同弱监督方法的性能进行了比较。最后探讨了弱监督显著性检测在农业、医学和军事等特殊领域的应用前景,指出了该研究领域存在的问题及未来发展趋势。     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

基于自监督图像对的弱监督语义分割算法

为了降低语义分割任务的标注成本,提出一种基于自监督图像对的弱监督语义分割算法Co-Net。首先,将一对图像分别输入骨干网络中提取图像对特征;然后,将特征展开加入位置信息送入编码层中进行编码;接着,将编码特征送入协同注意力模块（CoAM）以及双向自注意力模块（BiAM）中进行信息相互表征;最后,将图像区域掩码模型（MRM）以及图像对匹配（IPM）两种自监督任务用于网络训练,学习图像对中的全局关联以及局部关联,以此得到更加精确的初始化种子。仅使用图像级标签进行弱监督语义分割,在Pascal VOC 2012验证和测试集上分别实现了69.8%和70.3%的平均交并比（mIoU）,相较于同样为图像对输入的算法GroupWSSS(Group-Wise Semantic mining for weakly Supervised Semantic Segmentation),验证集、测试集上的mIoU分别提高了1.6、1.8个百分点。实验结果表明,所提算法可以获得更加完整的目标激活区域。     

基于边界框标注的弱监督显著性目标检测算法

针对以往的弱监督显著性目标检测算法存在的显著目标定位不准确问题，提出一种基于边界框标注的弱监督显著目标检测算法。所提算法利用图像中所有目标的最小外接矩形框，即边界框，作为监督信息。首先基于边界框标注和GrabCut算法生成初始显著图；然后在此基础上设计了一个缺失修正模块，以得到优化后的显著图；最后结合传统方法和深度学习方法各自的优势，将优化后的显著图作为伪真值，通过神经网络学习一个显著性目标检测模型。在4个公开数据集上与6种无监督、4种弱监督的显著性检测算法进行比较的实验结果显示，所提算法在所有数据集上的最大F度量值（Max-F）和平均绝对误差（MAE）均明显优于对比算法：与同样基于边界框标注的弱监督方法SBB(Saliency Bounding Boxes)相比，所提算法的标注方法更简单，在ECSSD、DUTS-TE、HKU-IS、DUT-OMRON等4个数据集上进行实验，Max-F分别提高了1.82%、4.00%、1.27%和5.33%,MAE分别降低了13.89%、15.07%、8.77%和13.33%。可见，所提算法是一种具有良好检测性能的弱监督显著目标检测算法。     

ProMIS:概率图采样图像增广驱动的弱监督物体检测方法

目的 弱监督物体检测是一种仅利用图像类别标签训练物体检测器的技术。近年来弱监督物体检测器的精度不断提高,但在如何提升检出物体的完整性、如何从多个同类物体中区分出单一个体的问题上仍面临极大挑战。围绕上述问题,提出了基于物体布局后验概率图进行多物体图像增广的弱监督物体检测方法ProMIS（probability-based multi-object image synthesis）。方法 将检出物体存储到物体候选池,并将候选池中的物体插入到输入图像中,构造带有伪边界框标注的增广图像,进而利用增广后的图像训练弱监督物体检测器。该方法包含图像增广与弱监督物体检测两个相互作用的模块。图像增广模块将候选池中的物体插入一幅输入图像,该过程通过后验概率的估计与采样对插入物体的类别、位置和尺度进行约束,以保证增广图像的合理性;弱监督物体检测模块利用增广后的多物体图像、对应的类别标签、物体伪边界框标签训练物体检测器,并将原始输入图像上检到的高置信度物体储存到物体候选池中。训练过程中,为了避免过拟合,本文在基线算法的基础上增加一个并行的检测分支,即基于增广边界框的检测分支,该分支利用增广得到的伪边界框标注进行训练,原有基线算法的检测分支仍使用图像标签进行训练。测试时,本文方法仅使用基于增广边界框的检测分支产生检测结果。本文提出的增广策略和检测器的分支结构在不同弱监督物体检测器上均适用。结果 在Pascal VOC（pattern analysis, statistical modeling and computational learning visual object classes）2007和Pascal VOC 2012数据集上,将该方法嵌入到多种现有的弱监督物体检测器中,平均精度均值（mean average precision,mAP）平均获得了2.9%和4.2%的提升。结论 本文证明了采用弱监督物体检测伪边界框标签生成的增广图像包含丰富信息,能够辅助弱监督检测器学习物体部件、整体以及多物体簇之间的区别。     

遥感图像语义分割中的弱监督域自适应算法

近年来,遥感图像的语义分割得到广泛应用。虽然基于深度学习的方法极大程度地提高了遥感图像的语义分割精度,但由于遥感图像的多样性（不同的地理位置、地形和天气条件）以及像素级标签的缺乏,该算法难以适用于跨多个域的任务。而若重新训练新的域则需要消耗大量人力资源来收集相应的像素级标签。为了解决这一跨域问题,基于对抗学习提出了一种目标域图像级标签已知的弱监督域自适应方法：利用图像级标签,提出多类域判别器,使目标域各个类别自适应地对齐到源域;为保持训练过程的平稳,一种基于熵值产生目标域像素级伪标签的方法被提出以监督特征提取器,提升模型表现。在ISPRS Vaihingen与ISPRS Potsdam数据集上的大量实验表明,改进后的算法优于其他遥感图像语义分割中的基于对抗学习域自适应算法。     

基于渐进对抗学习的弱监督目标定位

针对实际应用中大量数据集缺乏精细位置标注的问题,提出了一种基于渐进对抗学习的弱监督目标定位算法。具体来说,针对数据集噪声造成训练困难的问题,引入自步学习对训练数据按由简到难的原则进行排序。在网络设计上,将弱监督目标定位网络设计为多标签分类网络,并提出了相应的对抗损失函数适应目标定位任务。为了解决现有方法往往只关注最具辨别力的部分,无法定位整个目标的问题,提出一种金字塔对抗擦除机制以此在最后的定位图中发现完整的目标。在数个标准的数据集的实验表明,该算法具有较高的定位精度,与最先进的弱监督目标定位的方法相比具有一定的竞争力。     

结合双路网络和多标签分类的弱监督行人搜索

有监督的行人搜索方法依赖于行人框和行人身份的精细标记，而大规模数据集下行人框的标注较易实现，但跨图像的行人身份标记却非常困难。为了摆脱对行人身份标签的依赖，只借助行人框标注，设计了结合双路网络和多标签分类的弱监督行人搜索方法，同时对行人定位和再识别任务进行联合优化。为减少行人定位误差引起的背景信息干扰，融合全景图像分支和裁剪图像分支进行双路特征学习，通过最小化两分支中同行人实例的特征差异来增强网络对行人区域语义信息的表征能力。同时，为解决无身份标签监督下行人可辨识特征的学习问题，设计了在线多标签预测，通过相似度阈值和互近邻原则来提升标签的可靠性。最后利用基于特征存储的非参数化分类器进行多标签分类学习，鼓励相似度高的特征聚合，相似度低的特征分离。实验评估在CUHK-SYSU数据集的mAP和top-1分别达到84.2%和86.0%，在PRW数据集的mAP和top-1分别达到38.8%和85.1%，与最新的方法相比性能表现突出。     

基于多尺度特征卷积神经网络的目标定位

针对实际应用中诸多数据集标签部分缺失、无定位标注等问题，提出了基于多尺度特征卷积神经网络的弱监督定位算法。其核心思想是利用神经网络分层的特性，在多层卷积层上使用梯度加权类激活映射，生成梯度金字塔模型，并通过均值滤波计算特征质心位置，利用置信强度映射和阈值梯减模块产生连接的像素段，围绕最大边界标注进行弱监督定位。在标准测试集上的实验结果表明，该算法能够在存在大量类别、多尺度图像的情况下完成目标定位，具有较高的精确度。     

基于弱监督学习的目标检测研究进展

随着卷积神经网络（Convolutional Neural Network,CNN）的不断发展,目标检测作为计算机视觉中最基本的技术,已取得了令人瞩目的进展。介绍了强监督目标检测算法对数据集标注精度要求高的现状。对基于弱监督学习的目标检测算法进行研究,按照不同的特征处理方法将该算法归为四类,并分析比较了各类算法的优缺点。通过实验比较了各类基于弱监督学习的目标检测算法的检测精度,并将其与主流的强监督目标检测算法进行了比较。展望了基于弱监督学习的目标检测算法未来的研究热点。     

Weakly supervised detection with decoupled attention-based deep representation

Training object detectors with only image-level annotations is an important problem with a variety of applications. However, due to the deformable nature of objects, a target object delineated by a bounding box always includes irrelevant context and occlusions, which causes large intra-class object variations and ambiguity in object-background distinction. For this reason, identifying the object of interest from a substantial amount of cluttered backgrounds is very challenging. In this paper, we propose a decoupled attention-based deep model to optimize region-based object representation. Different from existing approaches posing object representation in a single-tower model, our proposed network decouples object representation into two separate modules, i.e., image representation and attention localization. The image representation module captures content-based semantic representation, while the attention localization module regresses an attention map which simultaneously highlights the locations of the discriminative object parts and down weights the irrelevant backgrounds presented in the image. The combined representation alleviates the impact from the noisy context and occlusions inside an object bounding box. As a result, object-background ambiguity can be largely reduced and background regions can be suppressed effectively. In addition, the proposed object representation model can be seamlessly integrated into a state-of-the-art weakly supervised detection framework, and the entire model can be trained end-to-end. We extensively evaluate the detection performance on the PASCAL VOC 2007, VOC 2010 and VOC2012 datasets. Experimental results demonstrate that our approach effectively improves weakly supervised object detection.     

视觉弱监督学习研究进展

视觉理解,如物体检测、语义和实例分割以及动作识别等,在人机交互和自动驾驶等领域中有着广泛的应用并发挥着至关重要的作用。近年来,基于全监督学习的深度视觉理解网络取得了显著的性能提升。然而,物体检测、语义和实例分割以及视频动作识别等任务的数据标注往往需要耗费大量的人力和时间成本,已成为限制其广泛应用的一个关键因素。弱监督学习作为一种降低数据标注成本的有效方式,有望对缓解这一问题提供可行的解决方案,因而获得了较多的关注。围绕视觉弱监督学习,本文将以物体检测、语义和实例分割以及动作识别为例综述国内外研究进展,并对其发展方向和应用前景加以讨论分析。在简单回顾通用弱监督学习模型,如多示例学习(multiple instance learning, MIL)和期望—最大化(expectation-maximization, EM)算法的基础上,针对物体检测和定位,从多示例学习、类注意力图机制等方面分别进行总结,并重点回顾了自训练和监督形式转换等方法;针对语义分割任务,根据不同粒度的弱监督形式,如边界框标注、图像级类别标注、线标注或点标注等,对语义分割研究进展进行总结分析,并主要回顾了基于图像级别类别...     

改进的非极大值抑制算法的目标检测

目的 作为目标检测的后置处理算法,非极大值抑制（NMS）算法被用于移除多余的检测框。然而,NMS算法在每轮迭代中抑制所有与预选取检测框Intersection-over-Union（IoU）值大于给定阈值的检测框,容易造成目标的漏检和误检。此外,阈值的选取对整个算法的效果有着至关重要的影响。针对这个问题,本文提出了改进的NMS算法,分别为分段比例惩罚因子NMS算法和连续比例惩罚因子NMS算法。在连续比例惩罚因子NMS算法中,阈值对算法的运行效果仅有轻微的影响。方法 改进的NMS算法首先根据检测框与预选取检测框的IoU值大小计算出检测框对应的比例惩罚因子;然后将检测框置信度分数乘以比例惩罚因子,通过比例惩罚因子逐轮降低检测框的分数;最后经过多轮迭代后移除分数低于阈值的检测框。结果 基于分段比例惩罚因子NMS算法和连续比例惩罚因子NMS算法的Faster RCNN目标检测模型在PASCAL VOC 2007数据集下,Faster RCNN的检测平均精度均值（mAP）相较于传统的NMS算法分别提高了1.5%和1.6%。其中,以火车类为例,当准确率和召回率均为80%时,火车类检测的漏检率和误检率分别降低了1.8%和1.2%。与传统的NMS算法相比,本文所提出改进的NMS算法可以有效地保留目标检测框和移除目标的假正例检测框,从而降低NMS算法的漏检率和误检率。结论 在时间复杂度相同和运行效率一致的情况下,与传统的NMS算法相比,本文所提出的改进NMS算法mAP值得到了显著的提升,同时本文算法为其他目标检测模型提供了一个通用的解决方法。     

Weakly- and Semi-Supervised Fast Region-Based CNN for Object Detection

Learning an effective object detector with little supervision is an essential but challenging problem in computer vision applications. In this paper, we consider the problem of learning a deep convolutional neural network (CNN) based object detector using weakly-supervised and semi-supervised information in the framework of fast region-based CNN (Fast R-CNN). The target is to obtain an object detector as accurate as the fully-supervised Fast R-CNN, but it requires less image annotation effort. To solve this problem, we use weakly-supervised training images (i.e., only the image-level annotation is given) and a few proportions of fully-supervised training images (i.e., the bounding box level annotation is given), that is a weakly- and semi-supervised (WASS) object detection setting. The proposed solution is termed as WASS R-CNN, in which there are two main components. At first, a weakly-supervised R-CNN is firstly trained; after that semi-supervised data are used for finetuning the weakly-supervised detector. We perform object detection experiments on the PASCAL VOC 2007 dataset. The proposed WASS R-CNN achieves more than 85% of a fully-supervised Fast R-CNN’s performance (measured using mean average precision) with only 10% of fully-supervised annotations together with weak supervision for all training images. The results show that the proposed learning framework can significantly reduce the labeling efforts for obtaining reliable object detectors.

     

主动迁移学习的海上任意方向船只目标检测

在基于深度学习的遥感图像目标检测任务中,船只目标通常呈现出任意方向排列的特性,而常见的水平框目标检测算法一般不能满足此类场景的应用需求。因此本文在单阶段Anchor-Free目标检测器CenterNet的基础上加入旋转角度预测分支,使其能输出旋转边界框,以用于海上船只目标的检测。同时针对海上船只遥感数据集仅有水平边界框标注,无法直接适用于旋转框目标检测,且人工手动标注旋转框标签成本较高的问题,提出一种主动迁移学习的旋转框标签生成方法。首先,提出一种水平框-旋转框约束筛选算法,通过水平真值边界框来对旋转预测框进行监督约束,筛选出检测精度较高的图像加入训练集,然后通过迭代这一过程筛选出更多的图像,最后通过标签类别匹配,完成对数据集的旋转框自动化标注工作。本文最终对海上船只遥感图像数据集BDCI中约65.59%的图片进行旋转框标注,并手动标注部分未标注的图片作为测试集,将本文方法标注的图片作为训练集进行验证,评估指标AP50达到90.41%,高于其他旋转框检测器,从而表明本文方法的有效性。     

基于卷积特征融合的通用目标检测方法

针对现有目标检测算法在检测时易受到图像尺度变化、目标间遮挡或截断等因素影响的问题,对卷积神经网络（convolutional neural network,CNN）中不同层次的特征进行了研究,提出了一种融合深度网络卷积特征的目标检测算法。算法采用多阶段的特征复用和特征融合减少特征间相关性的损失,最终在PASCAL VOC 2007测试数据集上达到了84.21%的mAP （mean average precison,平均精度均值）值;与未使用特征融合方法以及使用传统特征融合的方法相比,提出的方法分别提高了4.41%和2.71%。     

基于可变形卷积的改进YOLO目标检测算法

针对YOLO目标检测算法存在边界框定位不准确及对小目标检测精度低的问题,提出一种改进的YOLO目标检测算法dcn-YOLO。使用k-means++算法聚类出更符合数据集尺寸的锚盒,以降低初始点对聚类结果的影响并加快网络训练收敛速度。构建残差可变形卷积模块res-dcn,分别采用将其嵌入YOLO第一特征提取头模块中和替换3个YOLO特征提取头模块的方式,构建两种改进的dcn-YOLO算法,使网络可以自适应地学习特征点的感受野,从而对不同尺寸和形状的目标提取更有效的特征,提高检测精度。在VOC数据集上的实验结果表明,该算法能有效提高目标检测精度,mAP达到82.6%,相比YOLO、SSD、Faster R-CNN,分别高出了2.1、5.2、9.4个百分点。     

提升预测框定位稳定性的视频目标检测

目的 目前视频目标检测（object detection from video）领域大量研究集中在提升预测框定位准确性,对于定位稳定性提升的研究则较少。然而,预测框定位稳定性对多目标跟踪、车辆行驶控制等算法具有重要影响,为提高预测框定位稳定性,本文提出了一种扩张性非极大值抑制（expanded non-maximum suppression,Exp_NMS）方法和帧间平滑策略（frame bounding box smooth,FBBS）。方法 目标检测阶段使用YOLO（you only look once）v3神经网络,非极大值抑制阶段通过融合多个预测框信息得出结果,增强预测框在连续视频流中的稳定性。后续利用视频相邻帧信息关联的特点,对预测框进行平滑处理,进一步提高预测框定位稳定性。结果 选用UA-DETRAC（University at Albany detection and tracking benchmark dataset）数据集进行分析实验,使用卡尔曼滤波多目标跟踪算法进行辅助验证。本文在MOT（multiple object tracking）评价指标基础上,设计了平均轨迹曲折度（average track-tortuosity,AT）来直观、量化地衡量预测框定位稳定性及跟踪轨迹的平滑度。实验结果表明,本文方法几乎不影响预测框定位准确性,且对定位稳定性有大幅改善,相应跟踪质量得到显著提升。测试视频的MOTA（multiple object tracking accuracy）提升6.0%、IDs（identity switches）减少16.8%,跟踪FP（false positives）类型错误下降45.83%,AT下降36.57%,mAP（mean average precision）仅下降0.07%。结论 从非极大值抑制和前后帧信息关联两个角度设计相关策略,经实验验证,本文方法在基本不影响预测框定位准确性的前提下,可有效提升预测框定位稳定性。     

基于似物性的快速视觉目标识别算法

针对视觉目标识别算法实时性较差的问题,基于似物性提出一种面向视觉目标识别的可变部件模型改进算法。该算法首先对图像进行二进制归一化的似物性检测,并利用检测结果形成视觉目标候选框;然后使用目标识别算法对候选区域进行似然判决,比滑动窗口法缩短了搜索时间;最后通过一个快速扩大-缩小算法对检测目标进行尺度修正,提高目标框的准确度。在PASCAL 图像库上的识别结果表明:该识别方法在准确率上优于当前主流的检测模型,计算耗时较级联DPM算法减少约50%。