多尺度通道注意力融合网络的小目标检测算法

当前小目标检测算法的实现方式主要是设计各种特征融合模块,检测效果和模型复杂度很难达到平衡.此外,与常规目标相比,小目标信息量少,特征难以提取.为了克服这两个问题,采用了一种不降维局部跨通道交互策略的通道注意力模块,实现通道间的信息关联,通过对每个通道的特征进行权重分配来学习不同通道间特征的相关性.同时,加入改进的特征融合模块,使网络可以使用低层和高层的特征进行多尺度目标检测,提升了以低层特征为主要检测依据的小目标检测精度.骨干网络采用特征表达能力强和速度快的ResNet,在获取更多网络特征的同时保证了网络的收敛性.损失函数采用Focal Loss,减少易分类样本的权重,使得模型在训练时更关注于难分类样本的分类.该算法框架在VOC数据集上的mAP为82.7％,在航拍数据集上的mAP为86.8％.     

结合空间注意力多层特征融合显著性检测

目的 多层特征对于显著性检测具有重要作用,多层特征的提取和融合是显著性检测研究的重要方向之一。针对现有的多层特征提取中忽略了特征融合与传递、对背景干扰信息敏感等问题,本文基于特征金字塔网络和注意力机制提出一种结合空间注意力的多层特征融合显著性检测模型,该模型用简单的网络结构较好地实现了多层特征的融合与传递。方法 为了提高特征融合质量,设计了多层次的特征融合模块,通过不同尺度的池化和卷积优化高层特征和低层特征的融合与传递过程。为了减少低层特征中的背景等噪声干扰,设计了空间注意力模块,利用不同尺度的池化和卷积从高层特征获得空间注意力图,通过注意力图为低层特征补充全局语义信息,突出低层特征的前景并抑制背景干扰。结果 本文在DUTS,DUT-OMRON（Dalian University of Technology and OMRON Corporation）,HKU-IS和ECSSD（extended complex scene saliency dataset） 4个公开数据集上对比了9种相关的主流显著性检测方法,在DUTS-test数据集中相对于性能第2的模型,本文方法的最大F值（MaxF）提高了1.04%,平均绝对误差（mean absolute error,MAE）下降了4.35%,准确率—召回率（precision-recall,PR）曲线、结构性度量（S-measure）等评价指标也均优于对比方法,得到的显著图更接近真值图,同时模型也有着不错的速度表现。结论 本文用简单的网络结构较好地实现了多层次特征的融合,特征融合模块提高了特征融合与传递质量,空间注意力模块实现了有效的特征选择,突出了显著区域、减少了背景噪声的干扰。大量的实验表明了模型的综合性能以及各个模块的有效性。     

基于语义引导特征聚合的显著性目标检测网络

在显著性目标检测网络的设计中, U型结构使用广泛. 但是在U型结构显著性检测方法中, 普遍存在空间位置细节丢失和边缘难以细化的问题, 针对这些问题, 提出一种基于语义信息引导特征聚合的显著性目标检测网络, 通过高效的特征聚合来获得精细的显著性图. 该网络由混合注意力模块(Mixing attention module, MAM)、增大感受野模块(Enlarged receptive field module, ERFM)和多层次聚合模块(Multi-level aggregation module, MLAM)三个部分组成. 首先, 利用增大感受野模块处理特征提取网络提取出的低层特征, 使其在保留原有边缘细节的同时增大感受野, 以获得更加丰富的空间上/下文信息; 然后, 利用混合注意力模块处理特征提取网络的最后一层特征, 以增强其表征力, 并作为解码过程中的语义指导, 不断指导特征聚合; 最后, 多层次聚合模块对来自不同层次的特征进行有效聚合, 得到最终精细的显著性图. 在6个基准数据集上进行了实验, 结果验证了该方法能够有效地定位显著特征, 并且对边缘细节的细化也很有效.     

基于注意力机制的显著性目标检测方法

针对目前主流的基于全卷积神经网络的显著性目标检测方法,受限于卷积层感受野大小,低层特征缺少全局性的信息,而高层特征由于多次池化操作分辨率较低,无法准确地预测目标边缘等细节的问题,本文提出了基于注意力的显著性目标检测方法。在ResNet-50网络中加入注意力精炼模块,利用训练样本的显著真值图对空间注意力进行有监督的学习,使得不同像素位置的相关性更准确。通过深度融合多尺度的特征,用低层特征优化高层特征,精修网络的预测结果使其更加准确。在DUT-OMRON和ECSSD数据集上的测试结果显示,本文方法能显著提升检测效果,F-measure和平均绝对误差都优于其他同类方法。     

注意力级联网络的金属表面缺陷检测算法

金属表面缺陷检测是工业生产质量把控的重要一环.在复杂的工业场景中,传统的图像处理方法无法有效地检测缺陷区域,而人工检测既费时又费力.快速有效地检测金属表面缺陷已成为提高生产效率的关键.复杂的光照条件会使金属表面产生强反射和倒影,缺陷种类多样、边界模糊,给缺陷检测问题带来巨大的挑战.提出了一种基于注意力机制的级联网络缺陷...     

边缘引导的双注意力图像拼接检测网络

目的 伪造图像给众多行业埋下了隐患,这会造成大量潜在的经济损失。方法 提出一种边缘引导的双注意力图像拼接检测网络(boundary-guided dual attention network,BDA-Net),该网络通过将空间通道依赖和边缘预测集成到网络提取的特征中来得到预测结果。首先,提出一种称为预测分支的编解码模型,该分支作为模型的主干网络,可以提取和融合不同分辨率的特征图。其次,为了捕捉不同维度的依赖关系并增强网络对感兴趣区域的关注能力,设计了一个沿多维度进行特征编码的坐标—空间注意力模块(coordinate-spatial attention module,CSAM)。最后,设计了一条边缘引导分支来捕获篡改区域和非篡改区域之间的微小边缘痕迹,以辅助预测分支进行更好的分割。结果 实验使用4个图像拼接数据集与多种方法进行比较,评价指标为F1值。在Columbia数据集中,与排名第1的模型相比,F1值仅相差1.6%。在NIST16 Splicing(National Institute of Standards and Technology 16 Splicing)数据集中,F1值与最好的模型略有差距。而在检测难度更高的CASIA2.0 Splicing(Chinese Academy of Sciences Institute of Automation Dataset 2.0 Splicing)和IMD2020(Image Manipulated Datasets 2020)数据集中,BDA-Net的F1值相比排名第2的模型分别提高了15.3%和11.9%。为了验证模型的鲁棒性,还对图像施加JPEG压缩、高斯模糊、锐化、高斯噪声和椒盐噪声攻击。实验结果表明,BDA-Net的鲁棒性明显优于其他模型。结论 本文方法充分利用深度学习模型的优点和图像拼接检测领域的专业知识,能有效提升模型性能。与现有的检测方法相比,具有更强的检测能力和更好的稳定性。     

学习全局引导渐进特征聚合轻量级网络的显著性目标检测

针对目前显著性目标检测算法中存在的特征融合不充分、模型较为冗余等问题,提出了一种基于全局引导渐进特征融合的轻量级显著性目标检测算法.首先,使用轻量特征提取网络MobileNetV3对图像提取不同层次的多尺度特征;然后对MobileNetV3提取的高层语义特征使用轻量级多尺度感受野增强模块以进一步增强其全局特征的表征力;...     

基于特征融合与边界修正显著性目标检测

显著性目标检测旨在寻找图像中的视觉显著区域。现有的显著性目标检测方法已经展现出强大的优势,但依然在尺度感知和边界预测方面具有局限性。首先,各类场景中的显著目标存在诸多尺度,使算法难以适应不同尺度变化。其次,显著目标往往具有复杂的轮廓,这使边界像素点的检测变得更为困难。针对以上问题,文中提出了基于特征融合与边界修正的显著性目标检测网络,该网络基于特征金字塔,提取了不同层次显著特征。首先针对目标的尺度多样性设计了由多尺度特征解码模块组成的特征融合解码器,通过逐层融合相邻层特征,提高了网络对目标尺度的感知能力。同时设计了边界修正模块学习显著目标的轮廓特征,以生成边界清晰的高质量显著图。在5个常用显著性目标检测数据集上进行实验,结果表明所提算法在平均绝对误差、F指标和S指标3项定量指标上均能取得较优的结果。     

坐标注意力特征金字塔的显著性目标检测算法

显著性目标检测旨在获取图像中的视觉显著目标,是计算机视觉领域的重要研究内容。相比传统手工提取特征的方法,基于全卷积神经网络的方法已在这一领域展现出强大优势。然而,显著性目标检测仍然存在一些问题。复杂场景下,背景中可能存在一些易被误判为显著目标的噪声,导致检测性能下降。另外,当显著目标轮廓较为复杂时,边界像素点的检测也变得较为困难。为了解决这些问题,提出一种坐标注意力特征金字塔的显著性目标检测算法。采用基于特征金字塔的网络结构,提取显著目标中不同层次的特征,并设计特征细化模块以实现不同层次特征的有效融合。为解决背景误判问题,采用坐标注意力模块,增大显著性区域权重的同时,抑制背景噪声。对于边界复杂问题,设计边界感知损失函数并结合多层次监督方法,帮助网络更加关注边界像素点,生成边界清晰的高质量显著图。在五个常用显著性目标检测数据集上的实验结果表明,该算法在五种评价指标上均取得较优的检测结果。     

结合注意力机制的深度学习图像目标检测

利用卷积神经网络进行目标检测时，提取的卷积特征具有很强的平移不变性，这将削弱模型的定位性能。事实上，目标对象通常具有不同的子区域特征和宽高比特性，但在目前流行的两阶段目标检测框架中，很少考虑这些具有平移尺度敏感性的特征成分。为了优化模型的特征表达，将在两阶段目标检测框架中引入与子区域特征和宽高比特性相关的注意力特征库，并生成注意力特征图对原始的ROI池化特征进行优化。另外，在注意力特征图的辅助下，模型特征维度可以有效地进行缩减。实验结果表明，引入注意力模块后，模型的检测精度和检测速度有明显提升。     

多尺度卷积神经网络显著物体检测

目的 传统显著性检测模型大多利用手工选择的中低层特征和先验信息进行物体检测,其准确率和召回率较低,随着深度卷积神经网络的兴起,显著性检测得以快速发展。然而,现有显著性方法仍存在共性缺点,难以在复杂图像中均匀地突显整个物体的明确边界和内部区域,主要原因是缺乏足够且丰富的特征用于检测。方法 在VGG（visual geometry group）模型的基础上进行改进,去掉最后的全连接层,采用跳层连接的方式用于像素级别的显著性预测,可以有效结合来自卷积神经网络不同卷积层的多尺度信息。此外,它能够在数据驱动的框架中结合高级语义信息和低层细节信息。为了有效地保留物体边界和内部区域的统一,采用全连接的条件随机场（conditional random field,CRF）模型对得到的显著性特征图进行调整。结果 本文在6个广泛使用的公开数据集DUT-OMRON（Dalian University of Technology and OMRON Corporation）、ECSSD（extended complex scene saliency dataset）、SED2（segmentation evalution database 2）、HKU、PASCAL-S和SOD（salient objects dataset）上进行了测试,并就准确率—召回率（precision-recall,PR）曲线、F测度值（F-measure）、最大F测度值、加权F测度值和均方误差（mean absolute error,MAE）等性能评估指标与14种最先进且具有代表性的方法进行比较。结果显示,本文方法在6个数据集上的F测度值分别为0.696、0.876、0.797、0.868、0.772和0.785;最大F测度值分别为0.747、0.899、0.859、0.889、0.814和0.833;加权F测度值分别为0.656、0.854、0.772、0.844、0.732和0.762;MAE值分别为0.074、0.061、0.093、0.049、0.099和0.124。无论是前景和背景颜色相似的图像集,还是多物体的复杂图像集,本文方法的各项性能均接近最新研究成果,且优于大多数具有代表性的方法。结论 本文方法对各种场景的图像显著性检测都具有较强的鲁棒性,同时可以使显著性物体的边界和内部区域更均匀,检测结果更准确。     

基于结构感知深度神经网络的显著性对象检测算法

由于现有的基于深度神经网络的显著性对象检测算法忽视了对象的结构信息,使得显著性图不能完整地覆盖整个对象区域,导致检测的准确率下降。针对此问题,提出一种结构感知的深度显著性对象检测算法。算法基于一种多流结构的深度神经网络,包括特征提取网络、对象骨架检测子网络、显著性对象检测子网络和跨任务连接部件四个部分。首先,在显著性对象子网络的训练和测试阶段,通过对象骨骼检测子网络学习对象的结构信息,并利用跨任务连接部件使得显著性对象检测子网络能自动编码对象骨骼子网络学习的信息,从而感知对象的整体结构,克服对象区域检测不完整问题;其次,为了进一步提高所提方法的准确率,利用全连接条件随机场对检测结果进行进一步的优化。在三个公共数据集上的实验结果表明,该算法在检测的准确率和运行效率上均优于现有存在的基于深度学习的算法,这也说明了在深度神经网络中考虑对象结构信息的捕获是有意义的,可以有助于提高模型准确率。     

深度学习背景下视觉显著性物体检测综述

视觉显著性物体检测是对人类视觉和认知系统的模拟,而深度学习则是对人类大脑计算方式的模拟,将两者有机结合可以有效推动计算机视觉的发展。视觉显著性物体检测的任务是从图像中定位并提取具有明确轮廓的显著性物体实例。随着深度学习的发展,视觉显著性物体检测的精度和效率都得到巨大提升,但仍然面临改进主流算法性能、减少对像素级标注样本的依赖等主要挑战。针对上述挑战,本文从视觉显著性物体检测思想与深度学习方法融合策略的角度对相关论述进行分类总结。1）分析传统显著性物体检测方法带来的启示及其缺点,指出视觉显著性物体检测的核心思路为多层次特征的提取、融合与修整;2）从改进特征编码方式与信息传递结构、提升边缘定位精度、改善注意力机制、提升训练稳定性和控制噪声的角度对循环卷积神经网络、全卷积神经网络和生成对抗网络3种主流算法的性能提升进行分析,从优化弱监督样本处理模块的角度分析了减少对像素级标注样本依赖的方法;3）对协同显著性物体检测、多类别图像显著性物体检测以及未来的研究问题和方向进行介绍,并给出了可能的解决思路。     

基于多任务深度卷积神经网络的显著性对象检测算法

针对当前基于深度学习的显著性对象检测算法不能准确保存对象边缘的区域,从而导致检测出的显著性对象边缘区域模糊、准确率不高的问题,提出了一种基于多任务深度学习模型的显著性对象检测算法。首先,基于深度卷积神经网络（CNN）,训练一个多任务模型分别学习显著性对象的区域和边缘的特征;然后,利用检测到的边缘生成大量候选区域,再结合显著性区域检测的结果对候选区域进行排序和计算权值;最后提取出完整的显著性图。在三个常用标准数据集上的实验结果表明,所提方法获得了更高的准确率,其中F-measure比基于深度学习的算法平均提高了1.9%,而平均绝对误差（MAE）平均降低了12.6%。     

深度聚类注意力机制下的显著对象检测

目的 为了得到精确的显著对象分割结果,基于深度学习的方法大多引入注意力机制进行特征加权,以抑制噪声和冗余信息,但是对注意力机制的建模过程粗糙,并将所有特征均等处理,无法显式学习不同通道以及不同空间区域的全局重要性。为此,本文提出一种基于深度聚类注意力机制（deep cluster attention,DCA）的显著对象检测算法DCANet （DCA network）,以更好地建模特征级别的像素上下文关联。方法 DCA显式地将特征图分别在通道和空间上进行区域划分,即将特征聚类分为前景敏感区和背景敏感区。然后在类内执行一般性的逐像素注意力加权,并在类间进一步执行语义级注意力加权。DCA的思想清晰易懂,参数量少,可以便捷地部署到任意显著性检测网络中。结果 在6个数据集上与19种方法的对比实验验证了DCA对得到精细显著对象分割掩码的有效性。在各项评价指标上,部署DCA之后的模型效果都得到了提升。在ECSSD （extended cornplex scene saliency dataset）数据集上,DCANet的性能比第2名在F值上提升了0.9%;在DUT-OMRON （Dalian University of Technology and OMRON Corporation）数据集中,DCANet的性能比第2名在F值上提升了0.5%,平均绝对误差（mean absolute error,MAE）降低了3.2%;在HKU-IS数据集上,DCANet的性能比第2名在F值上提升了0.3%, MAE降低了2.8%;在PASCAL （pattern analysis,statistical modeling and computational learning）-S （subset）数据集上,DCANet的性能则比第2名在F值上提升了0.8%,MAE降低了4.2%。结论 本文提出的深度聚类注意力机制通过细粒度的通道划分和空间区域划分,有效地增强了前景敏感类的全局显著得分。与现有的注意力机制相比,DCA思想清晰、效果明显、部署简单,同时也为一般性的注意力机制研究提供了新的可行的研究方向。     

基于迁移学习和显著性检测的盲道识别

为了帮助对视觉障碍患者有效识别道路周围的场景,提出一种基于迁移学习和深度神经网络方法,实现实时盲道场景识别。首先提取盲道障碍物的瓶颈描述子和判别区域集成显著性特征描述子,并进行特征融合,然后训练新的盲道特征表示,用Softmax函数实现盲道场景识别。实验中,对成都不同区域盲道周围障碍物采样,分别采用基于Mobilenet模型不同参数训练和测试了提出的新模型,最后在实际应用场景,实现了盲道周边障碍物的实时分类和报警,实验证明提出的方法具有很高准确率和良好的运行性能。     

基于全卷积神经网络和多核学习的显著性检测*

针对显著性检测过程中特征选择的个人主观片面性和预测过程中特征权重的难以协调性问题,提出了一种基于全卷积神经网络和多核学习的监督学习算法。首先通过MSRA10K图像数据库训练出的全卷积神经网络(FCNN),预测待处理图像的初步显著性区域图;然后在多尺度上选择置信度高的前景、背景超像素块作为多核SVM分类器的训学习样本集,选择并提取八种典型特征代表对应样本训练SVM,接着通过多核SVM分类器预测各超像素显著值;最后融合初步显著图和多核学习显著图,改善FCNN网络输出图的不足,得到最终的显著性目标。方法在SOD数据库和DUT-OMRON数据库上有更高的AUC值,F-Measure值,综合性能均优于对比方法,验证了方法在显著性检测中准确性的提高,为目标识别、机器视觉等应用提供更可靠的预处理结果。     

互补特征交互融合的RGB_D实时显著目标检测

目的 通过融合颜色、深度和空间信息,利用RGB_D这两种模态数据的显著目标检测方案通常能比单一模态数据取得更加准确的预测结果。深度学习进一步推动RGB_D显著目标检测领域的发展。然而,现有RGB_D显著目标检测深度网络模型容易忽略模态的特异性,通常仅通过简单的元素相加、相乘或特征串联来融合多模态特征,如何实现RGB图像和深度图像之间的信息交互则缺乏合理性解释。为了探求两种模态数据中的互补信息重要性及更有效的交互方式,在分析了传统卷积网络中修正线性单元（rectified linear unit,ReLU）选通特性的基础上,设计了一种新的RGB和深度特征互补信息交互机制,并首次应用于RGB_D显著目标检测中。方法 首先,根据该机制提出了互补信息交互模块将模态各自的“冗余”特征用于辅助对方。然后,将其阶段式插入两个轻量级主干网络分别用于提取RGB和深度特征并实施两者的交互。该模块核心功能基于修改的ReLU,具有结构简单的特点。在网络的顶层还设计了跨模态特征融合模块用于提取融合后特征的全局语义信息。该特征被馈送至主干网络每个尺度,并通过邻域尺度特征增强模块与多个尺度特征进行聚合。最后,采用了深度恢复监督、边缘监督和深度监督3种监督策略以有效监督提出模型的优化过程。结果 在4个广泛使用的公开数据集NJU2K（Nanjing University2K）、NLPR（national laboratory of pattern recognition）、STERE（stereo dataset）和SIP（salient person）上的定量和定性的实验结果表明,以Max F-measure、MAE（mean absolute error）以及Max E-measure共3种主流测度评估,本文提出的显著目标检测模型相比较其他方法取得了更优秀的性能和显著的推理速度优势（373.8帧/s）。结论 本文论证了在RGB_D显著目标检测中两种模态数据具有信息互补特点,提出的模型具有较好的性能和高效率推理能力,有较好的实际应用价值。     

基于卷积神经网络的目标检测研究综述

随着训练数据的增加以及机器性能的提高,基于卷积神经网络的目标检测冲破了传统目标检测的瓶颈,成为当前目标检测的主流算法。因此,研究如何有效地利用卷积神经网络进行目标检测具有重要的价值。首先回顾了卷积神经网络如何解决传统目标检测中存在的问题;其次介绍了卷积神经网络的基本结构,叙述了当前卷积神经网络的研究进展以及常用的卷积神经网络;然后重点分析和讨论了两种应用卷积神经网络进行目标检测的思路和方法,指出了目前存在的不足;最后总结了基于卷积神经网络的目标检测,以及未来的发展方向。     

多支路协同的RGB-T图像显著性目标检测

目的 显著性目标检测是机器视觉应用的基础,然而目前很多方法在显著性物体与背景相似、低光照等一些复杂场景得到的效果并不理想。为了提升显著性检测的性能,提出一种多支路协同的RGB-T（thermal）图像显著性目标检测方法。方法 将模型主体设计为两条主干网络和三条解码支路。主干网络用于提取RGB图像和Thermal图像的特征表示,解码支路则分别对RGB特征、Thermal特征以及两者的融合特征以协同互补的方式预测图像中的显著性物体。在特征提取的主干网络中,通过特征增强模块实现多模图像的融合互补,同时采用适当修正的金字塔池化模块,从深层次特征中获取全局语义信息。在解码过程中,利用通道注意力机制进一步区分卷积神经网络（convolutional neural networks,CNN）生成的特征在不同通道之间对应的语义信息差异。结果 在VT821和VT1000两个数据集上进行测试,本文方法的最大F-measure值分别为0.843 7和0.880 5,平均绝对误差（mean absolute error,MAE）值分别为0.039 4和0.032 2,相较于对比方法,提升了整体检测性能。结论 通过对比实验表明,本文提出的方法提高了显著性检测的稳定性,在一些低光照场景取得了更好效果。