基于深度学习的显著性目标检测综述

随着深度学习的不断发展,基于深度学习的显著性目标检测已经成为计算机视觉领域的一个研究热点.首先对现有的基于深度学习的显著性目标检测算法分别从边界/语义增强、全局/局部结合和辅助网络三个角度进行了分类介绍并给出了显著性图,同时对三种类型方法进行了定性分析比较;然后简单介绍了基于深度学习的显著性目标检测常用的数据集和评估准...     

基于多重特征信息的图像显著性检测方法

针对海量视觉数据处理中的图像显著性检测问题,提出一种基于多重特征信息的新型方法。该方法首先根据像素的CIE Lab颜色空间和空间位置信息选用k-means算法对图像像素聚类,在初始化中心时根据蜂窝原理使用正六边形进行选种。然后用全局对比和局部对比方法分析选取的多重图像特征,并计算得到八种特征图。最后对八种特征图融合得到初始显著性图,再用阈值法得到最终的显著性图。该方法通过改进k-means算法实现良好的图像聚类以进一步分析、处理图像特征,并依据对比度、关键区域聚焦等重要原理将图像底层特征和中层特征合理融合,兼顾全局对比和局部对比,处理问题全面而高效。实验结果表明,从主观和客观两方面进行整体评估,该方法都达到了优越的性能。     

基于深度学习的显著性目标检测综述

显著性目标检测通过模仿人的视觉感知系统,寻找最吸引视觉注意的目标,已被广泛应用于图像理解、语义分割、目标跟踪等计算机视觉任务中。随着深度学习技术的快速发展,显著性目标检测研究取得了巨大突破。本文总结了近5年相关工作,全面回顾了3类不同模态的显著性目标检测任务,包括基于RGB图像、基于RGB-D/T(Depth/Thermal)图像以及基于光场图像的显著性目标检测。首先分析了3类研究分支的任务特点,并概述了研究难点;然后就各分支的研究技术路线和优缺点进行阐述和分析,并简单介绍了3类研究分支常用的数据集和主流的评价指标。最后,对基于深度学习的显著性目标检测领域未来研究方向进行了探讨。     

深度导向显著性检测算法

针对目前基于深度卷积神经网络的显著性检测算法存在对复杂场景图像目标检测不完整、背景噪声多的问题，提出一种深度特征导向显著性检测算法。该算法是基于现有底层特征与深度卷积特征融合模型（ELD）的改进，网络模型包含基础特征提取、高层语义特征跨层级引导传递两个部分。首先，根据不同层级卷积特征的差异性，构建跨层级特征联合的高层语义特征引导模型；然后，用改进的网络模型生成初始显著图，利用高层语义特征引导的方式进行显著性聚类传播；最后，用完全联系条件随机场对聚类传播的结果进行优化，使其能够获取更多结构边缘信息和降低噪声并生成完整显著图。在ECSSD上和DUT-ORMON两个数据集上进行实验测试，实验结果表明，所提算法的准确率和召回率（PR）优于ELD模型，其F-measure（F）值分别提升了7.5%和11%，平均绝对误差（MAE）值分别降低了16%和15%，说明了所提算法模型能够在目标识别、模式识别、图像索引等复杂图像场景应用领域得到更加鲁棒的结果。     

基于多尺度反卷积深度学习的显著性检测

传统的显著性检测方法大多在单一的尺度上分辨感兴趣的目标和背景,无法有效地获取多分辨率下的局部细节信息,为此提出多尺度反卷积的深度学习网络模型。首先,在多尺度下对各层特征及各层对比特征进行反卷积,充分利用反卷积层中的卷积核对输入物体的形状进行重建,在多种分辨率特征图上利用反卷积网络来学习细节特征,减少信息的丢失,以此保持不同尺寸特征图的细节信息;然后,将各尺度下的反卷积特征进行融合,形成多层次局部信息;最后,与VGG16网络提取的全局信息融合后,计算各个像素的显著值,从而获得最终的显著性结果。实验结果表明,多尺度反卷积结构表现出较优的性能,与传统方法相比,可以相对增强突出物体与背景之间的对比,保持细节方面的特征;与最新深度学习的方法相比,可以检测出相对清晰准确的区域,一定程度上减少了信息的损失,还原出了更多的细节,能够有效地获取各种分辨率下的显著性目标,而且各反卷积层的独立性也显著提高了本文算法的运算速度。     

一种基于词袋模型的新的显著性目标检测方法

提出一种基于词袋模型的新的显著性目标检测方法.该方法首先利用目标性计算先验概率显著图,然后在图像的超像素区域内建立词袋模型,并基于此特征计算条件概率显著图,最后根据贝叶斯推断将先验概率和条件概率显著图进行合成.在ASD、SED以及SOD显著性目标公开数据库上与目前16种主流方法进行对比,实验结果表明本文方法具有更高的精度和更好的查全率,能够一致高亮地凸显图像中的显著性目标.     

基于轻量化模型的钢铁表面缺陷显著性检测研究

钢铁被广泛地应用于工业生产,其质量的优劣影响着钢铁制品的可靠性。现有检测技术基于深度学习等方法来检测钢铁表面缺陷区域,但仍存在检测速度慢、模型参数量大和应对复杂场景处理能力弱的问题。针对问题设计了一种基于轻量化模型的钢铁表面缺陷显著性检测方法,能够实现快速准确地检测钢铁表面缺陷区域。该方法以深度可分离卷积为基础设计模型,从而减小模型整体参数量并提升检测速度;在模型中引入多尺度特征,强化轻量化模型对于图像特征的提取能力,提升对复杂环境下的适应性。该方法在公开数据集SD-saliency-900上进行了广泛的实验,实验结果证明提出模型在检测精度不受影响的前提下,大幅减小模型参数量并显著提升模型推理速度。相较于其他基准方法,所提出模型具有更好的复杂环境应对能力以及实际应用性。     

基于背景评估的贝叶斯模型显著性检测

针对自然图像中,复杂背景信息对显著性目标检测的影响,提出一种利用背景信息进行预测和贝叶斯模型选择优化的显著性检测方法。首先,为了提取完整的先验信息,根据背景信息与图像边界的连通性,以及对图像边界是否为背景进行评估来生成先验显著图。其次,为了降低背景信息的干扰,通过对流行排序算法生成的显著图进行角点检测,选择较为准确的显著点构造凸包。最后,利用贝叶斯模型进行选择优化来抑制和显著目标具有相同特征的背景信息。在2个公开的数据集上进行测试,并与4种性能较好的显著性检测算法对比,结果显示本文算法可提高显著性检测的准确性和区域的完整性。     

基于区域对比的图像显著性检测方法

随着计算机视觉的发展,图像显著区域检测在图像处理领域越来越重要。为了对自然图像中的显著区域进行准确的检测,提出了一种基于区域对比的图像显著性检测方法。首先对图像进行超像素分割预处理,然后利用图像的颜色特征和空间特征算出区域对比度,再结合图像子区域与其邻域像素平均特征向量的距离以及中心优先原则得到图像高质量的显著图。仿真实验结果表明,与其他的显著性检测算法相比,可以更加有效地检测出显著性目标,更好地抑制背景。     

多尺度特征深度复用的显著性目标检测算法

针对传统显著性目标检测方法在检测不同尺度的多个显著性目标方面的不足,提出了一种多尺度特征深度复用的显著性目标检测算法,网络模型由垂直堆叠的双向密集特征聚合模块和水平堆叠的多分辨率语义互补模块组成。首先,双向密集特征聚合模块基于ResNet骨干网络提取不同分辨率语义特征;然后,依次在top-down和bottom-up两条通路上进行自适应融合,以获取不同层次多尺度表征特征;最后,通过多分辨率语义互补模块对两个相邻层次的多尺度特征进行融合,以消除不同层次上特征之间的相互串扰来增强预测结果的一致性。在五个基准数据集上进行的实验结果表明,该方法在Fmax、Sm、MAE最高能达到0.939、0.921、0.028,且检测速率可达74.6 fps,与其他对比算法相比有着更好的检测性能。     

基于封闭先验的图像显著度检测

颜色对比度是图像关注区域检测的重要线索,准确地提取反映图像不同颜色特征的区域,非常有助于计算各个区域的对比度.为了得到有效的对比图,首先利用封闭先验通过检测位平面中的连通性来提取具有不同颜色特征的封闭区域.其次,利用背景先验消除与图像边界连通的封闭区域并得到封闭区域掩膜.然后利用对比度先验与封闭先验,提出某区域在各个位平面中表现为封闭的次数越多越有可能是关注区域的假设,并通过封闭区域掩膜的叠加计算各个封闭区域的对比度.同时,结合人眼对小面积的封闭区域与封闭轮廓的感知特性,以及对关注区域视觉资源的分配特性,在获取对比度图的关键环节采取形态学滤波和高斯模糊,最终实现面向凝视点估计的图像显著度检测.与多种经典的检测模型相比,提出的方法取得了较好的性能.     

基于SLIC融合纹理和直方图的图像显著性检测

针对基于颜色直方图的显著图无法突出边缘轮廓和纹理细节的问题,结合图像的颜色特征、空间位置特征、纹理特征以及直方图,提出了一种基于SLIC融合纹理和直方图的图像显著性检测方法。该方法首先通过SLIC算法对图像进行超像素分割,提取基于颜色和空间位置的显著图;然后分别提取基于颜色直方图的显著图和基于纹理特征的显著图;最后将前两个阶段得到的显著图进行融合得到最终的显著图。此外,通过简单的阈值分割方法得到图像中的显著性目标。实验结果表明,与经典显著性检测算法相比,提出的算法性能明显优于其他算法性能。     

基于多尺度的贝叶斯模型显著性检测

针对传统基于贝叶斯模型的显著性检测算法存在准确率不理想的问题,提出了一种基于多尺度的贝叶斯模型显著性检测算法。通过超像素分割算法(SLIC)将原图分割成不同尺度的超像素,根据超像素边界信息得到背景种子,进而通过距离计算和多尺度融合得到背景先验;对原图进行颜色增强,采用Harris算子对增强图进行检测角点求得凸包,融合不同尺度下的超像素得到凸包先验;融合背景先验和凸包先验得到最终先验;利用颜色直方图和凸包计算似然概率;将最终先验和似然概率通过贝叶斯模型计算显著图。在公开数据集MSRA1000、ECSSD上与多种传统算法进行准确率和召回率对比,该算法有更好的表现。     

基于颜色通道比较的显著性检测

为了快速有效地检测图像中的显著性区域,利用颜色通道差异信息和空间信息,提出了一种基于颜色通道比较的显著性检测算法. 该算法将显著性检测任务看作对图像前景区域和背景区域进行分离和识别的过程,首先基于RGB颜色空间构造了一组反映不同色彩信息的颜色通道,通过通道比较将不同颜色的区域分离开,然后通过分析空间信息选择出属于前景的区域,最后对所有前景区域进行合并得到最终的显著图. 我们在两个公开数据集上与现有的一些检测算法进行了对比试验,结果表明该算法具有较低的计算复杂度以及较高的检测准确率和召回率,证明该算法是简单有效的.     

基于全局和局部特征融合的显著性提取方法

显著性提取方法在图像处理、计算机视觉领域有着广泛的应用.然而,基于全局特征和基于局部特征的显著性区域提取算法存在各自的缺点,为此本文提出了一种融合全局和局部特征的显著性提取算法.首先,对图像进行不重叠地分块,当每个图像块经过主成分分析(Principle component analysis,PCA)映射到高维空间后,根据孤立的特征点对应显著性区域的规律得到基于全局特征的显著图;其次,根据邻域内中心块与其他块的颜色不相似性得到基于局部特征的显著图;最后,按照贝叶斯理论将这两个显著图融合为最终的显著图.在公认的三个图像数据库上的仿真实验验证了所提算法在显著性提取和目标分割上比其他先进算法更有效.     

结合双流特征融合及对抗学习的图像显著性检测

为实现图像显著区域或目标的低级特征与语义信息有意义的结合,以获取结构更完整、边界更清晰的显著性检测结果,提出一种结合双流特征融合及对抗学习的彩色图像显著性检测(SaTSAL)算法.首先,以VGG-16和Res2Net-50为双流异构主干网络,实现自底向上、不同级别的特征提取;之后,分别针对每个流结构,将相同级别的特征图...     

基于多图流形排序的图像显著性检测

针对现有图像显著性检测算法中显著目标检测不完整和显著目标内部不均匀的问题,本文提出了一种基于多图流形排序的图像显著性检测算法.该算法以超像素为节点构造KNN图（K nearest neighbor graph）模型和K正则图（K regular graph）模型,分别在两种图模型上利用流形排序算法计算超像素节点的显著性值,并将每个图模型中超像素节点的显著值加权融合得到最终的显著图.在公开的MSRA-10K、SED2和ECSSD三个数据集上,将本文提出的算法与当前流行的14种算法进行对比,实验结果显示本文算法能够完整地检测出显著目标,并且显著目标内部均匀光滑.