一种鲁棒的夜间图像显著性对象检测模型

基于人类视觉注意机制的显著性对象检测模型作为能主动感知图像中重要信息的有效方法,对探索视觉早期认知过程的大范围知觉信息组织具有重要意义.然而由于夜间图像具有低信噪比和低对比度特性,现有的视觉显著性对象检测模型在夜间场景中容易受到噪声干扰、弱纹理模糊等多方面因素的影响.有鉴于此,本文提出了一种基于区域协方差和全局搜索的夜间图像显著性对象检测方法.首先将输入图像分割为超像素块,并分别计算它们的协方差.然后使用超像素块协方差的差异性作为适应度函数,并结合全局搜索算法来优化各个超像素块的显著值.最后通过图扩散方法来精炼显著图结果.实验测试采用了5个公开图像数据集和1个夜间图像数据集,通过与11种目前主流的视觉显著性对象检测模型进行对比,综合评价了本文所提出模型的性能.     

基于区域对比度和背景先验的显著目标检测

针对现有算法对复杂背景的图像检测效果较差的问题,提出融合区域对比度和背景先验的显著目标检测算法。首先利用超像素分割将图像分割成感知均匀的图像块,然后根据区域对比度计算全局对比度特征和空间聚集度特征,再根据背景先验得到背景集,计算图像块与背景集间的相似性特征,接着对三个特征显著图进行融合计算,最后根据每个像素与周围超像素的颜色和距离对比度得到每个像素的显著值。实验结果表明,所提算法能较均匀高亮整个目标且有效抑制无关背景信息。     

多尺度卷积神经网络显著物体检测

目的 传统显著性检测模型大多利用手工选择的中低层特征和先验信息进行物体检测,其准确率和召回率较低,随着深度卷积神经网络的兴起,显著性检测得以快速发展。然而,现有显著性方法仍存在共性缺点,难以在复杂图像中均匀地突显整个物体的明确边界和内部区域,主要原因是缺乏足够且丰富的特征用于检测。方法 在VGG（visual geometry group）模型的基础上进行改进,去掉最后的全连接层,采用跳层连接的方式用于像素级别的显著性预测,可以有效结合来自卷积神经网络不同卷积层的多尺度信息。此外,它能够在数据驱动的框架中结合高级语义信息和低层细节信息。为了有效地保留物体边界和内部区域的统一,采用全连接的条件随机场（conditional random field,CRF）模型对得到的显著性特征图进行调整。结果 本文在6个广泛使用的公开数据集DUT-OMRON（Dalian University of Technology and OMRON Corporation）、ECSSD（extended complex scene saliency dataset）、SED2（segmentation evalution database 2）、HKU、PASCAL-S和SOD（salient objects dataset）上进行了测试,并就准确率—召回率（precision-recall,PR）曲线、F测度值（F-measure）、最大F测度值、加权F测度值和均方误差（mean absolute error,MAE）等性能评估指标与14种最先进且具有代表性的方法进行比较。结果显示,本文方法在6个数据集上的F测度值分别为0.696、0.876、0.797、0.868、0.772和0.785;最大F测度值分别为0.747、0.899、0.859、0.889、0.814和0.833;加权F测度值分别为0.656、0.854、0.772、0.844、0.732和0.762;MAE值分别为0.074、0.061、0.093、0.049、0.099和0.124。无论是前景和背景颜色相似的图像集,还是多物体的复杂图像集,本文方法的各项性能均接近最新研究成果,且优于大多数具有代表性的方法。结论 本文方法对各种场景的图像显著性检测都具有较强的鲁棒性,同时可以使显著性物体的边界和内部区域更均匀,检测结果更准确。     

结合布尔图和灰度稀缺性的小目标显著性检测

目的 基于超像素分割的显著物体检测模型在很多公开数据集上表现优异,但在实际场景应用时,超像素分割的数量和大小难以自适应图像和目标大小的变化,从而使性能下降,且分割过多会耗时过大。为解决这一问题,本文提出基于布尔图和灰度稀缺性的小目标显著性检测方法。方法 利用布尔图的思想,提取图像中较为突出的闭合区域,根据闭合区域的大小赋予其显著值,形成一幅显著图;利用灰度稀缺性,为图像中的稀缺灰度值赋予高显著值,抑制烟雾、云、光照渐晕等渐变背景,生成另一幅显著图;将两幅显著图融合,得到具有全分辨率、目标突出且轮廓清晰的显著图。结果 在3个数据集上与14种显著性模型进行对比,本文算法生成的显著图能有效抑制背景,并检测出多个小目标。其中,在复杂背景数据集上,本文算法具有最高的F值（F-measure）和最小的MAE（mean absolute error）值,AUC（area under ROC curve）值仅次于DRFI（discriminative regional feature integration）和ASNet（attentive saliency network）模型,AUC和F-measure值比BMS（Boolean map based saliency）模型分别提高了1.9%和6.9%,MAE值降低了1.8%;在SO200数据集上,本文算法的F-measure值最高,MAE值仅次于ASNet,F-measure值比BMS模型提高了3.8%,MAE值降低了2%;在SED2数据集上,本文算法也优于6种传统模型。在运行时间方面,本文算法具有明显优势,处理400×300像素的图像时,帧频可达12帧/s。结论 本文算法具有良好的适应性和鲁棒性,对于复杂背景下的小目标具有良好的显著性检测效果。     

多标签传播和边缘局部分析的显著性检测

针对显著性检测中显著目标周围模糊的现象,提出了一种基于多标签传播和边缘局部分析的图像显著性检测算法。首先提取最信赖的目标和背景标签,通过基于元胞更新策略的多标签传播算法,准确定位显著目标;然后提出了一种新颖的分析边缘局部线索并完成分类标记的策略,以消除目标边缘的模糊现象。公开数据集上的实验结果显示,检测结果有效地抑制了目标周围的背景,解决了目标周围的模糊问题,清晰均匀地突出了显著目标。     

基于散度-形状引导和优化函数的显著性目标检测

为了准确地进行显著性目标检测,本文提出了一种基于散度-形状引导和优化函数的显著性检测有效框架。首先,通过考虑颜色、空间位置和边缘信息,提出了一种有辨别力的相似性度量。接着,利用散度先验剔除图像边界中的前景噪音获得背景集,并结合相似性度量计算得到基于背景显著图。为了提高检测质量,形状完整性被提出并通过统计在分层空间中区域被激活的次数期望生成相应的形状完整显著图。最后,利用一个优化函数对两个显著图融合后的结果进行优化从而获得最终的结果。在公开数据集 ASD、DUT-OMRON和ECSSD上进行实验验证, 结果证明本文方法能够准确有效地检测出位于图像任意位置的显著性物体。     

Salient object detection via region contrast and graph regularization基于区域对比度和图正则化的显著目标检测

Detection of salient objects in an image is now gaining increasing research interest in computer vision community. In this study, a novel region-contrast based saliency detection solution involving three phases is proposed. First, a color-based super-pixels segmentation approach is used to decompose the image into regions. Second, three high-level saliency measures which could effectively characterize the salient regions are evaluated and integrated in an effective manner to produce the initial saliency map. Finally, we construct a pairwise graphical model to encourage that adjacent image regions with similar features take continuous saliency values, thus producing the more perceptually consistent saliency map. We extensively evaluate the proposed method on three public benchmark datasets, and show it can produce promising results when compared to 14 state-of-the-art salient object detection approaches.     

基于背景评估的贝叶斯模型显著性检测

针对自然图像中,复杂背景信息对显著性目标检测的影响,提出一种利用背景信息进行预测和贝叶斯模型选择优化的显著性检测方法。首先,为了提取完整的先验信息,根据背景信息与图像边界的连通性,以及对图像边界是否为背景进行评估来生成先验显著图。其次,为了降低背景信息的干扰,通过对流行排序算法生成的显著图进行角点检测,选择较为准确的显著点构造凸包。最后,利用贝叶斯模型进行选择优化来抑制和显著目标具有相同特征的背景信息。在2个公开的数据集上进行测试,并与4种性能较好的显著性检测算法对比,结果显示本文算法可提高显著性检测的准确性和区域的完整性。     

融合背景先验与中心先验的显著性目标检测

目的 现有的显著性目标检测算法通常基于单一的先验信息,导致提取的原图像信息不全面,为了解决该问题,提出一种新的基于背景先验与中心先验相融合的显著目标检测算法。方法 该方法首先以边缘超像素为吸收节点,利用马尔可夫吸收链计算其他超像素的平均吸收时间作为背景先验值,得到背景先验图;然后使用改进Harris角点检测估计目标区域位置,建立峰值位于目标中心的2维高斯函数,计算各超像素的中心先验值,获取中心先验图;最后将背景先验图与中心先验图相融合得到显著图。同时该方法融合多尺度检测结果,进一步提高显著值的准确性。结果 通过ASD、SED1、SED2和SOD 4个公开数据库对比验证了基于背景先验与中心先验相融合算法具有较高的查准率、查全率和F-measure,相较于基于马尔可夫吸收链算法均提高了3%以上,总体效果明显优于目前的10种主流算法。结论 相较于基于单一先验信息的算法,基于背景先验与中心先验相融合的算法充分利用了图像信息,在突出全局对比的同时也保留了较多的局部信息,能高亮地凸显图像中的显著性目标。该方法在检测单一目标的图片时效果显著,但对于多目标的显著性检测尚有不足。     

基于倒数函数谱残差的显著对象探测和提取方法

针对"中心-周围"的显著对象探测方法频繁出现探测或提取对象不完整、边界不平滑以及其9级金字塔下采样的冗余问题,提出一种基于倒数函数-谱残差（RFSR）的显著对象探测方法。首先,利用灰度图像与其对应的高斯低通滤波的差代替"中心-周围"方法中灰度图像标准化,并减少高斯金字塔至6级以降低冗余;其次,利用倒数函数滤波器代替Gabor滤波器提取局部方向信息;接着,利用谱残差方法提取图像的谱特征;最后,将这三个特征经过适当融合生成最终显著图。在两个常用基准数据集上的实验结果表明,所提方法在准确率（precision）、召回率（recall）及F-measure等指标上均比"中心-周围"及谱残差模型有明显提高,其为进一步图像分析、对象识别及基于显著视觉关注的图像检索等理论及应用研究奠定了基础。     

显著性物体检测研究综述：方法、应用和趋势

显著性物体检测旨在快速定位图像中的显著性目标,可用于目标检测和识别、关键点定位、视觉跟踪、语义分割等计算机视觉任务中。为梳理显著性检测研究的发展脉络,从方法、应用领域和研究方向等方面分析显著性检测的研究现状和发展趋势。首先,阐述了显著性检测与相关研究的区别和联系;然后,分析了目前主流的显著性物体检测算法的流程、创新点、性能和适用性;接下来,介绍了显著性检测领域数据集的发展和演化;最后,展望了显著性检测研究的发展趋势并总结了显著性检测的主要应用领域。     

Evaluation of visual saliency analysis algorithms in noisy images

Most existing visual saliency analysis algorithms assume that the input image is clean and does not have any disturbances. However, this situation is not always the case. In this paper, we provide an extensive evaluation of visual saliency analysis algorithms in noisy images. We analyze the noise immunity of saliency analysis algorithms by evaluating the performances of the algorithms in noisy images with increasing noise scales and by studying the effects of applying different denoising methods before performing saliency analysis. We use 10 state-of-the-art saliency analysis algorithms and 7 typical image denoising methods on 4 eye fixation datasets and 2 salient object detection datasets. Our experiments show that the performances of saliency analysis algorithms decrease with increasing image noise scales in general. An exception is that the nonlinear features (NF) integrated algorithm shows good noise immunity. We also find that image denoising methods can greatly improve the noise immunity of the algorithms. Our results show that the combination of NF and Median denoising method works best on eye fixation datasets and the combination of saliency optimization (SO) and color block-matching and 3D filtering (C-BM3D) method works best on salient object detection datasets. The combination of SO and Average denoising method works best for applications wherein time efficiency is a major concern for both types of datasets.     

复合域的显著性目标检测方法

目的 针对显著性目标检测方法生成显著图时存在背景杂乱、检测区域不准确的问题,提出基于复合域的显著性目标检测方法。方法 首先,在空间域用多尺度视网膜增强算法对原图像进行初步处理;然后,在初步处理过的图像上建立无向图并提取节点特征,重构超复数傅里叶变换到频域上得到平滑振幅谱、相位谱和欧拉谱,通过多尺度高斯核的平滑,得到背景抑制图;同时,利用小波变换在小波域上的具有多层级特性对图像提取多特征,并计算出多特征的显著性图;最后,利用提出的自适应阈值选择法将背景抑制图与多特征的显著性图进行融合,选择得到最终的显著图。结果 对标准测试数据集MSRA10K和THUR15K中的图像进行显著性目标检测实验,同目前较流行的6种显著性目标检测方法对比,结果表明上述问题通过本文方法得到了很好地解决,即使在背景复杂的情况下,本文算法的准确率、召回率均高于对比算法,在MSRA10K数据集中,平均绝对误差（MAE）值为0.106,在THUR15K数据集中,平均绝对误差（MAE）值降低至0.068,平均结构性指标S-measure值为0.844 9。结论 基于复合域的显著性目标检测方法,融合多个域的优势,在抑制杂乱的背景的同时提高了准确率,适用于自然景物、生物、建筑以及交通工具等显著性目标图像的检测。     

基于显著图的弱监督实时目标检测

深度卷积神经网络(Deep convolutional neural network,DCNN)在目标检测任务上使用目标的全标注来训练网络参数,其检测准确率也得到了大幅度的提升.然而,获取目标的边界框(Bounding-box)标注是一项耗时且代价高的工作.此外,目标检测的实时性是制约其实用性的另一个重要问题.为了克服这两个问题,本文提出一种基于图像级标注的弱监督实时目标检测方法.该方法分为三个子模块:1)首先应用分类网络和反向传递过程生成类别显著图,该显著图提供了目标在图像中的位置信息;2)根据类别显著图生成目标的伪标注(Pseudo-bounding-box);3)最后将伪标注看作真实标注并优化实时目标检测网络的参数.不同于其他弱监督目标检测方法,本文方法无需目标候选集合获取过程,并且对于测试图像仅通过网络的前向传递过程就可以获取检测结果,因此极大地加快了检测的速率(实时性).此外,该方法简单易用;针对未知类别的目标检测,只需要训练目标类别的分类网络和检测网络.因此本框架具有较强的泛化能力,为解决弱监督实时检测问题提供了新的研究思路.在PASCAL VOC 2007数据集上的实验表明:1)本文方法在检测的准确率上取得了较好的提升;2)实现了弱监督条件下的实时检测.     

多对象图像数据集建立及显著性检测算法评估

图像视觉显著性检测算法在已有数据集上已经取得很好的结果,但是目前的多个数据集存在两个严重的问题:首先,数据集中的图像以只包含一个显著对象的图像为主;其次,在建立显著对象标注结果的过程中,忽略了用户对同一幅图像中包含的多个显著对象的不同认知。上述问题导致了在已有数据集上对显著性检测算法进行评估,不能体现算法在实际应用中的真实效果。为此,提出体现用户认知的多显著对象图像标注方法,首先设计并实现辅助软件,收集用户对各显著对象的重要程度的认知情况,包括显著区域与相应的重要程度;然后融合收集的多用户数据,绘制出以灰度图为表现形式的显著对象标注结果,并通过灰度值体现多用户对于每个显著对象的认知情况。基于改进的显著对象标注方法,建立了一个包含1000幅多显著对象图像的数据集,并为每幅图像提供了体现用户认知的显著对象标注结果。对10种具有代表性的显著性检测算法在已有数据集和建立的数据集上的性能进行了比较。实验结果表明,这些显著性检测算法在建立的数据集上的性能有大幅度的降低,例如受试者工作特征曲线下面积(ROC-AUC)评估参数的最大降幅超过了0.5,这证实了已有数据集存在的问题及建立新数据集的需求,同时指出显著性检测算法在处理包含多显著对象的复杂图像上存在的不足。     

采用特征引导机制的显著性检测网络

近年来,基于全卷积网络的显著性物体检测方法较手工选取特征的方法已经取得了较大的进展,但针对复杂场景图像的检测仍存在一些问题需要解决。提出了一种新的基于全局特征引导的显著性物体检测模型,研究深层语义特征在多尺度多层次特征表达中的重要作用。以特征金字塔网络的编解码结构为基础,在自底而上的路径中,设计了全局特征生成模块（GGM）,准确提取显著性物体的位置信息;构建了加强上下文联系的残差模块（RM）,提取各侧边输出的多尺度特征;采用特征引导流（GF）融合全局特征生成模块和残差模块,利用深层语义特征去引导浅层特征提取,高亮显著目标的同时抑制背景噪声。实验结果表明,在5个基准数据集上与11种主流方法相比,该模型具有优越性。     

Coarse to Fine: Weak Feature Boosting Network for Salient Object Detection

Salient object detection is to identify objects or regions with maximum visual recognition in an image, which brings significant help and improvement to many computer visual processing tasks. Although lots of methods have occurred for salient object detection, the problem is still not perfectly solved especially when the background scene is complex or the salient object is small. In this paper, we propose a novel Weak Feature Boosting Network (WFBNet) for the salient object detection task. In the WFBNet, we extract the unpredictable regions (low confidence regions) of the image via a polynomial function and enhance the features of these regions through a well-designed weak feature boosting module (WFBM). Starting from a coarse saliency map, we gradually refine it according to the boosted features to obtain the final saliency map, and our network does not need any post-processing step. We conduct extensive experiments on five benchmark datasets using comprehensive evaluation metrics. The results show that our algorithm has considerable advantages over the existing state-of-the-art methods.     

基于蚁群优化算法的弱光图像显著性目标检测

近年来,显著性目标检测受到工业界和学术界的大量关注,成为了计算机视觉领域中一项重要的基础研究,该问题的解决有助于各类视觉任务取得突破性进展。尽管针对可见光场景的显著性检测工作已经取得了有效成果,但如何在信噪比偏低、可用有效信息匮乏的弱光图像中提取边界清晰、内部结构准确的显著性目标,仍然是具有挑战性的难题。针对弱光场景下显著性目标检测存在边界模糊、结构不完整等造成准确率较低的问题,提出基于蚁群优化（ACO）算法的显著性检测模型。首先,通过多尺度超像素分割将输入图像转换为具有不同节点的无向图;其次,基于最优特征选择策略来更充分地获取低对比度弱光图像中所包含的更多显著目标的特征信息,并摒弃冗余的噪声信息;然后,引入空间对比度策略用于探索弱光图像中具有相对较高对比度的全局显著性线索。而为了在低信噪比情况下也能获取准确的显著性估计,利用ACO算法对显著图进行优化。通过在3个公共数据集（MSRA、CSSD和PASCAL-S）以及夜间弱光图像（NI）数据集上进行实验,可以看出,所提模型在3个公共数据集上的曲线下面积（AUC）值分别达到了87.47%、84.27%和81.58%,在NI数据集上的AUC值比排名第2的低秩矩阵恢复（LR）模型提高了2.17个百分点。实验结果表明,相较于11种主流的显著性检测模型,所提模型具有结构更准确且边界更清晰的检测效果,有效抑制了弱光场景对显著性目标检测性能的干扰。     

基于多模态多级特征聚合网络的光场显著性目标检测

现有基于深度学习的显著性检测算法主要针对二维RGB图像设计,未能利用场景图像的三维视觉信息,而当前光场显著性检测方法则多数基于手工设计,特征表示能力不足,导致上述方法在各种挑战性自然场景图像上的检测效果不理想。提出一种基于卷积神经网络的多模态多级特征精炼与融合网络算法,利用光场图像丰富的视觉信息,实现面向四维光场图像的精准显著性检测。为充分挖掘三维视觉信息,设计2个并行的子网络分别处理全聚焦图像和深度图像。在此基础上,构建跨模态特征聚合模块实现对全聚焦图像、焦堆栈序列和深度图3个模态的跨模态多级视觉特征聚合,以更有效地突出场景中的显著性目标对象。在DUTLF-FS和HFUT-Lytro光场基准数据集上进行实验对比,结果表明,该算法在5个权威评估度量指标上均优于MOLF、AFNet、DMRA等主流显著性目标检测算法。