多对象图像数据集建立及显著性检测算法评估

图像视觉显著性检测算法在已有数据集上已经取得很好的结果,但是目前的多个数据集存在两个严重的问题:首先,数据集中的图像以只包含一个显著对象的图像为主;其次,在建立显著对象标注结果的过程中,忽略了用户对同一幅图像中包含的多个显著对象的不同认知。上述问题导致了在已有数据集上对显著性检测算法进行评估,不能体现算法在实际应用中的真实效果。为此,提出体现用户认知的多显著对象图像标注方法,首先设计并实现辅助软件,收集用户对各显著对象的重要程度的认知情况,包括显著区域与相应的重要程度;然后融合收集的多用户数据,绘制出以灰度图为表现形式的显著对象标注结果,并通过灰度值体现多用户对于每个显著对象的认知情况。基于改进的显著对象标注方法,建立了一个包含1000幅多显著对象图像的数据集,并为每幅图像提供了体现用户认知的显著对象标注结果。对10种具有代表性的显著性检测算法在已有数据集和建立的数据集上的性能进行了比较。实验结果表明,这些显著性检测算法在建立的数据集上的性能有大幅度的降低,例如受试者工作特征曲线下面积(ROC-AUC)评估参数的最大降幅超过了0.5,这证实了已有数据集存在的问题及建立新数据集的需求,同时指出显著性检测算法在处理包含多显著对象的复杂图像上存在的不足。     

基于被包围状态和马尔可夫模型的显著性检测

针对图像显著性检测问题,提出一种利用被包围状态和马尔可夫模型进行图像显著性检测的方法。首先,利用被包围状态计算显著性物体的大致区域;其次,使用简单线性迭代聚类(SLIC)算法对原始图像进行处理,得到图像的超像素图,并基于超像素图建立图像的图模型;接着,将距离显著性物体大致区域最远的两条边界的超像素作为虚拟背景吸收节点,利用吸收马尔可夫链计算每个超像素的显著性值,检测出初始的显著图S₁;再以计算出的显著性物体大致区域中的超像素作为虚拟前景吸收节点,利用吸收马尔可夫链检测出初始的显著性图S₂;然后,融合S₁和S₂得到最终的显著图S;最后,利用引导滤波器对显著图S进行平滑处理得到更优的显著图。在两个数据库上的实验结果表明,提出的算法优于现有大多数算法。     

Edge-preserving color image denoising through tensor voting

This paper presents a new method for edge-preserving color image denoising based on the tensor voting framework, a robust perceptual grouping technique used to extract salient information from noisy data. The tensor voting framework is adapted to encode color information through tensors in order to propagate them in a neighborhood by using a specific voting process. This voting process is specifically designed for edge-preserving color image denoising by taking into account perceptual color differences, region uniformity and edginess according to a set of intuitive perceptual criteria. Perceptual color differences are estimated by means of an optimized version of the CIEDE2000 formula, while uniformity and edginess are estimated by means of saliency maps obtained from the tensor voting process. Measurements of removed noise, edge preservation and undesirable introduced artifacts, additionally to visual inspection, show that the proposed method has a better performance than the state-of-the-art image denoising algorithms for images contaminated with CCD camera noise.     

利用背景先验的显著性检测算法

目的 针对图像的显著区域检测问题,提出一种利用背景先验知识和多尺度分析的显著性检测算法。方法 首先,将原始图像在不同尺度下分解为超像素。然后,在每种尺度下根据各超像素之间的特征差异估计背景,提取背景区域,获取背景先验知识。根据背景先验计算各超像素的显著性,得到显著图。最后,将不同超像素尺度下的显著图进行融合得到最终显著图。结果 在公开的MASR-1000、ECSSD、SED和SOD数据集上进行实验验证,并和目前流行的算法进行实验对比。本文算法的准确率、召回率、F-Measure以及平均绝对误差均在4个数据集上的平均值分别为0.718 9、0.699 9、0.708 6和0.042 3,均优于当前流行的算法。结论 提出了一种新的显著性检测算法,对原始图像进行多尺度分析,利用背景先验计算视觉显著性。实验结果表明,本文算法能够完整、准确地检测显著性区域,适用于自然图像的显著性目标检测或目标分割应用。     

A New Framework for Multiscale Saliency Detection Based on Image Patches

In this paper, we propose a new multiscale saliency detection algorithm based on image patches. To measure saliency of pixels in a given image, we segment the image into patches by a fixed scale and then use principal component analysis to reduce the dimensions which are noises with respect to the saliency calculation. The dissimilarities between a patch and other patches, which indicate the patch’s saliency, are computed based on the dissimilarity of colors and the spatial distance. Finally, we implement our algorithm through multiple scales that further decrease the saliency of background. Our method is compared with other saliency detection approaches on two public image datasets. Experimental results show that our method outperforms the state-of-the-art methods on predicting human fixations and salient object segmentation.     

基于图割精细化和可微分聚类的无监督显著性目标检测

针对传统显著性检测算法分割精度低以及基于深度学习的显著性检测算法对像素级人工注释数据依赖性过强等不足,提出一种基于图割精细化和可微分聚类的无监督显著性目标检测算法。该算法采用由“粗”到“精”的思想,仅利用单张图像的特征便可以实现精确的显著性目标检测。首先利用Frequency-tuned算法根据图像自身的颜色和亮度得到显著粗图,然后根据图像的统计特性进行二值化并结合中心优先假设得到显著目标的候选区域,进而利用基于单图像进行图割的GrabCut算法对显著目标进行精细化分割,最后为克服背景与目标极为相似时检测不精确的困难,引入具有良好边界分割效果的无监督可微分聚类算法对单张显著图做进一步的优化。所提出的算法在ECSSD和SOD数据集上进行测试并与现有的7种算法进行对比,结果表明得到的优化显著图更接近于真值图,在ECSSD和SOD数据集上分别实现了14.3%和23.4%的平均绝对误差（MAE）。     

基于频域多尺度分析的显著性检测

针对现有显著性检测方法得到的显著区域不完整以及缺乏生物学依据的不足,提出一种基于频域多尺度分析的图像显著性检测方法.首先利用小波变换将输入图像的离散余弦变换(DCT)系数的幅度谱进行多尺度分解,计算得到多尺度下的空间域视觉显著图,然后依据显著性评价函数选出较优显著图,最后以自适应权重合成输入场景的视觉显著图.对不同类型数据集进行实验,包括心理物理学模板数据集、人眼注视轨迹数据集及显著目标分割数据集(包括ASD和ECSSD数据集),该方法对于多类型数据集在P-R曲线、ROC曲线及AUC指标等客观评价标准上均取得较高精确度,且在计算速度统计中计算较快,表明该方法优于其他经典的显著性检测方法.     

基于蚁群优化算法的弱光图像显著性目标检测

近年来,显著性目标检测受到工业界和学术界的大量关注,成为了计算机视觉领域中一项重要的基础研究,该问题的解决有助于各类视觉任务取得突破性进展。尽管针对可见光场景的显著性检测工作已经取得了有效成果,但如何在信噪比偏低、可用有效信息匮乏的弱光图像中提取边界清晰、内部结构准确的显著性目标,仍然是具有挑战性的难题。针对弱光场景下显著性目标检测存在边界模糊、结构不完整等造成准确率较低的问题,提出基于蚁群优化（ACO）算法的显著性检测模型。首先,通过多尺度超像素分割将输入图像转换为具有不同节点的无向图;其次,基于最优特征选择策略来更充分地获取低对比度弱光图像中所包含的更多显著目标的特征信息,并摒弃冗余的噪声信息;然后,引入空间对比度策略用于探索弱光图像中具有相对较高对比度的全局显著性线索。而为了在低信噪比情况下也能获取准确的显著性估计,利用ACO算法对显著图进行优化。通过在3个公共数据集（MSRA、CSSD和PASCAL-S）以及夜间弱光图像（NI）数据集上进行实验,可以看出,所提模型在3个公共数据集上的曲线下面积（AUC）值分别达到了87.47%、84.27%和81.58%,在NI数据集上的AUC值比排名第2的低秩矩阵恢复（LR）模型提高了2.17个百分点。实验结果表明,相较于11种主流的显著性检测模型,所提模型具有结构更准确且边界更清晰的检测效果,有效抑制了弱光场景对显著性目标检测性能的干扰。     

基于背景学习的显著物体检测

目的 显著物体检测的目标是提取给定图像中最能吸引人注意的物体或区域,在物体识别、图像显示、物体分割、目标检测等诸多计算机视觉领域中都有广泛应用。已有的基于局部或者全局对比度的显著物体检测方法在处理内容复杂的图像时,容易造成检测失败,其主要原因可以总结为对比度参考区域设置的不合理。为提高显著物体检测的完整性,提出背景驱动的显著物体检测算法,在显著值估计和优化中充分利用背景先验。方法 首先采用卷积神经网络学习图像的背景分布,然后从得到的背景图中分割出背景区域作为对比度计算参考区域来估计区域显著值。最后,为提高区域显著值的一致性,采用基于增强图模型的优化实现区域显著值的扩散,即在传统k-正则图局部连接的基础上,添加与虚拟节点之间的先验连接和背景区域节点之间的非局部连接,实现背景先验信息的嵌入。结果 在公开的ASD、SED、SOD和THUS-10000数据库上进行实验验证,并与9种流行的算法进行对比。本文算法在4个数据库上的平均准确率、查全率、F-measure和MAE指标分别为0.873 6、0.795 2、0.844 1和0.112 2,均优于当前流行的算法。结论 以背景区域作为对比度计算参考区域可以明显提高前景区域的显著值。卷积神经网络可以有效学习图像的背景分布并分割出背景区域。基于增强图模型的优化可以进一步实现显著值在前景和背景区域的扩散,提高区域显著值的一致性,并抑制背景区域的显著性响应。实验结果表明,本文算法能够准确、完整地检测图像的显著区域,适用于复杂图像的显著物体检测或物体分割应用。     

Bottom-up saliency detection for attention determination

In this paper, the technique of saliency detection is proposed to model people’s biological ability of attending to their interest. There are two phases in the scheme of intelligent saliency searching: saliency filtering and saliency refinement. In saliency filtering, non-salient regions of a scene image are filtered out by measuring information entropy and biological color sensitivity. The information entropy evaluates the level of knowledge and energy contained, and the color sensitivity measures biological stimulation of a presented scene. In saliency refinement, candidate salient regions obtained are cultivated for a good representation of saliency by extracting salient objects, similarly to people’s manner of perception. The performance of the proposed technique is studied on noiseless and noisy natural scenes and evaluated with eye fixation data. The evaluation proved the effectiveness of the approach in discovering salient regions or objects from scene images. The performance of addressing transformation and illumination variance is also investigated.     

基于频域与空间域分析的显著区域检测算法

显著区域检测对于多种计算机视觉应用有所帮助,如图像分割、目标识别、图像检索及自适应压缩。为此,提出一个基于频域与空间域分析的显著区域检测算法。通过拥有不同尺寸窗口的中值滤波器对不显著的区域进行抑制,根据空间信息选择最佳的显著图。与 5个经典算法的比较实验结果表明,利用该算法得到的显著图既去除了背景,又突出了整个显著物体。     

基于自适应背景模板与空间先验的显著性物体检测方法

目前,显著性检测已成为国内外计算机视觉领域研究的一个热点,但现有的显著性检测算法大多无法有效检测出位于图像边缘的显著性物体.针对这一问题,本文提出了基于自适应背景模板与空间先验的显著性物体检测方法,共包含三个步骤:第一,根据显著性物体在颜色空间上具有稀有性,获取基于自适应背景模板的显著图.将图像分割为超像素块,提取原图的四周边界作为原始背景区域.利用设计的自适应背景选择策略移除原始背景区域中显著的超像素块,获取自适应背景模板.通过计算每个超像素块与自适应背景模板的相异度获取基于自适应背景模板的显著图.并采用基于K-means的传播机制对获取的显著图进行一致性优化;第二,根据显著性物体在空间分布上具有聚集性,利用基于目标中心优先与背景模板抑制的空间先验方法获得空间先验显著图.第三,将获得的两种显著图进行融合得到最终的显著图.在公开数据集MSRA-1000、SOD、ECSSD和新建复杂数据集CBD上进行实验验证,结果证明本文方法能够准确有效地检测出图像中的显著性物体.     

基于低秩矩阵恢复的视觉显著性目标检测与细化

基于低秩矩阵恢复(low-rank matrix recovery,LRMR)的显著性目标检测模型将图像特征分解为与背景关联的低秩分量和与显著性目标相关联的稀疏分量,并从稀疏分量中获得显著性目标.现有的显著性检测方法很少考虑低秩分量与稀疏分量之间的相互关系,导致检测的显著性目标零散或不完整.为此,提出基于低秩矩阵恢复的显著性目标检测与细化方法来规避该限制.首先,所提方法采用ell_1范数稀疏约束和拉普拉斯正则项对初始显著图进行计算;在显著性细化阶段,由于非局部的ell_0优化可以有效地对显著性区域及其邻接区域之间的相互关系进行建模,结合初始显著图,采用非局部ell_0梯度优化,最小化显著性区域中显著值的变化,从而保证显著性目标的完整性.在4个显著性目标检测数据集上进行实验,通过实验结果验证所提算法的优越性.     

幂律变换和IGLC算法的显著性目标检测方法

针对显著性检测方法生成显著图存在对比度低、目标区域细节不明显、检测区域不准、背景抑制效果不足的问题，提出幂律变换和IGLC算法的显著性目标检测方法。利用幂律变换函数优化IG算法，彻底抑制显著图的背景区域。经二值化处理的显著图在原图像分割，得到感兴趣目标分割图；LC算法优化感兴趣目标分割图，得到细节佳的显著图；利用自适应烟花算法增强显著目标区域的对比度，生成最终的显著图。对标准测试数据集MSRA10K和PASCAL-S数据集中的图像进行显著性目标检测实验，且与目前较流行的6种显著性目标检测方法进行主观和客观的对比分析，分析结果均优于对比方法。该算法得到的显著图既具有对比度和细节增强的效果，又具有背景抑制效果更好的优点。     

Salient object detection via saliency bias and diffusion

Salient object detection aims to identify both spatial locations and scales of the salient object in an image. However, previous saliency detection methods generally fail in detecting the whole objects, especially when the salient objects are actually composed of heterogeneous parts. In this work, we propose a saliency bias and diffusion method to effectively detect the complete spatial support of salient objects. We first introduce a novel saliency-aware feature to bias the objectness detection for saliency detection on a given image and incorporate the saliency clues explicitly in refining the saliency map. Then, we propose a saliency diffusion method to fuse the saliency confidences of different parts from the same object for discovering the whole salient object, which uses the learned visual similarities among object regions to propagate the saliency values across them. Benefiting from such bias and diffusion strategy, the performance of salient object detection is significantly improved, as shown in the comprehensive experimental evaluations on four benchmark data sets, including MSRA-1000, SOD, SED, and THUS-10000.     

一种基于颜色和纹理的显著性目标检测算法

视觉显著性检测是很多计算机视觉任务的重要步骤,在图像分割、自适应压缩和识别物体方面都有很重要的应用。提出了一种基于HSV颜色、纹理特征和空间位置关系相结合的显著性检测算法。该方法先将图像分割成小的图像片以获取图像的局部信息,结合图像片颜色的独特性和空间分布的紧凑性计算得到颜色显著图;同时利用Gabor滤波器对图像进行不同尺度和方向地滤波得到纹理特征向量,然后对特征向量计算纹理差异得到纹理显著图;最后将二者结合得到最终显著图。实验结果表明,该方法在检测效果和抗噪能力等方面均可获得较为满意的结果。     

一种鲁棒的夜间图像显著性对象检测模型

基于人类视觉注意机制的显著性对象检测模型作为能主动感知图像中重要信息的有效方法,对探索视觉早期认知过程的大范围知觉信息组织具有重要意义.然而由于夜间图像具有低信噪比和低对比度特性,现有的视觉显著性对象检测模型在夜间场景中容易受到噪声干扰、弱纹理模糊等多方面因素的影响.有鉴于此,本文提出了一种基于区域协方差和全局搜索的夜间图像显著性对象检测方法.首先将输入图像分割为超像素块,并分别计算它们的协方差.然后使用超像素块协方差的差异性作为适应度函数,并结合全局搜索算法来优化各个超像素块的显著值.最后通过图扩散方法来精炼显著图结果.实验测试采用了5个公开图像数据集和1个夜间图像数据集,通过与11种目前主流的视觉显著性对象检测模型进行对比,综合评价了本文所提出模型的性能.     

基于背景评估的贝叶斯模型显著性检测

针对自然图像中,复杂背景信息对显著性目标检测的影响,提出一种利用背景信息进行预测和贝叶斯模型选择优化的显著性检测方法。首先,为了提取完整的先验信息,根据背景信息与图像边界的连通性,以及对图像边界是否为背景进行评估来生成先验显著图。其次,为了降低背景信息的干扰,通过对流行排序算法生成的显著图进行角点检测,选择较为准确的显著点构造凸包。最后,利用贝叶斯模型进行选择优化来抑制和显著目标具有相同特征的背景信息。在2个公开的数据集上进行测试,并与4种性能较好的显著性检测算法对比,结果显示本文算法可提高显著性检测的准确性和区域的完整性。     

多尺度构图先验的显著目标检测

目的 针对基于对比度的显著检测方法,因忽略了特征的空间分布而导致准确性不高的问题,启发于边界先验关于图像空间布局的思想,提出构图先验的显著检测方法。方法 假定目标分布于三分构图线周围,根据相关性比较计算显著值。首先,对图像进行多尺度超像素分割并构造闭环图;其次,提取构图线区域超像素特征并使用Manifold Ranking算法计算显著目标与背景的分布;然后,从目标和背景两个角度对显著值进行细化并利用像素区别性对像素点的显著值进行矫正;最后,融合多尺度显著值得到最终显著图。结果 在公开的MSRA-1000、CSSD、ECSSD数据集上验证本文方法并与其他算法进行对比。本文方法在各数据集上准确率最高,分别为92.6%,89.2%,76.6%。且处理单幅图像平均时间为0.692 s,和其他算法相比也有一定优势。结论 人眼视觉倾向于在构图线周围寻找显著目标,构图先验是根据人眼注意机制研究显著性,具有合理性,且构图先验的方法提高了显著目标检测的准确性。