一种随机的视觉显著性检测算法

图像处理与模式识别技术一样,依赖于高质量的视觉显著性图(saliency map)才能得到较好的处理结果.现有的视觉显著性检测技术通常只能检测得到粗糙的视觉显著性图;这些粗糙的视觉显著性图应用于图像处理中将严重影响图像处理的最终结果.本文提出了一种随机的基于内容的视觉显著性区域检测算法;该算法整合多层次粗糙的视觉显著性图到结果显著性图中,并逐步自适应地精化可信度不高的显著性值,最终得到一个考虑了多尺度特征的精细的视觉显著性结果.因为随机算法具有执行效率高,占用内存少等特点;本文的高效随机视觉显著性检测算法不需要建立额外的辅助数据结构来加速算法,只需占用少量内存就能快速检测出精细的高质量视觉显著性结果.并且高效随机的视觉显著性检测算法可以直接移植到GPU上并行执行;大量的实验结果表明本文的算法可以得到更加精细的显著性结果,这些精细的显著性结果应用于基于内容的图像缩放中得到了较好的处理结果.     

改进背景先验和前景先验的显著性检测

针对传统的流行排序显著性检测算法存在的问题,本文提出了改进背景先验和前景先验的显著性检测.首先计算图像的凸包,并将图像分割成不同尺度的超像素;然后以凸包区域之外的超像素为背景种子,结合多尺度下图像的多种底层特征得到最终的背景显著图;第三,以凸包区域之内的超像素为前景种子,结合多尺度下图像的多种底层特征得到最终的前景显著...     

融合显著物体检测的图像显示适配

目的 图像显著适配旨在自动调节图像尺寸,对图像内容进行非均匀缩放,以便在受限的展示空间内更好地保留显著物体。为了解决显示适配过程中显著物体部分扭曲的问题,提出一种基于显著物体检测的图像显示适配方法。方法 本文方法采用显著物体分割结果来替代显著性图,以改进显示适配结果。首先,采用显著性融合和传播的方法生成显著性图;接着,结合输入图像和显著性图,采用自适应三阈值方法实现显著物体分割;然后,以此为基础,生成输入图像的曲边网格表示;最后,通过对不同网格的非均匀缩放,生成符合目标尺寸的适配结果。结果 在面向图像显示适配的公开数据集RetargetMe上,将本文方法与现有的10种代表性显示适配方法的结果进行了人工评估和比较。本文方法可以有效地减少显著物体出现部分扭曲的现象,能在48.8%的图像上取得无明显缺陷的适配效果,比现有最好的方法提高了5%。结论 基于显著物体检测的图像显示适配方法有助于提高显示适配过程中对显著物体处理的一致性,减少由于显著物体部分扭曲而引起的明显人工处理痕迹,从而达到提升显示适配效果的目的。     

As-similar-as-possible saliency fusion

Salient region detection has gradually become a popular topic in multimedia and computer vision research. However, existing techniques exhibit remarkable variations in methodology with inherent pros and cons. In this paper, we propose fusing the saliency hypotheses, namely the saliency maps produced by different methods, by accentuating their advantages and attenuating the disadvantages. To this end, our algorithm consists of three basic steps. First, given the test image, our method finds the similar images and their saliency hypotheses by comparing the similarity of the learned deep features. Second, the error-aware coefficients are computed from the saliency hypotheses. Third, our method produces a pixel-accurate saliency map which covers the objects of interest and exploits the advantages of the state-of-the-art methods. We then evaluate the proposed framework on three challenging datasets, namely MSRA-1000, ECSSD and iCoSeg. Extensive experimental results show that our method outperforms all state-of-the-art approaches. In addition, we have applied our method to the SquareMe application, an autonomous image resizing system. The subjective user-study experiment demonstrates that human prefers the image retargeting results obtained by using the saliency maps from our proposed algorithm.     

分层信息融合的物体级显著性检测

目的 显著性检测是基于对人类视觉的研究,用来帮助计算机传感器感知世界的重要研究手段。现有显著性检测方法大多仅能检测出人类感兴趣的显著点或区域,无法突出对象整体的显著性以及无法区分对象不同层次的显著性。针对上述问题,提出一种基于分层信息融合的物体级显著性检测方法。方法 与当前大多数方法不同,本文同时运用了中级别超像素和物体级别区域两种不同层次的结构信息来获取对象的显著图。首先,将图像分割为中级别的超像素,利用自下而上的方法构造初始显著图;然后通过谱聚类方法将中级别的超像素聚类成物体级的区域,并运用自上而下的先验来调整初始先验图;最后,通过热核扩散过程,将超像素级别上的显著性扩散到物体级的区域上,最终获得一致的均匀的物体级显著性图。结果 在MSRA1000标准数据库上与其他16种相关算法在准确率-召回率曲线及F度量等方面进行了定量比较,检测的平均精度和F-检验分数比其他算法高出5%以上。结论 通过多层次信息融合最终生成的显著图,实现了突出对象整体显著性以及区分不同对象显著性的目标。本文方法同样适用于多目标的显著性检测。     

Saliency detection using boundary information

Efficient and robust saliency detection is a fundamental problem in computer vision field for its wide applications, such as image segmentation and image retargeting, etc. In this paper, with the aim of uniformly highlighting the salient objects and suppressing the saliency of the background in images, we propose an efficient three-stage saliency detection method. First, boundary prior and connectivity prior are used to generate coarse saliency maps. To suppress the saliency value of the cluttered background, two supergraphs together with the adjacent graph are created so that the saliency of the background regions with similar appearances which are separated by other regions can be reduced effectively. Second, a local context-based saliency propagation is proposed to refine the saliency such that regions with similar features hold similar saliency. Finally, a logistic regressor is learned to combine the three refined saliency maps into the final saliency map automatically. The proposed method improves saliency detection on many cluttered images. The experimental results on two widely used public datasets with pixel accurate salient region annotations show that our method outperforms the state-of-the-art methods.     

基于目标检索的RGB-D协同显著性研究

为了解决在RGB-D协同显著检测算法中和前景区域相似的背景部分易被分类为显著区域的问题。提出了基于目标检索挑选出前景概率更高的显著种子,减少误分类率的RGB-D协同显著检测算法。输入原始图片、深度图,及现有算法得到的最初显著图,进行超像素分割,利用DSP（深度形状先验）算法优化初始显著图得到更佳初始显著图。使用目标检索挑选出显著值更高且更有可能是显著物体的超像素,使用协同显著判断准则求得显著值。协同传播算法加以元胞优化被利用来得到更加准确的显著图。在RGBD Cosal150数据集上的实验表明了该算法的有效性和杰出性,取得了较高的准确度。     

快速缝翘曲图像重定向算法

针对现有适用于小型显示设备的图像重定向算法焦点区域检测不精确、算法处理速度慢的问题,提出一种快速缝翘曲(FSW)图像重定向算法。建立一个与人类感知更加相关的自适应能量图,该能量图合并梯度幅度、深度图、显著性、面部、边缘和直线检测;提出一种利用行(列)像素之间最优匹配关系快速寻找最优高能量缝的方案实现快速、精确的焦点区域检测;通过给焦点和非焦点区域设置缩放因子以及使用线性插值方法,有效实现快速缝翘曲图像重定向。实验结果表明,该算法可更好保留复杂图像的重要内容及结构信息,其处理速度相较于其它算法也有明显提升。     

融合多特征与先验信息的显著性目标检测

目的 图像的显著性目标检测是计算机视觉领域的重要研究课题。针对现有显著性目标检测结果存在的纹理细节刻画不明显和边缘轮廓显示不完整的问题,提出一种融合多特征与先验信息的显著性目标检测方法,该方法能够高效而全面地获取图像中的显著性区域。方法 首先,提取图像感兴趣的点集,计算全局对比度图,利用贝叶斯方法融合凸包和全局对比度图获得对比度特征图。通过多尺度下的颜色直方图得到颜色空间图,根据信息熵定理计算最小信息熵,并将该尺度下的颜色空间图作为颜色特征图。通过反锐化掩模方法提高图像清晰度,利用局部二值算子（LBP）获得纹理特征图。然后,通过图形正则化（GR）和流行排序（MR）算法得到中心先验图和边缘先验图。最后,利用元胞自动机融合对比度特征图、颜色特征图、纹理特征图、中心先验图和边缘先验图获得初级显著图,再通过快速引导滤波器优化处理得到最终显著图。结果 在2个公开的数据集MSRA10K和ECSSD上验证本文算法并与12种具有开源代码的流行算法进行比较,实验结果表明,本文算法在准确率-召回率（PR）曲线、受试者工作特征（ROC）曲线、综合评价指标（F-measure）、平均绝对误差（MAE）和结构化度量指标（S-measure）等方面有显著提升,整体性能优于对比算法。结论 本文算法充分利用了图像的对比度特征、颜色特征、纹理特征,采用中心先验和边缘先验算法,在全面提取显著性区域的同时,能够较好地保留图像的纹理信息和细节信息,使得边缘轮廓更加完整,满足人眼的层次要求和细节要求,并具有一定的适用性。     

基于SLIC融合纹理和直方图的图像显著性检测

针对基于颜色直方图的显著图无法突出边缘轮廓和纹理细节的问题,结合图像的颜色特征、空间位置特征、纹理特征以及直方图,提出了一种基于SLIC融合纹理和直方图的图像显著性检测方法。该方法首先通过SLIC算法对图像进行超像素分割,提取基于颜色和空间位置的显著图;然后分别提取基于颜色直方图的显著图和基于纹理特征的显著图;最后将前两个阶段得到的显著图进行融合得到最终的显著图。此外,通过简单的阈值分割方法得到图像中的显著性目标。实验结果表明,与经典显著性检测算法相比,提出的算法性能明显优于其他算法性能。     

Adaptive saliency fusion based on quality assessment

A variety of saliency models based on different schemes and methods have been proposed in the recent years, and the performance of these models often vary with images and complement each other. Therefore it is a natural idea whether we can elevate saliency detection performance by fusing different saliency models. This paper proposes a novel and general framework to adaptively fuse saliency maps generated using various saliency models based on quality assessment of these saliency maps. Given an input image and its multiple saliency maps, the quality features based on the input image and saliency maps are extracted. Then, a quality assessment model, which is learned using the boosting algorithm with multiple kernels, indicates the quality score of each saliency map. Next, a linear summation method with power-law transformation is exploited to fuse these saliency maps adaptively according to their quality scores. Finally, a graph cut based refinement method is exploited to enhance the spatial coherence of saliency and generate the high-quality final saliency map. Experimental results on three public benchmark datasets with state-of-the-art saliency models demonstrate that our saliency fusion framework consistently outperforms all saliency models and other fusion methods, and effectively elevates saliency detection performance.     

基于全局和局部特征融合的显著性提取方法

显著性提取方法在图像处理、计算机视觉领域有着广泛的应用.然而,基于全局特征和基于局部特征的显著性区域提取算法存在各自的缺点,为此本文提出了一种融合全局和局部特征的显著性提取算法.首先,对图像进行不重叠地分块,当每个图像块经过主成分分析(Principle component analysis,PCA)映射到高维空间后,根据孤立的特征点对应显著性区域的规律得到基于全局特征的显著图;其次,根据邻域内中心块与其他块的颜色不相似性得到基于局部特征的显著图;最后,按照贝叶斯理论将这两个显著图融合为最终的显著图.在公认的三个图像数据库上的仿真实验验证了所提算法在显著性提取和目标分割上比其他先进算法更有效.     

基于稀疏恢复与优化的显著性目标检测算法

针对目前基于稀疏表示的显著性检测算法中存在的边界显著性检测不足、字典表达能力不够等问题,提出一种基于稀疏恢复与优化的检测算法。首先对图像进行滤波平滑和超像素分割,并从边界与内部超像素中挑选可靠的背景种子构建稀疏字典;然后基于该字典对整幅图像进行稀疏恢复,根据稀疏恢复误差生成初始显著图;再运用改进的基于聚类的二次优化模型对初始显著图进行优化;最后经过多尺度融合得到最终显著图。在三大公开测试数据集上的实验结果表明,所提算法能够保持高效快速、无训练等优点,同时性能优于目前主流的非训练类算法,在处理边界显著性方面表现优异,具有较强的鲁棒性。     

融合似物性前景对象与背景先验的图像显著性检测

为了在复杂背景图像中准确地提取出图像的显著区域,提出一种结合似物性前景对象与背景先验知识的图像显著性检测方法（OFOBP）。该方法首先对图像进行超像素分割,计算超像素颜色空间分布,得到初始显著图;利用似物性检测方法获取多个目标窗口,由窗口建立搜索区域,结合二值化的初始显著图优化目标窗口;再利用多窗口特征对超像素做前景对象预测,获取前景显著图;其次建立背景模板,计算稀疏重构误差获取背景先验图;最后融合两种显著图,得到最终显著检测结果。在公开数据集上与11种算法进行比较,本文算法能够较为准确地检测出显著区域,尤其是在复杂背景下对多个显著目标的检测,存在明显的优势。     

一种基于颜色和纹理的显著性目标检测算法

视觉显著性检测是很多计算机视觉任务的重要步骤,在图像分割、自适应压缩和识别物体方面都有很重要的应用。提出了一种基于HSV颜色、纹理特征和空间位置关系相结合的显著性检测算法。该方法先将图像分割成小的图像片以获取图像的局部信息,结合图像片颜色的独特性和空间分布的紧凑性计算得到颜色显著图;同时利用Gabor滤波器对图像进行不同尺度和方向地滤波得到纹理特征向量,然后对特征向量计算纹理差异得到纹理显著图;最后将二者结合得到最终显著图。实验结果表明,该方法在检测效果和抗噪能力等方面均可获得较为满意的结果。     

基于DCT域视觉显著性检测的图像缩放算法*

为适应不同终端显示多样化的要求,需对接收到的图像进行缩放调整。针对现有的基于内容感知(content-aware)的图像缩放方法中视觉内容的连贯性易被破环而出现失真的问题,提出了一个基于离散余弦变换(discrete cosine transform, DCT)域的视觉显著性检测的图像缩放算法。该算法利用DCT域的视觉显著性检测模型获取视觉显著图,然后结合视觉显著图和能量分布图进行线裁剪(Seam Carving),实现了图像的缩放。实验结果表明,该算法与现有的基于内容感知的图像缩放方法相比,不仅保护了视觉显著内容,还保证了图像内容的连贯性,算法质量指数也获得明显的提高。     

基于视觉显著性图与似物性的对象检测

为了能够准确地检测出图像中的显著性对象,提出了一种新的基于视觉显著性图与似物性的对象检测算法。该算法首先在图像上提取大量具有较高似物性度量的矩形窗口,并估算出对象可能出现的位置,将窗口级的似物性度量转换到像素级的似物性度量;然后把原始显著性图与像素级的似物性图进行融合,生成加权显著性图,分别二值化原始显著性图和加权显著性图,利用凸包检测得到最大查找窗口区域与种子窗口区域;最后结合边缘概率密度搜索出最优的对象窗口。在公开数据集MSRA-B上的实验结果表明,该算法在准确率、召回率以及F-测度方面优于最大化显著区域检测算法、区域密度最大化算法以及似物性对象检测算法等已有的多种算法。     

多尺度分割先验迭代重加权低秩恢复显著性检测

目的 现有显著性检测方法大多只关注显著目标的中心信息,使得算法只能得到中心清晰、边缘模糊的显著目标,丢失了一些重要的边界信息,而使用核范数约束进行低秩矩阵恢复,运算过程冗余。为解决以上问题,本文提出一种无监督迭代重加权最小二乘低秩恢复算法,用于图像视觉显著性检测。方法 将图像分为细中粗3种尺度的分割,从细粒度和粗粒度先验的融合中得到分割先验信息;将融合后的分割先验信息通过迭代重加权最小二乘法求解平滑低秩矩阵恢复,生成粗略显著图;使用中粒度分割先验对粗略显著图进行平滑,生成最终的视觉显著图。结果 实验在MSRA10K（Microsoft Research Asia 10K）、SOD（salient object detection dataset）和ECSSD（extended complex scene saliency dataset）数据集上进行测试,并与现有的11种算法进行对比。结果表明,本文算法可生成边界清晰的显著图。在MSRA10K数据集上,本文算法实现了最高的AUC（area under ROC（receiver operating characteristic）curve）和F-measure值,MAE（mean absolute error）值仅次于SMD（structured matrix decomposition）算法和RBD（robust back ground detection）算法,AUC和F-measure值比次优算法RPCA（robust principal component analysis）分别提高了3.9%和12.3%;在SOD数据集上,综合AUC、F-measure和MAE值来看,本文算法优于除SMD算法以外的其他算法,AUC值仅次于SMD算法、SC（smoothness constraint）算法和GBVS（graph-based visual salieney）算法,F-measure值低于最优算法SMD 2.6%;在ECSSD数据集上,本文算法实现了最高的F-measure值75.5%,AUC值略低于最优算法SC 1%,MAE值略低于最优算法HCNs（hierarchical co-salient object detection via color names）2%。结论 实验结果表明,本文算法能从前景复杂或背景复杂的显著图像中更准确地检测出边界清晰的显著目标。     

基于图割精细化和可微分聚类的无监督显著性目标检测

针对传统显著性检测算法分割精度低以及基于深度学习的显著性检测算法对像素级人工注释数据依赖性过强等不足,提出一种基于图割精细化和可微分聚类的无监督显著性目标检测算法。该算法采用由“粗”到“精”的思想,仅利用单张图像的特征便可以实现精确的显著性目标检测。首先利用Frequency-tuned算法根据图像自身的颜色和亮度得到显著粗图,然后根据图像的统计特性进行二值化并结合中心优先假设得到显著目标的候选区域,进而利用基于单图像进行图割的GrabCut算法对显著目标进行精细化分割,最后为克服背景与目标极为相似时检测不精确的困难,引入具有良好边界分割效果的无监督可微分聚类算法对单张显著图做进一步的优化。所提出的算法在ECSSD和SOD数据集上进行测试并与现有的7种算法进行对比,结果表明得到的优化显著图更接近于真值图,在ECSSD和SOD数据集上分别实现了14.3%和23.4%的平均绝对误差（MAE）。     

基于视觉注意机制的彩色图像显著性区域提取

图像显著性区域提取是计算机视觉处理的重要步骤。结合人类视觉心理、生理模型, 提出一种基于视觉注意机制的彩色图像显著性区域提取模型。通过改进的分水岭算法对彩色图像进行预分割, 从而将原图像分成若干子区域, 在此基础上运用提出的区域化空间注意力模型对各个子区域进行显著图计算, 得到最终的显著性区域提取结果。实验结果表明, 提出的显著性区域提取算法可以很好地从彩色图像中得到与视觉注意机制相一致的结果, 且满足实时性要求, 与传统方法相比, 算法提取的区域更完整、更准确。