结合背景和前景先验的显著性检测

目的 显著性检测已成为图像处理过程中的一个重要步骤,已被应用到许多计算机视觉任务中。虽然显著性检测已被研究多年并取得了较大的进展,但仍存在一些不足,例如在复杂场景中的检测不准确或检测结果夹带着背景噪声等。因此,针对已有图像显著性检测方法存在的不能有效抑制背景区域,或不能清晰突显出完整的目标区域的缺点,提出一种结合背景先验和前景先验信息的图像显著性检测算法。方法 首先选取图像的边界超像素作为背景区域,从而根据每个区域与背景区域的差异度来建立背景先验显著图;然后通过计算特征点来构建一个能够粗略包围目标区域的凸包,并结合背景先验显著图来选取前景目标区域,从而根据每个区域与前景目标区域的相似度来生成前景先验显著图;最后融合这两个显著图并对其结果进一步优化得到更加平滑和准确的显著图。结果 利用本文算法对MSRA10K数据库内图像进行显著性检测,并与主流的算法进行对比。本文算法的检测效果更接近人工标注,而且精确率和效率都优于所对比的算法,其中平均精确率为87.9%,平均召回率为79.17%,F值为0.852 6,平均绝对误差（MAE）值为0.113,以及平均运行时间为0.723 s。结论 本文提出了一种结合两类先验信息的显著性检测算法,检测结果既能够有效地抑制背景区域,又能清晰地突显目标区域,从而提高了检测的准确性。     

结合区域协方差分析的图像显著性检测

目的 图像显著性检测的目的是为了获得高质量的能够反映图像不同区域显著性程度的显著图,利用图像显著图可以快速有效地处理图像中的视觉显著区域。图像的区域协方差分析将图像块的多维特征信息表述为一个协方差矩阵,并用协方差距离来度量两个图像块特征信息的差异大小。结合区域协方差分析,提出一种新的图像显著性检测方法。方法 该方法首先将输入的图像进行超像素分割预处理;然后基于像素块的区域协方差距离计算像素块的显著度;最后对像素块进行上采样用以计算图像像素点的显著度。结果 利用本文显著性检测方法对THUS10000数据集上随机选取的200幅图像进行了显著性检测并与4种不同方法进行了对比,本文方法估计得到的显著性检测结果更接近人工标定效果,尤其是对具有复杂背景的图像以及前背景颜色接近的图像均能达到较好的检测效果。结论 本文方法将图像像素点信息和像素块信息相结合,避免了单个噪声像素点引起图像显著性检测的不准确性,提高了检测精确度;同时,利用协方差矩阵来表示图像特征信息,避免了特征点的数量、顺序、光照等对显著性检测的影响。该方法可以很好地应用到显著目标提取和图像分割应用中。     

结合区域和边界信息的图像显著度检测

目的 图像显著度检测是许多图像应用的核心问题,为了能够在复杂背景下准确提取图像中前景对象的位置和尺度信息,提出一种结合区域和边界信息的图像显著度检测方法。方法 对于图像区域信息,提出一种基于图像等照度线的方法检测显著区域信息。该方法针对不同的特征(颜色、亮度和方向)提出统一的计算方法,使得不同特征下获得的显著信息具有一致的度量标准,从而方便后续多特征显著度图的融合。对于图像边界信息,采用一种结合多尺度Beltrami过滤器的全局方法检测显著边界信息。多尺度Beltrami过滤器可以显著增强图像中的边界信息。利用全局显著度检测方法对经过过滤器处理过的图像可以准确地获取图像中最为显著的边界信息。最后,由于区域和边界分别代表图像中的不同类型信息,可以直接采用线性融合方式构建最终的图像显著度图。结果 与其他9种流行图像显著度检测算法相比,本文算法无论在简单还是复杂背景下均能够较为准确地检测出图像中的显著度信息(Precision、Recall、F测试中获得的平均值为0.5905,0.6554,0.7470的最高测试结果)。结论 提出一种结合区域和边界信息的图像显著度检测算法,通过区域和边界信息相结合的方式实现图像中显著对象的准确检测。实验结果表明本文算法具有良好的适用性和鲁棒性,为图像中复杂背景下对象检测打下坚实基础。     

复合域的显著性目标检测方法

目的 针对显著性目标检测方法生成显著图时存在背景杂乱、检测区域不准确的问题,提出基于复合域的显著性目标检测方法。方法 首先,在空间域用多尺度视网膜增强算法对原图像进行初步处理;然后,在初步处理过的图像上建立无向图并提取节点特征,重构超复数傅里叶变换到频域上得到平滑振幅谱、相位谱和欧拉谱,通过多尺度高斯核的平滑,得到背景抑制图;同时,利用小波变换在小波域上的具有多层级特性对图像提取多特征,并计算出多特征的显著性图;最后,利用提出的自适应阈值选择法将背景抑制图与多特征的显著性图进行融合,选择得到最终的显著图。结果 对标准测试数据集MSRA10K和THUR15K中的图像进行显著性目标检测实验,同目前较流行的6种显著性目标检测方法对比,结果表明上述问题通过本文方法得到了很好地解决,即使在背景复杂的情况下,本文算法的准确率、召回率均高于对比算法,在MSRA10K数据集中,平均绝对误差（MAE）值为0.106,在THUR15K数据集中,平均绝对误差（MAE）值降低至0.068,平均结构性指标S-measure值为0.844 9。结论 基于复合域的显著性目标检测方法,融合多个域的优势,在抑制杂乱的背景的同时提高了准确率,适用于自然景物、生物、建筑以及交通工具等显著性目标图像的检测。     

多先验特征与综合对比度的图像显著性检测

目的 图像的显著性检测在计算机视觉中应用非常广泛,现有的方法通常在复杂背景区域下表现不佳,由于显著性检测的低层特征并不可靠,同时单一的特征也很难得到高质量的显著图。提出了一种通过增加特征的多样性来实现显著性检测的方法。方法 在高层先验知识的基础上,对背景先验特征和中心先验特征重新进行了定义,并考虑人眼视觉一般会对暖色调更为关注,从而加入颜色先验。另外在图像低层特征上使用目前较为流行的全局对比度和局部对比度特征,在特征融合时针对不同情况分别采取线性和非线性的一种新的融合策略,得到高质量的显著图。结果 在MSRA-1000和DUT-OMRON两个公开数据库进行对比验证,实验结果表明,基于多先验特征与综合对比度的图像显著性检测算法具有较高的查准率、召回率和F-measure值,相较于RBD算法均提高了1.5%以上,综合性能均优于目前的10种主流算法。结论 相较于基于低层特征和单一先验特征的算法,本文算法充分利用了图像信息,能在突出全局对比度的同时也保留较多的局部信息,达到均匀突出显著性区域的效果,有效地抑制复杂的背景区域,得到更加符合视觉感知的显著图。     

基于背景学习的显著物体检测

目的 显著物体检测的目标是提取给定图像中最能吸引人注意的物体或区域,在物体识别、图像显示、物体分割、目标检测等诸多计算机视觉领域中都有广泛应用。已有的基于局部或者全局对比度的显著物体检测方法在处理内容复杂的图像时,容易造成检测失败,其主要原因可以总结为对比度参考区域设置的不合理。为提高显著物体检测的完整性,提出背景驱动的显著物体检测算法,在显著值估计和优化中充分利用背景先验。方法 首先采用卷积神经网络学习图像的背景分布,然后从得到的背景图中分割出背景区域作为对比度计算参考区域来估计区域显著值。最后,为提高区域显著值的一致性,采用基于增强图模型的优化实现区域显著值的扩散,即在传统k-正则图局部连接的基础上,添加与虚拟节点之间的先验连接和背景区域节点之间的非局部连接,实现背景先验信息的嵌入。结果 在公开的ASD、SED、SOD和THUS-10000数据库上进行实验验证,并与9种流行的算法进行对比。本文算法在4个数据库上的平均准确率、查全率、F-measure和MAE指标分别为0.873 6、0.795 2、0.844 1和0.112 2,均优于当前流行的算法。结论 以背景区域作为对比度计算参考区域可以明显提高前景区域的显著值。卷积神经网络可以有效学习图像的背景分布并分割出背景区域。基于增强图模型的优化可以进一步实现显著值在前景和背景区域的扩散,提高区域显著值的一致性,并抑制背景区域的显著性响应。实验结果表明,本文算法能够准确、完整地检测图像的显著区域,适用于复杂图像的显著物体检测或物体分割应用。     

利用背景先验的显著性检测算法

目的 针对图像的显著区域检测问题,提出一种利用背景先验知识和多尺度分析的显著性检测算法。方法 首先,将原始图像在不同尺度下分解为超像素。然后,在每种尺度下根据各超像素之间的特征差异估计背景,提取背景区域,获取背景先验知识。根据背景先验计算各超像素的显著性,得到显著图。最后,将不同超像素尺度下的显著图进行融合得到最终显著图。结果 在公开的MASR-1000、ECSSD、SED和SOD数据集上进行实验验证,并和目前流行的算法进行实验对比。本文算法的准确率、召回率、F-Measure以及平均绝对误差均在4个数据集上的平均值分别为0.718 9、0.699 9、0.708 6和0.042 3,均优于当前流行的算法。结论 提出了一种新的显著性检测算法,对原始图像进行多尺度分析,利用背景先验计算视觉显著性。实验结果表明,本文算法能够完整、准确地检测显著性区域,适用于自然图像的显著性目标检测或目标分割应用。     

聚焦性检测与彩色信息引导的光场图像深度提取

目的 光场相机可以通过一次拍摄,获取立体空间中的4D光场数据,渲染出焦点堆栈图像,然后采用聚焦性检测函数从中提取深度信息。然而,不同聚焦性检测函数响应特性不同,不能适应于所有的场景,且现有多数方法提取的深度信息散焦误差较大,鲁棒性较差。针对该问题,提出一种新的基于光场聚焦性检测函数的深度提取方法,获取高精度的深度信息。方法 设计加窗的梯度均方差聚焦性检测函数,提取焦点堆栈图像中的深度信息;利用全聚焦彩色图像和散焦函数标记图像中的散焦区域,使用邻域搜索算法修正散焦误差。最后利用马尔可夫随机场(MRF)将修正后的拉普拉斯算子提取的深度图与梯度均方差函数得到的深度图融合,得到高精确度的深度图像。结果 在Lytro数据集和自行采集的测试数据上,相比于其他先进的算法,本文方法提取的深度信息噪声较少。精确度平均提高约9.29%,均方误差平均降低约0.056。结论 本文方法提取的深度信息颗粒噪声更少;结合彩色信息引导,有效修正了散焦误差。对于平滑区域较多的场景,深度提取效果较好。     

运动显著性概率图提取及目标检测

目的 动态场景图像中所存在的静态目标、背景纹理等静态噪声,以及背景运动、相机抖动等动态噪声,极易导致运动目标检测误检或漏检。针对这一问题,本文提出了一种基于运动显著性概率图的目标检测方法。方法 该方法首先在时间尺度上构建包含短期运动信息和长期运动信息的构建时间序列组;然后利用TFT（temporal Fourier transform）方法计算显著性值。基于此,得到条件运动显著性概率图。接着在全概率公式指导下得到运动显著性概率图,确定前景候选像素,突出运动目标的显著性,而对背景的显著性进行抑制;最后以此为基础,对像素的空间信息进行建模,进而检测运动目标。结果 对提出的方法在3种典型的动态场景中与9种运动目标检测方法进行了性能评价。3种典型的动态场景包括静态噪声场景、动态噪声场景及动静态噪声场景。实验结果表明,在静态噪声场景中,F_score提高到92.91%,准确率提高到96.47%,假正率低至0.02%。在动态噪声场景中,F_score提高至95.52%,准确率提高到95.15%,假正率低至0.002%。而在这两种场景中,召回率指标没有取得最好的性能的原因是,本文所提方法在较好的包络目标区域的同时,在部分情况下易将部分目标区域误判为背景区域的,尤其当目标区域较小时,这种误判的比率更为明显。但是,误判的比率一直维持在较低的水平,且召回率的指标也保持在较高的值,完全能够满足于实际应用的需要,不能抵消整体性能的显著提高。另外,在动静态噪声场景中,4种指标均取得了最优的性能。因此,本文方法能有效地消除静态目标干扰,抑制背景运动和相机抖动等动态噪声,准确地检测出视频序列中的运动目标。结论 本文方法可以更好地抑制静态背景噪声和由背景变化（水波荡漾、相机抖动等）引起的动态噪声,在复杂的噪声背景下准确地检测出运动目标,提高了运动目标检测的鲁棒性和普适性。     

融合目标增强与稀疏重构的显著性检测

目的 为了解决图像显著性检测中存在的边界模糊,检测准确度不够的问题,提出一种基于目标增强引导和稀疏重构的显著检测算法（OESR）。方法 基于超像素,首先从前景角度计算超像素的中心加权颜色空间分布图,作为前景显著图;由图像边界的超像素构建背景模板并对模板进行预处理,以优化后的背景模板作为稀疏表示的字典,计算稀疏重构误差,并利用误差传播方式进行重构误差的校正,得到背景差异图;最后,利用快速目标检测方法获取一定数量的建议窗口,由窗口的对象性得分计算目标增强系数,以此来引导两种显著图的融合,得到最终显著检测结果。结果 实验在公开数据集上与其他12种流行算法进行比较,所提算法对具有不同背景复杂度的图像能够较准确的检测出显著区域,对显著对象的提取也较为完整,并且在评价指标检测上与其他算法相比,在MSRA10k数据集上平均召回率提高4.1%,在VOC2007数据集上,平均召回率和F检验分别提高18.5%和3.1%。结论 本文提出一种新的显著检测方法,分别利用颜色分布与对比度方法构建显著图,并且在显著图融合时采用一种目标增强系数,提高了显著图的准确性。实验结果表明,本文算法能够检测出更符合视觉特性的显著区域,显著区域更加准确,适用于自然图像的显著性目标检测、目标分割或基于显著性分析的图像标注。     

A Two-Stage Bayesian Integration Framework for Salient Object Detection on Light Field

Unique visual features of 4D light field data have been shown to affect detection of salient objects. Nevertheless, only a few studies explore it yet. In this study, several helpful visual features extracted from light field data are fused in a two-stage Bayesian integration framework for salient object detection. First, background weighted color contrast is computed in high dimensional color space, which is more distinctive to identify object of interest. Second, focusness map of foreground slice is estimated. Then, it is combined with the color contrast results via first-stage Bayesian fusion. Third, background weighted depth contrast is computed. Depth contrast has been proved to be an extremely useful cue for salient object detection and complementary to color contrast. Finally, in the second-stage Bayesian fusion step, the depth-induced contrast saliency is further fused with the first-stage saliency fusion results to get the final saliency map. Experiments of comparing with eight existing state-of-the-art methods on light field benchmark datasets show that the proposed method can handle challenging scenarios such as cluttered background, and achieves the most visually acceptable salient object detection results.     

基于前景优化和概率估计的显著性检测

为了对图像中的显著目标进行更精确的识别,提出一种基于前景优化和概率估计的区域显著性检测算法.所提出算法主要包括前景与背景线索选择、前景线索优化及基于概率估计的显著性区域检测3部分.首先,采用简单线性迭代聚类算法对图像进行初始分割;然后,分别检测图像的背景线索和前景线索,并利用背景线索对前景线索进行优化;最后,采用概率估计算法分别对基于背景线索和优化后前景线索进行显著性区域检测,并对两者结果进行融合.对比实验表明,所提出算法相比其他算法取得了较高的查准率,具有较好的检测性能.     

多角度融合的RGB-D显著检测

显著检测是计算机视觉的重要组成部分,但大部分的显著检测工作着重于2D图像的分析,并不能很好地应用于RGB-D图片的显著检测。受互补的显著关系在2D图像检测中取得的优越效果的启发,并考虑RGB-D图像包含的深度特征,提出多角度融合的RGB-D显著检测方法。此方法主要包括三个部分,首先,构建颜色深度特征融合的图模型,为显著计算提供准确的相似度关系;其次,利用区域的紧密度进行全局和局部融合的显著计算,得到相对准确的初步显著图;最后,利用边界连接权重和流形排序进行背景和前景融合的显著优化,得到均匀平滑的最终显著图。在RGBD1000数据集上的实验对比显示,所提出的方法超越了当前流行的方法,表明多个角度互补关系的融合能够有效提高显著检测的准确率。     

中心矩形构图先验的显著目标检测

目的 许多显著目标检测算法侧重从背景角度进行显著性检测,而从前景角度和空间角度进行显著性检测的算法较少,为了解决这个问题,提出了一种基于中心矩形构图先验的显著目标检测算法。方法 假定目标分布在中心矩形构图线附近。首先,对图像进行超像素分割并构造闭环图;其次,提取中心矩形构图线上的超像素特征,并进行流形排序,获取初始显著值;然后,通过基于中心矩形构图线获取的初始显著值确定中心矩形构图交点显著值和紧凑性关系显著值;最后,融合三者获得最终的中心矩形构图先验显著图。结果 通过MSRA-1000,CSSD,ECSSD,THUS-10000数据集对比验证了中心矩形构图先验算法有较高的准确度和最高的F-measure值,整体效果上优于目前先进的几种算法。且处理单幅图像的平均时间为0.673 s,相比与其他算法也有较大优势。结论 从前景角度和空间角度考虑的中心矩形构图先验的显著目标检测算法相比于传统的算法更加具有鲁棒性,无论图像是复杂的还是简单的,都取得很好的检测效果,充分说明算法的有效性。     

基于多模态多级特征聚合网络的光场显著性目标检测

现有基于深度学习的显著性检测算法主要针对二维RGB图像设计,未能利用场景图像的三维视觉信息,而当前光场显著性检测方法则多数基于手工设计,特征表示能力不足,导致上述方法在各种挑战性自然场景图像上的检测效果不理想。提出一种基于卷积神经网络的多模态多级特征精炼与融合网络算法,利用光场图像丰富的视觉信息,实现面向四维光场图像的精准显著性检测。为充分挖掘三维视觉信息,设计2个并行的子网络分别处理全聚焦图像和深度图像。在此基础上,构建跨模态特征聚合模块实现对全聚焦图像、焦堆栈序列和深度图3个模态的跨模态多级视觉特征聚合,以更有效地突出场景中的显著性目标对象。在DUTLF-FS和HFUT-Lytro光场基准数据集上进行实验对比,结果表明,该算法在5个权威评估度量指标上均优于MOLF、AFNet、DMRA等主流显著性目标检测算法。     

融合似物性前景对象与背景先验的图像显著性检测

为了在复杂背景图像中准确地提取出图像的显著区域,提出一种结合似物性前景对象与背景先验知识的图像显著性检测方法（OFOBP）。该方法首先对图像进行超像素分割,计算超像素颜色空间分布,得到初始显著图;利用似物性检测方法获取多个目标窗口,由窗口建立搜索区域,结合二值化的初始显著图优化目标窗口;再利用多窗口特征对超像素做前景对象预测,获取前景显著图;其次建立背景模板,计算稀疏重构误差获取背景先验图;最后融合两种显著图,得到最终显著检测结果。在公开数据集上与11种算法进行比较,本文算法能够较为准确地检测出显著区域,尤其是在复杂背景下对多个显著目标的检测,存在明显的优势。     

复杂自然环境下感兴趣区域检测

目的 感兴趣区域检测是图像处理领域的关键技术.人类视觉系统处理一个较为复杂的场景时,会首先将其视觉注意力集中于该场景中的几个特定对象上,这些对象被称为感兴趣区域.在图像处理和分析过程中,感兴趣区域检测模拟人类视觉,能够快速、准确抓住图像重点,降低图像处理计算量,有效提高计算机信息处理的效率.因此感兴趣区域检测对于图像分析和理解有着重要意义.为此,提出一种基于低层次图像信息与中层次图像信息相结合的自底向上的感兴趣区域检测方法.方法 首先通过彩色增强Harris算子检测角点进而得到凸包边界,通过凸包区域与超像素聚类结果计算中层次信息粗略显著图;然后将图像从RGB空间转换到CIELab空间,使用差分滤波器对图像进行滤波,得到低层次信息粗略显著图;最后将低层次图像信息与中层次图像信息进行加权融合得到图像的显著图.结果 在微软亚洲研究院提供的公开数据库MSRA上验证了本文方法的有效性,根据该数据库人工标记的真值评价本文方法的检测效果,并与其他方法进行对比.其他方法的显著图是由其作者提供的源代码得到.在主观分析和客观判断两个方面的本文方法可有效抑制背景噪声,检测出的显著物具有均匀显著度,且边缘清晰.结论 本文方法是一种有效的图像预处理方法.     

Depth incorporating with color improves salient object detection

Detecting salient objects in challenging images attracts increasing attention as many applications require more robust method to deal with complex images from the Internet. Prior methods produce poor saliency maps in challenging cases mainly due to the complex patterns in the background and internal color edges in the foreground. The former problem may introduce noises into saliency maps and the later forms the difficulty in determining object boundaries. Observing that depth map can supply layering information and more reliable boundary, we improve salient object detection by integrating two features: color information and depth information which are calculated from stereo images. The two features collaborate in a two-stage framework. In the object location stage, depth mainly helps to produce a noise-filtered salient patch, which indicates the location of the object. In the object boundary inference stage, boundary information is encoded in a graph using both depth and color information, and then we employ the random walk to infer more reliable boundaries and obtain the final saliency map. We also build a data set containing 100+ stereo pairs to test the effectiveness of our method. Experiments show that our depth-plus-color based method significantly improves salient object detection compared with previous color-based methods.