全局信息引导的多尺度显著物体检测模型

目前方法不能有效提取图像的多尺度特征并完全利用全局信息,对此提出一种新的全局信息引导的多尺度显著物体检测模型.设计了多尺度特征提升模块,提升了各个侧输出特征的多尺度表征能力;利用空洞空间卷积池化金字塔模块提取图像的全局特征;将全局特征直接与各个侧边输出的多尺度特征相融合,利用全局特征引导侧边特征聚焦于目标区域中有用的中...     

基于特征感知和更新的显著物体检测

为了解决显著物体检测方法中浅层特征未能有效利用深层语义信息的目标定位优势进行细节特征定位和学习问题,提出一种基于特征感知和更新的显著物体检测模型。采用卷积组提升不同层级侧输出特征性能和降低特征维度,设计全局信息感知模块提取和融合多尺度的全局特征,在每侧直接融合深层的语义特征和浅层的细节特征,并通过计算空间注意力进行显著性特征更新。通过在4个公开基准数据集上与12种近3年发表的具有代表性的主流模型对比,实验结果表明,所提模型面对各种复杂场景均具有较强的鲁棒性,得到具有均匀内部和清晰边界的检测结果。     

基于稀疏表示的图像显著区域检测算法

针对图像的显著区域检测问题,提出一种基于稀疏表示的显著区域检测算法。该算法首先利用稀疏编码对图像进行特征描述,然后根据图像的稀疏编码进行视觉显著性的计算,而不是对原始图像直接进行处理,提高计算的效率。最后,根据视觉显著性的计算结果,进行显著性区域分割。在公开的测试图像集上进行实验,并和目前几种流行的算法进行实验对比。实验结果表明,该算法用于图像的显著区域检测是正确有效的。     

图像级别和像素级别的显著图像的融合

RGB-D图像显著目标检测旨在从一对RGB图像和深度图像中识别视觉上最显著的目标。目前,学术界已经提出了各种有效的单幅RGB-D图像显著性检测方法,而这些检测方法之间存在着优势互补。因此,对各种方法生成的显著图进行融合以提高显著性检测精度的研究工作同样不可或缺。在对相关显著图像融合工作研究后,提出两个级别上的融合过程。首先,运用多种现成的RGB-D显著图检测方法生成初始显著图;其次,分别对图像级和像素级两个层面上的显著图融合工作进行了研究,再将这两个层面上得到的显著图按比例进行融合,得到最终的图像显著图。实验结果表明,该显著图融合方法的效果不仅优于单个图像显著性检测方法,而且和其他的融合方法相比,也具有一定优势。     

基于深度图像增益的RGB-D显著性物体检测

深度信息已被证明在显著性物体检测中是一个实用信息,但是深度信息和RGB信息如何更好地实现互补从而达到更高的性能仍是一个值得探究的事情。为此,本文提出一种基于深度图像增益的RGB-D显著性物体检测方法。在双分支的网络结构中增加一个增益子网,采用显著图作差的方法获得深度图片为显著性检测带来的增益,作为增益子网预训练的伪GT。三分支网络分别获取RGB特征、深度特征和深度增益信息,最终将三分支的特征进行融合得到最终的显著性物体检测的结果,增益信息为双分支特征融合提供融合依据。基于深度图像增益的显著性物体检测实验结果表明,该方法得到的显著性物体前景物体更加突出,在多个实验数据集上也有着更优秀的表现。     

基于背景学习的显著物体检测

目的 显著物体检测的目标是提取给定图像中最能吸引人注意的物体或区域,在物体识别、图像显示、物体分割、目标检测等诸多计算机视觉领域中都有广泛应用。已有的基于局部或者全局对比度的显著物体检测方法在处理内容复杂的图像时,容易造成检测失败,其主要原因可以总结为对比度参考区域设置的不合理。为提高显著物体检测的完整性,提出背景驱动的显著物体检测算法,在显著值估计和优化中充分利用背景先验。方法 首先采用卷积神经网络学习图像的背景分布,然后从得到的背景图中分割出背景区域作为对比度计算参考区域来估计区域显著值。最后,为提高区域显著值的一致性,采用基于增强图模型的优化实现区域显著值的扩散,即在传统k-正则图局部连接的基础上,添加与虚拟节点之间的先验连接和背景区域节点之间的非局部连接,实现背景先验信息的嵌入。结果 在公开的ASD、SED、SOD和THUS-10000数据库上进行实验验证,并与9种流行的算法进行对比。本文算法在4个数据库上的平均准确率、查全率、F-measure和MAE指标分别为0.873 6、0.795 2、0.844 1和0.112 2,均优于当前流行的算法。结论 以背景区域作为对比度计算参考区域可以明显提高前景区域的显著值。卷积神经网络可以有效学习图像的背景分布并分割出背景区域。基于增强图模型的优化可以进一步实现显著值在前景和背景区域的扩散,提高区域显著值的一致性,并抑制背景区域的显著性响应。实验结果表明,本文算法能够准确、完整地检测图像的显著区域,适用于复杂图像的显著物体检测或物体分割应用。     

融合深度和颜色信息的图像物体分割算法

讨论立体图对的图像分割问题,提出一种基于深度和颜色信息的图像物体分割算法。该算法首先利用基于聚类的Mean-shift分割算法对目标图像进行适度的过分割,同时借助双目立体视觉算法获取立体图对的稠密深度图,并依据深度不连续性从过分割结果中选取用于继续进行“精致”分割的种子点集,接着对未分配种子标签的区域用图割算法分配标签,并对彼此之间没有深度不连续边界但具有不同标签的相邻区域进行融合。相比于传统图像分割算法,该算法可有效克服过分割和欠分割问题,获取具有一定语义的图像分割结果。相关的对比实验结果验证了该算法的有效性。     

多尺度卷积神经网络显著物体检测

目的 传统显著性检测模型大多利用手工选择的中低层特征和先验信息进行物体检测,其准确率和召回率较低,随着深度卷积神经网络的兴起,显著性检测得以快速发展。然而,现有显著性方法仍存在共性缺点,难以在复杂图像中均匀地突显整个物体的明确边界和内部区域,主要原因是缺乏足够且丰富的特征用于检测。方法 在VGG（visual geometry group）模型的基础上进行改进,去掉最后的全连接层,采用跳层连接的方式用于像素级别的显著性预测,可以有效结合来自卷积神经网络不同卷积层的多尺度信息。此外,它能够在数据驱动的框架中结合高级语义信息和低层细节信息。为了有效地保留物体边界和内部区域的统一,采用全连接的条件随机场（conditional random field,CRF）模型对得到的显著性特征图进行调整。结果 本文在6个广泛使用的公开数据集DUT-OMRON（Dalian University of Technology and OMRON Corporation）、ECSSD（extended complex scene saliency dataset）、SED2（segmentation evalution database 2）、HKU、PASCAL-S和SOD（salient objects dataset）上进行了测试,并就准确率—召回率（precision-recall,PR）曲线、F测度值（F-measure）、最大F测度值、加权F测度值和均方误差（mean absolute error,MAE）等性能评估指标与14种最先进且具有代表性的方法进行比较。结果显示,本文方法在6个数据集上的F测度值分别为0.696、0.876、0.797、0.868、0.772和0.785;最大F测度值分别为0.747、0.899、0.859、0.889、0.814和0.833;加权F测度值分别为0.656、0.854、0.772、0.844、0.732和0.762;MAE值分别为0.074、0.061、0.093、0.049、0.099和0.124。无论是前景和背景颜色相似的图像集,还是多物体的复杂图像集,本文方法的各项性能均接近最新研究成果,且优于大多数具有代表性的方法。结论 本文方法对各种场景的图像显著性检测都具有较强的鲁棒性,同时可以使显著性物体的边界和内部区域更均匀,检测结果更准确。     

显著物体形状结构保持的图像缩放方法

针对传统的缝裁剪图像缩放方法中可能出现对图像中显著物体形状结构的破坏问题,提出一种既考虑到显著物体内容保持又考虑到显著物体形状结构保持的新的图像缩放方法。该方法首先利用经典的图像显著度图模型,结合图像梯度直方图等信息构建形状结构更加清晰的图像重要度图;然后利用已构建的重要度图,对图像进行分块,按显著块的大小来确定缩放方法;最后结合经典缝裁剪方法和基于共形能量的变形方法对图像进行缩放。实验结果显示,该方法能够在图像缩放时更好地保持显著物体的内容和形状结构。     

Joint salient object detection and existence prediction

Recent advances in supervised salient object detection modeling has resulted in significant performance improvements on benchmark datasets. However, most of the existing salient object detection models assume that at least one salient object exists in the input image. Such an assumption often leads to less appealing saliencymaps on the background images with no salient object at all. Therefore, handling those cases can reduce the false positive rate of a model. In this paper, we propose a supervised learning approach for jointly addressing the salient object detection and existence prediction problems. Given a set of background-only images and images with salient objects, as well as their salient object annotations, we adopt the structural SVM framework and formulate the two problems jointly in a single integrated objective function: saliency labels of superpixels are involved in a classification term conditioned on the salient object existence variable, which in turn depends on both global image and regional saliency features and saliency labels assignments. The loss function also considers both image-level and regionlevel mis-classifications. Extensive evaluation on benchmark datasets validate the effectiveness of our proposed joint approach compared to the baseline and state-of-the-art models.     

一种基于感兴趣区域提取的新型SVD图像压缩算法

提出了一种基于感兴趣区域提取的新型奇异值分解（SVD）图像编码算法（SODSVD）。根据图像的区域复杂度、视觉注意等指标运用感兴趣区域提取技术将图像自适应分块,而对每一小块,根据其复杂度进行不同秩的奇异值分解算法,从而达到图像压缩的目的。同时还提出了一种简单的基于感兴趣区域的图像划分策略。实验结果表明,在PSNR和bpp等评价指标上,新方法有明显优势。     

基于图的流行排序的显著目标检测改进算法

针对现有基于图的流行排序的显著目标检测研究算法对于背景先验假设过于理想导致其在复杂背景图像检测中效果较不佳的问题,提出一种基于仿射传播聚类和流行排序的改进算法。首先根据位于边界的超像素集的颜色对比度进行背景提取;然后在背景估计和前景估计的显著性计算中利用仿射传播算法将提取的背景按颜色自适应聚类,根据各聚类簇分别采用经典的流行排序算法计算显著性,最后合并排序结果并融合多尺度显著值得到最终的显著图。在常用的公开的ASD、ECSSD、DUTOMRON和SED2数据集上与九种流行算法就准确率、召回率、F-measure、PR曲线和AUC值等指标和直观的视觉检测效果进行了比较,证明了所提算法的有效性。     

图像增强对显著性目标检测的影响研究

目的 雾霾、雨雪天气和水下等非理想环境因素会引起图像退化,导致出现低质图像,从而影响人类主观视觉感受及机器视觉应用任务的性能,因此,低质图像被利用之前进行图像增强成为惯常的预处理过程。然而,图像增强能否提高图像机器视觉应用任务的性能及影响程度等问题鲜有系统性研究。针对上述问题,本文以图像显著性目标检测这一机器视觉应用为例,研究图像增强对显著性目标检测性能的影响。方法 首先利用包括5种传统方法、6种深度学习方法等共11种典型图像增强方法对图像进行增强处理,然后利用8种典型的显著性目标检测方法对增强前后的图像分别进行显著性目标检测实验,并对比分析其结果。结果 实验表明,图像增强对低质图像显著性目标检测方法性能的促进作用不明显,某些增强方法甚至表现出负面影响,也存在同一增强方法对不同的显著性目标检测方法作用不同的现象。结论 图像增强对于显著性目标检测及其他的机器视觉应用的实际效果值得进一步研究,如何根据图像机器视觉应用的需求来选择和设计有效的增强方法需进一步探讨。     

基于结构感知深度神经网络的显著性对象检测算法

由于现有的基于深度神经网络的显著性对象检测算法忽视了对象的结构信息,使得显著性图不能完整地覆盖整个对象区域,导致检测的准确率下降。针对此问题,提出一种结构感知的深度显著性对象检测算法。算法基于一种多流结构的深度神经网络,包括特征提取网络、对象骨架检测子网络、显著性对象检测子网络和跨任务连接部件四个部分。首先,在显著性对象子网络的训练和测试阶段,通过对象骨骼检测子网络学习对象的结构信息,并利用跨任务连接部件使得显著性对象检测子网络能自动编码对象骨骼子网络学习的信息,从而感知对象的整体结构,克服对象区域检测不完整问题;其次,为了进一步提高所提方法的准确率,利用全连接条件随机场对检测结果进行进一步的优化。在三个公共数据集上的实验结果表明,该算法在检测的准确率和运行效率上均优于现有存在的基于深度学习的算法,这也说明了在深度神经网络中考虑对象结构信息的捕获是有意义的,可以有助于提高模型准确率。     

基于倒数函数谱残差的显著对象探测和提取方法

针对"中心-周围"的显著对象探测方法频繁出现探测或提取对象不完整、边界不平滑以及其9级金字塔下采样的冗余问题,提出一种基于倒数函数-谱残差（RFSR）的显著对象探测方法。首先,利用灰度图像与其对应的高斯低通滤波的差代替"中心-周围"方法中灰度图像标准化,并减少高斯金字塔至6级以降低冗余;其次,利用倒数函数滤波器代替Gabor滤波器提取局部方向信息;接着,利用谱残差方法提取图像的谱特征;最后,将这三个特征经过适当融合生成最终显著图。在两个常用基准数据集上的实验结果表明,所提方法在准确率（precision）、召回率（recall）及F-measure等指标上均比"中心-周围"及谱残差模型有明显提高,其为进一步图像分析、对象识别及基于显著视觉关注的图像检索等理论及应用研究奠定了基础。     

一种图像显著区域的提取方法

图像的显著区域能代表图像的主要内容,提取图像的显著区域在图像检索、敏感图像识别等方面有重要的作用。结合多尺度分析先提取图像的显著图,而后在显著图的基础上根据经验阈值对事先的分割区域进行判断取舍,最后根据取舍结果来确定图像的显著区域,取得了良好的效果。与具有代表性的Itti方法相比易于实现,速度快。     

基于区域对比度和背景先验的显著目标检测

针对现有算法对复杂背景的图像检测效果较差的问题,提出融合区域对比度和背景先验的显著目标检测算法。首先利用超像素分割将图像分割成感知均匀的图像块,然后根据区域对比度计算全局对比度特征和空间聚集度特征,再根据背景先验得到背景集,计算图像块与背景集间的相似性特征,接着对三个特征显著图进行融合计算,最后根据每个像素与周围超像素的颜色和距离对比度得到每个像素的显著值。实验结果表明,所提算法能较均匀高亮整个目标且有效抑制无关背景信息。