基于非对称跨模态融合的RGB-D显著目标检测

目前大多数RGB-D显著目标检测方法在RGB特征和Depth特征的融合过程中采用对称结构,对两种特征进行相同的操作,忽视了RGB图像和Depth图像的差异性,易造成错误的检测结果.针对该问题,提出一种基于非对称结构的跨模态融合RGB-D显著目标检测方法,利用全局感知模块提取RGB图像的全局特征,并设计了深度去噪模块滤除低质量Depth图像中的大量噪声;再通过所提出的非对称融合模块,充分利用两种特征间的差异性,使用Depth特征定位显著目标,用于指导RGB特征融合,补足显著目标的细节信息,利用两种特征各自的优势形成互补.通过在4个公开的RGB-D显著目标检测数据集上进行大量实验,验证所提出的方法优于当前的主流方法.     

特征融合与S-D概率矫正的RGB-D显著检测

目的 许多先前的显著目标检测工作都是集中在2D的图像上,并不能适用于RGB-D图像的显著性检测。本文同时提取颜色特征以及深度特征,提出了一种基于特征融合和S-D概率矫正的RGB-D显著性检测方法,使得颜色特征和深度特征相互补充。方法 首先,以RGB图像的4个边界为背景询问节点,使用特征融合的Manifold Ranking输出RGB图像的显著图;其次,依据RGB图像的显著图和深度特征计算S-D矫正概率;再次,计算深度图的显著图并依据S-D矫正概率对该显著图进行S-D概率矫正;最后,对矫正后的显著图提取前景询问节点再次使用特征融合的Manifold Ranking方法进行显著优化,得到最终的显著图。结果 利用本文RGB-D显著性检测方法对RGBD数据集上的1 000幅图像进行了显著性检测,并与6种不同的方法进行对比,本文方法的显著性检测结果更接近人工标定结果。Precision-Recall曲线（PR曲线）显示在相同召回率下本文方法的准确率较其中5种方法高,且处理单幅图像的时间为2.150 s,与其他算法相比也有一定优势。结论 本文方法能较准确地对RGB-D图像进行显著性检测。     

基于对比度优化流形排序的显著目标检测算法

现有的基于背景先验的显著性算法模型中存在先验区域选取不合理的问题,导致计算出的前景区域不准确,影响最终结果。针对该问题提出了基于对比度优化流形排序的显著目标检测算法。利用图像边界信息找出背景先验,设计出采用显著期望、局部对比度以及全局对比度三个指标来衡量先验质量的算法,并根据先验质量设计带权加法,代替简单乘法融合显著先验,从而使显著先验更加准确。从先验中提取显著区域时,更改了选取阈值的策略,更合理地选取出前景区域,再利用流形排序得到显著性图,从而使显著性检测结果更加准确。实验结果表明,与同类算法相比,所提算法突出显著区域,减少噪声,更符合人类视觉感知,并在处理时间上领先于深度学习方法。     

空间约束下自相互注意力的RGB-D显著目标检测

针对RGB-D显著目标检测问题,提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先,引入空间约束自相互注意力模块,利用多模态特征的互补性,学习具有空间上下文感知的多模态特征表示,同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力,进而聚合两个模态的上下文特征.然后,为了获得更互补的信息,进一步将金字塔结构应用在一组空间约束自相互注意力模块中,适应不同空间约束下感受野不同的特征,学习到局部和全局的特征表示.最后,将多模态融合模块嵌入双分支编码-解码网络中,解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明,文中方法在RGB-D显著目标检测任务上具有较强的竞争性.     

语义信息引导下的显著目标检测算法

针对现有显著性检测方法在凸显目标完整性和背景噪声抑制方面性能较差的问题,提出一种显著目标检测算法。构建改进的全卷积神经网络,捕获图像中的语义信息,生成高层语义初步显著图。利用语义知识引导流形排序进行优化,实现显著目标的边缘传播。融合不同尺度下的显著图,完成显著目标检测。在ECSSD、DUT-OMRON、SED2数据集上进行实验,结果表明,与最大对称环绕、主成分分析等算法相比,该算法检测出的显著目标更加完整,在复杂场景下检测结果鲁棒性更好。     

特征融合与objectness加强的显著目标检测

显著目标检测是计算机视觉的重要组成部分,目的是检测图像中最吸引人眼的目标区域。针对显著检测中特征的适应性不足以及当前一些算法出现多检与漏检的问题,提出从“目标在哪儿”与“背景在哪儿”两个角度描述显著性的框架,进行特征融合来提高显著目标检测的准确率。从这两个角度分别提取图像的颜色区别性特征与边界先验特征并进行特征融合,使用objectness特征加强显著性,最终得到显著图。在MSRA-1000数据集上的评估中,该算法达到平均92.4%的准确率,能和最先进算法相媲美;而在CSSD、ECSSD数据集上的实验,该算法有更高的准确率,优势明显。实验结果表明所使用的特征之间能够互相补充,互相弥补,“目标在哪儿”与“背景在哪儿”的检测框架描述图像显著性具有合理性。     

基于通道权重的顺序精炼RGB-D显著检测网络

提出了一种新型的用于RGB-D显著目标检测的网络框架（SR-Net）。为了有效整合多模态特征的互补性,将深度特征提取作为独立分支,采用卷积块注意模块（CBAM）进行深度特征增强,并整合增强后的深度特征与RGB 特征的互补信息。为了去除冗余特征,减少背景噪声对预测结果的干扰,在上采样网络中设计了一种顺序精炼网络,即通过整合多层次、多尺度特征的互补性,获取初级全局特征,并采用基于通道权重的初级全局特征权重矩阵获取模块（PFW）获取初级全局特征的权重矩阵;其次利用获取到的权重矩阵对各层次特征进行精炼,以抑制背景噪声带来的干扰;最后,为了更好地优化整个网络,提出了一种新的损失函数。在四个公共数据集上的实验结果表明,该模型在不同的模型评价指标上均优于近年来九种先进方法,获得了优异的性能。     

融合显著物体检测的图像显示适配

目的 图像显著适配旨在自动调节图像尺寸,对图像内容进行非均匀缩放,以便在受限的展示空间内更好地保留显著物体。为了解决显示适配过程中显著物体部分扭曲的问题,提出一种基于显著物体检测的图像显示适配方法。方法 本文方法采用显著物体分割结果来替代显著性图,以改进显示适配结果。首先,采用显著性融合和传播的方法生成显著性图;接着,结合输入图像和显著性图,采用自适应三阈值方法实现显著物体分割;然后,以此为基础,生成输入图像的曲边网格表示;最后,通过对不同网格的非均匀缩放,生成符合目标尺寸的适配结果。结果 在面向图像显示适配的公开数据集RetargetMe上,将本文方法与现有的10种代表性显示适配方法的结果进行了人工评估和比较。本文方法可以有效地减少显著物体出现部分扭曲的现象,能在48.8%的图像上取得无明显缺陷的适配效果,比现有最好的方法提高了5%。结论 基于显著物体检测的图像显示适配方法有助于提高显示适配过程中对显著物体处理的一致性,减少由于显著物体部分扭曲而引起的明显人工处理痕迹,从而达到提升显示适配效果的目的。     

中心矩形构图先验的显著目标检测

目的 许多显著目标检测算法侧重从背景角度进行显著性检测,而从前景角度和空间角度进行显著性检测的算法较少,为了解决这个问题,提出了一种基于中心矩形构图先验的显著目标检测算法。方法 假定目标分布在中心矩形构图线附近。首先,对图像进行超像素分割并构造闭环图;其次,提取中心矩形构图线上的超像素特征,并进行流形排序,获取初始显著值;然后,通过基于中心矩形构图线获取的初始显著值确定中心矩形构图交点显著值和紧凑性关系显著值;最后,融合三者获得最终的中心矩形构图先验显著图。结果 通过MSRA-1000,CSSD,ECSSD,THUS-10000数据集对比验证了中心矩形构图先验算法有较高的准确度和最高的F-measure值,整体效果上优于目前先进的几种算法。且处理单幅图像的平均时间为0.673 s,相比与其他算法也有较大优势。结论 从前景角度和空间角度考虑的中心矩形构图先验的显著目标检测算法相比于传统的算法更加具有鲁棒性,无论图像是复杂的还是简单的,都取得很好的检测效果,充分说明算法的有效性。     

基于连通图的视觉显著区域检测研究

显著性区域检测是指自动识别出图像中最感兴趣、最重要的区域,目前在目标识别、图像检索等领域应用广泛。基于图的流形排序的显著区域检测算法虽然能够准确高效的检测出一幅图像中的显著性区域,但该算法中使用的K正则图描述的各顶点的空间连接性的图的结构存在局限。为解决上述的局限性,研究构造一个更一般的连通图,在显著目标较大或显著目标不连续的情况下,能够更准确的检测出显著性区域。通过在CSSD、SOD、ASD和SED2四个标准数据集上进行大量验证性实验,与六种现有的代表性方法相比,实验结果在PR曲线、F值、MAE等多个指标均表明改进算法均有明显的提高,有效验证了算法的有效性。     

基于图像显著性检测的图像分割

图像分割在许多图像处理和机器视觉问题中是一个非常重要的过程,是将一幅图分割成几个显著的区域,然而不能将其中最显著的目标直接分割出来,需要进一步处理。为此本文采用显著性检测的算法实现了对目标的分割。显著性区域检测可以应用于目标检测、图像检索、图像分割等机器视觉问题。使用杨等人提出的基于图论的流形排序算法检测显著性算法得到显著性图,再结合mean-shift分割算法,实现了对视觉显著性目标分割提取,可获得可观的图像分割结果,并将此算法应用到了森林火灾检测中,能对图像中的火焰部分进行有效的分割提取。     

多尺度构图先验的显著目标检测

目的 针对基于对比度的显著检测方法,因忽略了特征的空间分布而导致准确性不高的问题,启发于边界先验关于图像空间布局的思想,提出构图先验的显著检测方法。方法 假定目标分布于三分构图线周围,根据相关性比较计算显著值。首先,对图像进行多尺度超像素分割并构造闭环图;其次,提取构图线区域超像素特征并使用Manifold Ranking算法计算显著目标与背景的分布;然后,从目标和背景两个角度对显著值进行细化并利用像素区别性对像素点的显著值进行矫正;最后,融合多尺度显著值得到最终显著图。结果 在公开的MSRA-1000、CSSD、ECSSD数据集上验证本文方法并与其他算法进行对比。本文方法在各数据集上准确率最高,分别为92.6%,89.2%,76.6%。且处理单幅图像平均时间为0.692 s,和其他算法相比也有一定优势。结论 人眼视觉倾向于在构图线周围寻找显著目标,构图先验是根据人眼注意机制研究显著性,具有合理性,且构图先验的方法提高了显著目标检测的准确性。     

基于改进LBE特征的RGB-D显著性检测

针对LBE算法难以完整检测出结构复杂的目标和过度依赖深度信息的问题,提出一种基于改进LBE特征的RGB-D显著性检测算法。首先,对输入图像进行多级分割;然后,在各级分割图上计算LBE特征并融合,得到深度显著图;最后,利用色彩信息和先验信息对深度显著图进行矫正得到最终显著图。实验结果表明,改进算法与原始LBE算法相比在准确率上略有降低,在召回率上明显提升,得到的显著图更接近真实值。     

融合双层信息的显著性检测

目的 针对已有工作在颜色及结构显著性描述方面的缺陷,提出一种新的图像显著性检测方法。方法 本文方法在不同的图像区域表达上从颜色与空间结构角度计算图像的显著性,充分考虑图像的特征与像素聚类方式之间的适应性。首先,根据颜色复杂度、边缘与连通性等信息,将图像从像素空间映射到双层区域表示空间。然后,根据两个层次空间的特性,与每个图像区域的边界特性,计算图像的结构和颜色显著度。最后,由于不同图像表示中的显著性信息存在互补性,将所有这些信息进行融合得到最终的显著性图。结果 在公认的MSRA-1000数据集上验证本文方法并与目前国际上流行的方法进行对比。实验结果表明,本文方法在精确率、召回率以及绝对误差(分别为75.03%、89.39%、85.61%)等方面要优于当前前沿的方法。结论 提出了一种融合双层信息的显著性检测算法。根据图像本身信息控制区域数目构建图像双层表示,提高了方法的普适性;利用图像不同层次的特性从不同角度计算显著性,增强了方法鲁棒性。     

一种基于CRF-MR的自顶向下显著性目标检测方法*

针对自顶向下显著性目标检测边界模糊及准确率低的问题,提出一种结合条件随机场（conditional random field,CRF）和流行排序（manifold ranking,MR）的自顶向下显著性目标检测方法。首先对图像进行超像素分割,以超像素块特征为节点建立无向图;然后输入具有目标先验的CRF中得到节点的显著值并通过边缘背景先验MR修改显著值;最后扩展初步显著性目标得到最终显著性图。实验结果表明,在行人、汽车和自行车类目标检测中目标边界明确,与基于CRF的方法相比,本文方法在保证运算效率的同时具有更好的鲁棒性。     

利用LapSVM的快速显著性检测方法

目的 随着互联网技术的发展,信息的数量呈几何级数增长。信息改变着人类的传统生活方式,它可以给人们的娱乐,教育,商业活动提供便利。但是另一方面,需要处理的信息数量大大超过了计算机的处理能力,因此,如何使计算机能像人眼一样可以自动在大量信息中选择重要信息进行加工就显得十分重要。图像的视觉显著性信息能够反映图像中不同区域对人视觉系统刺激的程度。可靠的显著性方法可以从大量的信息中自动预测预测和挖掘重要的视觉信息,这些信息可以为图像分割、图像检索等应用提供有价值的线索。目前,显著性检测算法的鲁棒性和实时性是研究的热点。本文提出一种基于拉普拉斯支持向量机（LapSVM）的快速显著性检测方法。方法 采用简单线性迭代聚类算法SLIC（simple linear iterative clustering）将原始图像首先分成若干个超像素块,并用它代替图像像素参与计算,可以减少算法所需的计算量。利用超像素之间相似性构建图Laplacian。分析每个图像块的边缘特性定义粗糙标识样本,并利用一种快速LapSVM进行分类。LapSVM是一种基于流形正则化的半监督分类方法。通过引入提前停止机制来加速LapSVM的训练。这样可以快速地计算出一个近似结果。计算的复杂性由原来的O（n³）降到了O（kn²）,其中n是未标识样本和标识样本的数量。k是经验评价值,它远远小于n。通过分析得到的分类结果,提取出更准确的背景和目标样本作为新的标识样本再次进行LapSVM分类。最后,利用能量函数对分类结果进行优化得到最终的显著性检测结果。结果 ASD数据库是MSRA数据库的子集,包含1 000幅图片,被广泛用于各种显著性检测算法的实验中。本文算法在ASD图像数据库上与7种流行的图像显著性检测算法进行对比实验。本文算法不仅在准确率和召回率上保持了与其他算法相当的鲁棒性,平均绝对误差达到4%左右,同时算法的平均运行时间缩短为0.03 s左右。结论 提出一种基于LapSVM的快速图像显著性检测算法,通过区域边缘特征和分类结果分析,实现图像中背景和目标样本的准确检测。实验结果表明,本文算法具有良好的鲁棒性,显著地提高了算法的实时性。因此,与其他算法相比本文算法更适用于检测跟踪等实时性要求较高的场合。该方法可以在较短的时间内,以更好地准确率水平提取显著性区域。     

分层信息融合的物体级显著性检测

目的 显著性检测是基于对人类视觉的研究,用来帮助计算机传感器感知世界的重要研究手段。现有显著性检测方法大多仅能检测出人类感兴趣的显著点或区域,无法突出对象整体的显著性以及无法区分对象不同层次的显著性。针对上述问题,提出一种基于分层信息融合的物体级显著性检测方法。方法 与当前大多数方法不同,本文同时运用了中级别超像素和物体级别区域两种不同层次的结构信息来获取对象的显著图。首先,将图像分割为中级别的超像素,利用自下而上的方法构造初始显著图;然后通过谱聚类方法将中级别的超像素聚类成物体级的区域,并运用自上而下的先验来调整初始先验图;最后,通过热核扩散过程,将超像素级别上的显著性扩散到物体级的区域上,最终获得一致的均匀的物体级显著性图。结果 在MSRA1000标准数据库上与其他16种相关算法在准确率-召回率曲线及F度量等方面进行了定量比较,检测的平均精度和F-检验分数比其他算法高出5%以上。结论 通过多层次信息融合最终生成的显著图,实现了突出对象整体显著性以及区分不同对象显著性的目标。本文方法同样适用于多目标的显著性检测。     

超像素条件随机场下的RGB-D视频显著性检测

目的 视觉显著性在众多视觉驱动的应用中具有重要作用,这些应用领域出现了从2维视觉到3维视觉的转换,从而基于RGB-D数据的显著性模型引起了广泛关注。与2维图像的显著性不同,RGB-D显著性包含了许多不同模态的线索。多模态线索之间存在互补和竞争关系,如何有效地利用和融合这些线索仍是一个挑战。传统的融合模型很难充分利用多模态线索之间的优势,因此研究了RGB-D显著性形成过程中多模态线索融合的问题。方法 提出了一种基于超像素下条件随机场的RGB-D显著性检测模型。提取不同模态的显著性线索,包括平面线索、深度线索和运动线索等。以超像素为单位建立条件随机场模型,联合多模态线索的影响和图像邻域显著值平滑约束,设计了一个全局能量函数作为模型的优化目标,刻画了多模态线索之间的相互作用机制。其中,多模态线索在能量函数中的权重因子由卷积神经网络学习得到。结果 实验在两个公开的RGB-D视频显著性数据集上与6种显著性检测方法进行了比较,所提模型在所有相关数据集和评价指标上都优于当前最先进的模型。相比于第2高的指标,所提模型的AUC（area under curve）,sAUC（shuffled AUC）,SIM（similarity）,PCC（Pearson correlation coefficient）和NSS（normalized scanpath saliency）指标在IRCCyN数据集上分别提升了2.3%,2.3%,18.9%,21.6%和56.2%;在DML-iTrack-3D数据集上分别提升了2.0%,1.4%,29.1%,10.6%,23.3%。此外还进行了模型内部的比较,验证了所提融合方法优于其他传统融合方法。结论 本文提出的RGB-D显著性检测模型中的条件随机场和卷积神经网络充分利用了不同模态线索的优势,将它们有效融合,提升了显著性检测模型的性能,能在视觉驱动的应用领域发挥一定作用。