基于跨模态特征融合的RGB-D显著性目标检测

为了解决基于彩色图像的显著性检测在多目标或小目标等场景下无法准确检测出显著目标的问题,提出了一种基于RGB-D跨模态特征融合的显著性检测网络模型,该网络模型以改进的全卷积神经网络(FCN)为双流主干网络,分别提取彩色与深度特征并作出预测,最后利用Inception结构融合生成最终显著图.针对原FCN实际感受野远低于理论感受野,没有真正利用图像全局信息的问题,设计了双分支结构的全局与局部特征提取块,利用全局特征分支提取全局信息并指导局部特征提取,并以此构建了改进的FCN.此外,考虑到不同层级上彩色与深度特征之间的差异性,提出了跨模态特征融合模块,采用点积有选择性地融合彩色和深度特征,与加法和级联相比,采用点乘可以有效减少噪声与冗余信息.通过在3个公开基准数据集上与21种主流网络相比的综合实验表明,所提模型在S值、F值和MAE这3个指标上基本处于前3水平,同时对模型大小进行了比较,其大小仅为MMCI的4.7％,与现有最小模型A2dele相比减少了22.8％.     

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来, RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息, 取得了比RGB显著性检测模型更好的性能, 受到学术界的高度关注. 然而, 现有的RGB-D检测模型仍面临着持续提升检测性能的需求. 最近兴起的Transformer擅长建模全局信息, 而卷积神经网络(CNN)擅长提取局部细节. 因此, 如何有效结合CNN和Transformer两者的优势, 挖掘全局和局部信息, 将有助于提升显著性目标检测的精度. 为此, 提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法, 通过将Transformer网络嵌入U-Net中, 从而将全局注意力机制与局部卷积结合在一起, 能够更好地对特征进行提取. 首先借助U-Net编码-解码结构, 高效地提取多层次互补特征并逐级解码生成显著特征图. 然后, 使用Transformer模块学习高级特征间的全局依赖关系增强特征表示, 并针对输入采用渐进上采样融合策略以减少噪声信息的引入. 其次, 为了减轻低质量深度图带来的负面影响, 设计一个跨模态交互融合模块以实现跨模态特征融合. 最后, 5个基准数据集上的实验结果表明, 所提算法与其他最新的算法相比具有显著优势.     

基于多模态特征交互的RGB-D显著性目标检测

现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块：用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。     

深度学习时代下的RGB-D显著性目标检测研究进展

受人类的视觉注意力机制启发, 显著性目标检测任务旨在定位给定场景中最吸引人注意的目标或区域. 近年来, 随着深度相机的发展和普及, 深度图像已经被成功应用于各类计算机视觉任务, 这也为显著性目标检测技术提供了新思路. 通过引入深度图像, 不仅能使计算机更加全面地模拟人类视觉系统, 而且深度图像所提供的结构、位置等补充信息也可以为低对比度、复杂背景等困难场景的检测提供新的解决方案. 鉴于深度学习时代下RGB-D显著目标检测任务发展迅速, 旨在从该任务关键问题的解决方案出发, 对现有相关研究成果进行归纳、总结和梳理, 并在常用RGB-D SOD数据集上进行不同方法的定量分析和定性比较. 最后, 对该领域面临的挑战及未来的发展趋势进行总结与展望.     

基于非对称跨模态融合的RGB-D显著目标检测

目前大多数RGB-D显著目标检测方法在RGB特征和Depth特征的融合过程中采用对称结构,对两种特征进行相同的操作,忽视了RGB图像和Depth图像的差异性,易造成错误的检测结果.针对该问题,提出一种基于非对称结构的跨模态融合RGB-D显著目标检测方法,利用全局感知模块提取RGB图像的全局特征,并设计了深度去噪模块滤除低质量Depth图像中的大量噪声;再通过所提出的非对称融合模块,充分利用两种特征间的差异性,使用Depth特征定位显著目标,用于指导RGB特征融合,补足显著目标的细节信息,利用两种特征各自的优势形成互补.通过在4个公开的RGB-D显著目标检测数据集上进行大量实验,验证所提出的方法优于当前的主流方法.     

空间约束下自相互注意力的RGB-D显著目标检测

针对RGB-D显著目标检测问题,提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先,引入空间约束自相互注意力模块,利用多模态特征的互补性,学习具有空间上下文感知的多模态特征表示,同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力,进而聚合两个模态的上下文特征.然后,为了获得更互补的信息,进一步将金字塔结构应用在一组空间约束自相互注意力模块中,适应不同空间约束下感受野不同的特征,学习到局部和全局的特征表示.最后,将多模态融合模块嵌入双分支编码-解码网络中,解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明,文中方法在RGB-D显著目标检测任务上具有较强的竞争性.     

基于改进LBE特征的RGB-D显著性检测

针对LBE算法难以完整检测出结构复杂的目标和过度依赖深度信息的问题,提出一种基于改进LBE特征的RGB-D显著性检测算法。首先,对输入图像进行多级分割;然后,在各级分割图上计算LBE特征并融合,得到深度显著图;最后,利用色彩信息和先验信息对深度显著图进行矫正得到最终显著图。实验结果表明,改进算法与原始LBE算法相比在准确率上略有降低,在召回率上明显提升,得到的显著图更接近真实值。     

基于场景几何信息的显著性目标检测方法综述

显著性目标检测在图像和视频压缩、伪装物体检测、医学图像分割等领域具有重要作用.随着深度传感器和光场技术的广泛应用,深度图像和光场数据等场景几何信息开始应用于显著性目标检测,可提升模型在复杂场景下的性能,由此学者们提出一系列基于场景几何信息的显著性目标检测方法.文中旨在分析总结经典的基于场景几何信息的显著性目标检测方法.首先,介绍方法的基本框架及评估标准.然后,围绕多模态特征融合、多模态信息优化、网络模型轻量化三方面,分类概述和分析经典的RGB-D显著性目标检测方法和光场显著性目标检测方法.同时,详细介绍基于场景几何信息的显著性目标检测方法的工作进展.最后,讨论方法目前存在的问题,展望未来的研究方向.     

基于深度学习的显著性目标检测综述

显著性目标检测通过模仿人的视觉感知系统,寻找最吸引视觉注意的目标,已被广泛应用于图像理解、语义分割、目标跟踪等计算机视觉任务中。随着深度学习技术的快速发展,显著性目标检测研究取得了巨大突破。本文总结了近5年相关工作,全面回顾了3类不同模态的显著性目标检测任务,包括基于RGB图像、基于RGB-D/T(Depth/Thermal)图像以及基于光场图像的显著性目标检测。首先分析了3类研究分支的任务特点,并概述了研究难点;然后就各分支的研究技术路线和优缺点进行阐述和分析,并简单介绍了3类研究分支常用的数据集和主流的评价指标。最后,对基于深度学习的显著性目标检测领域未来研究方向进行了探讨。     

基于BING似物性检测的行人快速检测算法*

针对传统滑动窗行人检测速度慢、实时性差的问题,提出了一种基于似物性的行人快速检测算法。首先,算法通过提取正负训练样本的规范化二进制梯度特征,训练级联SVM分类器得到行人似物检测模型。然后利用尺寸调节和聚类算法对初始候选区域进行聚类融合,进一步优化行人候选窗口区域。最后,提取各候选区域的HOG特征并利用SVM分类器对其进行进一步行人检测。实验结果表明：本算法在保证行人检测率的同时在检测实时性上有明显提高。     

基于轻量级神经网络的RGB-D人体目标检测

针对现有基于神经网络的人体目标检测算法网络结构复杂,运算量大,不利于实际应用,以及传统方法检测精度较差的问题,提出一种新的轻量级检测算法,使用无锚框机制,并将MobileNetV3作为主干网络。该网络支持多个数据输入方式,可分别以RGB彩色图、深度图或RGB-D作为输入。通过在两个公开数据集和自采集数据集中的试验证明,新算法总体检测精度及运行效率均优于已有算法,获得较为理想的每秒峰值速度（FLOPS）。在英特尔i5-7200 CPU平台下,以RGB-D和Depth为输入的帧率分别可达32f/s和55f/s,以RGB为输入的表现优于同级别轻量级网络YOLOV3-Tiny。     

采用跳层卷积神经网络的RGB-D图像显著性检测

RGB-D图像显著性检测旨在提取三维图像中的显著目标.为解决当前显著性检测算法难以检测出光线干扰场景内的目标和低对比度的目标等问题,提出了基于跳层卷积神经网络的RGB-D图像显著性检测方法.利用VGG网络分离出RGB图像和深度图像的浅层与深层特征,而后进行特征提取;以跳层结构为基础连接提取到的特征,实现融合深度、颜色、...     

Seeing Human Weight from a Single RGB-D Image

Human weight estimation is useful in a variety of potential applications, e.g., targeted advertisement, entertainment scenarios and forensic science. However, estimating weight only from color cues is particularly challenging since these cues are quite sensitive to lighting and imaging conditions. In this article, we propose a novel weight estimator based on a single RGB-D image, which utilizes the visual color cues and depth information. Our main contributions are three-fold.First, we construct the W8-RGBD dataset including RGB-D images of different people with ground truth weight. Second,the novel sideview shape feature and the feature fusion model are proposed to facilitate weight estimation. Additionally, we consider gender as another important factor for human weight estimation. Third, we conduct comprehensive experiments using various regression models and feature fusion models on the new weight dataset, and encouraging results are obtained based on the proposed features and models.     

基于结构森林的RGB-D图像轮廓提取

为了获取更加清晰、更多细节的轮廓特征,充分利用Kinect传感器获取的RGB-D图像信息,将结构化的随机森林作为分类器,提出一种更加精确的轮廓提取器。首先,将RGB-D图像的多种信息利用数学式表示出来;然后,利用BSD500数据集以及NYU深度数据集训练结构化的随机森林算法,核心是将给定节点的结构化标签映射到一组离散标签;最后,利用该随机森林算法对RGB-D图像信息进行分类,得到图像轮廓。针对细节不同的四种场景图像进行对比实验,结果表明,经本文改进后的算法得到的轮廓效果更加清晰、准确。     

协同视觉显著性检测方法研究进展综述

协同视觉显著性检测是基于人类视觉注意力机制,旨在捕获一组相关图像中的公共显著目标,在协同分割和目标检测等领域广泛应用。对现有的协同显著性检测方法进行归纳总结和实验评估。根据特征形式的差异将所有方法分为两大类：一类是采用浅层特征的传统方法,另一类是采用深层特征的基于深度学习方法。根据获取组间显著性和模型构建策略的不同,对这两大类方法进行相关介绍和理论分析。将流行方法在领域内两个公开数据集进行了主观和定量的实验评估。对现有方法进行定性总结,并分析了现阶段研究中存在的问题,同时对未来工作进行展望。     

基于超像素匹配的图像协同显著性检测

为了快速有效地完成多图像的协同显著性检测,提出了一种基于超像素匹配的检测模型。首先针对一般单个超像素特征匹配效果较差的问题,提出一种基于Hausdorff距离的邻域超像素集匹配算法来进行图像间超像素的精确匹配;然后构建图像内和图像间的双层元胞自动机模型,进行多幅图像之间的显著性传播,从而有效地检测出协同显著性。在公开的测试数据集上的实验结果表明,所提算法的检测精度和检测效率优于目前的主流算法,且具有较强的鲁棒性。     

一种基于核密度估计的图像边缘检测方法

进行图像边缘检测的算法有很多种,其中基于Sobel算子、Laplace算子、Canny算子等的图像边缘检测方法当属经典。但所提方法不同于这些差分算子方法,而是对灰度图像素进行小窗口区域的核密度估计,从而得到一幅核密度图,然后通过核密度图,选择出合适的带宽或阈值来控制图像边缘的检出。实验表明该方法可行且简单快速。     

基于深度图像增益的RGB-D显著性物体检测

深度信息已被证明在显著性物体检测中是一个实用信息,但是深度信息和RGB信息如何更好地实现互补从而达到更高的性能仍是一个值得探究的事情。为此,本文提出一种基于深度图像增益的RGB-D显著性物体检测方法。在双分支的网络结构中增加一个增益子网,采用显著图作差的方法获得深度图片为显著性检测带来的增益,作为增益子网预训练的伪GT。三分支网络分别获取RGB特征、深度特征和深度增益信息,最终将三分支的特征进行融合得到最终的显著性物体检测的结果,增益信息为双分支特征融合提供融合依据。基于深度图像增益的显著性物体检测实验结果表明,该方法得到的显著性物体前景物体更加突出,在多个实验数据集上也有着更优秀的表现。