3分支多层次Transformer特征交互的RGB–D显著性目标检测

RGB深度图像（RGB–D）显著性目标检测是计算机视觉领域的研究任务之一,很多模型在简单场景下取得了较好的检测效果,却无法有效地处理多目标、深度图质量低下及显著性目标色彩与背景相似等复杂场景。因此,本文提出一种3分支多层次Transformer特征交互的RGB–D显著性目标检测模型。首先,提出一个跨模态坐标注意力模块,该模块通过采用坐标注意力抑制RGB图像和深度图的噪声信息,从而提取出更为显著的特征信息用于后续解码。其次,通过特征融合模块将高层的3层特征图调整到相同的分辨率送入Transformer层,有效地获取远距离显著性目标之间的关联关系和整幅图像的全局信息。然后,提出一个多层次特征交互模块,该模块有效地聚合多层次信息进行特征交互,从而能够更精准地定位显著性目标的位置,同时对显著性目标的边界进行细化。最后,设计一个密集扩张特征细化模块,利用密集扩张卷积获取丰富的多尺度特征,有效地应对显著性目标数量和尺寸变化。将模型在5个公开的基准数据集上与19种主流模型相比,实验结果表明：本文方法在多个测评指标上有较好的提升效果,提高了在特定复杂场景下的检测精度;从P–R(precision–re...     

多分支主干监督网络下的RGB-D图像显著性检测

针对现有的RGB-D图像显著性检测技术难以充分挖掘深度图像的有效信息,无法使RGB特征和深度特征有效融合的问题,提出了一种多分支主干监督网络下的RGB-D图像显著性检测方法。基于Resnet50网络获得两种图像的各层特征,利用深度改进模块从通道和空间注意力的角度提取到有用的深度特征信息。利用特征分组监督融合模块,依据卷积神经网络的理论,对RGB和深度特征从高层到底层分组进行多尺度多模态特征融合,每组融合加入上层融合结果和真值图进行监督,最终迭代得到预测显著图。通过4个具有代表性数据集上进行的实验,对比目前先进的RGB-D图像显著性检测,表明此模型平均绝对误差指标最小,在F值、E值和S值指标上均有提高,性能优于其他模型,具有良好的鲁棒性。     

基于多尺度融合CNNs特征和Transformer特征的显著目标检测

提出了一种融合深度神经网络和Transformer特征的多尺度结构,目的在于解决在同一场景下出现尺寸不同的目标时,显著目标检测网络性能下降的问题。当处理不同尺度的物体时,由于采样深度和感受野尺寸之间的矛盾,现有方法的表现往往不稳定。为了应对这一挑战,采取了3种不同的采样率对特征图进行采样,并使用Transformer模块来学习全局上下文信息。这种方法可以将卷积神经网络(CNNs)和Transformer两种网络的特性进行有效融合,从而创新性地提出了一种针对多尺度物体的显著目标检测策略。在UHRSD-TE,DUT-OMRON和DUTS-TE 3个公开数据集上的实验结果证明,该方法在处理同一场景下不同尺寸物体的显著目标检测任务上表现优秀。     

基于通道注意力机制的室内场景深度图补全

在深度相机获取的室内场景深度图中,部分像素点缺失深度信息;为补全深度信息,设计了端对端的场景深度图补全网络,在此基础上提出了一种基于通道注意力机制的室内场景深度图补全方法。该方法将场景彩色图与缺失部分深度信息的场景深度图作为场景深度图补全网络的输入,首先提取场景彩色图和深度图的联合特征,并根据通道注意力机制将提取到的联合特征进行解码,得到初始预测深度图;然后借助非局部区域上的传播算法逐步优化场景深度的预测信息,得到完整的场景深度图;最后在Matterport3D等数据集上进行实验,并将该方法与典型方法进行比较分析。实验结果表明,该方法融合了场景彩色图和深度图特征信息,通过注意力机制提高了深度图补全网络的性能,有效补全了深度相机拍摄室内场景时缺失的深度信息。     

基于彩色图像引导的RGB-D相机追踪与三维重建

为了解决基于RGB-D相机三维重建中相机位姿估算不准确问题,尤其是当扫描时RGB-D相机之间移动距离过大或者存在严重遮挡变化,提出一个新颖和鲁棒的RGB-D相机位姿追踪算法来提高相机追踪的精度并进行高保真度的三维重建。首先,采用一个线性处理(line-process)算法来建立连续RGB-D帧之间更加可信的密集对应,然后利用这些密集对应来对传统的ICP(iterative closest point)方法进行改进,使得RGB-D相机的位姿追踪更加精确。尽管手持RGB-D相机获得的深度图包含明显的噪声,并且相邻帧之间很容易出现抖动,所提出的构建密集对应的算法仍然可以对RGB-D相机进行准确地追踪。另外,该算法还可以在闭环检测中得到有效的应用,并可以有效地减轻相机追踪产生的相机漂移。最重要的是该方法还可以作为一个类似的插件应用到其他的基于ICP的算法中来提高相机追踪的精度。实验结果表明,不管是在公共数据集上还是实时扫描的真实场景上,该方法都有效和鲁棒。     

高效通道注意力和特征融合的协同显著性检测算法

针对现有的协同显著性检测算法在多显著目标复杂场景下表现不佳的问题,提出了一种基于高效通道注意力和特征融合的协同显著性检测算法。首先,检测算法利用预训练的深度卷积神经网络对场景进行多尺度特征的提取,结合边缘显著信息设计了显著性语义特征提取模块,以避免全卷积神经网络导致边缘信息的缺失;其次,通过内积基本原理得到组内图片间的关联性信息并根据其关联程度进行自适应加权,结合高效通道注意力层设计了协同特征提取算法;最后,为了将各级高层语义特征经过协同显著性特征提取之后的结果与浅层次的特征进行融合,并实现对预测结果进行多分支同步监督,设计了基于高效通道注意力的特征融合模块。通过对3个经典的数据集进行测试,并与6种现有的协同显著检测算法进行对比,结果表明本文所提算法提高了复杂场景中图像的协同显著性检测的精度以及边缘信息的丰富程度,并具有更优的协同显著性信息检测性能;通过消融实验进一步验证了所提设计算法各个模块的有效性和必要性。     

基于背景和前景交互传播的图像显著性检测

为了更精确地提取图像中的显著性区域,提出一种新的基于背景和前景交互传播的图像显著性检测计算模型。通过建立一个新的模型来寻找图像中的显著性元素,用一种交互式特征传播方法来扩散显著性特征。采用不同参数对图像进行分割,得到多个尺度下的超像素;在单一尺度下通过背景和前景交互传播获得超像素的显著值;对多个显著值进行加权平均融合,并采用平滑机制进行优化得到最终显著图。在公开图像数据库进行的试验结果表明,该模型提高了对图像显著目标大小的适应性,不仅较好地抑制了噪声,还使得显著目标更均匀地凸显出来,结果优于同类的算法。     

基于注意力机制和多层次特征融合的目标检测算法

为了提高目标检测的准确率,提出一种基于注意力机制和多层次特征融合的图像目标检测算法。该算法在Cascade R-CNN模型的基础上,以RseNet50为主干网络,通过嵌入简单的注意力模块（SAM）来提高网络的判别能力;其次,利用深度可分离卷积改进特征金字塔网络（FPN）,设计了多层次特征融合模块（MFFM）,对多尺度特征进行融合,以丰富特征图的信息量,并对不同层次的特征图赋予相应的权重以平衡不同尺度的特征信息;最后,结合目标检测方法中的区域建议网络（RPN）结构获取目标的候选区域进行分类和回归处理,确定检测目标的位置和类别。实验结果表明,相较于Cascade R-CNN目标检测算法,该算法的检测精度提升了约2.0%。     

基于轻量型卷积神经网络的海面红外显著性目标检测方法

为提高红外舰船图像显著性检测精度,同时降低参数量,提出一种轻量型红外舰船显著性检测模型。该模型针对红外图像缺乏颜色、纹理等细节特征的特点,从以下三个方面进行轻量化设计：在骨干网络设计方面,将视觉几何组网络(visual geometry group, VGG)各层的通道数减少一半作为骨干网络,以减少冗余的特征;为了进一步减少模型参数量,在前两个低层卷积模块中引入一种轻量型的线性瓶颈模块(linear bottleneck, LB)替换传统卷积模块;提出一种新的提取全局特征能力更强的轻量型的高层线性瓶颈模块(high-level linear bottleneck, HLLB)替换后3个高层传统卷积模块,并且使用自适应平均池化提取高层特征作为全局特征以得到更丰富的上下文信息。针对红外数据集缺少的问题,构建一个红外舰船数据集IRShip,包括1002幅图像。试验结果表明：该算法能够有效实现红外舰船目标的显著性检测,并且通过与其他7种常用的显著性检测模型对比,本研究提出的模型可以在大幅减少参数量的情况下有效提升红外舰船显著性目标检测的性能。     

基于深度图的水下图像复原

水下图像深度图估计的准确性影响复原后的图像质量,为得到更加准确的深度图,提出了一种基于衰减通道结合亮度图的深度图求解算法,并利用该深度图复原水下图像.首先,根据图像像素值与场景深度的关系估计水下图像的深度图,并使用图像的亮度图对深度图进行修正和细化;然后,利用深度图计算图像的大气光值和透射率图;最后,通过逆求解水下成像...     

多尺度特征提取和多级别特征融合的显著性目标检测方法

显著性目标检测已经被广泛应用到图像检索、图像分割、行人重识别等领域.目前主流的显著性目标检测方法通常采用短连接加权的方式融合多级别特征信息,这种方式无法精准有效地控制信息流的传递.而且,现有的检测方法通常采用单一的特征检测,导致显著性目标区域与背景的边界不连续、易模糊.因此,本文提出一种多尺度特征提取和多级别特征融合的...     

Salient Object Detection Based on a Novel Combination Framework Using the Perceptual Matching and Subjective-Objective Mapping Technologies

The integrity and fineness characterization of non-connected regions and contours is a major challenge for existing salient object detection. The key to address is how to make full use of the subjective and objective structural information obtained in different steps. Therefore, by simulating the human visual mechanism, this paper proposes a novel multi-decoder matching correction network and subjective structural loss. Specifically, the loss pays different attentions to the foreground, boundary, and background of ground truth map in a top-down structure. And the perceived saliency is mapped to the corresponding objective structure of the prediction map, which is extracted in a bottom-up manner. Thus, multi-level salient features can be effectively detected with the loss as constraint. And then, through the mapping of improved binary cross entropy loss, the differences between salient regions and objects are checked to pay attention to the error prone region to achieve excellent error sensitivity. Finally, through tracking the identifying feature horizontally and vertically, the subjective and objective interaction is maximized. Extensive experiments on five benchmark datasets demonstrate that compared with 12 state-of-the-art methods, the algorithm has higher recall and precision, less error and strong robustness and generalization ability, and can predict complete and refined saliency maps.     

采用渐进式网络的弱监督显著性目标检测算法

弱监督显著性目标检测中常存在目标错检、区域检测不全和目标边界不清晰等问题。针对上述问题,提出了一种基于渐进式网络的弱监督显著性目标检测算法,将显著性目标检测分为目标定位、显著性区域完善和目标边界细化3个子任务分阶段完成。首先,将输入图像采样为3个不同尺度的图像,分别输入渐进式网络的3个阶段进行学习;其次,在目标定位阶段设计了嵌套位移多层感知机,平衡网络的全局信息与局部信息的提取能力,以更好地定位显著性目标;最后,根据显著性图的结构不受尺度变化影响的特点,设计了异尺度自监督模块和目标一致性损失函数来构建自监督机制,使网络能够输出区域完整、边界清晰的显著性图。在5个数据集上测试所提算法,其客观指标与主观评价都优于最近的弱监督算法,且在F值指标上可以达到相关全监督算法89%的性能。实验结果表明,所提算法能生成显著性区域更完整、显著性目标边界更锐利的显著性图,且具有良好的鲁棒性。     

基于重投影深度差累积图与静态概率的动态RGB-D SLAM算法

为了提高同时定位与建图（SLAM）系统在动态场景下的定位精度和鲁棒性,提出新的RGB-D SLAM算法. 建立基于重投影深度差值的累积模型,分割图像的动静态区域;为了避免动态区域过分割,先剔除与匹配地图点欧氏距离过大的动态区域特征点,再根据t分布估计其余特征点的静态概率;将静态区域特征点和动态区域的疑似静态点以不同权重加入位姿优化,得到提纯后的位姿. 在公开数据集上的实验结果表明,所提算法在动态场景下较改进前的RGB-D ORB-SLAM2算法的定位精度提升96.1%,较其他动态SLAM算法提升31.2%,有效提高了视觉SLAM系统在动态环境下的定位精度和鲁棒性.     

基于点线特征的快速视觉SLAM方法

为了提高RGB-D相机同时定位与地图构建（SLAM）系统在弱纹理场景下的定位精度和鲁棒性,提出快速的基于点线特征的SLAM方法. 在非关键帧的追踪过程中,基于描述子进行点特征匹配,基于几何约束进行线特征匹配;当插入新的关键帧时,计算线特征描述子以完成关键帧间的线特征匹配,并利用线特征三角化算法生成地图线. 通过降低线特征匹配过程运算量来提高SLAM系统的实时性. 此外,利用线特征的深度测量信息构造虚拟右目线段,并提出新的线特征重投影误差计算方法. 在公开数据集上的实验结果表明,与ORB-SLAM2等主流方法相比,所提算法提高了RGB-D SLAM系统在弱纹理场景下的定位精度;与传统点线特征结合的SLAM方法相比,所提算法的时间效率提高了约20%.     

基于运动学动态图的人体动作识别方法

为了识别RGB-D视频中的人体动作,针对视频中运动信息利用不充分的问题,提出了一种基于运动学动态图的人体动作识别方法。首先利用RGB视频序列和对应的深度图序列生成场景流特征图,基于场景流特征图计算运动学特征图序列,其中包含丰富的运动信息;使用分层排序池化将运动学特征图序列编码为运动学动态图,同时将RGB视频序列编码为外观动态图,最后将运动学动态图和外观动态图输入到双流卷积网络进行人体动作识别。结果表明:基于运动学动态图和双流卷积网络的人体动作识别方法融合了外观信息和运动信息,不仅充分表征了视频的动态,而且使用了视频中具有丰富运动信息的运动学特征;在公开的数据集上对本方法进行验证,在M2I数据集和SBU Kinect Interaction数据集的动作识别率分别为91.8%和95.2%。     

Saliency detection via object size distribution prior and image abstraction

In order to uniformly highlight the entire salient object and reduce the influence of high contrast small-size objects on saliency detection, salient object size distribution regularity and consistency of salient objects in different scales image abstraction are investigated. A multi-scale abstraction saliency detection approach based on the object size distribution prior is proposed. The method measures the color uniqueness and distribution for different super-pixel abstraction images, and guides salient object segmentation and abstraction by the object size distribution regularity. Experimental results on publicly available image databases show that the method can accurately detect salient objects. Meanwhile, it can restrain the influence of small-size high contrast objects on saliency detection and generate a uniform saliency map.     

基于Kinect传感器的机器人室内环境检测方法

针对移动机器人室内环境检测问题,提出了一种基于Kinect传感器的目标物体检测方法.利用Kinect传感器采集的视频图像和深度数据来实现对机器人工作环境中已知特征目标物体和完全未知目标物体的检测及定位.对于已知特征目标通过颜色特征分析来完成检测,而对于完全未知的物体则通过深度地面消除算法和提取深度图像的轮廓来进行检测.利用传感器成像模型对检测出的目标区域进行三维空间定位,从而获取目标物相对于机器人的空间位置信息.基于移动机器人平台进行实验,结果表明,该方法能够有效地实现室内环境信息的检测及定位.     

结合边缘信息优化LSC和改进A*算法的正射影像图镶嵌线提取

为避免正射影像图在镶嵌时镶嵌线穿过视觉显著地物,损害影像中地物的完整性,本文提出一种结合边缘信息优化LSC(线性谱聚类)和改进A^*算法的正射影像图镶嵌线提取方法.首先,将经典LSC的超像素分割理论引入正射影像图镶嵌线提取算法中,并提出边缘强度因子用以优化经典线性谱聚类,有效利用正射影像图中的光谱信息和边缘信息;然后,将优化后的LSC分别应用于两幅正射影像的重叠数据集,得到各类地物的边界特征图,并通过数学形态学法去除边界特征图中的边缘不整齐现象和孤立噪点;最后,改进传统A^*算法,由曼哈顿距离函数替代原有基于欧式距离测度的启发函数,提升A^*算法进行最短路径搜索的效率,在边界特征图中快速搜索出最短路径得到最优镶嵌线.利用真实无人机航拍正射影像图将本文方法与相关方法进行对比分析,实验结果表明本文所提方法可高效、高质量地提取到影像镶嵌线,有效绕过视觉显著地物,减少镶嵌线穿过地物的像元点数,满足实际正射影像图制作的应用需求.