渐进聚合多尺度场景上下文特征的伪装物体检测

伪装物体检测通过模仿人类的视觉检测机理,实现在复杂场景下对伪装物体的定位与识别.然而,多数伪装物体检测方法在遇到相似外形目标干扰时,仅通过目标的局部表观特征无法准确识别伪装目标.为此,本文提出一种渐进聚合多尺度场景上下文特征的伪装物体检测网络,通过聚合多阶段语义增强的场景上下文特征来实现准确的伪装物体判别.具体来说,所提网络主要包含两个创新设计:U型上下文感知模块和跨级特征聚合模块.前者旨在感知复杂场景中物体的细节轮廓、纹理特征和颜色变化等丰富的局部-全局场景上下文信息.后者则结合坐标方向的注意力和多层级残差渐进特征聚合机制,逐级渐进聚合相邻层级之间的互补特征,实现对伪装物体全局语义的强化和局部细节的补充.本文方法在CHAMELEON、CAMO-Test、COD10K-Test和NC4K等4个非常具有挑战性的基准数据集上进行了评测.评测结果表明,本文方法相比于最新方法达到了领先的性能.     

基于运动引导的高效无监督视频目标分割网络

大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation, UVOS)算法存在模型参数量与计算量较大的问题,这显著限制了算法在实际中的应用.提出了基于运动引导的视频目标分割网络,在大幅降低模型参数量与计算量的同时,提升视频目标分割性能.整个模型由双流网络、运动引导模块、多尺度渐进融合模块三部分组成.具体地,首先, RGB图像与光流估计输入双流网络提取物体外观特征与运动特征;然后,运动引导模块通过局部注意力提取运动特征中的语义信息,用于引导外观特征学习丰富的语义信息;最后,多尺度渐进融合模块获取双流网络的各个阶段输出的特征,将深层特征渐进地融入浅层特征,最终提升边缘分割效果.在3个标准数据集上进行了大量评测,实验结果表明了该方法的优越性能.     

视觉目标跟踪十年研究进展

视觉目标跟踪指在一个视频序列中,给定第一帧目标区域,在后续帧中自动匹配到该目标区域的任务.通常来说,由于场景遮挡、光照变化、物体本身形变等复杂因素,目标与场景的表观会发生剧烈的变化,这使得跟踪任务本身面临极大的挑战.在过去的十年中,随着深度学习在计算机视觉领域的广泛应用,目标跟踪领域也迅速发展,研究人员提出了一系列优秀...     

基于并行多方向注意力的无监督视频目标分割

时空特征传播对准确的无监督视频目标分割任务至关重要.但是,由于现实中视频的复杂性,导致时空特征学习与传播变得十分具有挑战性.在本文中,提出了两个新颖的模块分别用于增强视频中目标的空间和时间表示.具体来说,首先,针对当前帧,在空间上提出一个新颖的多方向注意力模块,旨在沿着水平、垂直与通道方向上分别提取注意力图.同时,设计了一个并行时序模块用于整合当前帧和之前帧的信息.该模块并行地计算出连续帧之间的二阶相似度,并且根据该相似度图重新对当前帧特征进行加权与增强.此外,该相似度图还直接生成一个有效的掩膜,用于进一步增广当前帧中目标的特征表示.接着,将上述空间和时间特征进行融合以获得最终增广的时空特征表示,并将其输入解码器来预测当前帧中待分割目标的掩膜.在三个主流无监督视频目标分割数据集上的大量实验结果表明,本文提出的方法与当前最新方法相比取得了领先的性能.相关代码将公布在https://github.com/su1517007879/MP-VOS.     

时空特征融合网络的多目标跟踪与分割

目的 多目标跟踪与分割是计算机视觉领域一个重要的研究方向。现有方法多是借鉴多目标跟踪领域先检测然后进行跟踪与分割的思路,这类方法对重要特征信息的关注不足,难以处理目标遮挡等问题。为了解决上述问题,本文提出一种基于时空特征融合的多目标跟踪与分割模型,利用空间三坐标注意力模块和时间压缩自注意力模块选择出显著特征,以此达到优异的多目标跟踪与分割性能。方法 本文网络由2D编码器和3D解码器构成,首先将多幅连续帧图像输入到2D编码层,提取出不同分辨率的图像特征,然后从低分辨率的特征开始通过空间三坐标注意力模块得到重要的空间特征,通过时间压缩自注意力模块获得含有关键帧信息的时间特征,再将两者与原始特征融合,然后与较高分辨率的特征共同输入3D卷积层,反复聚合不同层次的特征,以此得到融合多次的既有关键时间信息又有重要空间信息的特征,最后得到跟踪和分割结果。结果 实验在YouTube-VIS(YouTube video instance segmentation)和KITTI MOTS(multi-object tracking and segmentation)两个数据集上进行定量评估。在YouTub...     

通道稳定性加权补充学习的实时视觉跟踪算法

为解决补充学习（Staple）跟踪算法在平面内旋转、部分遮挡时存在的跟踪失败问题,提出了一种通过通道稳定性加权的补充学习（CSStaple）跟踪算法。首先,使用标准相关滤波分类器检测出每层通道的响应值;然后,计算获得每层通道的稳定性权重,并乘到每层权重上,获得相关滤波响应;最后,通过融合颜色补充学习器的响应,得到最终的响应结果,响应中的最大值的位置即为跟踪结果。将所提算法与层和空间可靠性判别相关滤波（CSR-DCF）跟踪、对冲深度跟踪（HDT）、核化相关滤波（KCF）跟踪和Staple等跟踪算法进行了对比实验。实验结果表明,所提算法在成功率上表现最优,在OTB50和OTB100上比Staple分别高出2.5个百分点和0.9个百分点,验证了所提算法对目标在平面内旋转和部分遮挡时的有效性。     

基于增强语义与多注意力机制学习的深度相关跟踪

在基准可判别相关滤波器网络(DCFNet)目标跟踪过程中,遮挡和运动模糊情况会导致目标发生漂移。针对该问题,结合增强语义与多注意力机制深度学习,设计一种端到端的相关滤波器网络RACFNet。由EDNet网络得到高级语义信息弥补单独低级特征表示的不足,同时加入通道和空间残差注意力机制,使网络能够对不同的跟踪对象提取出更具针对性的表观信息。在此基础上,通过添加相关滤波层并输出响应图最大值推测目标位置。在OTB-2013和OTB-2015基准测试集上的实验结果表明,RACFNet跟踪速度平均可达92帧/s,跟踪成功率较DCFNet分别提高8.20%和10.69%。     

深浅层表示融合的半监督视频目标分割

为了解决半监督视频目标分割任务中,分割精度与分割速度难以兼顾以及无法对视频中与前景相似的背景目标做出有效区分的问题,提出一种基于深浅层特征融合的半监督视频目标分割算法。首先,利用预先生成的粗糙掩膜对图像特征进行处理,以获取更鲁棒的特征;然后,通过注意力模型提取深层语义信息;最后,将深层语义信息与浅层位置信息进行融合,从而得到更加精确的分割结果。在多个流行的数据集上进行了实验,实验结果表明：在分割运行速度基本不变的情况下,所提算法在DAVIS 2016数据集上的雅卡尔（J）指标相较于学习快速鲁棒目标模型的视频目标分割（FRTM）算法提高了1.8个百分点,综合评价指标为J和F得分的均值J&F相较于FRTM提高了2.3个百分点;同时,在DAVIS 2017数据集上,所提算法的J指标比FRTM提升了1.2个百分点,综合评价指标J&F比FRTM提升了1.1个百分点。以上结果充分说明所提算法能够在保持较快分割速度的情况下实现更高的分割精度,并且能够有效区别相似的前景与背景目标,具有较强的鲁棒性。可见所提算法在平衡速度与精度以及有效区分前景背景方面的优越性能。     

基于上下文Transformer的低光照图像增强网络

由于现实环境中明暗光照的剧烈变化,现有的低光照图像增强方法往往会导致增强后的图像亮度和对比度不足,出现伪影和模糊等情况。此外,当前的低光照图像增强工作仅针对于图像亮度的提升,而对于噪声影响的处理较少,这些都不利于低光图像的增强。为了解决上述问题,论文提出了一种基于上下文Transformer的低光照图像增强算法。具体地,论文首先利用动态卷积网络对低光照图像进行特征提取;接着,设计了上下文Transformer对得到的特征图进行全局关联的深层特征提取,并使用金字塔池化模块进行去噪处理;最后,通过瓶颈结构的卷积网络输出得到增强后的图像。在多个主流数据集（LOL,LIME,DICM等）上的对比实验结果表明,与目前已有的主流工作相比,论文所提方法的结果不仅在主观视觉上有更好的视觉效果,更加符合人眼的视觉特点;而且在各种定量客观评价指标上也有良好的表现,尤其在PSNR和SSIM两个指标上有明显的提升。