残差注意力与多特征融合的图像去模糊

动态场景下的非均匀盲去模糊是一个极具挑战性的计算机视觉问题。虽然基于深度学习的去模糊算法已经取得很大进展,但仍存在去模糊不彻底和细节丢失等问题。针对这些问题,提出了一种基于残差注意力和多特征融合的去模糊网络。与现有的单分支网络结构不同,所提网络由两个独立的特征提取子网组成。主干网络采用基于U-Net结构的编码器-解码器网络来获取不同层级的图像特征,并使用残差注意力模块对特征进行筛选,从而自适应地学习图像的轮廓特征和空间结构特征。另外,为了补偿主干网络中下采样操作和上采样操作造成的信息损失,进一步利用具有大感受野的深层次加权残差密集子网来提取特征图的细节信息。最后,使用多特征融合模块逐步融合原分辨率模糊图像以及主干网络和加权残差密集子网生成的特征信息,使得网络能够以整体的方式自适应地学习更有效的特征来复原模糊图像。为了评估网络的去模糊效果,在基准数据集GoPro数据集和HIDE数据集上进行了测试,结果表明所提方法能够有效复原模糊图像。与现有方法相比,提出的去模糊算法在视觉效果上和客观评价指标上均取得了很好的去模糊效果。     

基于多注意力多尺度特征融合的图像描述生成算法

针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题，提出基于多注意力、多尺度特征融合的图像描述生成算法。该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征，将图像特征分层输入多注意力结构中，依次将多注意力结构与多层循环神经网络相连，构造出多层次的图像描述生成网络模型。在多层循环神经网络中加入残差连接来提高网络性能，并且可以有效避免因为网络加深导致的网络退化问题。在MSCOCO测试集中，所提算法的BLEU-1和CIDEr得分分别可以达到0.804及1.167，明显优于基于单一注意力结构的自上而下图像描述生成算法；通过人工观察对比可知，所提算法生成的图像描述可以表现出更好的图像细节。     

抽样切分卷积实现跨尺度特征融合及内镜图像去模糊

针对内镜图像去模糊过程中语义信息难以提取和细节纹理重建困难的问题,设计了一种新的抽样切分卷积,并将其应用于跨尺度特征融合过程中：通过等间隔抽样将大尺度特征无损切分成小尺度特征块,再与小尺度特征进行卷积融合。过程中大尺度特征的所有值都参与了特征融合,避免了细节信息的丢失;未对小尺度特征进行插值,避免了语义信息的模糊。为进一步实现特征互补,设计了特征交互融合模块,先用语义特征激活细节特征,再将两者融合。针对内镜图像亮通道、中间通道和暗通道的特征差异性设计了梯度重建和频域重建损失函数,提升了重建图像的锐度。在EAD和Kvasir-SEG数据集上,该算法的PSNR分别达到32.88 dB和33.01 dB,SSIM分别达到0.972和0.973。实验结果表明,该算法的性能优于主流去模糊算法,视觉上重建图像的纹理更清晰,且未产生伪影。     

多尺度深度特征融合的变化检测

目的 图像的变化检测是视觉领域的一个重要问题，传统的变化检测对光照变化、相机位姿差异过于敏感，使得在真实场景中检测结果较差。鉴于卷积神经网络（convolutional neural networks，CNN）可以提取图像中的深度语义特征，提出一种基于多尺度深度特征融合的变化检测模型，通过提取并融合图像的高级语义特征来克服检测噪音。方法 使用VGG（visual geometry group）16作为网络的基本模型，采用孪生网络结构，分别从参考图像和查询图像中提取不同网络层的深度特征。将两幅图像对应网络层的深度特征拼接后送入一个编码层，通过编码层逐步将高层与低层网络特征进行多尺度融合，充分结合高层的语义和低层的纹理特征，检测出准确的变化区域。使用卷积层对每一个编码层的特征进行运算产生对应尺度的预测结果。将不同尺度的预测结果融合得到进一步细化的检测结果。结果 与SC_SOBS（SC-self-organizing background subtraction）、SuBSENSE（self-balanced sensitivity segmenter）、FGCD（fine-grained change detection）和全卷积网络（fully convolutional network，FCN）4种检测方法进行对比。与性能第2的模型FCN相比，本文方法在VL_CMU_CD（visual localization of Carnegie Mellon University for change detection）数据集中，综合评价指标F1值和精度值分别提高了12.2%和24.4%；在PCD（panoramic change detection）数据集中，F1值和精度值分别提高了2.1%和17.7%；在CDnet（change detection net）数据集中，F1值和精度值分别提高了8.5%和5.8%。结论 本文提出的基于多尺度深度特征融合的变化检测方法，利用卷积神经网络的不同网络层特征，有效克服了光照和相机位姿差异，在不同数据集上均能得到较为鲁棒的变化检测结果。     

基于多尺度和注意力机制的红外与可见光图像融合

现有的红外与可见光图像融合算法通常从单一尺度提取图像特征,导致融合图像无法全面保留原始特征信息.针对上述问题,提出一种基于多尺度和注意力机制的自编码网络结构实现红外与可见光图像融合.首先,采用密集连接和多尺度注意力模块构建编码器网络,并引入自注意力机制增强像素间的依赖关系,充分提取红外图像的显著目标和可见光图像的细节纹理;然后,特征融合阶段采用基于通道与空间的联合注意融合网络,进一步融合图像典型特征;接着,设计基于像素、结构相似性和色彩的混合损失函数指导网络训练,进一步约束融合图像与源图像的相似性;最后,通过对比实验的主观和客观评价结果,验证所提出算法相比于其他代表性融合算法具有更优异的图像融合能力.     

多尺度分析的运动注意力计算

目的 由于光流估算的缺陷、噪声干扰以及现有运动注意力模型的局限性,导致运动注意力计算结果不能准确反映运动的显著性特征,制约了运动显著图的进一步应用。为提高运动注意力计算的准确性,提出一种基于时—空多尺度分析的运动注意力计算方法。方法 该方法根据视觉运动注意力来自于时—空运动反差的注意力形成机理构建运动注意力模型;通过时间尺度滤波去除噪声影响;鉴于视觉观测对尺度的依赖性,通过对视频帧的多尺度分解,在多个空间尺度进行运动注意力的计算,根据宏块像素值的相关系数大小对低尺度、中低尺度和原始尺度的运动注意力计算结果进行融合,得到最终的运动注意力显著图。结果 对多个视频测试序列的测试,测试结果表明,本文方法比同类方法更能真实有效地反映出视频场景中的运动显著性特征,大大提高了运动显著图的准确性。结论 为有效提高运动注意力计算不准确的问题,提出一种基于时—空多尺度分析的运动注意力计算方法,对于不同复杂视频运动场景,该方法能明显增强运动注意力计算的准确性,为视觉运动注意力的进一步应用奠定了良好基础。     

基于多尺度分析的运动注意力计算方法研究

由于光流估算的缺陷、噪声干扰以及现有运动注意力模型的局限性,导致运动注意力计算结果不能准确反映运动的显著性特征。本文提出了一种基于多尺度分析的运动注意力计算方法,该方法根据视觉注意力形成机理构建运动注意力模型;然后通过时间尺度滤波去除噪声影响;鉴于视觉观测对尺度的依赖性,进行空间多尺度动注意力融合,最终得到运动注意力计算结果。测试结果表明本文方法比同类方法更能真实有效地反映出视频场景中的运动显著性特征。     

基于跨尺度特征融合自注意力的图像描述方法

近年来,基于自注意力机制的编码器-解码器框架已经成为主流的图像描述模型。然而,编码器中的自注意力只建模低尺度特征的视觉关系,忽略了高尺度视觉特征中的一些有效信息,从而影响了生成描述的质量。针对该问题,文中提出了一种基于跨尺度特征融合自注意力的图像描述方法。该方法在进行自注意力运算时,将低尺度和高尺度的视觉特征进行跨尺度融合,从视觉角度上提高自注意力关注的范围,增加有效视觉信息,减少噪声,从而学习到更准确的视觉语义关系。在MS COCO数据集上的实验结果表明,所提方法能够更精确地捕获跨尺度视觉特征间的关系,生成更准确的描述。特别地,该方法是一种通用的方法,通过与其他基于自注意力的图像描述方法相结合,能进一步提高模型性能。     

深度多尺度融合注意力残差人脸表情识别网络

针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题,提出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network, DMFA-ResNet)。该模型基于ResNet-50残差网络,设计了新的注意力残差模块,由7个具有三条支路的注意残差学习单元构成,能够对输入图像进行并行多卷积操作,以获得多尺度特征,同时引入注意力机制,突出重点局部区域,有利于遮挡图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息,简化网络复杂度,在保证感受野的情况下减少计算量,实现网络抗过拟合效果。在3组数据集上的实验结果表明,本文提出的算法均优于对比的其他先进方法。     

注意力与多尺度有效融合的SSD目标检测算法

针对传统的SSD目标检测算法在进行多尺度目标检测时,存在特征图有效信息弱和困难目标漏检率大等问题,提出一种改进的SSD目标检测算法.首先,在网络特征图输出处引入即插即用的轻量级注意力机制,通过不降维、局部跨通道交互以及核大小自适应选择等操作,在保持网络原始计算量的同时有效突出特征图中关键信息.该模块有利于增强背景信息和...     

基于特征融合和注意力机制的图像超分辨率模型

现有的基于深度学习的单张图像超分辨率(single image super-resolution, SISR)模型通常是通过加深网络层数来提升模型的拟合能力,没有充分提取和复用特征,导致重建图像的质量较低。针对该问题,提出了基于特征融合和注意力机制的图像超分辨率模型。该模型在特征提取模块使用残差中嵌入残差(residual in residual, RIR)的结构,该网络的特征提取模块由包含多个残差块的残差组构成,并且在每个残差组内进行局部特征融合,在每个组之间进行全局特征融合。此外,在每一个残差块中引入坐标注意力模块,在每一个残差组中引入空间注意力模块。经验证,该模型能充分提取特征并且复用特征。实验最终结果表明,该模型在客观评价指标和主观视觉效果上都优于现有的模型。     

基于多尺度特征融合和残差注意力机制的目标检测

作为一个多任务的学习过程,目标检测相较于分类网络需要更好的特征.基于多尺度特征对不同尺度的目标进行预测的检测器性能已经大大超过了基于单一尺度特征的检测器.同时,特征金字塔结构被用于构建所有尺度的高级语义特征图,从而进一步提高了检测器的性能.但是,这样的特征图没有充分考虑到上下文信息对语义的补充作用.在SSD基准网络的基...     

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。     

基于深层特征融合的行人重识别方法

针对现有基于深度学习的行人重识别方法对于行人姿态变化、部分遮挡等引起的行人判别特征信息缺失的问题,提出了一种深层特征融合的行人重识别方法。首先,利用卷积层和池化层多次提取网络深层特征,从空间维度提升网络性能,使用融合后的深层特征作为行人图像的全局特征属性;其次,为提高模型的泛化能力,在深层融合特征后加入一个批量归一化层,同时采用标签平滑损失函数和三元组损失函数对模型进行联合训练。实验结果表明,所提的深层特征融合方法具有很好的表达能力。在Market1501、DukeMTMC-reID、CUHK03和MSMT17 4个数据集上对所提方法进行了验证,其中在Market1501数据集上,Rank-1值达到了95.0%,mAP达到了85.6%。     

基于多尺度空间注意力特征融合的人群计数网络

针对严重的尺度变化和遮挡导致在不同密集场景人群计数任务中性能差的问题,在密集场景识别网络(CSRNet)的基础上通过增加多尺度特征融合结构并引入空间注意力机制,提出了一种多尺度空间注意力特征融合网络(MAFNet).在MAFNet进行特征提取之前,需要对添加了人头标记的场景图进行高斯滤波生成真实密度图;此外,MAFNe...     

密集连接卷积网络图像去模糊

目的 非均匀盲去运动模糊是图像处理和计算机视觉中的基础课题之一。传统去模糊算法有处理模糊种类单一、耗费时间两大缺点,且一直未能有效解决。随着神经网络在图像生成领域的出色表现,本文把去运动模糊视为图像生成的一种特殊问题,提出一种基于神经网络的快速去模糊方法。方法 首先,将图像分类方向表现优异的密集连接卷积网络（dense connected convolutional network, DenseNets）应用到去模糊领域,该网络能充分利用中间层的有用信息。在损失函数方面,采用更符合去模糊目的的感知损失（perceptual loss）,保证生成图像和清晰图像在内容上的一致性。采用生成对抗网络（generative adversarial network,GAN）,使生成的图像在感官上与清晰图像更加接近。结果 通过测试生成图像相对于清晰图像的峰值信噪比 （peak signal to noise ratio,PSNR）,结构相似性 （structural similarity,SSIM）和复原时间来评价算法性能的优劣。相比DeblurGAN（blind motion deblurring using conditional adversarial networks）,本文算法在GOPRO测试集上的平均PSNR提高了0.91,复原时间缩短了0.32 s,能成功恢复出因运动模糊而丢失的细节信息。在Kohler数据集上的性能也优于当前主流算法,能够处理不同的模糊核,鲁棒性强。结论 本文算法网络结构简单,复原效果好,生成图像的速度也明显快于其他方法。同时,该算法鲁棒性强,适合处理各种因运动模糊而导致的图像退化问题。     

基于多尺度特征融合的土地利用分类算法

针对土地利用分类中高空间分辨率遥感图像已标注样本少和传感器高度变化导致地物形变等问题,提出一种基于多尺度特征融合的土地利用分类算法。通过对多个卷积层特征进行多尺度自适应融合,降低地物形变对分类精度造成的影响。为进一步提高分类精度,利用预训练网络提取的深度特征对多尺度特征融合部分和全连接层进行预训练,采用增广数据集对整个网络进行微调。实验结果表明,自适应融合方法改善了融合效果,有效提高了土地利用分类的精度。