区域级通道注意力融合高频损失的图像超分辨率重建

目的 通道注意力机制在图像超分辨率中已经得到了广泛应用,但是当前多数算法只能在通道层面选择感兴趣的特征图而忽略了空间层面的信息,使得特征图中局部空间层面上的信息不能合理利用。针对此问题,提出了区域级通道注意力下的图像超分辨率算法。方法 设计了非局部残差密集网络作为网络的主体结构,包括非局部模块和残差密集注意力模块。非局部模块提取非局部相似信息并传到后续网络中,残差密集注意力模块在残差密集块结构的基础上添加了区域级通道注意力机制,可以给不同空间区域上的通道分配不同的注意力,使空间上的信息也能得到充分利用。同时针对当前普遍使用的L1和L2损失函数容易造成生成结果平滑的问题,提出了高频关注损失,该损失函数提高了图像高频细节位置上损失的权重,从而在后期微调过程中使网络更好地关注到图像的高频细节部分。结果 在4个标准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100上进行4倍放大实验,相比较于插值方法和SRCNN（image super-resolution using deep convolutional networks）算法,本文方法的PSNR（peak signal to noise ratio）均值分别提升约3.15 dB和1.58 dB。结论 区域级通道注意力下的图像超分辨率算法通过使用区域级通道注意力机制自适应调整网络对不同空间区域上通道的关注程度,同时结合高频关注损失加强对图像高频细节部分的关注程度,使生成的高分辨率图像具有更好的视觉效果。     

双阶段信息蒸馏的轻量级图像超分辨率网络

目的 在图像超分辨率（super resolution,SR）任务中采用大尺寸的卷积神经网络（convolutional neural network,CNN）可以获得理想的性能,但是会引入大量参数,导致繁重的计算负担,并不适合很多计算资源受限的应用场景。为了解决上述问题,本文提出一种基于双阶段信息蒸馏的轻量级网络模型。方法 提出一个双阶段带特征补偿的信息蒸馏模块（two-stage feature-compensated information distillation block,TFIDB）。TFIDB采用双阶段、特征补偿的信息蒸馏机制,有选择地提炼关键特征,同时将不同级别的特征进行合并,不仅提高了特征提炼的效率,还能促进网络内信息的流动。同时,TFIDB引入通道关注（channel attention,CA）机制,将经过双阶段信息蒸馏机制提炼的特征进行重要性判别,增强对特征的表达能力。以TFIDB为基础构建模块,提出完整的轻量级网络模型。在提出的网络模型中,设计了信息融合单元（information fusion unit,IFU）。IFU将网络各层级的信息进行有效融合,为最后重建阶段提供准确、丰富的层级信息。结果 在5个基准测试集上,在放大倍数为2时,相较于知名的轻量级网络CARN （cascading residual network）,本文算法分别获得了0.29 dB、0.08 dB、0.08 dB、0.27 dB和0.42 dB的峰值信噪比（peak singal to noise ratio,PSNR）增益,且模型参数量和乘加运算量明显更少。结论 提出的双阶段带补偿的信息蒸馏机制可以有效提升网络模型的效率。将多个TFIDB进行级联,并辅以IFU模块构成的轻量级网络可以在模型尺寸和性能之间达到更好的平衡。     

通道与空间注意力图像超分辨率网络

单幅图像超分辨率（Single Image Super Resolution,SISR）在计算机视觉领域占有重要地位,该技术旨在从低分辨率图像中重建出高分辨率图像。近年来,深度神经网络在SISR领域起到了至关重要的作用,然而,目前利用卷积神经网络平等地对待高频与低频特征,使得高频细节的重建表现不佳,输出过于平滑,缺少纹理信息。另一方面,过于深的网络不容易收敛,并且随着神经网络的深度增长,来自前一层的长期信息很容易在后期层中减弱或丢失,使得重建收益不能正比于网络的深度与计算复杂度。针对以上问题,对用于SISR的卷积神经网络的基本块提出了空间注意力模块与通道注意力模块,在同一通道中,不同位置的信息被空间注意力模块赋予不同的权重,不同通道间的权重由通道注意力模块决定,这使得高频信息在重建任务中获得更高的地位,提高了重建指标。进一步地提出了长期特征调制模块将网络的层深度转化为块深度,大大缩小了网络深度,以解决前层长期信息的丢失问题。在Set5等多个基准数据集上的峰值信噪比（PSNR）均比目前其他基于深度卷积神经网络的方法有所提升,这证明了提出的方法的有效性与先进性。     

混合阶通道注意力网络的单图像超分辨率重建

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题，因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先，该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确，而且得到的模型相比之前的通道注意力模型更简单；同时，采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势，提高网络判别能力。在基准数据集上的实验结果表明，和现有的超分辨率算法相比，所提算法重建图像的纹理细节和高频信息能得到更好的恢复，且在Set5和BSD100数据集上感知指数（PI）分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力，一定程度上提升了性能。     

混合阶通道注意力网络的单图像超分辨率重建

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题,因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先,该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确,而且得到的模型相比之前的通道注意力模型更简单;同时,采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势,提高网络判别能力。在基准数据集上的实验结果表明,和现有的超分辨率算法相比,所提算法重建图像的纹理细节和高频信息能得到更好的恢复,且在Set5和BSD100数据集上感知指数（PI）分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力,一定程度上提升了性能。     

多层次融合注意力网络的双目图像超分辨率重建

目的 随着深度卷积神经网络广泛应用于双目立体图像超分辨率重建任务,双目图像之间的信息融合成为近年来的研究热点。针对目前的双目图像超分辨重建算法对单幅图像的内部信息学习较少的问题,提出多层次融合注意力网络的双目图像超分辨率重建算法,在立体匹配的基础上学习图像内部的丰富信息。方法 首先,利用特征提取模块从不同尺度和深度来获取左图和右图的低频特征。然后,将低频特征作为混合注意力模块的输入,此注意力模块先利用二阶通道非局部注意力模块学习每个图像内部的通道和空间特征,再采用视差注意力模块对左右特征图进行立体匹配。接着采用多层融合模块获取不同深度特征之间的相关信息,进一步指导产生高质量图像重建效果。再利用亚像素卷积对特征图进行上采样,并和低分辨率左图的放大特征相加得到重建特征。最后使用1层卷积得到重建后的高分辨率图像。结果 本文算法采用Flickr1024数据集的800幅图像和60幅经过2倍下采样的Middlebury图像作为训练集,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）作为指标。实验在3个...     

基于通道注意力和Transformer的图像标题生成方法

图像标题生成是指通过计算机将图像翻译成描述该图像的标题语句。针对现有图像标题生成任务中,未充分利用图像的局部和全局特征以及时间复杂度较高的问题,本文提出一种基于卷积神经网络（Convolution Neural Networks,CNN）和Transformer的混合结构图像标题生成模型。考虑卷积网络所具有的空间和通道特性,首先将轻量化高精度的注意力ECA与卷积网络CNN进行融合构成注意力残差块,用于从输入图像中提取视觉特征;然后将特征输入到序列模型Transformer中,在编码器端借助自注意学习来获得所参与的视觉表示,在语言解码器中捕获标题中的细粒度信息以及学习标题序列间的相互作用,进而结合视觉特征逐步得到图像所对应的标题描述。将模型在MSCOCO数据集上进行实验,BLEU-1、BLEU-3、BLEU-4、Meteor和CIDEr指标分别提高了0.3、0.5、0.7、0.4、1.6个百分点。     

基于多尺度融合CNN的图像超分辨率重建

针对FSRCNN模型中存在的特征提取不充分和反卷积带来的人工冗余信息的问题, 本文提出了一种基于多尺度融合卷积神经网络的图像超分辨率重建算法. 首先设计了一种多尺度融合的特征提取通道, 解决对图像不同尺寸信息利用不充分问题; 其次在图像重建部分, 采用子像素卷积进行上采样, 抑制反卷积层带来的人工冗余信息. 与FSRCNN模型相比, 在Set5和Set14数据集中, 2倍放大因子下的PSNR值和SSIM值平均提高了0.14 dB、0.001 0, 在3倍放大因子下平均提高0.48 dB、0.009 1. 实验结果表明, 本文算法可以更大程度的保留图像纹理细节, 提升图像整体重建效果.     

基于注意力机制的图像超分辨率重建

目前,单幅图像超分辨率重建取得了很好的效果,然而大多数模型都是通过增加网络层数来达到好的效果,并没有去发掘各通道之间的相关性.针对上述问题,提出了一种基于通道注意力机制(CA)和深度可分离卷积(DSC)的图像超分辨率重建方法.整个模型采用多路径模式的全局和局部残差学习,首先利用浅层特征提取块来提取输入图像的特征;然后,...     

融合CNN和Transformer的图像去噪网络

目前基于深度学习的图像去噪算法无法综合考虑局部和全局的特征信息, 进而影响细节处的图像去噪效果, 针对该问题, 提出了融合CNN和Transformer的图像去噪网络(hybrid CNN and Transformer image denoising network, HCT-Net). 首先, 提出CNN和Transformer耦合模块(CNN and Transformer coupling block, CTB), 构造融合卷积和通道自注意力的双分支结构, 缓解单纯依赖Transformer造成的高额计算开销, 同时动态分配注意力权重使网络关注重要图像特征. 其次, 设计自注意力增强卷积模块(self-attention enhanced convolution module, SAConv), 采用递进式组合模块和非线性变换, 减弱噪声信号干扰, 提升在复杂噪声水平下识别局部特征的能力. 在6个基准数据集上的实验结果表明, HCT-Net相比当前一些先进的去噪方法具有更好的特征感知能力, 能够抑制高频的噪声信号从而恢复图像的边缘和细节信息.     

基于深度残差反投影注意力网络的图像超分辨率

针对多数单帧图像超分辨率(single image super-resolution,SISR)重建方法存在的特征信息发掘不充分、特征图各通道之间的相互依赖关系难以确定以及重建高分辨率(high resolution,HR)图像时存在重构误差等问题,提出了基于深度残差反投影注意力网络的图像超分辨率(SR)算法。即利用残差学习的思想缓解训练难度和充分发掘图像的特征信息,并使用反投影学习机制学习高低分辨图像之间的相互依赖关系,此外引入了注意力机制动态分配各特征图以不同的注意力资源从而发掘更多的高频信息和学习特征图各通道之间的依赖关系。实验结果表明了所提方法相比于多数单帧图像超分辨率方法,不仅在客观指标方面得到了显著的提升,而且重建的预测图像也具有更加丰富的纹理信息。     

学习小波超分辨率系数的人脸超分算法

目前基于卷积神经网络的超分方法虽然在峰值信噪比和结构相似性评价指标上能取得优异的结果,但是得到的超分图像视觉质量较差,会丢失人脸五官区域的细节信息。针对这一现象,设计了一种新的深度神经网络来预测超分小波系数以获得信息丰富的超分辨率人脸图像,首先利用人脸图像的先验知识手动地给予五官区域更多的关注,然后在网络中引入线性低秩卷积运算,最后利用长距离依赖的思想补充超分图像的细节。实验验证该算法可以在获得较高的峰值信噪比和结构相似性的同时,使超分人脸图像五官区域更加清晰、视觉质量更优。     

基于像素对比学习的图像超分辨率算法

目前, 深度卷积神经网络(Convolutional neural network, CNN)已主导了单图像超分辨率(Single image super-resolution, SISR)技术的研究, 并取得了很大进展. 但是, SISR仍是一个开放性问题, 重建的超分辨率(Super-resolution, SR)图像往往会出现模糊、纹理细节丢失和失真等问题. 提出一个新的逐像素对比损失, 在一个局部区域中, 使SR图像的像素尽可能靠近对应的原高分辨率(High-resolution, HR)图像的像素, 并远离局部区域中的其他像素, 可改进SR图像的保真度和视觉质量. 提出一个组合对比损失的渐进残差特征融合网络(Progressive residual feature fusion network, PRFFN). 主要贡献有: 1)提出一个通用的基于对比学习的逐像素损失函数, 能够改进SR图像的保真度和视觉质量; 2)提出一个轻量的多尺度残差通道注意力块(Multi-scale residual channel attention block, MRCAB), 可以更好地提取和利用多尺度特征信息; 3)提出一个空间注意力融合块(Spatial attention fuse block, SAFB), 可以更好地利用邻近空间特征的相关性. 实验结果表明, PRFFN显著优于其他代表性方法.     

融合感知损失的生成式对抗超分辨率算法

目的 现有的基于深度学习的单帧图像超分辨率重建算法大多采用均方误差损失作为目标优化函数,以期获得较高的图像评价指标,然而重建出的图像高频信息丢失严重、纹理边缘模糊,难以满足主观视觉感受的需求。同时,现有的深度模型往往通过加深网络的方式来获得更好的重建效果,导致梯度消失问题的产生,训练难度增加。为了解决上述问题,本文提出融合感知损失的超分辨率重建算法,通过构建以生成对抗网络为主体框架的残差网络模型,提高了对低分率图像的特征重构能力,高度还原图像缺失的高频语义信息。方法 本文算法模型包含生成器子网络和判别器子网络两个模块。生成器模块主要由包含稠密残差块的特征金字塔构成,每个稠密残差块的卷积层滤波器大小均为3×3。通过递进式提取图像不同尺度的高频特征完成生成器模块的重建任务。判别器模块通过在多层前馈神经网络中引入微步幅卷积和全局平均池化,有效地学习到生成器重建图像的数据分布规律,进而判断生成图像的真实性,并将判别结果反馈给生成器。最后,算法对融合了感知损失的目标函数进行优化,完成网络参数的更新。结果 本文利用峰值信噪比（PSNR）和结构相似度（SSIM）两个指标作为客观评价标准,在Set5和Set14数据集上测得4倍重建后的峰值信噪比分别为31.72 dB和28.34 dB,结构相似度分别为0.892 4和0.785 6,与其他方法相比提升明显。结论 结合感知损失的生成式对抗超分辨率重建算法准确恢复了图像的纹理细节,能够重建出视觉上舒适的高分辨率图像。     

基于CNN与Transformer的医学图像分割

医学图像对疾病的诊断、治疗和评估均有所帮助,准确分割医学图像中的器官对于辅助医生的诊断具有重要的实际意义.由于医学图像中各器官部位与周围组织的图像对比度低,不同器官的边缘和形状也会存在很大差异,从而增加了分割的难度.针对这些问题,本文提出了一种基于卷积神经网络和Transformer的医学图像语义分割网络,有效提高了医学图像语义分割的精度.特征提取部分使用ResNet-50网络结构,在特征提取后使用Transformer模块来扩大感受野.在上采样过程中加入多个跳跃连接层,充分利用各阶段的特征提取信息,来恢复至与输入图像相近的分辨率.在胃肠道医学图像分割数据集上的实验结果证明本文的方法可以有效分割医学图像中的器官组织,提升分割准确率.     

多级特征交互Transformer的多器官图像分割

多器官医学图像分割有助于医生做出临床诊断. 针对CNN提取全局特征能力弱, Transformer提取局部特征能力弱, 以及Transformer具有二次方计算复杂度的问题, 提出了用于多器官医学图像分割的多级特征交互Transformer模型. 所提模型采用CNN提取局部特征, 局部特征经Swin Transformer输出全局特征; 通过下采样分别产生多级局部和全局特征, 每级局部和全局特征经过交互并增强; 每级增强后的特征经多级特征融合模块进行交叉融合; 再次融合后的特征经过上采样和分割头输出分割掩码. 所提模型在Synapse和ACDC数据集上进行实验, 平均DSC和平均HD95系数值为80.16%和19.20 mm, 均优于LGNet和RFE-UNet等代表性模型. 该模型对多器官医学图像分割是有效的.     

CNN和Transformer在细粒度图像识别中的应用综述

细粒度图像识别旨在从类别图像中辨别子类别。由于图像间只有细微差异,这使得识别任务具有挑战性。随着深度学习技术的不断进步,基于深度学习的方法定位局部和表示特征的能力越来越强,其中以卷积神经网络（CNN）和Transformer为基础的各类算法大大提高了细粒度图像识别精度,细粒度图像领域得到了显著发展。为了整理两类方法在细粒度图像识别领域的发展历程,对该领域近年来只运用类别标签的方法进行了综述。介绍了细粒度图像识别的概念,详细阐述了主流细粒度图像数据集;介绍了基于CNN和Transformer的细粒度图像识别方法及其性能;最后,总结了细粒度图像识别未来的研究方向。