融合多尺度信息和混合注意力的遥感图像重建

针对使用单一尺寸的卷积核重建遥感图像效果较差的问题,提出了融合多尺度信息和混合注意力的遥感图像重建模型。模型使用两种不同的多尺度特征提取块,能有效提取不同感受野下的特征图中的高频和低频特征,并通过混合注意力机制自适应地调整多尺度特征的权重,利用重建模块重建高清遥感图像。在放大因子为2时,在NWPU-RESISC45和UCMerced-LandUse两个测试集上得到的PSNR(峰值信噪比)和SSIM(结构相似性)分别为37.720 4 dB、37.999 6 dB和0.962 1、0.965 4,均优于DSSR、IRN和MPSR等先进的遥感图像超分辨率重建的模型,证明了所设计模型的有效性和鲁棒性。     

结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法

针对图像超分辨率重建模型需要大量参数去捕获低分辨率（LR）图像和高分辨率（HR）图像之间的统计关系,以及使用L₁或L₂损失优化的网络模型不能有效恢复图像高频细节等问题,提出一种结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法。该方法基于由粗到细的思想,设计了一种两阶段的网络模型。第一阶段通过卷积神经网络（CNN）提取图像特征,并将图像特征上采样至HR大小,得到粗糙特征;第二阶段使用多尺度估计将低维统计模型逐步逼近高维统计模型,将第一阶段输出的粗糙特征作为输入来提取图像多尺度特征,并通过注意力融合模块逐步融合不同尺度特征,以精细化第一阶段提取的特征。同时,该方法引入一种更丰富的卷积特征用于边缘检测,并将其作为感知边缘约束来优化网络,以更好地恢复图像高频细节。在Set5、Set14和BSDS100等基准数据集上进行实验,结果表明与现有的基于CNN的超分辨率重建方法相比,该方法不但能够重建出更为清晰的边缘和纹理,而且在×3和×4放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）都取得了一定的提升。     

结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法

针对图像超分辨率重建模型需要大量参数去捕获低分辨率（LR）图像和高分辨率（HR）图像之间的统计关系，以及使用L₁或L₂损失优化的网络模型不能有效恢复图像高频细节等问题，提出一种结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法。该方法基于由粗到细的思想，设计了一种两阶段的网络模型。第一阶段通过卷积神经网络（CNN）提取图像特征，并将图像特征上采样至HR大小，得到粗糙特征；第二阶段使用多尺度估计将低维统计模型逐步逼近高维统计模型，将第一阶段输出的粗糙特征作为输入来提取图像多尺度特征，并通过注意力融合模块逐步融合不同尺度特征，以精细化第一阶段提取的特征。同时，该方法引入一种更丰富的卷积特征用于边缘检测，并将其作为感知边缘约束来优化网络，以更好地恢复图像高频细节。在Set5、Set14和BSDS100等基准数据集上进行实验，结果表明与现有的基于CNN的超分辨率重建方法相比，该方法不但能够重建出更为清晰的边缘和纹理，而且在×3和×4放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）都取得了一定的提升。     

基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

结合整体注意力与分形稠密特征的图像超分辨率重建

现有单图像超分辨率模型普遍基于卷积神经网络且使用单一尺度的卷积核提取特征信息,容易造成细节信息遗漏并降低网络表征能力。为有效提取高频信息同时提高图像重建性能,提出一种基于整体注意力机制与分形稠密特征增强的图像超分辨率重建模型。在特征增强过程中,级联9个分形稠密特征增强模块,每个模块通过4条分支路径提取和融合多尺度特征,并引入局部稠密跳跃连接传递信息以获取更丰富的细节信息。引入整体注意力机制,从3个维度出发建立特征图之间的关联关系,通过对不同通道、空间和层次的特征进行加权和选择性聚合为特征图分配不同的权重,从而提高模型判别学习能力。在Set5、Set14、BSDS100和Urban100数据集上的实验结果表明,该模型可有效重建纹理细节更丰富的高分辨率图像,重建图像在主观视觉效果与客观评价指标上均优于同类模型,且在图像放大3倍时,峰值信噪比和结构相似性指标最高比MSRN模型提升了0.57 dB和0.007。     

残差卷积注意网络的图像超分辨率重建

针对极深神经网络图像超分辨率重建过程中,存在图像特征提取少、信息利用率低,平等处理高、低频信息通道的问题,提出了残差卷积注意网络的图像超分辨率重建算法。构造多尺度残差注意块,最大限度地提高网络提取到多尺寸特征信息,引入通道注意力机制,增强高频信息通道的表征能力。引入卷积注意块的特征提取结构,减少高频图像细节信息的丢失。在网络的重建层,引入全局跳远连接结构,进一步丰富重建的高分辨率图像信息的流动。实验结果表明,所提算法在Set5等基准数据集上的PSNR、SSIM比其他基于深度卷积神经网络的方法均明显提升,验证了提出方法的有效性与先进性。     

基于注意力机制与特征融合的图像超分辨率重建

目前多数利用卷积神经网络进行图像超分辨率重建的方法忽视对自然图像固有属性的捕捉,并且仅在单一尺度下提取特征。针对该问题,提出一种基于注意力机制和多尺度特征融合的网络结构。利用注意力机制融合图像的非局部信息和二阶特征,提高网络的特征表达能力,同时使用不同尺度的卷积核提取图像的不同尺度信息,以保存多尺度完整的信息特征。实验结果表明,该方法重建图像的客观评价指标和视觉效果均优于Bicubic、SRCNN、SCN和LapSRN方法。     

基于多尺度特征提取和坐标注意力的光学遥感图像超分辨率重建

本文针对现有光学遥感图像超分辨率重建模型对感受野尺度关注不足和对特征通道信息提取不充分带来的问题, 提出了一种基于多尺度特征提取和坐标注意力的光学遥感图像超分辨率重建模型. 该重建模型基于深度残差网络结构, 在网络的高频分支中设计了多个级联的多尺度特征和坐标注意力模块 (multi-scale feature & coordinate attention block, MFCAB), 对输入的低分辨率光学遥感图像的高频特征进行充分发掘: 首先, 在MFCAB模块中引入Inception子模块, 使用不同尺度的卷积核捕捉不同感受野下的空间特征; 其次, 在Inception子模块后增加坐标注意力子模块, 同时关注通道与坐标两个维度, 以获得更好的通道注意力效果; 最后, 对各MFCAB模块提取的特征进行多路径融合, 实现多重多尺度空间信息与通道注意信息的有效融合. 本文模型在NWPU4500数据集上2倍、3倍放大中PSNR值达到34.73 dB和30.12 dB, 较EDSR分别提升0.66 dB和0.01 dB, 在AID1600数据集上2倍、3倍、4倍放大中PSNR值达到34.71 dB、30.58 dB、28.44 dB, 较EDSR分别提升0.09 dB、0.03 dB、0.04 dB. 实验结果表明, 该模型在光学遥感图像数据集上的重建效果优于主流的图像超分辨率重建模型.     

基于特征图注意力机制的图像超分辨率重建

图像超分辨率重建中的高频分量通常包含较多轮廓、纹理等细节信息,为更好地处理特征图中的高频分量与低频分量,实现自适应调整信道特征,提出一种基于特征图注意力机制的图像超分辨重建网络模型。利用特征提取块提取原始低分辨率图像中的特征信息,基于多个结合特征图注意力机制的信息提取块,通过特征信道之间的相互依赖性自适应调整信道特征,以恢复更多细节信息。在此基础上利用重建模块重建出不同尺度的高分辨率图像。在Set5数据集上的实验结果表明,与基于双三次插值的重建模型相比,该模型能够有效提升图像的视觉效果,且峰值信噪比与结构相似度分别提高了3.92 dB和0.056。     

多尺度特征复用混合注意力网络的图像重建

目的 针对以往基于深度学习的图像超分辨率重建方法单纯加深网络、上采样信息损失和高频信息重建困难等问题,提出一种基于多尺度特征复用混合注意力网络模型用于图像的超分辨率重建。方法 网络主要由预处理模块、多尺度特征复用混合注意力模块、上采样模块、补偿重建模块和重建模块5部分组成。第1部分是预处理模块,该模块使用一个卷积层来提取浅层特征和扩张特征图的通道数。第2部分是多尺度特征复用混合注意力模块,该模块加入了多路网路、混合注意力机制和长短跳连接,以此来进一步扩大特征图的感受野、提高多尺度特征的复用和加强高频信息的重建。第3部分是上采样模块,该模块使用亚像素方法将特征图上采样到目标图像尺寸。第4部分是补偿重建模块,该模块由卷积层和混合注意力机制组成,用来对经过上采样的特征图进行特征补偿和稳定模型训练。第5部分是重建模块,该模块由一个卷积层组成,用来将特征图的通道数恢复至原来数量,以此得到重建后的高分辨率图像。结果 在同等规模模型的比较中,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似度（structural similarity index measure,SSIM）作为评价指标来评价算法性能,在Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100的基准测试集上进行测试。当缩放尺度因子为3时,各测试集上的PSNR/SSIM依次为34.40 dB/0.927 3,30.35 dB/0.842 7,29.11 dB/0.805 2和28.23 dB/0.854 0,相比其他模型有一定提升。结论 量化和视觉的实验结果表明,本文模型重建得到的高分辨率图像不仅在重建边缘和纹理信息有很好的改善,而且在PSNR和SSIM客观评价指标上也有一定的提高。     

基于多层次特征提取的轻量级超分辨率重建算法

针对目前基于深度学习的超分辨率算法特征提取较为单一、结构复杂且参数庞大的问题,提出了一种基于多层次特征提取的轻量级超分辨率重建算法。该算法采用了多层次特征提取的方式,首先提取图像的浅层特征;其次,使用包含多个并行卷积的深层特征提取模块提取图像的深层特征。设计了一种带学习权重的多尺度特征融合重建模块,以充分利用提取出的多层次信息重建图像。实验结果表明,其重建图像的峰值信噪比和结构相似性在多数情况下领先于目前主流算法;与对比算法相比,在参数量和运算时间上均保持领先,证明了网络的轻量化特性。     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。     

多尺度半耦合卷积稀疏编码的遥感影像超分辨率重建

传统的卷积稀疏编码超分辨率方法在特征空间转换时仅引入线性投影关系,且在特征图的学习中未能考虑局部细节信息,使重建结果在边缘和细节方面不尽如人意.为此,将卷积稀疏编码理论引入遥感影像的超分辨重建框架中,提出ー种多尺度半耦合卷积稀疏编码的超分辨率重建方法.首先对输入影像进行多尺度分解,提取出平滑分量和多个尺度的纹理分量,并...     

基于空洞卷积的医学图像超分辨率重建算法

为解决现有医学图像超分辨率重建中存在的图像细节模糊、全局信息利用不充分等问题,提出一种基于空洞卷积与改进的混合注意力机制的医学图像超分辨率重建算法。首先,将深度可分离卷积与空洞卷积相结合,使用不同大小的感受野对图像进行不同尺度的特征提取,从而增强特征表达能力;其次,引入边缘通道注意力机制,在提取图像高频特征的同时融合边缘信息,从而提高模型的重建精度;再次,混合L1损失与感知损失函数作为整体损失函数,使重建后的图像效果更符合人类视觉感观。实验结果表明,在放大因子为3时,与基于卷积神经网络的图像超分辨率（SRCNN）算法、VDSR(Very Deep convolutional networks Super-Resolution)相比,所提算法的峰值信噪比（PSNR）平均提高了11.29%与7.85%;结构相似性（SSIM）平均提高了5.25%和2.44%。可见,所提算法能增强医学图像的效果与纹理特征,且对图像整体结构还原更加完整。     

基于双并行残差网络的遥感图像超分辨率重建

当面对目标地物尺寸差异性较大、复杂性较高的遥感图像时,图像超分辨率重建算法的重建效果较差.因此,文中提出双并行轻量级残差注意力网络,提高遥感图像重建效果.首先,提出多尺度浅层特征提取块,融合不同感受野的特征信息,解决遥感图像目标地物尺寸差异较大的问题.再设计基于非对称卷积和注意力机制的轻量级残差注意力块,既降低参数规模,又获取更多高频信息.然后,设计含有不同卷积核的并行网络框架,用于融合不同尺度的感受野.此外,多个残差块中使用跳跃连接融合不同阶段特征,增加信息复用性.最后,通过对比实验验证文中网络在遥感图像上具有较优的重建效果.     

基于优化卷积神经网络的图像超分辨率重建

传统的图像超分辨率重建方法由于其计算局限性,无法对大批量或者模糊因子不同的图像做最优处理,也无法得出高分辨率图像。近年来随着深度学习神经网络越来越多被学者关注和青睐,其中卷积神经网络被成功应用于图像超分辨率重建。但是传统的图像超分辨率卷积神经网络,无论在训练速度,泛化能力,还是生成图像质量等方面仍存在问题。针对上述问题,对图像超分辨率重建的原理进行研究,对SRCNN模型在多种训练通道下的超分辨率效果进行了实验,并提出了基于多层特征提取层的图像超分辨率重建模型,采用新的优化方法,验证了多种包含不同层数体征提取层的卷积神经网络模型。实验证明该方法在一定程度上优于SRCNN方法,能够有效加快网络整体的训练速度。     

基于自适应级联的注意力网络的超分辨率重建

深度卷积神经网络显著提升了单图像超分辨率的性能. 通常, 网络越深, 性能越好. 然而加深网络往往会急剧增加参数量和计算负荷, 限制了在资源受限的移动设备上的应用. 提出一个基于轻量级自适应级联的注意力网络的单图像超分辨率方法. 特别地提出了局部像素级注意力模块, 给输入特征的每一个特征通道上的像素点都赋以不同的权值, 从而为重建高质量图像选取更精确的高频信息. 此外, 设计了自适应的级联残差连接, 可以自适应地结合网络产生的层次特征, 能够更好地进行特征重用. 最后, 为了充分利用网络产生的信息, 提出了多尺度全局自适应重建模块. 多尺度全局自适应重建模块使用不同大小的卷积核处理网络在不同深度处产生的信息, 提高了重建质量. 与当前最好的类似方法相比, 该方法的参数量更小, 客观和主观度量显著更好.     

矿井图像超分辨率重建研究

受井下粉尘大、照度低等环境影响,矿井图像存在分辨率低、细节模糊等问题,现有的图像超分辨率重建算法应用于矿井图像时,难以获取不同尺度图像信息、网络参数过大而影响重建速度,且重建图像易出现细节丢失、边缘轮廓模糊、伪影等问题。提出了一种基于多尺度密集通道注意力超分辨率生成对抗网络（SRGAN）的矿井图像超分辨率重建算法。设计了多尺度密集通道注意力残差块替代SRGAN原有的残差块,采用2路并行且卷积核大小不同的密集连接块,可充分获取图像特征;融入高效通道注意力模块,加强对高频信息的关注度;采用深度可分离卷积对网络进行轻量化,抑制网络参数的增加;利用纹理损失约束网络训练,避免网络加深时产生伪影。在井下数据集和公共数据集上对提出的矿井图像超分辨率重建算法和经典超分辨率重建算法BICUBIC,SRCNN,SRRESNET,SRGAN进行实验,结果表明：所提算法在主客观评价上总体优于对比算法,网络参数较SRGAN减少了2.54%,峰值信噪比与结构相似度较经典算法指标均值分别提高了0.764 dB和0.053 58,能更好地关注图像的纹理、轮廓等细节信息,重建图像更符合人眼视觉。     

高效多注意力特征融合的图像超分辨率重建算法

为改善图像质量,提升观测效果,针对现有超分辨率重建算法由于网络层数过深导致的信息丢失、参数量大的问题,提出一种高效多注意力特征融合的图像超分辨率重建算法(EMAFFN).该算法通过渐进式特征融合块(PFFB)逐步提取图像的特征信息,减少特征信息在深层次网络传递过程中的丢失,同时结合PFFB内部的高效多注意力块(EMAB)在通道和空间两个分支作用,自适应的对提取到的特征进行加权,使网络更多的关注高频信息,最后使用多尺度感受野块(RFB＿x)对提取到的特征进行增强、并多尺度融合特征来提升重建模块的性能.实验结果表明,EMAFFN在公共数据集Set5上的平均PSNR值最高达到37.93dB,SSIM达到0.9609,重建后的图像恢复了更多的高频信息,纹理细节丰富,更接近于原始图像.