多尺度残差反馈融合网络的单幅图像超分辨率重建

单幅超分辨率重建可以根据一张或多张低分辨率图像生成高分辨率图像。本文提出了一种基于神经卷积网络的单幅图像超分辨率重建算法,以恢复信息丰富的高分辨率图像。该网络由一系列具有低分辨率图像特征的递归密集连接和级联,能够生成强大的特征表示,并充分捕捉多尺度上下文信息。此外,本文设计了一种多级特征融合模块,不仅可以减少深层学习过程中损失的空间信息,还能有效缓解图像伪影问题。通过在Set5等常用数据集上的对比实验结果表明,本文算法均优于同类算法。     

基于渐进式特征增强网络的超分辨率重建算法

为了在图像重建质量和网络参数之间取得较好的平衡,本文提出一种基于渐进式特征增强网络的超分辨率（Super-Resolution,SR）重建算法。该方法主要包含两个模块:浅层信息增强模块和深层信息增强模块。在浅层信息增强模块中,首先利用单层卷积层提取低分辨率（Low-Resolution,LR）图像的浅层信息,再通过我们设计的多尺度注意力块来实现特征的提取和增强。深层信息增强模块先利用残差学习块学习图像的深度信息,然后将得到的深层信息通过设计的多尺度注意力块来获得增强后的深层多尺度信息。最后我们利用跳转连接的方式将首层得到的浅层信息和深层多尺度信息进行像素级相加得到融合特征图,再对其进行上采样操作,得到最终的高分辨率（High-Resolution, HR）图像。实验结果表明,相比于一些主流的深度学习超分辨率方法,本文方法重建得到的图像无论是主观效果还是客观指标,都取得了更好的效果。      

基于多尺度与残差网络的图像超分辨率重建

针对目前图像超分辨率重建算法在提取图像信息时过于单一地累加卷积层导致的深层网络梯度消失和图像信息丢失的问题,提出了一种基于多尺度与残差网络的图像超分辨率重建算法。该算法使用多尺度密集连接的卷积核代替单一累加的卷积核,充分提取输入低分辨率图像信息并实现通道特征维度的复用;利用残差网络,多层次地对丢失图像信息进行补充并对深层网络模型的梯度问题实现了抑制,在反向传播的过程中帮助全网络模型自适应地完成对权重更新;最后以非线性映射的方式输出最终重建图像。实验表明,所提算法在测试集上的峰值信噪比和结构相似性与对比算法相比均有所提升;在与目前主流算法对比中获得了细节信息更加丰富、边缘纹理更加清晰的重建图像。     

多级跳线连接的深度残差网络超分辨率重建

由于快速的卷积神经网络超分辨率重建算法(FSRCNN)卷积层数少、相邻卷积层的特征信息之间缺乏关联性,因此难以提取到图像深层信息导致图像超分辨率重建效果不佳。针对此问题,该文提出多级跳线连接的深度残差网络超分辨率重建方法。首先,该方法设计了多级跳线连接的残差块,在多级跳线连接的残差块基础上构造了多级跳线连接的深度残差网络,解决相邻卷积层的特性信息缺乏关联性的问题;然后,使用随机梯度下降法(SGD)以可调节的学习率策略对多级跳线连接的深度残差网络进行训练,得到该网络超分辨率重建模型;最后,将低分辨率图像输入到多级跳线连接的深度残差网络超分辨率重建模型中,通过多级跳线连接的残差块得到预测的残差特征值,再将残差图像和低分辨率图像组合在一起转化为高分辨率图像。该文方法与bicubic, A+, SRCNN, FSRCNN和ESPCN算法在Set5和Set14测试集上进行了对比测试,在视觉效果和评价指标数值上该方法都优于其它对比算法。     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

融合空间和角度特征的光场图像超分辨率方法

针对光场图像空间分辨率不足的问题,提出一种融合空间和角度特征的光场图像超分辨率方法,能够同时超分辨率所有子孔径图像。算法主要由特征提取模块、特征融合模块和重建模块组成。首先,通过特征提取模块提取低分辨率光场中每个视图的2D空间纹理特征;然后,采用特征融合模块将提取到的空间纹理特征和几何角度特征进行融合,并经过多层空间角度二维卷积后得到4D光场结构特征;最后,利用重建模块将融合后的光场特征信息进行上采样,重建出高分辨率的光场子孔径图像阵列。采用4组真实/合成光场图像数据集进行测试,结果表明,与现有五种方法相比,所提方法重建图像的平均峰值信噪比、结构相似性比次优算法分别提高了2.99 dB和0.11%,图像边缘轮廓清晰。在有效提升光场图像空间分辨率的同时,所用网络参数量少、计算效率高。     

基于混合残差密集网络的电路板红外图像超分重建北大核心CSCD

红外图像普遍存在分辨率低、细节模糊和视觉效果差的问题,使其难于直接应用在PCB故障诊断系统中。针对这一问题,本文提出了一种可充分利用红外图像层次特征的混合残差密集网络超分辨率重建算法。首先,使用卷积神经网络提取原始低分辨率图像的浅层特征信息;其次,设计多路径混合残差密集连接块,进一步提取更丰富的深层特征信息;最后,引入全局特征融合与残差学习自适应的学习并整合全局特征信息,应用转置卷积上采样完成红外图像的超分辨率重建。实验结果表明,本文算法能够有效提高重建后红外图像分辨率,使细节信息得到改善、视觉效果得到提升。基于公共/自建数据集得到的重建后图像峰值信噪比和结构相似性指标分别达到42.17 dB/39.32 dB和0.9503/0.9466,优于文中列举的双三次内插法、SRCNN和ESPCN模型,重建性能得到明显提高。     

基于改进增强型超分辨率生成对抗网络的图像超分辨率重建算法

针对现有的图像超分辨率重建算法仍存在细节上处理不足的问题,提出一种基于改进增强型超分辨率生成对抗网络(ESRGAN)的图像超分辨率重建算法.首先,使用多尺度密集连接模块(MDB)代替密集连接模块(DB),并且在MDB后添加通道注意力机制,以调整不同通道的特征响应值,从而改进了ESRGAN的生成网络模型中的深层信息提取模...     

基于注意力机制的多尺度融合图像超分辨率重建

针对图像超分辨率重建算法在信息恢复过程中存在特征提取不充分、重建高频细节能力不足等问题,在SRGAN的基础上提出了一种基于注意力机制的多尺度融合图像超分辨率重建算法(SRGAN-MCA)。首先,构建了一种基于坐标注意力机制的多尺度密集残差注意力模块来提取不同尺度的特征信息,以解决图像超分辨率重建非线性映射过程中特征提取不充分的问题;其次,通过在网络判别器中嵌入谱归一化来约束判别器的Lipschitz常数,以增强网络训练的稳定性;最后添加了Charbonnier损失函数对SRGAN-MCA进行训练优化,以实现更高质量重建。在Set5、Set14、BSD100数据集上的实验结果表明,与SRGAN相比,2倍和4倍放大重建图像的峰值信噪比(PSNR)平均提高了0.35 dB、0.47 dB,结构相似性(SSIM)平均提高了0.005 4、0.016。     

融合内外特征的图像超分辨率算法

针对单一先验知识不足以约束病态严重的图像超分辨率问题,本文提出了融合内外特征的图像超分辨率算法。针对图像的自相似性,通过采用基于内部特征的深度卷积网络学习来增强输入图像的细节纹理,去除超分辨率图像伪影;同时,使用基于外部图像的稀疏约束方法来学习图像结构信息,并结合高频残差字典来解决超分辨率重建中的高频信息缺失问题;最后通过卷积稀疏方法分别从基础层和细节层来融合内外特征的重建图像,以获得细节清晰、去伪影的超分辨率图像,进一步提高图像质量。与传统算法相比,本文算法在重建图像的纹理特征和质量上都得到了增强,且视觉效果与峰值信噪比较传统算法有所改善。     

基于多尺度残差网络的CT图像超分辨率重建

为了将超分辨率重建算法应用于医学影像领域,提升各类医学影像的分辨率,针对当前主流算法网络结构和分辨率提升倍数的尺度单一性问题,提出了一种应用于CT图像的多尺度残差网络模型。首先,通过级联多层残差块构建模型框架,残差块内采用3种尺度的卷积核提取低分辨率图像的细节特征。然后,将特征图融合在一个维度进行特征映射和数据降维,并将多尺度特征信息导入下一残差块。最后,将网络学习到的残差图与低分辨率图像融合,重建高分辨率图像。采用经过多种放大倍数处理的CT图像对网络进行混合训练,实现了一个模型可以同时支持多种倍数的分辨率提升。实验结果表明:在2,3,4倍放大因子下,该模型重建的CT图像PSNR平均较VDSR算法高0.87,0.83,1.16dB。因此,本文模型有效提升了CT图像的超分辨率重建效果,更锐利地恢复了其细节特征,同时大大提升了算法实用性。     

基于多尺度特征聚合的图像超分辨率重建

针对图像超分辨率重建过程中,存在提取特征信息单一、图像细节缺失的问题,提出了一种新的生成式对抗网络(DAMFA-GAN),以获得更加逼真和自然的重建图像。在生成器方面,设计融合动态注意力机制的多尺度特征聚合模块(DAMFA)以获取低分辨率图像中每个上采样特征的多尺度高频信息,提高重建图像的质量;在判别器方面,设计ConvTrans Encoder模块以增强特征信息提取能力,提高判别的准确率。在Set5、Set14、BSD100和Urban100数据集上的实验结果表明,DAMFA-GAN在峰值信噪比(PSNR)和结构相似性(SSIM)上较于SRGAN分别平均提高了0.50 dB、0.015 2。同时,超分辨率重建图像的高频细节和视觉效果也得到了明显改善。     

基于增强多尺度特征网络的图像去模糊

现有的多尺度多阶段图像去模糊方法存在多尺度图像特征提取利用不充分和阶段加深导致特征信息丢失的问题。针对上述问题,提出了一种基于增强多尺度特征网络的图像去模糊方法。首先,提出一个多尺度残差特征提取模块,在两个分支中使用不同大小的卷积核扩大感受野,充分提取不同分辨率大小图像的特征信息。其次,提出跨阶段注意力模块,过滤和传递图像的关键特征。最后,设计类似于跳跃连接的跨阶段特征融合模块,弥补特征损失,同时融合来自不同大小输入图像的特征信息,丰富空间特征信息,以更好地处理纹理细节。在GoPro和HIDE数据集上的实验结果表明,所提方法能够很好地重建图像。     

残差注意力聚合对偶回归网络超分辨率计算机断层扫描重建

为了改善计算机断层扫描（CT）影像重建质量不高的问题，提出一种基于残差注意力聚合对偶回归网络（RAADRNet）的超分辨率CT重建方法。多特征下采样提取模块（MFDEB）通过平均池化、最大池化和卷积运算完成多特征下采样提取，在多特征融合后嵌入通道学习注意力（CLA）和空间学习注意力（SLA），同时并入前级融合特征提取图像的浅层特征。CLA、SLA分别引入通道权重特征学习以及激活函数1+tanh（）完成特征提取。残差注意力聚合模块（RAAB）通过CLA嵌入残差网络构成的残差通道学习注意力模块（RCLAB）与SLA构成的空间特征融合模块（SFFB）联合提取图像的深层特征。原始网络在浅层特征与通过亚像素卷积放大的深层特征进行特征融合后完成重建。对偶网络进一步约束重建映射函数的解空间。实验表明，所提算法在重建图像的峰值信噪比（PSNR）和结构相似度（SSIM）上都得到了较好的提升。     

聚合残差注意力网络的单图像超分辨率重建

针对现有生成式对抗网络对单图像进行超分辨率重建时存在特征信息挖掘不足、算法复杂度高及训练不稳定的问题，提出一种聚合残差注意力网络的单图像超分辨率重建方法。首先，以聚合残差模块作为基本残差块构造生成器，降低计算复杂度，在每个残差块中引入具有三维权重的注意力模块作为网络主通道，在不引入其他参数情况下捕获更多的高频信息。其次，在鉴别器中采用谱归一化处理，对鉴别器网络参数进行限制，从而稳定训练过程。最后，采用拟合性更好的Swish激活函数，提高网络的特征提取能力。将鲁棒性更好的Charbonnier损失函数作为像素损失，同时加入正则化损失抑制图像噪点，提升图像的空间平滑性。实验结果表明，所提方法得到的四倍放大的超分辨率重建图像在Set5、Set14、BSD100三个公开数据集上的峰值信噪比平均值提高了1.54 dB，结构相似性平均值提高了0.0457，重建图像拥有更好的清晰度和更为丰富的高频细节。     

基于特征融合的低剂量CT图像降噪方法

近年来低剂量CT(Low Dose CT, LDCT)被广泛应用于临床诊断中,但LDCT会产生不规则的噪声。已有的降噪方法往往缺乏对全局特征信息的考虑,以及不注重边缘特征信息和重建图像的视觉效果。为此,提出了一种基于特征融合的低剂量CT图像降噪方法。首先,利用Transformer优异的全局感受野提取图像的全局特征信息,并利用卷积神经网络（Convolutional Neural Network, CNN）良好的局部特征提取能力提取图像的局部特征信息。在Transformer模块中加入维度变换思想,以更好地抑制噪声;在CNN模块中使用稠密连接的方式将浅层网络的特征信息复用于深层网络中,以此保存更多的特征信息。其次,为了获取更加丰富的图像细节特征,使用了改进的索伯边缘增强算子来加强模型对边缘特征信息的提取能力。最后,将Transformer模块和CNN模块获取的特征信息进行融合并输出重建图像。此外,为了使降噪重建后的图像有更好的质量和视觉效果,设计了一个多尺度复合损失函数。实验表明：在AAPM-Mayo数据集的降噪实验中,与当前主流的LDCT图像降噪方法相比,本文方法取得了更好的降噪效果...     

基于多特征门控反馈残差网络的超分辨率图像重建算法

针对超分辨率重建领域中低分辨率图像特征利用不充分的问题,文中基于反馈机制与注意力机制,提出了一种多特征门控反馈残差网络。该网络模型结构简单,以循环的方式实现了网络参数复用,可以有效地节省计算资源。此外,对网络迭代中的输出特征进行保留也可实现多特征融合。采用进一步的特征精炼模块将重建后的高分辨率图像特征进行特征提取,得到了更好的重建效果。在5种测试数据集上的实验结果表明,当缩放因子为4时,该网络的峰值信噪比分别为32.50 dB、28.83 dB、27.75 dB、26.65 dB和31.12 dB。与对比网络相比,文中所提算法的测试结果显著提升。     

基于残差网络的光学遥感图像场景分类算法

提出一种基于卷积神经网络中残差网络的遥感图像场景分类方法.本文方法在原网络模型中嵌入了跳跃连接和协方差池化两个模块,用于连接多分辨率特征映射和融合不同层次的多分辨率特征信息,并在3个公开的经典遥感数据集上进行了实验.结果证明,本文方法不仅可以将残差网络中不同层次的多分辨率特征信息融合在一起,还可以利用高阶信息来实现更具...     

基于门控卷积神经网络的图像超分辨重建算法北大核心CSCD

近年来,卷积神经网络被广泛应用于图像超分辨率领域。针对基于卷积神经网络的超分辨率算法存在图像特征提取不充分,参数量大和训练难度大等问题,本文提出了一种基于门控卷积神经网络(gated convolutional neural network, GCNN)的轻量级图像超分辨率重建算法。首先,通过卷积操作对原始低分辨率图像进行浅层特征提取。之后,通过门控残差块(gated residual block, GRB)和长短残差连接充分提取图像特征,其高效的结构也能加速网络训练过程。GRB中的门控单元(gated unit, GU)使用区域自注意力机制提取输入特征图中的每个特征点权值,紧接着将门控权值与输入特征逐元素相乘作为GU输出。最后,使用亚像素卷积和卷积模块重建出高分辨率图像。在Set14、BSD100、Urban100和Manga109数据集上进行实验,并和经典方法进行对比,本文算法有更高的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM),重建出的图像有更清晰的轮廓边缘和细节信息。     

基于多尺度特征蒸馏的轻量化图像超分辨率网络研究

大多数轻量化图像超分辨率网络采用信息蒸馏的方式进行低分辨率图像特征提取。尽管它们取得了不错的超分辨率图像重建结果,但是信息蒸馏的方式忽略了对图像内容尺度变化的建模,导致网络在处理有明显尺度变化内容时性能下降。为了解决上述问题,本文提出了一种基于级联尺度蒸馏的轻量化图像超分辨率网络（MSDNet）,并在常用的图像超分辨率数据集上进行了大量实验。定量与定性的实验结果表明了MSDNet的有效性。