轻量化逆可分离残差信息蒸馏网络的图像超分辨率重建

基于深度学习的图像超分辨率重建算法的性能需求导致急剧增加的参数量与高额的计算成本，这限制超分辨率重建在移动设备上的应用.针对此问题，文中提出轻量化逆可分离残差信息蒸馏网络的图像超分辨率重建算法.首先，设计渐进可分离蒸馏重洗模块，进行多重信息蒸馏，在提取多层次特征的同时保持模型轻量化，使用多个特征提取连接，学习更具区别性的特征表示，以便网络能从蒸馏中获得更多有益信息.然后，设计对比感知坐标注意力模块，充分利用通道感知与位置敏感信息，增强特征选择能力.最后，提出逐步补偿残差连接方式，提高浅层特征的利用率，补偿网络的纹理细节特征.实验表明，文中算法在模型复杂性与重建性能之间实现较好的均衡，重建的高分辨率图像主客观质量都很优秀.     

分层特征融合网络航拍图像超分辨率重建

基于深度学习的图像超分辨率网络模型复杂度高,特征利用率较低,尤其是应用在复杂拍摄环境中的图像超分辨率重建,由于特征损失严重,最终重建的效果也较差。针对以上问题,提出分层特征融合图像超分辨率网络。引入对称式的分层结构,以增强不同层次图像特征的融合;使用更为密集的残差连接结构,减少局部残差损失,同时缓解梯度消失和梯度爆炸问题;在每个残差块中加入注意力机制,增强网络对图像高频信息的敏感度。为了验证算法在复杂环境中的效果,将模型应用于高空航拍图像超分辨率重建中。实验结果表明,所提算法相比于EDSR算法,在14个不同航拍图像环境中,尤其是复杂场景下的重建,平均PSNR提高了0.31?dB,效果显著。     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

基于通道注意递归残差网络的图像超分辨率重建

近年来,深度学习被广泛应用于图像超分辨率重建。针对基于深度学习的超分辨率重建方法存在的特征提取不充分、细节丢失和梯度消失等问题,提出一种基于通道注意的递归残差深度神经网络模型,用于单幅图像的超分辨率重建。该模型采用残差嵌套网络和跳跃连接构成一种简洁的递归残差网络结构,能够加快深层网络的收敛,同时避免网络退化和梯度问题。在特征提取部分,引入注意力机制来提升网络的判别性学习能力,以提取到更准确、有效的深层残差特征;随后结合并行映射重建网络,最终实现超分辨率重建。在数据集Set5,Set14,B100和Urban100上进行放大2倍、3倍和4倍的重建测试实验,并从客观指标和主观视觉效果上将所提方法与主流方法进行比较。实验结果显示,所提方法在全部4个测试数据集上的客观指标较对比方法均有明显提升,其中,相比插值法和SRCNN算法,在放大2倍、3倍、4倍时所提方法的平均PSNR值分别提升了3.965 dB和1.56 dB、3.19dB和1.42 dB、2.79 dB和1.32 dB。视觉效果对比也表明所提方法能更好地恢复图像细节。     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

矿井图像超分辨率重建研究

受井下粉尘大、照度低等环境影响,矿井图像存在分辨率低、细节模糊等问题,现有的图像超分辨率重建算法应用于矿井图像时,难以获取不同尺度图像信息、网络参数过大而影响重建速度,且重建图像易出现细节丢失、边缘轮廓模糊、伪影等问题。提出了一种基于多尺度密集通道注意力超分辨率生成对抗网络（SRGAN）的矿井图像超分辨率重建算法。设计了多尺度密集通道注意力残差块替代SRGAN原有的残差块,采用2路并行且卷积核大小不同的密集连接块,可充分获取图像特征;融入高效通道注意力模块,加强对高频信息的关注度;采用深度可分离卷积对网络进行轻量化,抑制网络参数的增加;利用纹理损失约束网络训练,避免网络加深时产生伪影。在井下数据集和公共数据集上对提出的矿井图像超分辨率重建算法和经典超分辨率重建算法BICUBIC,SRCNN,SRRESNET,SRGAN进行实验,结果表明：所提算法在主客观评价上总体优于对比算法,网络参数较SRGAN减少了2.54%,峰值信噪比与结构相似度较经典算法指标均值分别提高了0.764 dB和0.053 58,能更好地关注图像的纹理、轮廓等细节信息,重建图像更符合人眼视觉。     

基于退化感知和序列残差的图像盲超分辨率重建

针对盲超分辨率重建中特征提取不准确且重建图像不够自然的问题,提出了一种基于退化感知和序列残差的图像盲超分辨率重建算法,设计了小残差组融合退化感知和序列残差相结合作为所提算法的主干网络,进一步构建了对称的增强型多尺度残差模块,并且在图像重建部分,将瓶颈注意力模块与像素重组上采样模块级联,强调图像的多维元素,最后进行了全局残差连接。实验表明,与当前代表性算法DASR相比,该算法在Set14×2上的PSNR和SSIM分别提高0.145 dB、0.001 4,在Set14×3/4上PSNR分别提高1.898 dB、0.252 dB,且在五个标准测试集上与几种当前流行的图像超分辨率算法相比取得了更好的性能。     

基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

基于感受野扩展残差注意力网络的图像超分辨率重建

针对现有残差网络存在残差特征利用不充分、细节丢失的问题,提出一种结合两层残差聚合结构和感受野扩展双注意力机制的深度神经网络模型,用于单幅图像超分辨率(SISR)重建。该模型通过跳跃连接形成两层嵌套的残差聚合网络结构,对网络各层提取的大量残差信息进行分层聚集和融合,能减少包含图像细节的残差信息的丢失。同时,设计一种多尺度感受野扩展模块,能捕获更大范围、不同尺度的上下文相关信息,促进深层残差特征的有效提取;并引入空间-通道双注意力机制,增强残差网络的判别性学习能力,提高重建图像质量。在数据集Set5、Set14、BSD100和Urban100上进行重建实验,并从客观指标和主观视觉效果上将所提模型与主流模型进行比较。客观评价结果表明,所提模型在全部4个测试数据集上均优于对比模型,其中,相较于经典的超分辨率卷积神经网络(SRCNN)模型和性能次优的对比模型ISRN(Iterative Super-Resolution Network),在放大2倍、3倍、4倍时的平均峰值信噪比(PSNR)分别提升1.91、1.71、1.61 dB和0.06、0.04、0.04 dB;视觉效果对比显示,所提模型恢...     

基于空间注意力残差网络的图像超分辨率重建模型

卷积神经网络中的层次特征可以为图像重建提供重要信息。然而，现有的一些图像超分辨率重建方法没有充分利用卷积网络中的层次特征。针对该问题，本文提出一种基于空间注意力残差网络的模型（Residual Network Based on Spatial Attention, SARN）。具体来说，首先设计一种空间注意力残差模块（Spatial Attention Residual Block, SARB），将增强型空间注意力模块（Enhanced Spatial Attention, ESA）融入残差模块中，网络可以获得更有效的高频信息；其次融入特征融合机制，将网络各层获得的特征进行融合，提高网络中层次特征的利用率；最后，将融合后特征输入重建网络，得到最终的重建图像。实验结果表明，该模型无论在客观指标上，还是主观视觉效果上均优于对比算法，这说明本文提出的模型可以有效地利用图像中的层次特征，从而获得较好的超分辨率重建效果。     

基于对偶回归和注意力机制的图像超分辨率重建网络

针对单幅图像超分辨率(single image super-resolution, SISR)重建算法存在低分辨率图像(LR)到高分辨率图像(HR)的映射学习具有不适定性,深层神经网络收敛慢且缺乏对高频信息的学习能力以及在深层神经网络传播过程中图像特征信息存在丢失的问题.本文提出了基于对偶回归和残差注意力机制的图像超分辨率重建网络.首先,通过对偶回归约束映射空间.其次,融合通道和空间注意力机制构造了残差注意力模块(RCSAB),加快模型收敛速度的同时,有效增强了对高频信息的学习.最后,融入密集特征融合模块,增强了特征信息流动性.在Set5、Set14、BSD100、Urban100四种基准数据集上与目前主流的单幅图像超分辨率算法进行对比,实验结果表明该方法无论是在客观质量评价指标还是主观视觉效果均优于对比算法.     

跨尺度多分支网络的单帧图像超分辨率重建

超分辨率重建算法是计算机视觉领域的重点研究问题之一,目前各个领域对图像要求逐渐提高,现有的超分辨率重建算法通过加深单一网络深度来提升图像质量,忽略了重建时的计算复杂度问题,同时缺少利用图像自身信息来提升图像的重建效果。针对以上问题提出了一种跨尺度多分支的单帧图像超分辨率重建网络,跨尺度模块探索图像内部相似区域的相关性,用于提升重建图像细节信息的能力,并获得更好的视觉效果。多分支结构将图像中重建难度不同的区域,通过不同复杂度的网络分别进行重建,解决了深度网络计算复杂度高的问题。实验结果表明,该模型在Urban100和Manga109测试集上相比其他方法具有更高的峰值信噪比和结构相似度。     

采用伪3D卷积网络的脑部MRI图像超分辨率重建

针对现有深度学习医学图像超分辨率重建算法因网络参数量大导致计算复杂度过高、网络难以训练的问题,提出一种采用伪3D卷积的轻量级密集残差连接3D卷积神经网络(P3DSRNet)模型.首先利用密集残差块拓宽残差块中卷积层的通道,将更多的特征信息传送到激活函数,使网络中浅层图像特征更容易地传播到高层,增强医学图像超分辨率的表达...     

多级信息补偿的U型网络图像超分辨率重建算法

针对基于深度神经网络的图像超分辨率重建算法在特征提取过程中容易丢失特征信息,导致重建图像缺少纹理和边缘细节等问题,提出一种多级信息补偿的U型网络图像超分辨率重建算法.首先设计一个用于图像超分辨率重建的U型网络,该网络通过下通道分支对输入特征进行多层级特征提取和通道压缩,通过底层模块对压缩后的特征进行融合并提取不同通道的相关特征,通过上通道分支对压缩后的相关特征进行多层次特征提取和通道恢复;然后设计多级信息补偿模型,对U型网络的通道压缩过程中丢失的信息和通道恢复过程中难以恢复的信息进行补偿;最后在不同放大倍数下的Set5、Set14、BSD100和Urban100测试集上对所提算法和主流算法进行对比测试分析,实验结果表明所提算法相比主流算法实现了在峰值信噪比(PSNR)/结构相似度(SSIM)指标和视觉效果上的巨大提升.     

基于加速残差网络的图像超分辨率重建方法

针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比（PSNR）及结构相似性（SSIM）均值结果较基于卷积神经网络的图像超分辨率（SRCNN）取得的结果分别提升了0.57 dB和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建（ISCNN）取得的结果分别提升了0.45 dB和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率（VDSR）的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。     

递归式多阶特征融合图像超分辨率算法

目的 近年来,卷积神经网络在解决图像超分辨率的问题上取得了巨大成功,不同结构的网络模型相继被提出。通过学习,这些网络模型对输入图像的特征进行抽象、组合,进而建立了从低分辨率的输入图像到高分辨率的目标图像的有效非线性映射。在该过程中,无论是图像的低阶像素级特征,还是高阶各层抽象特征,都对像素间相关性的挖掘起了重要作用,影响着目标高分辨图像的性能。而目前典型的超分辨率网络模型,如SRCNN（super-resolution convolutional neural network）、VDSR（very deep convolutional networks for super-resolution）、LapSRN（Laplacian pyramid super-resolution networks）等,都未充分利用这些多层次的特征。方法 提出一种充分融合网络多阶特征的图像超分辨率算法：该模型基于递归神经网络,由相同的单元串联构成,单元间参数共享;在每个单元内部,从低阶到高阶的逐级特征被级联、融合,以获得更丰富的信息来强化网络的学习能力;在训练中,采用基于残差的策略,单元内使用局部残差学习,整体网络使用全局残差学习,以加快训练速度。结果 所提出的网络模型在通用4个测试集上,针对分辨率放大2倍、3倍、4倍的情况,与深层超分辨率网络VDSR相比,平均分别能够获得0.24 dB、0.23 dB、0.19 dB的增益。结论 实验结果表明,所提出的递归式多阶特征融合图像超分辨率算法,有效提升了性能,特别是在细节非常丰富的Urban100数据集上,该算法对细节的处理效果尤为明显,图像的客观质量与主观质量都得到显著改善。     

基于类金字塔图残差网络的图像超分辨率重建

针对基于深度学习的图像超分辨率重建算法大多侧重于从大量外部训练数据中学习,而忽视图像本身的内部知识以及过于关注局部特征的问题,提出一种基于类金字塔图残差网络的图像超分辨率重建算法.首先,该算法构建的残差图卷积结构利用一种预生成图结构的方式将提取的特征图转换为预生成图结构的顶点来构成图结构数据,从而通过图卷积来学习特征自身内部的拓扑结构,同时使用残差学习适度地加深图卷积网络以提高重建性能;其次,该算法构建的类金字塔多空洞卷积结构,通过充分利用不同大小的感受野,避免了不能完全覆盖所有像素点的缺陷,更好地融合不同尺度的特征信息;最后,经过大量实验验证,所提出的算法显著优于主流超分辨率方法,有着更好的客观和主观度量结果.     

残差密集块的卷积神经网络图像去噪

针对加性高斯白噪声的图像信噪比低, 图像细节丢失问题, 结合现有卷积神经网络算法, 提出了一种基于残差密集块的卷积神经网络图像去噪模型. 该模型通过引入多级残差网络和密集连接, 并对整体网络使用Leaky ReLU激活函数, 去除不同等级强度噪声的同时, 更好保留图像的有效信息, 有效避免特征丢失. 本文提出算法和深度卷积神经网络残差学习(DnCNN)模型对比, 本文提出的模型在Set12和BSD68测试集上峰值信噪比平均提升了约0.12 dB, 结构相似性平均提升了约0.008 6, 通过观察实验效果, 表明该模型能够充分提取图像特征, 保留图像细节, 同时降低网络计算的复杂度.     

高效多注意力特征融合的图像超分辨率重建算法

为改善图像质量,提升观测效果,针对现有超分辨率重建算法由于网络层数过深导致的信息丢失、参数量大的问题,提出一种高效多注意力特征融合的图像超分辨率重建算法(EMAFFN).该算法通过渐进式特征融合块(PFFB)逐步提取图像的特征信息,减少特征信息在深层次网络传递过程中的丢失,同时结合PFFB内部的高效多注意力块(EMAB)在通道和空间两个分支作用,自适应的对提取到的特征进行加权,使网络更多的关注高频信息,最后使用多尺度感受野块(RFB＿x)对提取到的特征进行增强、并多尺度融合特征来提升重建模块的性能.实验结果表明,EMAFFN在公共数据集Set5上的平均PSNR值最高达到37.93dB,SSIM达到0.9609,重建后的图像恢复了更多的高频信息,纹理细节丰富,更接近于原始图像.