深度卷积神经网络图像超分辨率重建方法研究

基于深度卷积神经网络算法实现网络图像超分辨率重建技术，为满足图像的超分辨率精度检测和构建需求，通过构建图像融合技术来实现图像重建架构，形成以机器人视觉系统数据为主体的控制模块，实现对网络图像超分辨率的图像融合分析的目标，完成深度卷积神经网络图像重建。在深度卷积神经网络图像的构建过程中，注意神经网络输出数据决策方案和图像的自适应预置模块设计，分析深度卷积神经网络的各层节点数，平衡图像分辨率数据深度卷积过程中的信息损失量，提升图像分辨率数据的重建精度。     

基于可逆神经网络的图像超分辨率重建算法

近年来，卷积神经网络在单幅图像超分辨率重建SISR任务中展现出良好的效果，已成为该领域内应用最广泛的算法，但该算法未能有效弱化一对多的病态问题和减小重建图像解空间范围，因此对图像重建质量提升的效果越来越有限，目前已面临瓶颈问题，很难有较大的性能提升。为有效减小重建图像的解空间，提升重建图像性能，提出了基于可逆神经网络的图像超分辨率重建算法，通过模型设计，将图像退化和重建过程设计为一个可逆变换过程，有效约束了图像解空间，可逆卷积结构的应用使算法获得最合适的通道排布规则，从而有效提升了模型性能。在主流数据集上的实验结果表明，提出的算法相对于现有的SISR算法在图像重建精度上有了极大的提升，获得了最佳的PSNR和SSIM。     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

改进的卷积神经网络单幅图像超分辨率重建

针对经典的基于卷积神经网络的单幅图像超分辨率重建方法网络较浅、提取的特征少、重建图像模糊等问题，提出了一种改进的卷积神经网络的单幅图像超分辨率重建方法，设计了由密集残差网络和反卷积网络组成的新型深度卷积神经网络结构。原始低分辨率图像输入网络，利用密集残差学习网络获取更丰富的有效特征并加快特征梯度流动，其次通过反卷积层将图像特征上采样到目标图像大小，再利用密集残差学习高维特征，最后融合不同卷积核提取的特征得到最终的重建图像。在Set5和Set14数据集上进行了实验，并和Bicubic、K-SVD、SelfEx、SRCNN等经典重建方法进行了对比，重建出的图像在整体清晰度和边缘锐度方面更好，另外峰值信噪比（PSNR）平均分别提高了2.69?dB、1.68?dB、0.74?dB和0.61?dB。实验结果表明，该方法能够获取更丰富的细节信息，得到更好的视觉效果，达到了图像超分辨率的增强任务。     

双层级联神经网络的人脸超分辨率重建

针对普通的基于卷积神经网络的人脸超分辨率方法未能结合人脸结构信息，重建图像易出现五官偏移、边缘模糊等问题，提出一种基于双层级联神经网络的人脸超分辨率重建方法。在重建网络中加入面部先验信息估计模块，捕捉输入图像的面部关键点信息，约束重建图像与目标图像的空间一致性。在CelebA与Helen数据集上的实验结果验证了该方法对正面人脸能够准确地重建面部五官，对侧面及遮挡人脸等不同的变形人脸也具有强鲁棒性。     

基于卷积神经网络的图像纹理的超分辨率重建

目前,深度学习已经在图像超分辨率重建上表现出不错的性能,但是对某些纹理细节还原度不高。针对此问题,提出了基于卷积神经网络的纹理的超分辨率重建算法。首先用梯度算子提取图像的纹理特征,再将图像按照纹理进行分类,最后用卷积神经网络对同一类别的样本集进行超分辨率重建。实验证明,该算法能够恢复一定的纹理信息,而且对同类纹理的重建结果优于已有算法。     

基于深度学习的水下图像超分辨率重建方法

由于水体本身的特性以及水中悬浮颗粒对光的吸收和散射作用,水下图像普遍存在信噪比（SNR）低、分辨率低等一系列问题,但大部分方法传统处理方法包含图像增强、复原及重建,都依赖退化模型,并存在算法病态性问题。为进一步提高水下图像恢复算法的效果和效率,提出了一种改进的基于深度卷积神经网络的图像超分辨率重建方法。该方法网络中引入了改良的密集块结构（IDB）,能在有效解决深度卷积神经网络梯度弥散问题的同时提高训练速度。该网络对经过配准的退化前后的水下图像进行训练,得到水下低分辨率图像和高分辨率图像之间的一个映射关系。实验结果表明,在基于自建的水下图像作为训练集上,较卷积神经网络的单帧图像超分辨率重建算法（SRCNN）,使用引入了改良的密集块结构（IDB）的深度卷积神经网络对水下图像进行重建,重建图像的峰值信噪比（PSNR）提升达到0.38 dB,结构相似度（SSIM）提升达到0.013,能有效地提高水下图像的重建质量。     

基于拉普拉斯金字塔生成对抗网络的图像超分辨率重建算法

针对目前的图像超分辨率重建算法中存在的大尺度因子的重建效果较差、不同尺度的图像重建均需要单独训练等问题,提出一种基于拉普拉斯金字塔生成对抗网络（GAN）的图像超分辨率重建算法。算法中的生成器使用金字塔结构实现多尺度的图像重建,从而以渐进上采样的方式降低了大尺度因子的学习难度,并在层与层之间使用密集连接加强特征传播,从而有效避免了梯度弥散问题。算法中使用马尔可夫判别器将输入数据映射为结果矩阵,并在训练的过程中引导生成器关注图像的局部特征,从而丰富了重建图像的细节。实验结果表明：在Set5等基准数据集上分别进行放大2倍、4倍、8倍的图像重建时,所提算法的平均峰值信噪比（PSNR）分别达到了33.97 dB、29.15 dB、25.43 dB,平均结构相似性（SSIM）分别达到了0.924、0.840、0.667,相比用于超分辨率重建的卷积神经网络（SRCNN）、深度拉普拉斯金字塔超分辨率重建网络（LapSRN）、用于超分辨率重建的生成对抗式网络（SRGAN）等其他算法有较大提升,且其重建的图像在主观视觉上保留了更多生动的纹理和小颗粒细节。     

Adam优化的CNN超分辨率重建

为了使单帧图像在不同放大倍数的条件下进行超分辨率重建能得到较好的效果,提出了一种Adam优化的卷积神经网络(convolutional neural network,CNN)超分辨率重建方法。该方法首先使用ISODATA(iterative selforganizing data analysis)聚类算法对训练的图像集进行分类处理,然后在Adam优化的卷积神经网络中对输入图像进行特征提取和非线性映射得到特征映射图,最后在Adam优化的卷积神经网络中对特征映射图进行反卷积重建得到多尺度放大的重建图像。通过实验验证使用该方法在不同放大倍数条件下的重构效果优于传统算法,在视觉效果上有较好的表现。     

残差卷积注意网络的图像超分辨率重建

针对极深神经网络图像超分辨率重建过程中,存在图像特征提取少、信息利用率低,平等处理高、低频信息通道的问题,提出了残差卷积注意网络的图像超分辨率重建算法。构造多尺度残差注意块,最大限度地提高网络提取到多尺寸特征信息,引入通道注意力机制,增强高频信息通道的表征能力。引入卷积注意块的特征提取结构,减少高频图像细节信息的丢失。在网络的重建层,引入全局跳远连接结构,进一步丰富重建的高分辨率图像信息的流动。实验结果表明,所提算法在Set5等基准数据集上的PSNR、SSIM比其他基于深度卷积神经网络的方法均明显提升,验证了提出方法的有效性与先进性。     

回环结构与PAM结合的双目图像超分辨率网络

双目图像第二视点为图像超分辨率重建网络提供更多的细节信息,为更充分利用双目图像的互补信息,提出一种基于深度学习的回环结构与视差注意力模块（PAM）相结合的双目图像超分辨率重建网络。该网络特征提取模块由MJR-ASPP+构成的回环结构与扩张残差块交替级联而成,回环结构中混合跳跃式残差（MJR）能聚合网络中不同深度的信息,改进空洞空间金字塔池化块（ASPP+）用于提取图像多尺度特征,扩张残差块融合多级特征的同时有效去噪;引入视差注意力模块获取双目图像中的全局对应关系,集成图像对的有用信息;通过亚像素层重建出超分辨率左（右）图,并将FReLU用于整个网络中提高捕获空间相关性效率。该网络在Middlebury、KITTI2012、KITTI2015和Flickr1024四个公开数据集中都取得了优异结果,实验结果表明该网络具有更好的超分辨率性能。     

基于多级Transformer的超大倍率重建网络:参考图像超分辨率

超分辨率（SR）是指从一个低分辨率图像,重建其对应的高分辨率副本。针对SR在超大倍率（8×、16×）重建不够精确的问题,本文提出多级Transformer的超大倍率重建网络（MTLF）。MTLF对多个Transformer进行多级堆叠以处理不同倍率的特征,并且利用修正注意力模块改进由Transformer得到的注意力权重,从而合成更精细的纹理。最后将所有倍率的特征融合成超大尺度下的SR图像。实验结果表明MTLF优于目前最好的方法（包括单图像超分辨率和基于Ref的超分辨率方法）。特别地,MTLF在极限倍率（32×）下也取得不错的效果。     

基于超分辨率网络的CT三维重建算法

计算机断层扫描（CT）三维重建技术通过上采样体数据来提高三维模型质量,减轻模型中的锯齿状边缘、条纹状伪影和不连续表面等现象,从而提高临床医学中疾病诊断的准确率。针对以往CT三维重建后模型仍然不够清晰的问题,提出一种基于超分辨率网络的CT三维重建算法。网络模型为具有双重损失的优化学习纵轴超分辨率重建网络（DLRNet）,通过单轴超分辨率进行腹部CT三维重建。网络末端引入优化学习模块,且除计算基准图与超分辨率图像的损失外,还计算网络内部粗略重建图像与基准图的损失,这样一来,优化学习与双重损失能使网络产生更接近于基准图的结果。随后在特征提取模块引入空间特征金字塔池化和通道注意力机制,加权细化学习了不同粗细以及规模不一的血管组织的特征。最后使用动态生成卷积核组的方法进行上采样使得单一网络模型可应对不同缩放因子的上采样任务。实验结果表明,相较于通道注意力的方法RCAN（Residual Channel Attention Network）,所提网络模型在2、3、4倍缩放因子下的峰值信噪比（PSNR）平均提高0.789 dB。可见所提网络模型有效提升了CT三维模型的质量,一定程度上恢复了血管组织的连续细节特征,同时具备了实用性。     

基于特征损失的医学图像超分辨率重建

高分辨率的磁共振图像可以提供更加清晰的解剖图像,从而促进疾病的早期诊断。但是医疗成像系统的固有缺陷,使得高分辨率医学图像的获取面临许多问题,解决这类问题的方法之一就是使用超分辨率重建技术。针对医学图像超分辨率重建问题,设计一个前馈全连接卷积神经网络,网络包括五层卷积层和五个残差块,并且使用基于特征的损失函数,解决了使用均方误差损失函数不符合人视觉感的问题。该方法在网络内部实现图像4倍放大重建,避免了使用反卷积层上采样时出现的棋盘伪影。通过实验验证了方法的有效性,在视觉和数值结果上都有所提高。     

轻型金字塔池化注意力机制网络实现图像超分

在基于深度学习的图像超分辨率重建领域,通过扩大网络规模以提高性能将导致计算资源损耗增加。为此,提出了一种轻量级的基于金字塔池化注意力机制网络（light-weighted pyramid pooling-based attention network,LiPAN）,该算法模型由融合注意力机制的信息蒸馏块、多层金字塔池化结构和反向注意力融合模块组成。注意力机制确保了网络对重要特征的提取,金字塔池化结构可获取更多的上下文信息,得到更准确的重建结果,蒸馏结构的引入可有效地提高网络性能并减少网络参数。与目前主流的轻量级网络模型相比,提出的LiPAN模型在Set5、Set14、BSD100及Urban100四个公共数据集分别进行2倍、3倍和4倍下采样重建并定量评估,获得最优峰值信噪比和结构相似度。由此表明,提出的LiPAN在网络模型参数与当前主流的轻量级网络相当的情况下,具有更优的超分辨率重建性能。     

基于轻量密集神经网络的医学图像超分辨率重建算法

医学图像的清晰与否直接影响临床诊断。由于成像设备与环境因素的限制,往往不能直接获得高分辨率的图像,且大多数智能终端的硬件并不适合运行大规模深度神经网络模型,因此提出一种拥有较少的层和参数的轻量密集神经网络模型。首先,网络中使用密集块和跳层结构进行全局和局部图像特征学习,并将更多特征信息传入激活函数,从而使网络中浅层低级的图像特征更容易传播到高层,由此提高医学图像超分辨率重建的质量;然后,采用分阶段方法训练网络,并以双任务损失加强网络学习中的监督指导,从而解决高倍图像超分辨率重建导致的网络训练难度增加的问题。实验结果表明,与最近邻（NN）插值、双线性插值、双立方插值、基于卷积神经网络（CNN）的算法以及基于残差神经网络的算法相比,所提模型能更好地重建出医学图像的纹理细节,获得更高的峰值信噪比（PSNR）和结构相似性（SSIM）,在训练速度和硬件消耗方面均取得了良好的效果,具有较高的实用价值。     

分层特征融合网络航拍图像超分辨率重建

基于深度学习的图像超分辨率网络模型复杂度高,特征利用率较低,尤其是应用在复杂拍摄环境中的图像超分辨率重建,由于特征损失严重,最终重建的效果也较差。针对以上问题,提出分层特征融合图像超分辨率网络。引入对称式的分层结构,以增强不同层次图像特征的融合;使用更为密集的残差连接结构,减少局部残差损失,同时缓解梯度消失和梯度爆炸问题;在每个残差块中加入注意力机制,增强网络对图像高频信息的敏感度。为了验证算法在复杂环境中的效果,将模型应用于高空航拍图像超分辨率重建中。实验结果表明,所提算法相比于EDSR算法,在14个不同航拍图像环境中,尤其是复杂场景下的重建,平均PSNR提高了0.31?dB,效果显著。     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。     

噪声和U型判别网络的真实世界图像超分辨率

以往基于卷积神经网络的图像超分辨率算法往往是在理想的合成数据进行训练,当应用在真实世界（RealWorld）场景时性能就会严重下降。为更好地提取出Real-World图像中的原有特征信息,为其降质过程建模,提出一种噪声和U型判别网络的Real-World图像超分辨率算法。利用直接收集到的Real-World图像原有的复杂噪声信息,结合合成的降质图像,达到降质后图像与源图像保持特征分布相似的目的,以恢复更多的细节信息和更好的观感。此外,提出使用频谱归一正则化的U型判别网络,以提高判别网络的能力和稳定训练,抑制图像重建中伪影的出现。在三个基准数据集上的实验结果表明,与最新的方法相比,该模型在三个评价指标（峰值信噪比、结构相似度和感知图像块相似度）上均取得了最好的结果,且有着更好的观感效果。