基于深度学习的图像超分辨率重建方法浅析

图像超分辨率是图像处理中一个经典问题,从低分辨率图像中恢复高分辨率图像的不确定性给问题的求解带来了极大的挑战。作为一个热门的应用领域,从问题提出至今,研究者们提出了许多的解决方法。随着科技进步和深度学习的发展,基于卷积神经网络等的深度学习方法应用于图像超分辨率重建,使得重建图像的质量得到了极大的提高。文章对基于深度学习的图像超分辨率重建的一些较为经典的方法进行了总结与探讨,分析了其中的优势与不足,并指出了目前方法中存在的问题和今后研究可以努力的方向。     

基于深度学习的红外图像超分辨率重建方法

为了提高红外图像的超分辨率重建效果,提出基于深度学习的红外图像超分辨率重建方法。利用红外图像的反射特性与红外辐射特性建立红外图像的显著性区域检测模型;通过可见光与近红外图像之间样貌差异度水平检测图像的边缘轮廓特征,提取可见光与近红外光融合性特征参数;根据融合层次不同对图像信号级、像素级、特征级、决策级四个维度进行重建,提取图像的边缘、形状、纹理特征;根据特征分布的噪声水平与配准质量,采用深度学习算法实现对红外图像超分辨率重建。仿真测试结果得出,该方法进行红外图像重建的显著性特征检测能力较强,重建后将图像分辨率提升到1 280×960 PPI,模板匹配准确率为49.4%,峰值信噪比PSNR值高于36.34 dB,结构相似度SSIM值高于0.972,重建效果较好,更适合用于特定场景下的红外图像目标特征识别。     

基于深度学习的风云四号卫星图像超分辨率重建

风云四号A卫星(FY-4A)部分通道的图像分辨率较低,影响风云卫星多通道协同监测能力。针对该问题,提出一种改进的超分辨率生成对抗网络(Enhanced Super-Resolution Generative Adversarial Networks, ESRGAN)算法来实现FY-4A影像的超分辨率重建。该方法基于ESRGAN的生成器架构,利用迁移学习策略,将预训练权重作为模型的初始值,设计了一组包含5层空洞卷积层的残差密集模块(Residual-in-Residual Dense Block, RRDB),并优化了损失函数。结果表明,在4倍影像分辨率重建下,相比于ESRGAN算法,改进的ESRGAN算法在峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性(Structural Similarity, SSIM)、空间相关系数(Correlation Coefficient, CC)上分别提高了0.704、0.029、0.002,均方根误差(Root-Mean-Square Error, RMSE)降低了10%,且重建影像更加清晰自然,纹理更加细致。     

超分辨率图像重建分析和应用

高分辨率图像是人们一直追求的目标。超分辨率图像重建技术就是人们获取高分辨率图像的一种很重要的方法。本文分析了超分辨率图像重建的原理,总结了各种重建方法的特点,指出超分辨率图像重建的发展历史、应用场合和前景。     

基于卷积神经网络的单幅图像超分辨率重建算法综述

近年来,单幅图像超分辨率重建技术成为机器视觉领域的研究热点。随着深度学习的发展,卷积神经网络在单幅图像超分辨率重建方面取得了前所未有的成功。文章对典型的图像超分辨率重建的卷积神经网络模型进行综合论述,比较分析了不同模型之间的异同点和优缺点,并对基于卷积神经网络的单幅图像超分辨率重建方法的未来研究方向进行展望。     

太赫兹图像的超分辨率重建

太赫兹波相对于光波和红外而言,波长较长,因此太赫兹成像系统的空间分辨率较低.为了在一定程度上提高太赫兹图像的分辨率,提出了一种超分辨率重建方法.该方法基于深度学习,在原有残差结构上进行改进,加深了网络结构.对太赫兹图像进行训练,拟合低分辨率和高分辨率图像之间的映射关系,能够实现在单个网络中同时处理多个尺度的超分辨率图像.实验结果表明,相对于一些传统的超分辨率重建方法,本方法在量化指标和视觉效果上都有一定程度的提升,且处理速度相对较快,能够满足安检系统中实时处理的要求.     

基于改进生成对抗网络的红外图像超分辨率重建

由于硬件成本和拍摄条件等限制,很难直接获取高分辨率红外图像。生成对抗网络可以实现红外图像的超分辨率重建,但仍存在训练不稳定,训练时不收敛等不足。针对这些问题,本文使用Wasserstein距离代替KL散度,结合图像间的欧式距离构造新的损失函数,优化原有网络结构和算法流程,使网络更准确地学习低分辨率图像与重建图像的对应特征映射关系,网络训练更加稳定。实验结果表明,重建图像的边缘过渡平缓,目标细节得到有效保证,并获得了更好的客观评价结果。     

基于深度学习的图像超分辨率重建技术在公安实战中的应用

本文为了解决低质量图像给公安领域带的巨大困扰,对基于深度学习的图像超分辨率重建在公安实战应用进行研究和探讨。首先对传统的超分辨率方法和基于深度学习的超分辨率方法进行了梳理;然后,介绍超分辨率重建在视频侦查、人脸识别、公安图像数据检索和司法检验鉴定中的应用,并阐明实战应用中存在问题和解决途径;最后,展望图像超分辨率重建在公安实战中未来发展方向。     

基于深度学习的红外夜视图像超分辨率重建

针对红外夜视图像对比度低、成像质量不高的问题,提出适合红外夜视图像超分辨率重建方法.在自然图像超分辨率重建模型的基础上增加基于Retinex的对比度增强预处理步骤,并对网络模型做如下改进:构建超深卷积神经网络学习低分辨率图像与高分辨率图像之间的映射关系,增大感受野,提升网络学习能力;仅学习高低分辨率图像间的差值信息加速网络收敛.针对高分辨率红外夜视图像不易获得,数据量较少的问题,利用迁移学习理论,使用少量的高分辨率红外夜视图像为目标样本,对自然图像超分辨率重建模型进行微调,得到适合红外夜视图像重建的网络权重模型.实验结果证明:使用该方法得到的红外夜视图像信息丰富,层次分明,具有良好的视觉效果.     

改进的深度反投影网络红外图像超分辨率重建

深度反投影网络在可见光图像的超分辨率重建中具有优异的表现,本文探索将深度反投影网络应用到红外图像超分辨率重建中.针对红外图像对比度低、图像质量不高的特点,在深度反投影网络框架上作如下改进:在上采样模块之前添加串联层,将前一次的下采样输出和原始低分辨率预处理图像串联作为上采样模块的输入,以此提高网络获取图像高频信息的能力,增强生成图像的细节信息.实验结果证明,本文算法较改进前能够得到细节更加丰富、视觉效果更加良好的红外超分辨率重建图像.     

图像超分辨率重建研究综述

图像超分辨率重建（Super-resolution Reconstruction,SR）是由一张或多张低分辨率图像得到高分辨率图像的过程.近年来,SR技术不断发展,在许多领域被广泛应用.本文在回顾SR技术发展历史的基础上,全面综述了SR技术在各个时期的代表性方法,重点介绍了基于深度学习的图像超分辨率工作.我们从模型类型、网络结构、信息传递方式等方面对各种算法进行了详细评述,并对比了其优缺点.最后探讨了图像超分辨率技术未来的发展方向.     

基于超分辨率重建的强压缩深度伪造视频检测

经典的深度伪造(DeepFake)视频检测方法一般使用卷积神经网络进行检测,但在强压缩深度伪造换脸视频数据集上表现较差,并会对真实数据做出大量误检测.针对这个问题,该文提出一种基于超分辨率重建的强压缩深度伪造视频检测方法.该方法基于深度神经网络检测模型,通过融入超分辨率重建技术,恢复强压缩视频所损失的空间与时间信息,进而提升对强压缩视频的检测准确率.使用FaceForensics++及DFDC数据集进行实验,针对强压缩的深度伪造视频,该方法较ResNet50提高了单帧以及视频的测试准确率,有效缓解强压缩真实视频的误检测问题.     

基于超分辨率重建的强压缩深度伪造视频检测

经典的深度伪造(DeepFake)视频检测方法一般使用卷积神经网络进行检测,但在强压缩深度伪造换脸视频数据集上表现较差,并会对真实数据做出大量误检测。针对这个问题,该文提出一种基于超分辨率重建的强压缩深度伪造视频检测方法。该方法基于深度神经网络检测模型,通过融入超分辨率重建技术,恢复强压缩视频所损失的空间与时间信息,进而提升对强压缩视频的检测准确率。使用FaceForensics++及DFDC数据集进行实验,针对强压缩的深度伪造视频,该方法较ResNet50提高了单帧以及视频的测试准确率,有效缓解强压缩真实视频的误检测问题。     

超分辨率图像重建技术

本文介绍了超分辨率图像重建的基本概念、应用场合和主要的重建方法，着重分析了压缩域中的超分辨率重建技术，并对未来的研究问题进行了展望。     

基于改进生成对抗网络的单帧图像超分辨率重建

为了获得更好的图像超分辨率重建质量,提高网络训练的稳定性,对生成对抗网络、损失函数进行研究.首先,介绍了SRGAN和DenseNet,并设计了基于DenseNet的生成网络用以生成图像,且将子像素卷积模块加入到DenseNet中.接着,移除了原本DenseNet中冗余的BN层,提高了模型的训练效率.最后,介绍了SRGA...     

基于深度卷积神经网络的红外图像超分辨率重建技术

由于器件及工艺等技术限制,红外图像分辨率相对可见光图像较低,存在细节纹理特征模糊等不足。对此,本文提出一种基于深度卷积神经网络（convolutional neural network,CNN）的红外图像超分辨率重建方法。该方法改进残差模块,降低激活函数对信息流影响的同时加深网络,充分利用低分辨率红外图像的原始信息。结合高效通道注意力机制和通道-空间注意力模块,使重建过程中有选择性地捕获更多特征信息,有利于对红外图像高频细节更准确地进行重建。实验结果表明,本文方法重建红外图像峰值信噪比（peak signal to noise ratio,PSNR）优于传统的Bicubic插值法以及基于CNN的SRResNet、EDSR、RCAN模型。当尺度因子为×2和×4时,重建图像的平均PSNR值比传统Bicubic插值法分别提高了4.57 dB和3.37 dB。     

基于各向异性的快速超分辨率图像重建

针对传统超分辨率图像重建算法速度慢的缺点,提 出了一种基于自适应各向异性正则化的快速超分辨率图像重建算法。本文 算法兼顾重建图像质量的同时,提升了图形的重建速度。基于传统迭代算法,本文算法通过 优化约束条件,大量剔除了冗余过程, 弥补了传统算法的不足;同时引入一种具有自适应能力的各向异性平滑项,可以适应各种 复杂的运动模型。另外,提出 以图像的峰值信噪比(PSNR)为标准,作为重建迭代的截止 条件。运 用本文算法对序列低分辨率图像进行重建,证明了本文算法可以更快实现超分辨率图像重 建。     

基于序列图像的超分辨率重建

提出一种从序列低分辨率欠采样图像中重建出一幅高分辨率图像的重建方法.该方法基于MAP算法,通过利用梯度投影的方法对重建结果不断进行迭代优化得到最终的理想高分辨率影像.实验结果证明,该方法有效,它不仅能够非常容易的引入各种先验条件进行约束从而提高解的收敛速度,并且能够得到质量较好的高分辨率重建图像.在取得相同质量图像的前提下,该算法所需时间明显降低.