基于改进CycleGAN的ISAR图像超分辨方法

图像超分辨是解决ISAR欺骗干扰中由于模型样本不完备导致难以对大带宽ISAR实现高逼真假目标模拟的重要手段。利用生成对抗网络（GAN）可通过端到端映射实现ISAR图像的超分辨,然而,当测试输入样本与训练输入样本分辨率差异较大时,超分辨图像中会出现伪散射点从而导致目标失真。考虑到循环生成对抗网络（CycleGAN）对输入样本差异适应性较好,本文提出了一种基于改进CycleGAN的ISAR欺骗干扰超分辨样本生成方法,分别从损失函数、优化过程、判别器结构三方面对CycleGAN网络结构进行改进,加快了网络的收敛速度,同时对于输入分辨率差异较大的ISAR图像泛化性能更好。利用暗室测量数据验证了所提方法的有效性,与GAN方法相比,对于训练输入样本分辨率差异较大的测试输入样本,生成的超分辨样本散射点位置与真实数据具有更好的匹配效果。     

多级跳线连接的深度残差网络超分辨率重建

由于快速的卷积神经网络超分辨率重建算法(FSRCNN)卷积层数少、相邻卷积层的特征信息之间缺乏关联性,因此难以提取到图像深层信息导致图像超分辨率重建效果不佳。针对此问题,该文提出多级跳线连接的深度残差网络超分辨率重建方法。首先,该方法设计了多级跳线连接的残差块,在多级跳线连接的残差块基础上构造了多级跳线连接的深度残差网络,解决相邻卷积层的特性信息缺乏关联性的问题;然后,使用随机梯度下降法(SGD)以可调节的学习率策略对多级跳线连接的深度残差网络进行训练,得到该网络超分辨率重建模型;最后,将低分辨率图像输入到多级跳线连接的深度残差网络超分辨率重建模型中,通过多级跳线连接的残差块得到预测的残差特征值,再将残差图像和低分辨率图像组合在一起转化为高分辨率图像。该文方法与bicubic, A+, SRCNN, FSRCNN和ESPCN算法在Set5和Set14测试集上进行了对比测试,在视觉效果和评价指标数值上该方法都优于其它对比算法。     

单帧图像超分辨率重建的深度神经网络综述

随着硬件计算能力的显著提升,深度神经网络广泛应用于计算机视觉和图像处理的各个领域,获得了突出成果,受这种方法启发,单帧图像超分辨率重建(Super-resolution Reconstruction, SR)也引入深度学习思想,并且重建效果远远超越传统算法,成为研究的热点并迅速成为主流技术。将对深度神经网络的单帧图像超分辨率重建技术分为两类(基于传统深度神经网络的单帧图像超分辨率重建和基于生成对抗网络的单帧图像超分辨率重建和)进行阐述,以此为基础,对单帧图像超分辨率技术的发展趋势进行展望。     

基于改进增强型超分辨率生成对抗网络的图像超分辨率重建算法

针对现有的图像超分辨率重建算法仍存在细节上处理不足的问题,提出一种基于改进增强型超分辨率生成对抗网络(ESRGAN)的图像超分辨率重建算法.首先,使用多尺度密集连接模块(MDB)代替密集连接模块(DB),并且在MDB后添加通道注意力机制,以调整不同通道的特征响应值,从而改进了ESRGAN的生成网络模型中的深层信息提取模...     

一种Enlighten-GAN网络的指纹超分辨率重建方法北大核心CSCD

将低分辨率(LR)图像重建为高分辨率(HR)图像的主流模型是生成对抗网络(GAN)。然而,由于基于GAN的方法利用从其他图像中学习到的内容来恢复高频信息,在处理新的图像时往往会产生伪影。由于,指纹图像的特征比自然图像更加复杂。因此,将以前的网络应用于指纹图像,尤其是中等分辨率的图像,会导致收敛不稳定伪影效果更加严重。针对以上弊端,本文提出了一种Enlighten-GAN超分辨率方法,来解决指纹图像的重建问题。具体来说,我们设计了启发块来控制网络收敛到一个可靠的点,并利用自我监督分层感知损失以改进损失函数提升网络性能。实验结果证明Enlighten-GAN方法在指纹图像的重建效果性能上具有更加卓越的效果。     

基于生成对抗网络的超声图像超分辨率重建

针对医学超声图像的分辨率低而导致视觉效果差的问题,使用基于神经网络的图像超分辨率(SR)重建方法提升医学超声图像的分辨率。采用针对自然图像超分辨率重建的生成对抗网络(SRGAN)作为基本方法,通过减少2个输入通道和删除1个残差块对该网络的结构进行更改,并且改进网络损失函数,新增模糊处理数据集,使该网络适应医学超声图像所具备的灰度图像、散斑纹理单一等特点,从而重建出放大4倍的边缘清晰没有伪影的医学超声图像。将改进SRGAN与原始SRGAN的结果相比,峰值信噪比(PSNR)和结构相似性(SSIM)分别有1.792 dB和3.907%的提升;与传统双立方插值的结果相比,PSNR和SSIM分别有2.172 dB和8.732%的提升。     

基于改进超分辨率生成对抗网络的图像重建算法

针对现有基于像素损失的超分辨率图像重建算法对纹理等高频细节的重建效果差问题,提出了一种基于改进超分辨率生成对抗网络(SRGAN)的图像重建算法.首先,去除了生成器中的批归一化层,并结合多级残差网络和密集连接,用残差套残差密集块提高了网络提取特征的能力.然后,结合均方误差与感知损失作为指导生成器训练的损失函数,既保留了图...     

基于深度学习的红外夜视图像超分辨率重建

针对红外夜视图像对比度低、成像质量不高的问题,提出适合红外夜视图像超分辨率重建方法。在自然图像超分辨率重建模型的基础上增加基于Retinex的对比度增强预处理步骤,并对网络模型做如下改进:构建超深卷积神经网络学习低分辨率图像与高分辨率图像之间的映射关系,增大感受野,提升网络学习能力;仅学习高低分辨率图像间的差值信息加速网络收敛。针对高分辨率红外夜视图像不易获得,数据量较少的问题,利用迁移学习理论,使用少量的高分辨率红外夜视图像为目标样本,对自然图像超分辨率重建模型进行微调,得到适合红外夜视图像重建的网络权重模型。实验结果证明:使用该方法得到的红外夜视图像信息丰富,层次分明,具有良好的视觉效果。     

基于卷积稀疏编码与生成对抗网络的图像超分辨率重建

针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题，本文提出了一种基于卷积稀疏编码与生成对抗网络的图像超分辨率重建模型。首先，利用卷积网络实现稀疏编码并获取图像稀疏表示，充分利用图像的先验信息，有效避免重建图像高频信息缺失和噪点增多的问题；在得到低分辨率图像的稀疏表示后，通过重建模块对稀疏表示进行重建得到超分辨率图像；随后，鉴别器对重建图像进行鉴别，缓解由PSNR主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后，最后的重建图像具有更好的视觉效果。本文在Set5、Set14、BSD100和Urban100通用测试数据集上进行2倍和4倍的超分辨率重建实验，并与Bicubic、SRGAN、EDSR和ESRGAN对比。与ESRGAN方法相比，本文模型在4个数据集上平均PSNR提升约0.702 8 dB，平均SSIM提升约0.047，平均LPIPS提升了0.016。实验结果表明，所提出的模型具有较强的竞争力，能够恢复更多的细纹理细节且具有更好的清晰度。     

基于增强型超分辨率生成对抗网络的文物图像色彩重建

针对书画文物的褪色和画面暗旧等问题,提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color Reconstruction of Cultural Relic Images Based on Enhanced Super-Resolution Generative Adversarial Network, CR-ESRGAN)模型。该模型针对缺少成对图像的数据集问题,在双3次下采样的基础上提出了利用颜色迁移算法来生成逼真的暗旧、褪色的文物图像。同时改进了ESRGAN网络,在其生成网络中引入自注意力机制,以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比(Peak Signal to Noise Ratio, PSNR)/结构相似性(Structural Sililarity Index, SSIM)的基础上引入颜色评价指标CIEDE2000,以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比,视觉效果和图像质量有较高的提升。     

Video super-resolution reconstruction based on deep convolutional neural network and spatio-temporal similarity

Existing learning-based super-resolution (SR) reconstruction algorithms are mainly designed for single image, which ignore the spatio-temporal relationship between video frames. Aiming at applying the advantages of learning-based algorithms to video SR field, a novel video SR reconstruction algorithm based on deep convolutional neural network (CNN) and spatio-temporal similarity (STCNN-SR) was proposed in this paper. It is a deep learning method for video SR reconstruction, which considers not only the mapping relationship among associated low-resolution (LR) and high-resolution (HR) image blocks, but also the spatio-temporal non-local complementary and redundant information between adjacent low-resolution video frames. The reconstruction speed can be improved obviously with the pre-trained end-to-end reconstructed coefficients. Moreover, the performance of video SR will be further improved by the optimization process with spatio-temporal similarity. Experimental results demonstrated that the proposed algorithm achieves a competitive SR quality on both subjective and objective evaluations, when compared to other state-of-the-art algorithms.     

基于卷积稀疏自编码的图像超分辨率重建

针对卷积稀疏编码算法中特征映射的准确性的问题,为了进一步提高图像超分辨率重建的的质量,文中提出一种基于卷积稀疏自编码的图像超分辨率重建算法。该算法首先在预训练阶段利用稀疏自编码器对输入高低分辨率图像分别进行训练,得到对应的图像稀疏特征表示;然后再由卷积神经网络根据得到的稀疏系数共同训练相应的滤波器及特征映射函数并更新到最优解;最后由高分辨率滤波器和对应的稀疏表示系数卷积求和,得到高分辨率重建图像估计。实验结果显示,改进算法的峰值信噪比（PSNR）结果较卷积稀疏编码算法提高了近0.1 dB,有效提高了重建图像的质量。     

Image super-resolution reconstruction based on sparse representation and deep learning

Super-resolution reconstruction technology has important scientific significance and application value in the field of image processing by performing image restoration processing on one or more low-resolution images to improve image spatial resolution. Based on the SCSR algorithm and VDSR network, in order to further improve the image reconstruction quality, an image super-resolution reconstruction algorithm combined with multi-residual network and multi-feature SCSR(MRMFSCSR) is proposed. Firstly, at the sparse reconstruction stage, according to the characteristics of image blocks, our algorithm extracts the contour features of non-flat blocks by NSCT transform, extracts the texture features of flat blocks by Gabor transform, then obtains the reconstructed high-resolution (HR) images by using sparse models. Secondly, according to improve the VDSR deep network and introduce the feature fusion idea, the multi-residual network structure (MR) is designed. The reconstructed HR image obtained by the sparse reconstruction stage is used as the input of the MR network structure to optimize the high-frequency detail residual information. Finally, we can obtain a higher quality super-resolution image compared with the SCSR algorithm and the VDSR algorithm.     

Hypergraph-regularized sparse representation for single color image super resolution

Sparsity-based single image super resolution method generates the High-Resolution (HR) output via a corresponding dictionary from the Low-Resolution (LR) input. However, most of these existing methods ignore the complementary information from color channels, which causes the loss of a valid prior and the limitation of HR image quality improvement. In this paper, hypergraph regularization is first incorporated with Joint Color Dictionary Training (JCDT) model and HR image reconstruction (HRIR) model. A novel Hypergraph-regularized Sparse coding-based Super Resolution (HG-ScSR) is proposed. This regularization can not only focus on the illuminance information, but also exploit the self-channel and cross-channel information of three color RGB channels from high-resolution image patches. Especially, the complex relationship is explored among every color image patch pixel and the consistency of the similar pixels is enforced. Both simulated and real data experiments verify the higher performance of the proposed HG-ScSR.     

基于DDR CycleGAN的红外图像数据增强

提出了一种基于双鉴别器相对循环一致性生成对抗网络(DDR-CycleGAN)的红外图像数据生成方法。针对双鉴别器监督机制易出现的过度优化造成的性能下降问题,该方法在双鉴别器循环一致性生成对抗网络(DD-CycleGAN)中加入了相对概率的思想,采用鉴别器鉴别图像的相对真实概率替代绝对真实概率,使得生成图片更加接近真实图片。本文方法采用FLIR数据集进行训练和测试,实验结果表明本文方法相比DD-CycleGAN在可见光图像生成红外图像的图像质量上,峰值信噪比提高了3.91%,FID(Frechet Inception Distance score)降低了3.81%。     

基于NSPT域PCNN-SC的图像超分辨率重建

结合多尺度变换和脉冲耦合神经网络(PCNN)的 优点,将空域的稀疏编码(SC)算法通过非 下采样金字塔变换(NSPT)转换应用到频率域进行重建,并结合改进的PCNN对SC算法中的 最优系数 采用一种新的方法进行获取,进而提出一种新的超分辨率重建(SRR)模型与算法。首先将 图像进行三次B 样条 放大处理,然后采用NSPT对图像进行多尺度分解得到高低频子带系数。对于低频子带,运 用PCNN-SC 完成重建;对高频子带,将其与预测高分辨(HR)图像的特征图像运用改进的PCNN经图像融合 完成重建。最后 通过逆NSPT得到HR图像。实验表明,本文算法在主观视觉效果和客观数据都获 得了较好的效果。     

基于稀疏K-SVD的单幅图像超分辨率重建算法

图像的超分辨率重建技术可以提升图像质量,改善图像视觉效果,在现实中具有很高的实用价值。针对基于K-SVD的超分辨率重建算法的不足,本文提出一种基于稀疏K-SVD的单幅图像超分辨率重建算法。首先,采用稀疏K-SVD方法进行训练获得高低分辨率字典对,以待重建的低分辨率图像及其降采样作为字典训练的样本,提高了字典和待重建的低分辨率图像的相关性;然后,采用逐级放大的思想进行重建;最后,利用非局部均值的方法,进一步提高重建效果。实验表明,与基于K-SVD的超分辨率重建算法相比,本文算法重建图像的峰值信噪比平均提高了0.6dB左右。重建图像在视觉效果上,也有一定程度的提升。     

基于先验信息与密集连接网络的人脸超分辨率重建方法

图像超分辨率在医疗和安防等领域应用广泛,本文针对传统超分辨率重建(super-resolution reconstruction, SR)方法无法重建出边缘特征图像的不足,提出了一种先验信息与密集连接网络模型的重建方案,利用考虑输入统计信息的残差特征的不同组合,引入了多注意力模块,通过与主干网络结构协作,在不增加额外模块的情况下提高了网络性能。新提出的模型与现有复杂结构的技术(state-of-the-art, SOTA)模型相比,具有更好的性能。为了避免输入的身份特征会急剧漂移的问题,提出了一种基于先验信息引入注意力机制网络模块来分辨真实低分辨率(low resolution, LR)对应物的模型,这种模型在捕获运动噪声等方面具有优势。经实验验证得出,本文方法相比其他主流方法,在评价指标和主观可视化分析方面更具优势。     

基于聚类字典的图像超分辨率重构算法

针对图像超分辨率(SR)重构在空间邻域选取过程中 细节特征易被大幅度特征分量淹没的问题,提出 一种基于聚类字典的SR重构(DD-NE)算法。图像SR重构是利用信号处理方 法来提高图像分辨 率,针对NE算法在空间邻域选取时细节信号易被大幅度信号淹没的问题,对输入图像及邻域 利用聚类字典进行 稀疏分解。从大、小幅值表示系数中分别重构大、小幅度特征子图,保护邻域计算中的小幅 度特征,并将 低分辨率(LR)图像库及输入图像使用聚类字典表示。细节信号以字典原子的形式得到表达 ,空间邻域度 量转换为字典原子间的度量,从而细节特征对邻域的选择更加准确。实验结果表明,相对于 NE算法,本文算法图像SR 重构的峰值信噪比(PSNR)值平均提升了1.1dB,有效改善了重构效果;重构时间仅为NE算法的30.9%。