Image Super-Resolution Based on Generative Adversarial Networks: A Brief Review

Single image super resolution (SISR) is an important research content in the field of computer vision and image processing. With the rapid development of deep neural networks, different image super-resolution models have emerged. Compared to some traditional SISR methods, deep learning-based methods can complete the superresolution tasks through a single image. In addition, compared with the SISR methods using traditional convolutional neural networks, SISR based on generative adversarial networks (GAN) has achieved the most advanced visual performance. In this review, we first explore the challenges faced by SISR and introduce some common datasets and evaluation metrics. Then, we review the improved network structures and loss functions of GAN-based perceptual SISR. Subsequently, the advantages and disadvantages of different networks are analyzed by multiple comparative experiments. Finally, we summarize the paper and look forward to the future development trends of GAN-based perceptual SISR.     

只读式超分辨光盘的膜层设计和分析

超分辨技术是一种无需减小记录波长或增大数值孔径而提高存储密度的方法。Ge Sb Te是一种良好的相变光存储材料 ,在超分辨光盘中可作为掩膜。利用多层膜反射率的矩阵法计算了掩膜为Ge2 Sb2 Te5薄膜的超分辨只读式光盘的光学参数与各膜层厚度之间的关系 ,最后得到了较为理想的膜层厚度匹配。采用磁控溅射法制备了只读式超分辨光盘 ,测量了光盘的光学性质。     

基于非下采样Contourlet变换的指纹图像超分辨率重建

非下采样Contourlet变换(Nonsubsampled contourlet transform,NSCT)采用非抽样金字塔结构和非抽样方向滤波器组构成,具有Contourlet变换所不具备的平移不变性、较高冗余度等优良特性,而且能够克服伪吉布斯现象。图像经过非下采样Contourlet变换后分解成多尺度、多方向的细节信息,这些细节信息代表了图像不同频带不同方向的特征,这就简化了系数之间的关系。基于学习的超分辨率重建算法具有整体的预测性,将非下采样Contourlet变换和基于学习的算法相结合,在一定程度上提高训练精度。针对指纹图像的实验证明该算法具有良好的性能,重建的图像纹理性细节信息较好,基本保持了原指纹图像的特征点,更接近于原始的高分辨率图像。     

基于组反馈融合机制的视频超分辨率模型

视频超分辨率（video super-resolution,VSR）的目的是利用多个相邻帧的信息来生成参考帧的高分辨率版本。现有的许多VSR工作都集中在如何有效地对齐相邻帧以更好地融合相邻帧信息,而很少在相邻帧信息融合这一重要步骤上进行研究。针对该问题,提出了基于组反馈融合机制的视频超分辩模型（GFFMVSR）。具体来说,在相邻帧对齐后,将对齐视频序列输入第一重时间注意力模块;然后,将序列分成几个小组,各小组依次通过组内融合模块实现初步融合。不同小组的融合结果经过第二重时间注意力模块;然后,各小组逐组输入反馈融合模块,利用反馈机制反馈融合不同组别的信息,最后将融合结果输出重建。经验证,该模型具有较强的信息融合能力,在客观评价指标和主观视觉效果上都优于现有的模型。     

基于高精度流线生成的交互流场可视化

高效准确的流线绘制一直是流场可视化的重要研究内容,流线可以对流场的重要特征进行有效的稀疏表示,但流线需要长期的粒子追踪过程及大量的积分计算,在面向大规模流场可视化时时间效率较低,需要高性能计算设备进行辅助计算.本文通过设计一种基于深度学习的高精度流线生成算法,将初始的低精度流线快速映射为稠密的高精度流线,可以在较短的时间内快速生成可靠的流线可视化结果,并在此基础上设计了交互式实时流场可视化系统,涵盖了流场的特征检测,属性关联分析,信息论分析等,帮助用户快速了解流场数据,找到自己感兴趣的区域进行后续进一步深度分析,避免了获取过多冗余数据,同时优化了分析工作的效率,满足用户对于流场结构,特征属性等多维度进行关联分析的需求.     

基于注意力融合网络的视频超分辨率重建

基于深度学习的视频超分辨率方法主要关注视频帧内和帧间的时空关系,但以往的方法在视频帧的特征对齐和融合方面存在运动信息估计不精确、特征融合不充分等问题。针对这些问题,采用反向投影原理并结合多种注意力机制和融合策略构建了一个基于注意力融合网络（AFN）的视频超分辨率模型。首先,在特征提取阶段,为了处理相邻帧和参考帧之间的多种运动,采用反向投影结构来获取运动信息的误差反馈;然后,使用时间、空间和通道注意力融合模块来进行多维度的特征挖掘和融合;最后,在重建阶段,将得到的高维特征经过卷积重建出高分辨率的视频帧。通过学习视频帧内和帧间特征的不同权重,充分挖掘了视频帧之间的相关关系,并利用迭代网络结构采取渐进的方式由粗到精地处理提取到的特征。在两个公开的基准数据集上的实验结果表明,AFN能够有效处理包含多种运动和遮挡的视频,与一些主流方法相比在量化指标上提升较大,如对于4倍重建任务,AFN产生的视频帧的峰值信噪比（PSNR）在Vid4数据集上比帧循环视频超分辨率网络（FRVSR）产生的视频帧的PSNR提高了13.2%,在SPMCS数据集上比动态上采样滤波视频超分辨率网络（VSR-DUF）产生的视频帧的PSNR提高了15.3%。     

基于密集Inception的单图像超分辨率重建方法

近几年,基于卷积神经网络（CNN）的单图像超分辨率（SR）重建方法成为了主流。通常情况下,重建模型的网络层数越深,提取的特征越多,重建效果越好;然而随着网络层数的加深,不仅会出现梯度消失的问题,还会显著增加参数量,增加训练的难度。针对以上问题,提出了一种基于密集Inception的单图像SR重建方法。该方法引入Inception-残差网络（Inception-ResNet）结构提取图像特征,全局采用简化后的密集网络,且仅构建每一个模块输出到重建层的路径,从而避免产生冗余数据来增加计算量。在放大倍数为4时,采用数据集Set5测试模型性能,结果显示与超深卷积神经网络的图像超分辨率（VDSR）相比,所提方法的结构相似性（SSIM）高了0.013 6;与基于多尺度残差网络的图像SR（MSRN）相比,SSIM高了0.002 9,模型参数量少了78%。实验结果表明,所提方法在保证模型的深度和宽度的情况下,显著减少了参数量,从而降低了训练的难度,而且取得了比对比方法更好的峰值信噪比（PSNR）和SSIM。     

基于ResNeXt和WGAN网络的单图像超分辨率重建

为解决现有基于生成对抗网络的单图像超分辨率重建模型SRGAN网络训练不稳定、学习速率慢等问题,提出了一种基于ResNeXt和WGAN的单图像超分辨率重建模型Res_SRGAN。该模型参考ResNeXt网络结构构造生成器,降低了生成器的复杂度,仅为SRGAN的1/8;通过WGAN来构造判别器解决了SRGAN模型不稳定的问题;实验结果表明,在四个公开数据集上本文所提模型相较于现有的单图像超分辨率重建模型在主客观评价中均取得了更加优越的性能。     

一种改进Papoulis-Gerchberg的多幅超分辨重构方法

为进一步提高拍摄图像的分辨率,提出一种改进的Papoulis-Gerchberg超分辨算法.新算法提出边缘检测方法,可以改善传统方法空间复杂度和重构图像边缘模糊的问题.新算法在原有的算法基础上融于边缘检测,针对多幅同一场景输入图像,在每次Papoulis-Gerchberg迭代过程加入坎尼检测,同时将每步的重构误差投影到下一步重构过程,降低了算法空间复杂度,能有效恢复丢失的边缘高频信息.MATLAB实验结果表明,与现有的经典超分辨重构方法相比,本算法反映图像质量的峰值信噪比和灰度标准差更高,信噪比和灰度标准差比改进前算法分别提高0.5 d B和2.5.从视觉感官上对比,重构图像整体效果也更加清楚,去除了原始重构方法图像边缘叠影现象,有效提高了原始输入图像的分辨率.     

基于高频和中频信息的图像超分辨率重建

提出一种基于图像高频和中频信息的超分辨率算法。分别将图像高频和中频作为高分辨图像和低分辨率图像的特征,以图像高频和中频信息作为训练样本对,采用全局迭代收缩方法（ GISA）进行稀疏分解,获得高、中分辨率字典对。根据测试图像对应的中频信息和字典对获得图像高频信息,结合测试图像插值放大结果,经非局部相似性方法处理后获得高分辨率图像。实验结果表明,提出的方法具有较高的重建质量。