Image Super-Resolution Based on Generative Adversarial Networks: A Brief Review

Single image super resolution (SISR) is an important research content in the field of computer vision and image processing. With the rapid development of deep neural networks, different image super-resolution models have emerged. Compared to some traditional SISR methods, deep learning-based methods can complete the superresolution tasks through a single image. In addition, compared with the SISR methods using traditional convolutional neural networks, SISR based on generative adversarial networks (GAN) has achieved the most advanced visual performance. In this review, we first explore the challenges faced by SISR and introduce some common datasets and evaluation metrics. Then, we review the improved network structures and loss functions of GAN-based perceptual SISR. Subsequently, the advantages and disadvantages of different networks are analyzed by multiple comparative experiments. Finally, we summarize the paper and look forward to the future development trends of GAN-based perceptual SISR.     

只读式超分辨光盘的膜层设计和分析

超分辨技术是一种无需减小记录波长或增大数值孔径而提高存储密度的方法。Ge Sb Te是一种良好的相变光存储材料 ,在超分辨光盘中可作为掩膜。利用多层膜反射率的矩阵法计算了掩膜为Ge2 Sb2 Te5薄膜的超分辨只读式光盘的光学参数与各膜层厚度之间的关系 ,最后得到了较为理想的膜层厚度匹配。采用磁控溅射法制备了只读式超分辨光盘 ,测量了光盘的光学性质。     

宽带被动导引头天线系统性能分析

详细讨论了宽带被动导引头中的关键部件－超宽频带天线的性能，并在此基础上分析了三种具备大视角特性的被动测角方法。由于宽带天线没有确定的相位中心，因此不能采用通常的振幅和差式单脉冲法进行宽频带测角。本文提出的波束运算网络可用于一个宽带螺旋天线同时得到两个交叉波束的振幅－振幅式单脉冲系统中。此外，对比幅相干测向法中的测角模糊问题也进行了研究。     

基于非下采样Contourlet变换的指纹图像超分辨率重建

非下采样Contourlet变换(Nonsubsampled contourlet transform,NSCT)采用非抽样金字塔结构和非抽样方向滤波器组构成,具有Contourlet变换所不具备的平移不变性、较高冗余度等优良特性,而且能够克服伪吉布斯现象。图像经过非下采样Contourlet变换后分解成多尺度、多方向的细节信息,这些细节信息代表了图像不同频带不同方向的特征,这就简化了系数之间的关系。基于学习的超分辨率重建算法具有整体的预测性,将非下采样Contourlet变换和基于学习的算法相结合,在一定程度上提高训练精度。针对指纹图像的实验证明该算法具有良好的性能,重建的图像纹理性细节信息较好,基本保持了原指纹图像的特征点,更接近于原始的高分辨率图像。     

基于组反馈融合机制的视频超分辨率模型

视频超分辨率（video super-resolution,VSR）的目的是利用多个相邻帧的信息来生成参考帧的高分辨率版本。现有的许多VSR工作都集中在如何有效地对齐相邻帧以更好地融合相邻帧信息,而很少在相邻帧信息融合这一重要步骤上进行研究。针对该问题,提出了基于组反馈融合机制的视频超分辩模型（GFFMVSR）。具体来说,在相邻帧对齐后,将对齐视频序列输入第一重时间注意力模块;然后,将序列分成几个小组,各小组依次通过组内融合模块实现初步融合。不同小组的融合结果经过第二重时间注意力模块;然后,各小组逐组输入反馈融合模块,利用反馈机制反馈融合不同组别的信息,最后将融合结果输出重建。经验证,该模型具有较强的信息融合能力,在客观评价指标和主观视觉效果上都优于现有的模型。     

一种应用于人脸识别的超分辨率方法

为提高局部保持投影(LPP)在人脸图像超分辨率中的适用性,在LPP中引入典型相关分析(CCA),提出一种相关性增强的局部保持投影方法(CELPP)。CELPP用于提取高分辨率图像与低分辨率图像特征,根据关系学习建立低分辨率图像特征与高分辨率图像特征之间的映射变换,输入低分辨率图像,通过CELPP特征提取和关系映射,得到高分辨率图像,并将其用于人脸识别。对人脸库ORL和Yale进行的实验结果表明,该方法同时考虑了高分辨率图像与低分辨率图像的相似性及同类图像的局部结构性,在基于人脸识别的超分辨率应用中优于LPP和CCA。     

频域二元纯相位编码压缩成像

超分辨率被认为是光学成像和图像处理的"圣杯"之一.压缩感知理论的引入给出一种新的实现从单幅低分辨率图像的超分辨率重构方法,避免了传统超分辨率方法需要多幅亚像素图像的弊端.在分析压缩感知测量矩阵与光学成像系统之间对应约束异同的基础上,提出一种基于4-f光学架构的频域二元相位编码压缩成像方法,可以实现在单次曝光条件下获得的单幅低分辨率测量图像中实现超分辨率重建,不需要其他任何额外的信息采集.二元相位掩膜比均匀相位掩膜更容易物理实现,是压缩成像物理实现的一种更加可行的方案.模拟实验表明提出的方法可以有效地捕获图像的信息与高精度重建.此外,对于大尺度图像重建,该方法在重建时间方面优于Romberg提出的随机解调方法,在更符合实际方面的采样策略方面优于Yin提出的RecPC方法.     

基于马尔可夫随机场的低分辨率车牌图像复原算法*

由于采集到的车牌图像分辨率较小,为获取高分辨率的图像,提出基于马尔可夫随机场模型的车牌图像超分辨率复原算法。首先对图像进行分块;然后利用马尔可夫随机场对这些分块进行建模,通过模型学习训练库中高低分辨率图像的关系,预测待复原的低分辨率车牌图像的高频细节信息。实验结果表明,本算法对车牌图像取得较好的复原效果,算法复原的超分辨率车牌图像更接近于真实图像,具有更高的峰值信噪比。     

基于自适应权值滤波的深度图像超分辨率重建

目的 越来越多的应用都依赖于对真实场景深度图像的准确且快速的观测和分析。飞行时间相机可以实时获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率较低,无法满足实际应用的需要。为此提出一种结合同场景彩色图像通过构造自适应权值滤波器对深度图像进行超分辨率重建的方法。方法 充分发掘深度图像的非局部以及局部自相似性先验约束,结合同场景的高分辨率彩色图像构造非局部及局部的自适应权值滤波算法对深度图像进行超分辨率重建。具体来说,首先利用非局部滤波算法来有效避免重建结果的振铃效应,然后利用局部滤波算法进一步提升重建的深度图像质量。结果 实验结果表明,无论在客观指标还是视觉效果上,基于自适应权值滤波的超分辨率重建算法较其他算法都可以得到更好的结果,尤其当初始的低分辨率深度图像质量较差的情况下,本文方法的优势更加明显,峰值信噪比可以得到1dB的提升。结论 结合非局部和局部自相似性先验约束,结合同场景的高分辨率彩色图像构造的自适应权值滤波算法,较其他算法可以得到更理想的结果。     

多通道递归残差网络的图像超分辨率重建

目的 基于神经网络的图像超分辨率重建技术主要是通过单一网络非线性映射学习得到高低分辨率之间特征信息关系来进行重建,在此过程中较浅网络的图像特征信息很容易丢失,加深网络深度又会增加网络训练时间和训练难度。针对此过程出现的训练时间长、重建结果细节信息较模糊等问题,提出一种多通道递归残差学习机制,以提高网络训练效率和图像重建质量。方法 设计一种多通道递归残差网络模型,该模型首先利用递归方法将残差网络块进行复用,形成32层递归网络,来减少网络参数、增加网络深度,以加速网络收敛并获取更丰富的特征信息。然后采集不同卷积核下的特征信息,输入到各通道对应的递归残差网络后再一起输入到共用的重建网络中,提高对细节信息的重建能力。最后引入一种交叉学习机制,将通道1、2、3两两排列组合交叉相连,进一步加速不同通道特征信息融合、促进参数传递、提高网络重建性能。结果 本文模型使用DIV2K （DIVerse 2K）数据集进行训练,在Set5、Set14、BSD100和Urban100数据集上进行测试,并与Bicubic、SRCNN （super-resolution convolutional neural network）、VDSR （super-resolution using very deep convolutional network）、LapSRN （deep Laplacian pyramid networks for fast and accurate super-resolution）和EDSR_baseline （enhanced deep residual networks for single image super-resolution_baseline）等方法的实验结果进行对比,结果显示前者获取细节特征信息能力提高,图像有了更清晰丰富的细节信息;客观数据方面,本文算法的数据有明显的提升,尤其在细节信息较多的Urban100数据集中PSNR （peak signal-to-noise ratio）平均分别提升了3.87 dB、1.93 dB、1.00 dB、1.12 dB和0.48 dB,网络训练效率相较非递归残差网络提升30%。结论 本文模型可获得更好的视觉效果和客观质量评价,而且相较非递归残差网络训练过程耗时更短,可用于复杂场景下图像的超分辨率重建。