基于深度学习的风云四号卫星图像超分辨率重建

风云四号A卫星(FY-4A)部分通道的图像分辨率较低,影响风云卫星多通道协同监测能力。针对该问题,提出一种改进的超分辨率生成对抗网络(Enhanced Super-Resolution Generative Adversarial Networks, ESRGAN)算法来实现FY-4A影像的超分辨率重建。该方法基于ESRGAN的生成器架构,利用迁移学习策略,将预训练权重作为模型的初始值,设计了一组包含5层空洞卷积层的残差密集模块(Residual-in-Residual Dense Block, RRDB),并优化了损失函数。结果表明,在4倍影像分辨率重建下,相比于ESRGAN算法,改进的ESRGAN算法在峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性(Structural Similarity, SSIM)、空间相关系数(Correlation Coefficient, CC)上分别提高了0.704、0.029、0.002,均方根误差(Root-Mean-Square Error, RMSE)降低了10%,且重建影像更加清晰自然,纹理更加细致。     

基于轻量化生成对抗网络的遥感图像超分辨率重建

针对ESRGAN模型复杂度高、特征提取与表示性能欠佳的问题,提出了一种基于轻量化生成对抗网络(Light weight Generative Adversarial Network, LwGAN)的遥感图像超分辨率重建算法。该算法以改进残差密集模块(Improved Residual Dense Block, IRDB)为基础块构建生成网络的高阶特征提取部分,提取了丰富的多样化特征,同时建立了特征的通道及长距离位置关系,在降低模型参数量的同时提升了模型的特征提取与表示性能。通过在UC MERCED和NWPU-RESISC45数据集上的实验结果表明,与ESRGAN相比,LwGAN获取了更大的峰值信噪比和结构相似度,显著提升了遥感图像的超分辨率重建性能,可视化结果表明重建图像恢复了更多的纹理细节信息,同时模型参数量仅为原始ESRGAN的约三分之一,大幅地提高了模型的运行效率,为后续遥感图像的分析处理奠定了基础。     

基于改进超分辨率生成对抗网络的图像重建算法

针对现有基于像素损失的超分辨率图像重建算法对纹理等高频细节的重建效果差问题,提出了一种基于改进超分辨率生成对抗网络(SRGAN)的图像重建算法.首先,去除了生成器中的批归一化层,并结合多级残差网络和密集连接,用残差套残差密集块提高了网络提取特征的能力.然后,结合均方误差与感知损失作为指导生成器训练的损失函数,既保留了图...     

基于增强型超分辨率生成对抗网络的文物图像色彩重建

针对书画文物的褪色和画面暗旧等问题,提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color Reconstruction of Cultural Relic Images Based on Enhanced Super-Resolution Generative Adversarial Network, CR-ESRGAN)模型。该模型针对缺少成对图像的数据集问题,在双3次下采样的基础上提出了利用颜色迁移算法来生成逼真的暗旧、褪色的文物图像。同时改进了ESRGAN网络,在其生成网络中引入自注意力机制,以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比(Peak Signal to Noise Ratio, PSNR)/结构相似性(Structural Sililarity Index, SSIM)的基础上引入颜色评价指标CIEDE2000,以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比,视觉效果和图像质量有较高的提升。     

多尺度残差反馈融合网络的单幅图像超分辨率重建

单幅超分辨率重建可以根据一张或多张低分辨率图像生成高分辨率图像。本文提出了一种基于神经卷积网络的单幅图像超分辨率重建算法,以恢复信息丰富的高分辨率图像。该网络由一系列具有低分辨率图像特征的递归密集连接和级联,能够生成强大的特征表示,并充分捕捉多尺度上下文信息。此外,本文设计了一种多级特征融合模块,不仅可以减少深层学习过程中损失的空间信息,还能有效缓解图像伪影问题。通过在Set5等常用数据集上的对比实验结果表明,本文算法均优于同类算法。     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于卷积稀疏编码与生成对抗网络的图像超分辨率重建

针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题，本文提出了一种基于卷积稀疏编码与生成对抗网络的图像超分辨率重建模型。首先，利用卷积网络实现稀疏编码并获取图像稀疏表示，充分利用图像的先验信息，有效避免重建图像高频信息缺失和噪点增多的问题；在得到低分辨率图像的稀疏表示后，通过重建模块对稀疏表示进行重建得到超分辨率图像；随后，鉴别器对重建图像进行鉴别，缓解由PSNR主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后，最后的重建图像具有更好的视觉效果。本文在Set5、Set14、BSD100和Urban100通用测试数据集上进行2倍和4倍的超分辨率重建实验，并与Bicubic、SRGAN、EDSR和ESRGAN对比。与ESRGAN方法相比，本文模型在4个数据集上平均PSNR提升约0.702 8 dB，平均SSIM提升约0.047，平均LPIPS提升了0.016。实验结果表明，所提出的模型具有较强的竞争力，能够恢复更多的细纹理细节且具有更好的清晰度。     

基于坐标注意力机制的人脸图像超分辨率重建算法

针对传统的人脸超分辨率图像重建技术,人脸特征信息提取与恢复中存在特征丢失的问题,文中提出了一种基于坐标注意力机制的IP-FSRGAN人脸图像超分辨率重建算法,以帮助生成器学习到更多的人脸特征信息并合成更真实的超分辨率人脸图像。在放大倍数为4时,采用LFW数据集测试模型性能。实验结果显示,该方法与IP-FSRGAN相比,PSNR提升0.14%,SSIM提升0.59%,Y通道PSNR提升2.43%,SSIM提升0.38%,在定量上均优于SRGAN、ESRGAN、IP-FSRGAN等人脸重建方法。实验证明,文中所提基于坐标注意力机制的IP-FSRGAN人脸图像超分辨率重建算法在人脸超分辨图像重建上具有良好的有效性。     

基于多尺度与残差网络的图像超分辨率重建

针对目前图像超分辨率重建算法在提取图像信息时过于单一地累加卷积层导致的深层网络梯度消失和图像信息丢失的问题,提出了一种基于多尺度与残差网络的图像超分辨率重建算法。该算法使用多尺度密集连接的卷积核代替单一累加的卷积核,充分提取输入低分辨率图像信息并实现通道特征维度的复用;利用残差网络,多层次地对丢失图像信息进行补充并对深层网络模型的梯度问题实现了抑制,在反向传播的过程中帮助全网络模型自适应地完成对权重更新;最后以非线性映射的方式输出最终重建图像。实验表明,所提算法在测试集上的峰值信噪比和结构相似性与对比算法相比均有所提升;在与目前主流算法对比中获得了细节信息更加丰富、边缘纹理更加清晰的重建图像。     

多级跳线连接的深度残差网络超分辨率重建

由于快速的卷积神经网络超分辨率重建算法(FSRCNN)卷积层数少、相邻卷积层的特征信息之间缺乏关联性,因此难以提取到图像深层信息导致图像超分辨率重建效果不佳。针对此问题,该文提出多级跳线连接的深度残差网络超分辨率重建方法。首先,该方法设计了多级跳线连接的残差块,在多级跳线连接的残差块基础上构造了多级跳线连接的深度残差网络,解决相邻卷积层的特性信息缺乏关联性的问题;然后,使用随机梯度下降法(SGD)以可调节的学习率策略对多级跳线连接的深度残差网络进行训练,得到该网络超分辨率重建模型;最后,将低分辨率图像输入到多级跳线连接的深度残差网络超分辨率重建模型中,通过多级跳线连接的残差块得到预测的残差特征值,再将残差图像和低分辨率图像组合在一起转化为高分辨率图像。该文方法与bicubic, A+, SRCNN, FSRCNN和ESPCN算法在Set5和Set14测试集上进行了对比测试,在视觉效果和评价指标数值上该方法都优于其它对比算法。     

多形态稀疏性正则化的图像超分辨率算法

 如何设计更加高效并能保持图像几何和纹理结构的多幅图像超分辨模型和算法是目前该领域有待解决的难点问题.针对图像的几何、纹理结构形态,分别建立符合类内强稀疏而类间强不相干的几何结构和纹理分量稀疏表示子成份字典,形成图像的多形态稀疏表示模型,进而提出一种新的基于多形态稀疏性正则化的多帧图像超分辨凸变分模型,模型中的正则项刻画了理想图像在多成份字典下的稀疏性先验约束,保真项度量其在退化模型下与观测信号的一致性,采用交替迭代法对该多变量优化问题进行数值求解,每一子问题采用前向后向的算法分裂法进行快速求解.针对可见光与红外图像序列进行了数值仿真,实验结果验证了本文模型与数值算法的有效性.     

改进的超分辨率图像重建算法

针对超分辨率卷积神经网络(SRCNN)卷积层较少、训练时间长、不易收敛且表达和泛化能力受限等问题,提出了一种残差反卷积SRCNN(RD-SRCNN)算法.首先利用不同大小的卷积核进行卷积操作,以更好地提取低分辨率图像中的细节特征;然后将获取的图像特征输入由不同大小卷积核构成的卷积层和指数线性单元激活层组成的残差网络,并...     

超分辨率图像重构算法的研究

图像重构是数字图像处理的一个重要分支。文章在图像配准的基础之上，采用后向投影迭代算法对图像序列进行了高分辨率重构，并给出了其中详细的算法和实现过程。实验仿真结果表明该算法运算量小，收敛速度较快．具有良好重构效果。     

基于区域分割自适应的超分辨率算法

提出一个基于区域的超分辨率算法,把一张图像分成平滑区域和非平滑区域,对每一个不同图像区域采用相应的正则化项.正则化项参数也会在迭代过程中自适应的确定.实验结果表明所提出的算法在客观和主观评测都优于传统算法.     

超分辨近场结构光刻技术

介绍了一种新的近场光刻技术的基本原理及其在光刻方面的应用研究的最新进展。新技术的基本原理是;光远场照射,通过超分辨掩模产生光刻所需的超过衍射极限的近场光,利用夹在掩模和光刻胶中闯的电介质保护层实现了近场光的最佳耦合,减小了线宽并大大提高了光刻速度。这种膜层结构叫超分辨近场结构(Super-RENS),是近年来发展起来的一种新的近场光学技术。     

图像超分辨率重建研究综述

图像超分辨率重建（Super-resolution Reconstruction,SR）是由一张或多张低分辨率图像得到高分辨率图像的过程.近年来,SR技术不断发展,在许多领域被广泛应用.本文在回顾SR技术发展历史的基础上,全面综述了SR技术在各个时期的代表性方法,重点介绍了基于深度学习的图像超分辨率工作.我们从模型类型、网络结构、信息传递方式等方面对各种算法进行了详细评述,并对比了其优缺点.最后探讨了图像超分辨率技术未来的发展方向.     

Super-Resolution Without Explicit Subpixel Motion Estimation

The need for precise (subpixel accuracy) motion estimates in conventional super-resolution has limited its applicability to only video sequences with relatively simple motions such as global translational or affine displacements. In this paper, we introduce a novel framework for adaptive enhancement and spatiotemporal upscaling of videos containing complex activities without explicit need for accurate motion estimation. Our approach is based on multidimensional kernel regression, where each pixel in the video sequence is approximated with a 3-D local (Taylor) series, capturing the essential local behavior of its spatiotemporal neighborhood. The coefficients of this series are estimated by solving a local weighted least-squares problem, where the weights are a function of the 3-D space-time orientation in the neighborhood. As this framework is fundamentally based upon the comparison of neighboring pixels in both space and time, it implicitly contains information about the local motion of the pixels across time, therefore rendering unnecessary an explicit computation of motions of modest size. The proposed approach not only significantly widens the applicability of super-resolution methods to a broad variety of video sequences containing complex motions, but also yields improved overall performance. Using several examples, we illustrate that the developed algorithm has super-resolution capabilities that provide improved optical resolution in the output, while being able to work on general input video with essentially arbitrary motion.      

PSO-based Fusion Method for Video Super-Resolution

In this study, video super-resolution using particle swarm optimization (PSO) is proposed to super-resolve low-resolution (LR) frames. The proposed super-resolution method consists of three main modules, i.e., supersampling, spatio-temporal classification, and frame fusion using PSO. In the proposed method, the LR frames are super-resolved to high-resolution frames through the fusion of four full-resolution frames. One of four full-resolution frames is obtained using direct spatial interpolation, and the other three are obtained using motion compensation with given reference frames. The essence of the proposed method is the spatio-temporal classification mechanism that exploits the temporal variation between frames and the spatial energy inside the frame. Using the classification results, PSO is used to determine the optimal weights for frame fusion. Simulation results show that the proposed fusion method successfully improves the perceptual quality and the average peak signal-to-noise ratio (PSNR) in super-resolved frames.     

酉ESPRIT超分辨ISAR成像方法

针对ESPRIT超分辨成像方法没有利用复数共轭数据且难以确定散射点数目的不足,提出了采用酉ESPRIT实现ISAR超分辨成像的新方法.该方法利用改进的盖式圆盘方法确定散射中心的数目,克服了ESPRIT方法中无法确定散射中心数目的缺点.通过合成复观测数据及其共轭,提高了ESPRIT超分辨成像的分辨率.构造了中心复共轭对称矩阵,有效降低了计算量.利用仿真数据和实测数据对该方法进行了验证,结果表明该方法不但具有更优的抗噪性能和分辨率,也具有更高的运算效率.     

三维超分辨显微成像技术的研究进展及展望

超分辨显微成像技术是细胞生物学中研究细胞器结构、相互作用和蛋白质功能的强大工具,其具有突破光学衍射极限的分辨能力,从纳米尺度上为细胞生物学提供了新的分析手段,对生命科学相关领域具有重大意义.然而,受衍射极限的影响,超分辨显微镜的轴向分辨率相比于横向分辨率要更难以提高,这导致实现细胞结构亚百纳米分辨率的三维成像更为困难.从受激辐射损耗显微术和单分子定位显微术这两种主流技术出发,对目前存在的多种三维成像技术进行了原理介绍和特点分析,最后对其未来发展方向进行了展望.