基于生成对抗网络的梯度引导太阳斑点图像去模糊方法

针对云南天文台拍摄的高度模糊的太阳斑点图像采用现有深度学习算法恢复难度大、高频信息难以重建等问题,提出了一种基于生成对抗网络（GAN）与梯度信息联合的去模糊方法来重建太阳斑点图,并很好地恢复出图像的高频信息。该方法由一个生成器与两个鉴别器构成：首先,生成器采用特征金字塔网络（FPN）框架来获取图像多尺度特征,再将这些特征分层次输入梯度分支以梯度图的形式捕获更小的局部特征;然后,联合梯度分支结果与FPN结果共同重建出具有高频信息的太阳斑点图像;其次,在常规对抗鉴别器的基础上,增加了一个鉴别器用于保证由梯度分支产生的梯度图更加真实;最后,引入一个包括像素内容损失、感知损失和对抗损失的联合训练损失来引导模型进行太阳斑点图像高分辨率重建。实验结果表明,进行图像预处理后的所提方法与现有的深度学习去模糊方法相比,高频信息恢复能力更强,峰值信噪比（PSNR）和结构相似性（SSIM）指标均有显著提高,分别达到27.801 0 dB与0.851 0,能够满足太阳观测图像高分辨率重建的需要。     

基于视觉传达的多帧图像高分辨率重建仿真

针对传统的高分辨图像重建方法,重建之后的图像细节不够丰富清晰,边缘模糊的问题,提出了 一种基于视觉传达的多帧图像高分辨率重建方法.采用深度学习方法提取高分辨率图像的深层次特征,在稀疏字典超分辨率框架下联合训练特征字典,将提取出来的特征视为ScSR模型中的特征样本,代入PCANet的特征字典中,以此为基础,基于稀疏正则模型对高分辨率图像进行重建,在反向投影全局优化模型基础上引入非局部近似性先验约束对重建图像进行优化,完成多帧图像高分辨率重建优化.实验结果表明,所提方法与其它传统方法相比,图像重建效果更好,图像边缘更加清晰.     

基于结构重参数化的太阳斑点图像弱监督去模糊方法

针对云南天文台拍摄的模糊太阳斑点图像使用有监督学习模型进行重建时容易产生伪像、训练时间长、重建结果过分依赖参考图像等问题,提出一种基于结构重参数化与多分支模块相结合的弱监督去模糊方法重建太阳斑点图。首先,结合单尺度与多尺度网络设计去模糊模型,在模型中构造多分支模块提取不同尺度的特征,增强细节信息,减少伪像生成;其次,对每个分支结构进行重参数化,使得结构参数的重用贯穿整个特征提取过程,节省计算时间;之后,将去模糊模型分别嵌入退化学习与逆退化学习的弱监督训练中,先对模糊图像进行等级划分,利用退化模型分别学习不同等级的退化,构成对应等级的配对数据集,再使用去模糊模型对数据集进行逆退化,实现太阳斑点图的重建。实验结果表明,该方法与现有深度学习去模糊方法相比,模型训练效率更高,对参考图像的依赖较小,能够满足太阳斑点图像高分辨率重建要求。     

基于深度残差反投影注意力网络的图像超分辨率

针对多数单帧图像超分辨率(single image super-resolution,SISR)重建方法存在的特征信息发掘不充分、特征图各通道之间的相互依赖关系难以确定以及重建高分辨率(high resolution,HR)图像时存在重构误差等问题,提出了基于深度残差反投影注意力网络的图像超分辨率(SR)算法。即利用残差学习的思想缓解训练难度和充分发掘图像的特征信息,并使用反投影学习机制学习高低分辨图像之间的相互依赖关系,此外引入了注意力机制动态分配各特征图以不同的注意力资源从而发掘更多的高频信息和学习特征图各通道之间的依赖关系。实验结果表明了所提方法相比于多数单帧图像超分辨率方法,不仅在客观指标方面得到了显著的提升,而且重建的预测图像也具有更加丰富的纹理信息。     

数据外补偿的深度网络超分辨率重建

单张图像超分辨率重建受到多对一映射的困扰.对于给定的低分辨率图像块,存在若干高分辨率图像块与之对应.基于学习的方法受此影响,学习到的逆映射规则只能预测这些高分辨率图像块的均值,从而产生视觉上模糊的超分辨率重建结果.为了克服歧义性造成的高频细节损失,本文提出了一种基于深度网络,利用在线检索的数据进行高频信息补偿的图像超分辨率重建算法.该方法构建一个深度网络,通过三个分支预测高分辨率重建结果：一条旁路直接将输入的低分辨率图像输入到网络的最后一层;一条内部高频信息重建路径基于低分辨率图像回归预测高分辨率图像,重建高分辨率图像的主要结构;另一条外部高频信息补偿路径根据内部重建的结果,从在线检索到的相似图像中提取高频细节,对内部重建的重建结果进行细节补偿.在第二条路径中,为了有效提取高频信号并使之适应于内部重建的重建结构,本文在多层特征的测量和约束下,进行高频细节迁移.相比于之前基于云数据库的传统图像超分辨率方法,本文提出的方法是端对端可训练的（end-to-end trainable）,因此通过在大数据上进行学习,方法能同时建模内部重建和外部补偿,并能自动权衡两者利弊而给出最优的重建结果.图像超分辨率重建的实验结果表明,相比于最新的超分辨率算法,本文方法在主客观评价中均取得了更加优越的性能.     

双路径反馈网络的图像超分辨重建算法

图像超分辨率重建在安防系统,小目标检测以及医学图像等有着广泛的应用.本文提出一种双路径反馈网络来提高图像超分辨重建的性能.在双路径网络中,一条路径采用深度残差稠密网络学习重建图像的高频信息,另一条路径直接在输入图像上通过亚像素卷积层上采样到所需分辨率来给重建图像提供低频信息,然后将两条路径得到的特征图进行融合来自适应的选取所需要的信息,接着通过一个反馈型卷积层进行局部循环训练来获得大的感受野.通过在数据集DIV2K上训练,实验结果表明所提方法的有效性和优越性.     

融合迭代反馈与注意力机制的图像超分辨重建方法

针对图像超分辨重建过程中原始高清图片与低质量图像之间缺乏依赖关系、深度网络中特征图信息不分主次重构导致的图像高频信息高精度重构困难的问题,提出一种融合迭代反馈与注意力机制的单幅图像超分辨重建方法。首先使用频率分解模块分别提取图像中的高、低频信息,并将二者分别处理,使网络重点关注提取出的高频细节部分,增强方法在图像细节上的复原能力;其次通过通道注意力机制将重建的重点放在有效特征所在的特征通道上,增强网络提取特征图信息的能力;然后采用迭代反馈的思想,在反复重建和比对过程中增加图像的还原程度;最后通过重建模块生成输出图像。在Set5、Set14、BSD100、Urban100和Manga109基准数据集上的2倍、4倍和8倍放大实验中,与主流超分辨率方法相比,所提方法表现出更优越的性能。在Manga109数据集的8倍放大实验中,相较于传统插值方法和基于卷积神经网络的图像超分辨率算法（SRCNN）,所提方法的峰值信噪比（PSNR）均值分别提升了约3.01 dB和2.32 dB。实验结果表明：所提方法能够降低重建过程中出现的误差,并有效重建出更精细的高分辨率图像。     

基于图像相似性和特征组合的超分辨图像重建

针对传统图像重建过程中易丢失细节信息,或在增强细节的同时易产生边缘失真和噪声等问题,提出一种基于图像跨尺度相似性和特征组合的图像超分辨率重建方法.首先利用图像的跨尺度相似性,采用KNN算法分别建立高、低分辨率图像之间的像素特征和梯度特征的映射关系;然后利用像素特征映射关系对输入图像重建包含高频信息的高分辨图像;利用奇异值阈值化获取输入图像的有效高频信息,并利用梯度特征映射关系将高频信息放大后分块叠加到高分辨率图像上,得到最终的图像重建结果.以加州大学图像分割数据库作为实验数据,在Windows7下的Matlab软件进行实验结果展示,实验结果表明,文中方法重建的图像纹理细节丰富、边缘清晰,图像细节显著增强,在视觉效果和客观指标上都有大幅度提升;且该方法无需依赖外部数据库.     

基于加速残差网络的图像超分辨率重建方法

针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比（PSNR）及结构相似性（SSIM）均值结果较基于卷积神经网络的图像超分辨率（SRCNN）取得的结果分别提升了0.57 dB和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建（ISCNN）取得的结果分别提升了0.45 dB和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率（VDSR）的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。     

基于空间元学习的放大任意倍的超分辨率重建方法

针对现有的基于深度学习的超分辨率重建方法主要研究放大整数倍的重建,对放大任意倍（如非整数倍）重建情况讨论较少的问题,提出一种基于空间元学习的放大任意倍的超分辨率重建方法。首先,利用坐标投影找出高分辨率图像与低分辨率图像坐标间的对应关系;其次,在元学习网络的基础上,考虑特征图的空间信息,将提取到的空间特征与坐标位置相结合作为权值预测网络的输入;最后,将权值预测网络预测出的卷积核与特征图结合,从而有效地放大特征图的尺寸,得到放大任意倍的高分辨率图像。所提的空间元学习模块可以与其他深度网络相结合,得到放大任意倍的超分辨率图像重建方法。所提的放大任意倍（非整数倍）超分辨率重建方法解决了实际生活中放大尺寸固定且非整数倍的重建问题。实验结果表明,所提的重建方法在空间复杂度（网络参数）相当的情况下,时间复杂度（计算量）是其他重建方法的25%~50%,且峰值信噪比（PSNR）比其他一些方法提高了0.01~5 dB,结构相似度（SSIM）提高了0.03~0.11。