基于稀疏表示的自适应图像超分辨率重建算法

针对图像高分辨率重建过程中稀疏解的存在性和唯一性问题以及超分辨率图像的边缘特征和平滑噪声的关系进行了研究, 提出了局部正则化参数自适应选取的方法。结合联合构造字典的算法, 在重建过程中动态调整正则化参数。通过对图像的超分辨率实验证明, 改进的算法具有较高的可行性, 能有效平衡超分辨率图像的边缘特征和平滑噪声两者的关系, 与传统的超分辨率重建算法相比, 有更高的峰值信噪比。     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

基于残差神经网络的图像超分辨率改进算法

为更有效地提升图像的超分辨率（SR）效果,提出了一种多阶段级联残差卷积神经网络模型。首先,该模型采用了两阶段超分辨率图像重建方法先重建2倍超分辨率图像,再重建4倍超分辨率图像;其次,第一阶段与第二阶段皆使用残差层和跳层结构预测出高分辨率空间的纹理信息,由反卷积层分别重建出2倍与4倍大小的超分辨率图像;最后,以两阶段的结果分别构建多任务损失函数,利用第一阶段的损失指导第二阶段的损失,从而提高网络的训练速度,加强网络学习中的监督指导。实验结果表明,与bilinear算法、bicubic算法、基于卷积神经网络的图像超分辨率（SRCNN）算法和加速的超分辨率卷积神经网络（FSRCNN）算法相比,所提模型能更好地重建出图像的细节和纹理,避免了经过迭代之后造成的图像过度平滑,获得更高的峰值信噪比（PSNR）和平均结构相似度（MSSIM）。     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

正则化技术和低秩矩阵在稀疏表示超分辨率算法中的应用

为了有效地利用图像的特征作为指导重建的先验知识,解决常规超分辨率算法对边缘与结构等细节恢复不足的问题,提出一种改进的超分辨率算法.对待重建图像进行低秩分解,得到不同特征的低秩子图像和稀疏子图像;对于低秩子图像,提出采用基于正则化技术的稀疏表示超分辨率算法进行重建,先通过在低秩子图像中寻找相似图像块构造非局部相似正则化项,得到图像的非局部冗余,以保持边缘信息;再通过局部线性嵌入方法构造流形学习正则化项,获得图像的结构先验知识,以增强结构信息.对于稀疏子图像则不参与稀疏表示超分辨率重建,而是采用双三次插值法进行重建.实验结果表明,与其他算法相比,无论在主观视觉效果上,还是在峰值信噪比和结构相似性指标上,文中算法都有显著的提高.     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。     

分层特征融合网络航拍图像超分辨率重建

基于深度学习的图像超分辨率网络模型复杂度高,特征利用率较低,尤其是应用在复杂拍摄环境中的图像超分辨率重建,由于特征损失严重,最终重建的效果也较差。针对以上问题,提出分层特征融合图像超分辨率网络。引入对称式的分层结构,以增强不同层次图像特征的融合;使用更为密集的残差连接结构,减少局部残差损失,同时缓解梯度消失和梯度爆炸问题;在每个残差块中加入注意力机制,增强网络对图像高频信息的敏感度。为了验证算法在复杂环境中的效果,将模型应用于高空航拍图像超分辨率重建中。实验结果表明,所提算法相比于EDSR算法,在14个不同航拍图像环境中,尤其是复杂场景下的重建,平均PSNR提高了0.31?dB,效果显著。     

基于卷积神经网络的图像超分辨率重建

单幅图像超分辨率（Super Resolution，SR）重建，是计算机视觉领域的一个经典问题，其目的在于从一个低分辨率图像得到一个高分辨率图像。目前的卷积神经网络重建算法只有三层结构，浅层结构在处理内部结构复杂的数据时，会出现表征能力不足的问题，因此提出了一个基于特征转移的八层卷积神经网络结构来实现图像超分辨率重建。针对不同的测试集，提出的卷积神经网络模型取得了更佳的超分辨率结果，不管是在主观视觉上还是在客观评价指标上均有明显改善，把数据集图像放大3倍时，对于不同算法的对比图像，该算法的峰值信噪比最高，而且在清晰度方面尤其是图像纹理边缘得到了增强。实验结果证明了基于迁移转移的八层卷积神经网络对图像超分辨率重建的有效性，且网络的收敛速度更快，在精细度方面具有更高的优势。     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

基于拉普拉斯金字塔生成对抗网络的图像超分辨率重建算法

针对目前的图像超分辨率重建算法中存在的大尺度因子的重建效果较差、不同尺度的图像重建均需要单独训练等问题,提出一种基于拉普拉斯金字塔生成对抗网络（GAN）的图像超分辨率重建算法。算法中的生成器使用金字塔结构实现多尺度的图像重建,从而以渐进上采样的方式降低了大尺度因子的学习难度,并在层与层之间使用密集连接加强特征传播,从而有效避免了梯度弥散问题。算法中使用马尔可夫判别器将输入数据映射为结果矩阵,并在训练的过程中引导生成器关注图像的局部特征,从而丰富了重建图像的细节。实验结果表明：在Set5等基准数据集上分别进行放大2倍、4倍、8倍的图像重建时,所提算法的平均峰值信噪比（PSNR）分别达到了33.97 dB、29.15 dB、25.43 dB,平均结构相似性（SSIM）分别达到了0.924、0.840、0.667,相比用于超分辨率重建的卷积神经网络（SRCNN）、深度拉普拉斯金字塔超分辨率重建网络（LapSRN）、用于超分辨率重建的生成对抗式网络（SRGAN）等其他算法有较大提升,且其重建的图像在主观视觉上保留了更多生动的纹理和小颗粒细节。     

基于SIFT特征的多帧图像超分辨重建

精确的亚像素级图像配准是图像超分辨重建中的关键问题.在图像超分辨重建中广泛使用的基于像素特征的光流法,对于大幅度运动场的计算很难做到精确的亚像素级配准.本文考虑了一种基于SIFT(scale invariant feature transform)特征的鲁棒性多帧图像超分辨重建算法.首先提取输入的低分辨待匹配图像对的SIFT关键点及其特征矢量.随后选取候选匹配关键点对,通过RANSAC(random sample consensus)鲁棒方法去除奇异值,并根据假设的平移性几何约束模型,获得图像对的平移运动配准参数,然后选取视场中心对应的或指定的图像帧为初始参考帧,再使用传统的超分辨重建框架获得最终的重建结果.仿真实验结果表明,提出的基于SIFT特征的图像超分辨重建方案是有效的,超分辨重建的图像质量在主观评价和客观指标上都获得了优于经典算法的效果.     

基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

基于字典学习和非局部相似的超分辨率重建

为提高单帧降质图像的分辨率,提出了一种基于字典学习和非局部相似性的超分辨率重建算法。该算法主要将高分辨率图像减去利用迭代反投影重建结果得到差值图像,再利用K-奇异值分解(K-SVD)算法和联合字典生成的思想形成的字典训练方法,训练差值图像块和低分辨率图像块得到对应的高、低分辨率字典用于超分辨重建。此外,引入非局部相似性的正则项约束以提高重建图像的质量。实验结果表明,所提算法重建得到的图像在主观视觉效果和客观评价上优于基于例子学习的超分辨率算法。     

基于局部回归模型的图像超分辨率重建

针对基于稀疏重建的图像超分辨率(SR)算法一般需要外部训练样本,重建质量取决于待重建图像与训练样本的相似度的问题,提出一种基于局部回归模型的图像超分辨率重建算法。利用局部图像结构会在不同的图像尺度对应位置重复出现的事实,建立从低到高分辨率图像块的非线性映射函数一阶近似模型用于超分辨率重建。其中,非线性映射函数的先验模型是直接对输入图像及其低频带图像的对应位样本块对通过字典学习的方法得到。重建图像块时利用图像中的非局部自相似性,对多个非局部自相似块分别应用一阶回归模型,加权综合得到高分辨率图像块。实验结果表明,该算法重建的图像与同样利用图像具有自相似性的相关超分辨率算法相比,峰值信噪比(PSNR)平均提高0.3~1.1 dB,主观重建效果亦有明显提高。     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

A Hybrid Regularization-Based Multi-Frame Super-Resolution Using Bayesian Framework

The prime purpose for the image reconstruction of a multi-frame super-resolution is to reconstruct a higher-resolution image through incorporating the knowledge obtained from a series of relevant low-resolution images, which is useful in numerous fields. Nevertheless, super-resolution image reconstruction methods are usually damaged by undesirable restorative artifacts, which include blurring distortion, noises, and stair-casing effects. Consequently, it is always challenging to achieve balancing between image smoothness and preservation of the edges inside the image. In this research work, we seek to increase the effectiveness of multi-frame super-resolution image reconstruction by increasing the visual information and improving the automated machine perception, which improves human analysis and interpretation processes. Accordingly, we propose a new approach to the image reconstruction of multi-frame super-resolution, so that it is created through the use of the regularization framework. In the proposed approach, the bilateral edge preserving and bilateral total variation regularizations are employed to approximate a high-resolution image generated from a sequence of corresponding images with low-resolution to protect significant features of an image, including sharp image edges and texture details while preventing artifacts. The experimental results of the synthesized image demonstrate that the new proposed approach has improved efficacy both visually and numerically more than other approaches.     

基于权重量化与信息压缩的车载图像超分辨率重建

针对智能驾驶领域中需要在内存受限的情况下得到高质量的超分辨率图像的问题,提出一种基于权重八位二进制量化的车载图像超分辨率重建算法。首先,基于八位二进制量化卷积设计信息压缩模块,减少内部冗余,增强网络内信息流动,提高重建速率;然后,整个网络由一个特征提取模块、多个堆叠的信息压缩模块和一个图像重建模块构成,并利用插值后超分辨率空间的信息与低分辨率空间重建后的图像融合,在不增加模型复杂度的基础上,提高网络表达能力;最后,算法中整个网络结构基于对抗生成网络（GAN）框架进行训练,使得到的图片有更好主观视觉效果。实验结果表明,所提算法的车载图像重建结果的峰值信噪比（PSNR）比基于GAN的超分辨率重建（SRGAN）算法提高了0.22 dB,同时其生成模型大小缩小为LapSRN的39%,重建速度提高为LapSRN的7.57倍。     

类别信息生成式对抗网络的单图超分辨重建

目的 基于生成式对抗网络的超分辨模型（SRGAN）以感知损失函数作为优化目标,有效解决了传统基于均方误差（MSE）的损失函数导致重建图像模糊的问题。但是SRGAN的感知损失函数中并未添加明确指示模型生成对应特征的标志性信息,使得其无法精准地将数据的具体维度与语义特征对应起来,受此局限性影响,模型对于生成图像的特征信息表示不足,导致重建结果特征不明显,给后续识别处理过程带来困难。针对上述问题,在SRGAN方法的基础上,提出一种类别信息生成式对抗网络的超分辨模型（class-info SRGAN）。方法 对SRGAN模型增设类别分类器,并将类别损失项添加至生成网络损失中,再利用反向传播训练更新网络参数权重,以达到为模型提供特征类别信息的目的,最终生成具有可识别特征的重建图像。创新及优势在于将特征类别信息引入损失函数,改进了超分辨模型的优化目标,使得重建结果的特征表示更加突出。结果 经CelebA数据集测试表明：添加性别分类器的class-info SRGAN的生成图像性别特征识别率整体偏高（58%97%）;添加眼镜分类器的class-info SRGAN的生成图像眼镜框架更加清晰。此外,模型在Fashion-mnist与Cifar-10数据集上的结果同样表明其相较于SRGAN的重建质量更佳。结论 实验结果验证了本方法在超分辨重建任务中的优势和有效性,同时结果显示：虽然class-info SRGAN更适用于具有简单、具体属性特征的图像,但总体而言仍是一种效果显著的超分辨模型。