基于特征空间的人脸超分辨率重构

超分辨率图像重构是利用关于同一场景的多帧低分辨率图像重构出一幅具有更高分辨率图像的过程.传统的超分辨率图像重构算法是基于像素空间,通过利用高、低分辨率像素空间之间的映射关系来求解,具有计算复杂性高等缺点. 针对低分辨率人脸放大问题,提出了一个基于特征空间的人脸超分辨率图像重构算法.与传统算法相比,该算法不仅降低了计算复杂性,还具有更好的鲁棒性.     

面向安防监控场景的低分辨率人脸识别算法研究

针对安防监控场景中获取的人脸图像质量不佳、细节信息丢失导致的人脸识别准确率低下的问题,提出一种基于超分辨率重建的低分辨率人脸识别算法。该算法包括超分辨率重建和人脸识别两个子网络,分别实现低分辨率人脸图像的超分辨率重建和人脸特征的提取。首先通过增加超分辨率重建子网络激活函数前的特征图数量实现广泛激活,保证信息流的有效传递,重建出包含更多细节信息的高分辨率人脸图像;然后在训练时结合图像内容损失和身份损失,在重建图像的同时保留更多身份信息,使得提取到的人脸特征具有更强的辨别性。实验结果表明,该算法提升了低分辨率人脸识别的准确率,在监控人脸数据集QMUL-SurFace上的性能优于传统算法。     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

人脸图像超分辨率的自适应流形学习方法

样本规模与使用方法是基于学习的超分辨率中的一个重要问题.面向人脸图像超分辨率重建,提出一种基于局部保持投影(LPP)的自适应流形学习方法.由于能够揭示隐含在高维图像空间中的非线性结构,LPP是一种可以在局部人脸流形上分析其内在特征的、有效的流形学习方法.通过在LPP特征子空间中动态搜索出与输入图像块最相似的像素块集合作为学习样本,实现了自适应样本选择,并且利用动态样本集合通过基于像素块的特征变换方法有效地恢复出低分辨率人脸图像中缺失的高频成分.实验结果证实:通过在局部人脸流形上自适应地选择学习样本,文中方法可以仅使用相对少量的样本来获得很好的超分辨率重建结果.     

基于多尺度密集连接网络的图像超分辨算法

图像超分辨率旨在通过软件技术从低分辨率图像中获得高分辨率图像.受深层神经网络对非线性关系强大表示启发,提出一种基于多尺度密集连接网络的图像超分辨算法.利用多尺度和密集连接思想设计了两个并行子网络提取图像特征,一个子网络中引人多尺度卷积层以提取低分辨图像的多种特征,另一个子网络则利用密集连接模块加深网络结构尽可能提取丰富的纹理特征,同时还可以避免模型训练过程中梯度消失的问题.最后对两个子网络提取的特征求残差并对其行重构得到高分辨率图像.仿真结果表明,提出的算法无论在客观评价还是视觉效果上均优于其它同类超分辨算法.     

基于词典学习和稀疏表示的超分辨率方法

近年来,从大规模数据集中提取过完备词典,并使用稀疏表示在图像去噪、图像去马赛克和图像修复中有着较广泛应用。然而,这一技术不能直接用于处理具有异构特点的低分辨率/高分辨率图像块对,以及相应的图像超分辨率重构。要解决这一问题,文中提出一种求解同时满足两个过完备词典(低分辨率图像块词典和高分辨率图像块词典)下的相同稀疏表示的方法,并利用它们实现图像稀疏表示的超分辨率重建。为了进一步提高彩色图像的超分辨率效果,还提出基于超分辨率亮度信息的UV色度超分辨率重构。实验结果表明文中方法无论在视觉效果还是均方根误差上都获得更好结果。     

基于K近邻稀疏编码均值约束的人脸超分辨率算法

针对低分辨率、低质量人脸图像的超分辨率重建问题,提出了一种基于K近邻稀疏编码均值约束的人脸超分辨率算法。首先,根据人脸块位置先验信息,对训练样本图像块进行聚类,得到与输入人脸图像块位置一致的高、低分辨率稀疏表示字典对;然后,利用低分辨率字典,在稀疏和K近邻稀疏编码均值的共同约束下实现低分辨率图像块的稀疏表示;最后,通过系数映射,结合高分辨率字典实现高分辨率图像块重建,最终将所有高分辨率图像块进行交叠平均得到高分辨率人脸图像。实验结果验证了算法的有效性及先进性。本方法在保持重建人脸图像相似度的基础上,改善了人脸图像的清晰度,提高了超分辨率图像的质量。     

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题, 提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法. 首先提出了一个全局层注意力机制(global layer attention, GLA), 利用层注意力机制加权融合不同层级的全局特征, 建模低分辨率与高分辨率图像特征间的长期依赖关系. 同时, 设计了跨尺度局部注意力机制(cross-scale local attention, CSLA), 在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁, 并融合不同尺度的补丁特征, 以优化模型对图像细节信息的恢复能力. 最后, 提出一种局部信息感知损失函数来指导图像的重建过程, 进一步提高了重建图像的视觉质量和细节保留能力. 在UC-Merced数据集上的实验结果表明, 本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法, 并在视觉效果方面展现出更高的质量和更好的细节保留能力.     

基于Transformer的高光谱图像超分辨率重建

高光谱图像超分辨率重建旨在融合高分辨率多光谱图像与低分辨率高光谱图像以得到高分辨率高光谱图像.如何实现二者中空域信息和谱域信息的有效融合是高光谱图像超分辨率重建的关键.受高光谱图像的端元表示模型启发,本文在神经网络中显式地对端元进行建模,并利用其作为纽带实现空域信息和谱域信息的融合.具体来说,本文提出了一个基于Transformer的高光谱图像超分辨率重建网络,利用Transformer结构从低分辨率高光谱图像提取端元信息,并将端元信息融合到高分辨率多光谱图像中,进而完成高分辨率高光谱图像的重建.实验结果表明, Transformer结构的全局感受野增强了网络的长程建模能力,提高了端元提取精度,进而提升了超分辨率重建性能.与已有方法相比,本文所提方法在室内/遥感高光谱数据集上均取得了更优的性能.     

基于低分辨率输入图像的年龄识别方法

针对通常获取到的人脸图像,由于分辨率较低会丢失人脸原本的皱纹等特征信息,从而降低年龄识别的性能的问题,提出一种基于低分辨率输入图像的年龄识别方法:首先使用条件生成对抗网络(CGAN)对输入的低分辨人脸图像进行重构,再采用深度学习方法进行年龄识别.并进行了关于图像重构的对比实验,然后在不同的人脸图像数据集上进行了关于年龄...     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

Morphable model space based face super-resolution reconstruction and recognition

Super-resolution image reconstruction is the process of producing a high-resolution image from a set of low-resolution images of the same scene. For the applications of performing face evaluation and/or recognition from low-resolution video surveillance, in the past, super-resolution image reconstruction was mainly used as a separate preprocessing step to obtain a high-resolution image in the pixel domain that is later passed to a face feature extraction and recognition algorithm. Such three-stage approach suffers a high degree of computational complexity. A low-dimensional morphable model space based face super-resolution reconstruction and recognition algorithm is proposed in this paper. The approach tries to construct the high-resolution information both required by reconstruction and recognition directly in the low dimensional feature space. We show that comparing with generic pixel domain algorithms, the proposed approach is more robust and more computationally efficient.     

基于多级隐空间信息约束的噪声人脸超分辨率算法

为了实现强噪声和模糊干扰下的低清人脸图像重建,提出一种基于多级隐空间信息约束的噪声人脸超分辨率算法.首先设计一个用于人脸有效信息提取的特征蒸馏网络, 并通过统计性抗干扰模型和隐空间特征对比算法移除噪声等无效信息,构建一个具有高噪声鲁棒性的人脸信息提取模型;然后,设计人脸重建网络,该网络利用提取的人脸特征重建高清人脸图像; 最后,通过人脸身份嵌入模型和离散小波变换模型,分别从超球面身份度量空间和小波域进一步对重建人脸的身份信息和空间结构进行约束.实验结果表明,所提出的算法不仅能够有效去除高噪声环境下的人脸噪声,而且还能有效提升人脸图像分辨率,获得更高的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似度(structural similarity index,SSIM),具有较好的实用性.     

Hallucinating face by position-patch

A novel face hallucination method is proposed in this paper for the reconstruction of a high-resolution face image from a low-resolution observation based on a set of high- and low-resolution training image pairs. Different from most of the established methods based on probabilistic or manifold learning models, the proposed method hallucinates the high-resolution image patch using the same position image patches of each training image. The optimal weights of the training image position-patches are estimated and the hallucinated patches are reconstructed using the same weights. The final high-resolution facial image is formed by integrating the hallucinated patches. The necessity of two-step framework or residue compensation and the differences between hallucination based on patch and global image are discussed. Experiments show that the proposed method without residue compensation generates higher-quality images and costs less computational time than some recent face image super-resolution (hallucination) techniques.     

多尺度密集残差网络的单幅图像超分辨率重建

目的 近几年应用在单幅图像超分辨率重建上的深度学习算法都是使用单种尺度的卷积核提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏。另外,为了获得更好的图像超分辨率重建效果,网络模型也不断被加深,伴随而来的梯度消失问题会使得训练时间延长,难度加大。针对当前存在的超分辨率重建中的问题,本文结合GoogleNet思想、残差网络思想和密集型卷积网络思想,提出一种多尺度密集残差网络模型。方法 本文使用3种不同尺度卷积核对输入的低分辨率图像进行卷积处理,采集不同卷积核下的底层特征,这样可以较多地提取低分辨率图像中的细节信息,有利于图像恢复。再将采集的特征信息输入残差块中,每个残差块都包含了多个由卷积层和激活层构成的特征提取单元。另外,每个特征提取单元的输出都会通过短路径连接到下一个特征提取单元。短路径连接可以有效地缓解梯度消失现象,加强特征传播,促进特征再利用。接下来,融合3种卷积核提取的特征信息,经过降维处理后与3×3像素的卷积核提取的特征信息相加形成全局残差学习。最后经过重建层,得到清晰的高分辨率图像。整个训练过程中,一幅输入的低分辨率图像对应着一幅高分辨率图像标签,这种端到端的学习方法使得训练更加迅速。结果 本文使用两个客观评价标准PSNR（peak signal-to-noise ratio）和SSIM（structural similarity index）对实验的效果图进行测试,并与其他主流的方法进行对比。最终的结果显示,本文算法在Set5等多个测试数据集中的表现相比于插值法和SRCNN算法,在放大3倍时效果提升约3.4 dB和1.1 dB,在放大4倍时提升约3.5 dB和1.4 dB。结论 实验数据以及效果图证明本文算法能够较好地恢复低分辨率图像的边缘和纹理信息。     

改进的卷积神经网络单幅图像超分辨率重建

针对经典的基于卷积神经网络的单幅图像超分辨率重建方法网络较浅、提取的特征少、重建图像模糊等问题，提出了一种改进的卷积神经网络的单幅图像超分辨率重建方法，设计了由密集残差网络和反卷积网络组成的新型深度卷积神经网络结构。原始低分辨率图像输入网络，利用密集残差学习网络获取更丰富的有效特征并加快特征梯度流动，其次通过反卷积层将图像特征上采样到目标图像大小，再利用密集残差学习高维特征，最后融合不同卷积核提取的特征得到最终的重建图像。在Set5和Set14数据集上进行了实验，并和Bicubic、K-SVD、SelfEx、SRCNN等经典重建方法进行了对比，重建出的图像在整体清晰度和边缘锐度方面更好，另外峰值信噪比（PSNR）平均分别提高了2.69?dB、1.68?dB、0.74?dB和0.61?dB。实验结果表明，该方法能够获取更丰富的细节信息，得到更好的视觉效果，达到了图像超分辨率的增强任务。     

基于PCA与残差补偿的人脸超分辨率算法

提出一种基于主成分分析(PCA)与相似递归残差补偿的人脸超分辨率算法。基于PCA获得高低分辨率人脸图像特征空间的映射系数,通过该系数重建初步的高分辨率人脸图像。利用高低分辨率人脸图像空间同一区域图像块的内容相似性,递归计算残差补偿图像。采用该残差图像对初步重建的全局人脸进行细节补偿。实验结果表明,该算法的重建效果较优。     

基于改进CycleGAN的视频监控人脸超分辨率恢复算法

针对有监督超分辨率算法训练过程需要大量成对图像、处理真实低分辨率图像视觉恢复效果差等问题,提出了一种基于改进CycleGAN的半监督算法Cycle-SRNet.首先,利用退化模型获得与真实低分辨率人脸相似的图像,用于训练网络参数;其次,通过重建模型恢复出具有真实效果的高分辨率人脸图像;最后引入感知损失函数保持人脸结构相似性,以更好地恢复面部特征.实验结果表明,该算法不需要成对的图像进行网络训练,在视觉效果上能够将模糊的视频监控低分辨率人脸图像恢复成清晰可辨的人脸图像,在FID、PSNR和SSIM指标上超越了SRCNN、SRGAN、CinCGAN等方法.     

基于加速残差网络的图像超分辨率重建方法

针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比（PSNR）及结构相似性（SSIM）均值结果较基于卷积神经网络的图像超分辨率（SRCNN）取得的结果分别提升了0.57 dB和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建（ISCNN）取得的结果分别提升了0.45 dB和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率（VDSR）的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。