学习小波超分辨率系数的人脸超分算法

目前基于卷积神经网络的超分方法虽然在峰值信噪比和结构相似性评价指标上能取得优异的结果,但是得到的超分图像视觉质量较差,会丢失人脸五官区域的细节信息。针对这一现象,设计了一种新的深度神经网络来预测超分小波系数以获得信息丰富的超分辨率人脸图像,首先利用人脸图像的先验知识手动地给予五官区域更多的关注,然后在网络中引入线性低秩卷积运算,最后利用长距离依赖的思想补充超分图像的细节。实验验证该算法可以在获得较高的峰值信噪比和结构相似性的同时,使超分人脸图像五官区域更加清晰、视觉质量更优。     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

深度卷积神经网络图像超分辨率重建方法研究

基于深度卷积神经网络算法实现网络图像超分辨率重建技术，为满足图像的超分辨率精度检测和构建需求，通过构建图像融合技术来实现图像重建架构，形成以机器人视觉系统数据为主体的控制模块，实现对网络图像超分辨率的图像融合分析的目标，完成深度卷积神经网络图像重建。在深度卷积神经网络图像的构建过程中，注意神经网络输出数据决策方案和图像的自适应预置模块设计，分析深度卷积神经网络的各层节点数，平衡图像分辨率数据深度卷积过程中的信息损失量，提升图像分辨率数据的重建精度。     

面向安防监控场景的低分辨率人脸识别算法研究

针对安防监控场景中获取的人脸图像质量不佳、细节信息丢失导致的人脸识别准确率低下的问题,提出一种基于超分辨率重建的低分辨率人脸识别算法。该算法包括超分辨率重建和人脸识别两个子网络,分别实现低分辨率人脸图像的超分辨率重建和人脸特征的提取。首先通过增加超分辨率重建子网络激活函数前的特征图数量实现广泛激活,保证信息流的有效传递,重建出包含更多细节信息的高分辨率人脸图像;然后在训练时结合图像内容损失和身份损失,在重建图像的同时保留更多身份信息,使得提取到的人脸特征具有更强的辨别性。实验结果表明,该算法提升了低分辨率人脸识别的准确率,在监控人脸数据集QMUL-SurFace上的性能优于传统算法。     

基于小波预测的超分辨率素描人脸合成方法

在使用人工智能算法等途径生成高质量的素描人脸图像时,若输入光学图像分辨率较低,生成的素描图像质量也会较差。在仅有低分辨率光学图像的条件下,提出一种基于小波预测的超分辨率素描人脸合成方法合成高质量的素描图像。在素描人脸合成网络的基础上引入超分辨率模块,通过对高分辨率图像的小波包分解系数进行预测,在端到端的框架下同时完成对图像的素描人脸图像合成以及超分辨率重建,提高合成图像的质量及分辨率。通过在CUHK学生数据集上与目前领先的超分辨率重建方法进行实验对比,该方法相较其它对比方法取得了更加优越的实验结果。     

基于识别的凸集投影人脸图像超分辨率重建

人脸图像的超分辨率重建在公安、视频监控等领域有重要应用价值．基于识别的思想,对人脸灰度图像进行统计分析,得到有关人脸灰度整体特征的先验知识,将其描述为属性集合,从而利用凸集投影算法进行超分辨率图像重建．实验结果表明,重建质量较为理想,与通常的超分辨率凸集投影重建方法相比,抑制噪声的能力有显著提高,重建质量改善明显,收敛速度加快,且易于计算和实现．     

基于K近邻稀疏编码均值约束的人脸超分辨率算法

针对低分辨率、低质量人脸图像的超分辨率重建问题,提出了一种基于K近邻稀疏编码均值约束的人脸超分辨率算法。首先,根据人脸块位置先验信息,对训练样本图像块进行聚类,得到与输入人脸图像块位置一致的高、低分辨率稀疏表示字典对;然后,利用低分辨率字典,在稀疏和K近邻稀疏编码均值的共同约束下实现低分辨率图像块的稀疏表示;最后,通过系数映射,结合高分辨率字典实现高分辨率图像块重建,最终将所有高分辨率图像块进行交叠平均得到高分辨率人脸图像。实验结果验证了算法的有效性及先进性。本方法在保持重建人脸图像相似度的基础上,改善了人脸图像的清晰度,提高了超分辨率图像的质量。     

身份保持约束下的面部图像超分辨率重建方法

低分辨率是影响人脸识别精度的重要因素。一种有效方法是使用图像超分辨率技术对低分辨率图像重建,生成超分辨率图像后再对其作人脸识别,从而克服低分辨率面部图像对人脸识别的限制。但是,现有超分辨率方法在重建过程中往往忽略了保持其原始身份信息,这直接影响生成图像的人脸识别结果。针对上述问题,提出了一种身份保持约束下的面部超分辨率重建方法IPNet,在提高低分辨率面部图像质量的同时,能保持重建后的面部图像身份。IPNet方法将语义分割网络和面部生成器相结合,通过语义分割网络提取低维隐码和多分辨率空间特征,进而指导面部生成器输出接近于原图的真实面部图像。在此基础上引入人脸识别网络,将身份信息整合到超分辨率方法中,从而约束重建前后的面部图像身份保持一致。实验结果表明,IPNet方法在超分辨率图像质量和身份保持上均优于其他对比方法。     

基于粒子滤波的人脸图像超分辨率重建方法

将人脸图像超分辨率重建描述为人脸混合模型的纹理和位置参数的贝叶斯概率估计问题,将超分辨率重建的图像配准和像素融合这两个过程置于统一的概率估计框架下,并利用基于粒子滤波的参数估计算法,同时估计纹理和位置参数,从而实现人脸图像的超分辨率重建.包含灰度和位置两种先验信息的人脸混合模型,同时用于超分辨率重建的两个过程中,提高了图像配准精度和重建算法的性能,避免了通常方法在获得准确鲁棒的运动场估计时需要清晰的高分辨图像,而获得清晰的高分辨图像时又需要准确鲁棒运动场估计的困境.正面人脸合成序列图像实验结果表明,该方法获得的重建结果较为理想.     

基于MAP框架的金字塔人脸超分辨率算法

提出一种基于学习的金字塔人脸超分辨率算法,利用金字塔学习人脸图像梯度的空间分布特性,建立标准人脸训练库作为学习模型,采用塔状父结构从训练库搜索匹配特征信息相似度最高的小块,预测出最优的拉普拉斯金字塔先验模型,利用贝叶斯MAP框架求出高分辨率人脸图像。实验结果表明,与其他人脸超分辨率算法相比,在将人脸图像分辨率提高4×4倍的情况下,该算法生成的高分辨率人脸图像的平均峰值信噪比提高1.19 dB~2.4 dB,可以更好地消除噪声,具有较好的视觉效果。     

联合多任务学习的人脸超分辨率重建

目的 人脸超分辨率重建是特定应用领域的超分辨率问题,为了充分利用面部先验知识,提出一种基于多任务联合学习的深度人脸超分辨率重建算法。方法 首先使用残差学习和对称式跨层连接网络提取低分辨率人脸的多层次特征,根据不同任务的学习难易程度设置损失权重和损失阈值,对网络进行多属性联合学习训练。然后使用感知损失函数衡量HR（high-resolution）图像与SR（super-resolution）图像在语义层面的差距,并论证感知损失在提高人脸语义信息重建效果方面的有效性。最后对人脸属性数据集进行增强,在此基础上进行联合多任务学习,以获得视觉感知效果更加真实的超分辨率结果。结果 使用峰值信噪比（PSNR）和结构相似度（SSIM）两个客观评价标准对实验结果进行评价,并与其他主流方法进行对比。实验结果显示,在人脸属性数据集（CelebA）上,在放大8倍时,与通用超分辨率MemNet（persistent memory network）算法和人脸超分辨率FSRNet（end-to-end learning face super-resolution network）算法相比,本文算法的PSNR分别提升约2.15 dB和1.2 dB。结论 实验数据与效果图表明本文算法可以更好地利用人脸先验知识,产生在视觉感知上更加真实和清晰的人脸边缘和纹理细节。     

Face hallucination based on sparse local-pixel structure

In this paper, we propose a face-hallucination method, namely face hallucination based on sparse local-pixel structure. In our framework, a high resolution (HR) face is estimated from a single frame low resolution (LR) face with the help of the facial dataset. Unlike many existing face-hallucination methods such as the from local-pixel structure to global image super-resolution method (LPS-GIS) and the super-resolution through neighbor embedding, where the prior models are learned by employing the least-square methods, our framework aims to shape the prior model using sparse representation. Then this learned prior model is employed to guide the reconstruction process. Experiments show that our framework is very flexible, and achieves a competitive or even superior performance in terms of both reconstruction error and visual quality. Our method still exhibits an impressive ability to generate plausible HR facial images based on their sparse local structures.     

Face hallucination based on two-dimensional joint learning

In this paper, a face hallucination method based on two-dimensional joint learning is presented. Unlike the existing works on face super-resolution algorithms that first reshape the image or image patch into 1D vector, in our study the spatial construction of the high resolution (HR) and the low resolution (LR) face image are efficiently maintained in the reconstruction procedure. Enlightened by the 1D joint learning approach for image super-resolution, we propose a 2D joint learning algorithm to map the original 2D LR and HR image patch spaces onto a unified feature subspace. Subsequently, the neighbor-embedding (NE) based super-resolution algorithm can be conducted on the unified feature subspace to estimate the reconstruction weights. With these weights, the initial HR facial image can be generated. To refine further the initial HR estimate, the global reconstruction constraint is exploited to improve the quality of reconstruction result. Experiments on the face databases and real-world face images demonstrate the effectiveness of the proposed algorithm.     

基于PCA与残差补偿的人脸超分辨率算法

提出一种基于主成分分析(PCA)与相似递归残差补偿的人脸超分辨率算法。基于PCA获得高低分辨率人脸图像特征空间的映射系数,通过该系数重建初步的高分辨率人脸图像。利用高低分辨率人脸图像空间同一区域图像块的内容相似性,递归计算残差补偿图像。采用该残差图像对初步重建的全局人脸进行细节补偿。实验结果表明,该算法的重建效果较优。     

基于生成对抗网络的多幅离焦图像超分辨率重建算法

为提高超分辨率算法重建出的图像质量,提出融合多幅离焦图像的超分辨率重建算法。以离焦图像作为切入点,利用自编码器提取离焦图像中的重要特征,根据空间特征变换层结构,将离焦特征与原始特征相结合,完成图像的超分辨率重建。在Celeb A人脸数据集上进行实验,结果表明,与传统插值算法及SRGAN算法相比,所提算法在大多数情况下能获得更高峰值信噪比及结构相似性数值,能生成质量更高的重建图像。     

基于改进CycleGAN的视频监控人脸超分辨率恢复算法

针对有监督超分辨率算法训练过程需要大量成对图像、处理真实低分辨率图像视觉恢复效果差等问题,提出了一种基于改进CycleGAN的半监督算法Cycle-SRNet.首先,利用退化模型获得与真实低分辨率人脸相似的图像,用于训练网络参数;其次,通过重建模型恢复出具有真实效果的高分辨率人脸图像;最后引入感知损失函数保持人脸结构相似性,以更好地恢复面部特征.实验结果表明,该算法不需要成对的图像进行网络训练,在视觉效果上能够将模糊的视频监控低分辨率人脸图像恢复成清晰可辨的人脸图像,在FID、PSNR和SSIM指标上超越了SRCNN、SRGAN、CinCGAN等方法.