自然场景下遥感图像超分辨率重建算法研究

在遥感图像超分辨率重建领域,大部分数据集缺少成对的图像用于训练,当前的方法主要是通过双三次插值的方式来获取低分辨率图像,因退化模型过于理想化导致在处理真实低分辨率遥感图像时效果较差,基于此,文中提出了一种自然场景下真实遥感图像的超分辨率重建算法.针对缺少成对图像的数据集的问题,构建了一种更合理的退化模型,将成像过程中的...     

基于真实图像退化的人脸超分辨率重建算法

针对大多数人脸超分算法的预设退化模型与真实图像的退化方式差距大,导致人脸重建的效果不理想的问题,提出了一种针对真实图像退化的人脸超分辨率重建算法。首先设计了一种混合退化模型,通过对运动模糊、高斯噪声等多种退化形式进行合成用于模拟真实图像退化空间,生成接近现实场景的低分辨率图像。然后采用基于小波域的超分辨重建网络预测得到高分辨率图像的小波系数,并经过小波逆变换得到超分辨率图像。在高清人脸数据集(FFHQ)和真实人脸数据集(RealSR)上的实验结果表明,研究提出的算法不仅能有效提升重建效果,而且适用于真实场景下的人脸超分辨率重建。     

基于马尔可夫网络人脸图像超分辨率非线性算法*

研究单幅人脸图像的超分辨率重构算法。采用马尔可夫网络模型描述重构机制,对输入的低分辨率图像,以及训练用高分辨率图像和对应的低分辨率图像进行分块,并使图像基本对齐,构造训练图像集。针对简化马尔可夫网络计算的需要以及训练集人脸图像的差异,在采用块坐标限位操作的基础上,提出了一种非线性样本搜索算法,降低了搜索空间复杂度,提高了匹配效率和相关性。算法利用搜索到的高分辨率图像分块样本,直接输出超分辨率图像。分析和实验证实,与传统学习算法相比,本方法具有输出质量好、效率高的特点。     

人脸图像超分辨率非线性算法

研究单幅人脸图像的超分辨率重构算法。采用马尔可夫网络模型描述重构机制,对输入的低分辨率图像,以及训练用高分辨率图像和对应的低分辨率图像进行分块,并使图像基本对齐,构造训练图像集。针对简化马尔可夫网络计算的需要以及训练集人脸图像的差异,在块坐标限位操作的基础上,提出了一种非线性样本搜索算法,降低了搜索空间复杂度,提高了匹配效率和相关性。算法利用搜索到的高分辨率图像分块样本,直接输出超分辨率图像。分析和实验证实,与传统学习算法相比,该文方法具有输出质量好、效率高的特点。     

自监督学习的单幅透射图像恢复

现有基于学习的单幅透射图像恢复方法常需要大量成对的标签数据来训练模型,因缺乏成对图像集的监督约束,致使透射图像恢复效果欠佳,限制了其实用性.提出了一种基于自监督学习的单幅透射图像恢复方法,利用循环一致性生成对抗网络的循环结构和约束转移学习能力实现非成对图像的模型训练,通过设计自学习模块,从大规模的无监督数据中挖掘自身的监督信息对网络进行训练,以此形成有效的从浅层到深层的特征提取,提高透射图像正面内容的纹理、边缘等细节信息恢复质量,实现单幅图像的透射去除.实验结果表明,该方法在合成图像数据集、公共图像数据集以及真实图像数据集上都取得了较好的透射图像恢复结果.     

面向安防监控场景的低分辨率人脸识别算法研究

针对安防监控场景中获取的人脸图像质量不佳、细节信息丢失导致的人脸识别准确率低下的问题,提出一种基于超分辨率重建的低分辨率人脸识别算法。该算法包括超分辨率重建和人脸识别两个子网络,分别实现低分辨率人脸图像的超分辨率重建和人脸特征的提取。首先通过增加超分辨率重建子网络激活函数前的特征图数量实现广泛激活,保证信息流的有效传递,重建出包含更多细节信息的高分辨率人脸图像;然后在训练时结合图像内容损失和身份损失,在重建图像的同时保留更多身份信息,使得提取到的人脸特征具有更强的辨别性。实验结果表明,该算法提升了低分辨率人脸识别的准确率,在监控人脸数据集QMUL-SurFace上的性能优于传统算法。     

一种基于学习的非线性人脸图像超分辨率算法

提出了一种单幅人脸图像的超分辨率重构算法。该算法采用马尔可夫网络模型描述重构机制,对输入的低分辨率图像,以及训练用高分辨率图像和对应的低分辨率图像进行分块,并使图像基本对齐,构造训练图像集。针对简化马尔可夫网络计算的需要以及训练集人脸图像的差异,在采用块坐标限位操作的基础上,使用了一种非线性样本搜索算法,降低了搜索空间复杂度,提高了匹配效率和相关性。算法利用搜索到的高分辨率图像分块样本,直接输出超分辨率图像。分析和实验表明,与传统学习算法相比,该方法具有输出质量好、效率高的特点。     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

YOLOv3融合图像超分辨率重建的鲁棒人脸检测

复杂场景中的人脸检测由于受到图像质量、人脸尺度和光线等因素影响,精准地定位小人脸、避免漏检、误检是一件极具挑战性的任务。提出了一种基于YOLOv3、融合图像超分辨率重建技术的两级人脸检测模型SR-YOLOv3。针对场景中小人脸目标的漏检问题,利用K-means++算法对先验框进行聚类分析,设置更小尺寸的先验框来捕获小人脸信息;针对模糊小尺度人脸的误检问题,采用Darknet53作为主干网络,融入SRGAN图像超分辨率重建模块对低分辨率的人脸进行数据增强,形成一个可以提高低分辨率小人脸检测性能的检测网络。利用WIDERFACE数据集对SR-YOLOv3模型进行训练和测试,并与MTCNN、CMS-RCNN、HR、S3FD算法相比,验证了提出的模型具有更高的检测精确度,尤其是在hard子集上的性能提升最为明显。SR-YOLOv3能够有效地利用人脸信息,精准检测出复杂场景中的难检测人脸目标,具有很好的鲁棒性。     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

Color Face Recognition for Degraded Face Images

In many current face-recognition (FR) applications, such as video surveillance security and content annotation in a web environment, low-resolution faces are commonly encountered and negatively impact on reliable recognition performance. In particular, the recognition accuracy of current intensity-based FR systems can significantly drop off if the resolution of facial images is smaller than a certain level (e.g., less than 20 $times$ 20 pixels). To cope with low-resolution faces, we demonstrate that facial color cue can significantly improve recognition performance compared with intensity-based features. The contribution of this paper is twofold. First, a new metric called “variation ratio gain” (VRG) is proposed to prove theoretically the significance of color effect on low-resolution faces within well-known subspace FR frameworks; VRG quantitatively characterizes how color features affect the recognition performance with respect to changes in face resolution. Second, we conduct extensive performance evaluation studies to show the effectiveness of color on low-resolution faces. In particular, more than 3000 color facial images of 341 subjects, which are collected from three standard face databases, are used to perform the comparative studies of color effect on face resolutions to be possibly confronted in real-world FR systems. The effectiveness of color on low-resolution faces has successfully been tested on three representative subspace FR methods, including the eigenfaces, the fisherfaces, and the Bayesian. Experimental results show that color features decrease the recognition error rate by at least an order of magnitude over intensity-driven features when low-resolution faces (25 $times$ 25 pixels or less) are applied to three FR methods.      

基于图像超分辨极限学习机的极低分辨率人脸识别

极低分辨率图像本身包含的判别信息少且容易受到噪声的干扰,在现有的人脸识别算法下识别率较低。为了解决这一问题,提出一种基于图像超分辨率(SR)极限学习机(ELM)的人脸识别算法。首先,从样本库学习耦合的高低分辨率图像稀疏表达字典,利用高低分辨率表达系数的流形一致性重建高分辨率图像;其次,在超分辨率重建的高分辨率(HR)图像上构建ELM模型,训练获得前向神经网络的连接权值;最后,通过ELM预测输入极低人脸图像的类别属性。实验结果表明,针对于重建后的极低分辨率人脸图片,与协同表示的分类(CRC)人脸识别算法相比,所提算法将识别率分别提升了2%;同时也大幅度缩短了识别的时间。结果表明所提算法能够有效解决极低分辨率图片判决信息不足的问题,具有较好的识别能力。     

基于特征空间的人脸超分辨率重构

超分辨率图像重构是利用关于同一场景的多帧低分辨率图像重构出一幅具有更高分辨率图像的过程.传统的超分辨率图像重构算法是基于像素空间,通过利用高、低分辨率像素空间之间的映射关系来求解,具有计算复杂性高等缺点. 针对低分辨率人脸放大问题,提出了一个基于特征空间的人脸超分辨率图像重构算法.与传统算法相比,该算法不仅降低了计算复杂性,还具有更好的鲁棒性.     

基于视频监控的人脸识别方法

目前人脸识别方法主要针对静态图像进行识别,而在监控视频中,不同视频帧人脸具有相关性且只有部分人脸能够有效反映人脸信息。根据监控视频中人脸图像变化特性,提出了一种基于监控视频的人脸识别方法。首先通过结合人脸检测与跟踪技术获得视频人脸序列,然后以视频人脸序列中部分人脸图像识别结果为导向选取全部人脸序列图像中的代表人脸图像进行识别,最后根据选取的全部人脸图像识别结果综合反映人脸信息。实验结果表明,该方法能够在确保识别率和误识率的前提下有效提升监控视频中人脸识别的实时性。     

视频监控下的人脸跟踪与识别系统

针对智能视频监控系统的要求,设计了一个基于视频监控的自动多人脸跟踪识别系统,该系统的功能是实时跟踪视频监控范围内的人脸并鉴别人脸的身份。针对复杂背景及类似人脸区域的影响,提出了一种Adaboost人脸检测算法和主动形状模型相结合的人脸检测算法,实现人脸的准确检测;针对视频监控范围内人脸偏转、交错以及由于人员不断出入而导致人脸数目发生变化的问题,提出了CamShift和Kalman滤波器相结合的多人脸跟踪算法,同时对跟踪到的人脸进行实时身份识别。实验证明,该系统在视频监控范围内对人脸检测和身份识别准确,跟踪实时性好,是一种建立实时视频监控系统的实用方法。     

Morphable model space based face super-resolution reconstruction and recognition

Super-resolution image reconstruction is the process of producing a high-resolution image from a set of low-resolution images of the same scene. For the applications of performing face evaluation and/or recognition from low-resolution video surveillance, in the past, super-resolution image reconstruction was mainly used as a separate preprocessing step to obtain a high-resolution image in the pixel domain that is later passed to a face feature extraction and recognition algorithm. Such three-stage approach suffers a high degree of computational complexity. A low-dimensional morphable model space based face super-resolution reconstruction and recognition algorithm is proposed in this paper. The approach tries to construct the high-resolution information both required by reconstruction and recognition directly in the low dimensional feature space. We show that comparing with generic pixel domain algorithms, the proposed approach is more robust and more computationally efficient.     

基于梯度匹配增强的单帧监控视频超分辨率方法

由于采集环境和设备的限制,监控视频中如人脸等重要目标区域面积较小,插值放大技术会使得目标模糊,影响后续处理效果。本文研究单帧监控视频的超分辨率技术,处理流程分为训练和增强两个阶段。在训练阶段,通过对相关图像库的训练得到由低分辨率图像块和高分辨率图像块对构成的训练集;在增强阶段,通过输入的低分辨率图像构造搜索矢量在训练集中匹配搜索找到高分辨率信息。为了提高搜索准确率,将梯度匹配增强到搜索矢量构造过程中,从而能在训练集中找到更符合真实结构分布的高分辨率信息,提高超分辨率增强的效果。实验结果表明,该方法得到的高分辨率图像边缘更锐利,视觉效果更好。