基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题,提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法,利用多幅不同姿态侧脸之间的相关信息来进行人脸校正,并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络,包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器,以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征;多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征;而正脸合成模块在进行姿态校正的过程中加入融合特征,通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构,可以有效提高校正结果。实验结果表明,与现有基于深度学习的人脸校正方法相比,所提方法恢复出的正脸图像不仅轮廓清晰,而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点,并且输入侧脸图像越多,恢复出的正脸图像的识别率越高,表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

基于部分卷积和多尺度特征融合的人脸图像修复模型

针对破损区域较大的人脸图像，修复后图像存在局部色差、边界伪影和细节缺陷等问题，提出基于部分卷积和多尺度特征融合的人脸图像修复模型。该模型主要分为多尺度修复网络和判别器网络。修复网络通过多级特征提取模块和主分支模块，有效融合深层和浅层的图像特征，实现了人脸图像的特征提取和融合。此外，构建由内容损失、感知损失、风格损失、总变分损失和对抗损失组成的联合损失函数，用于训练多尺度修复网络，并通过与判别器网络的相互对抗，提高修复图像与真实图像的视觉一致性。实验结果表明，对于不同的掩膜率，采用该模型修复的图像具有合理的纹理结构和上下文语义信息，并在定性和定量比较上表现更好。     

基于面部特征图对称的人脸正面化生成对抗网络算法

目前人脸正面化研究主要解决人脸偏转问题,而对监控视频等现实场景中同时受偏转和俯仰变化影响的侧脸的正面化生成关注较少,针对这个问题和多角度侧脸生成的正面人脸图存在身份信息保留不全的问题,提出了一种基于特征图对称模块和眼周特征保留损失的生成对抗网络（GAN）。首先,根据人脸对称性先验,提出特征图对称模块,先使用人脸关键点检测器检测出侧脸鼻尖点位置,再将编码器提取到的特征图依照鼻尖位置进行镜像对称,从而在特征层面上缓解面部信息缺失的问题。其次,借鉴眼周识别思想,在现有的生成图身份保留方法中加入了眼周特征保留损失以训练生成器生成逼真的且保留身份信息的人脸正面图像。实验结果表明,所提算法得到的生成图面部细节保留较好,且在CAS-PEAL-R1数据集的所有俯角下人脸的平均Rank-1识别率为99.03%,可见该算法能够有效解决多角度侧脸的正面化问题。     

基于注意力残差网络的人脸超分辨率重建

为解决通道内部特征信息交互性不足、特征利用和表示不够充分导致的人脸面部细节信息恢复不理想的问题,提出一种基于编码器-解码器的注意力残差网络,并设计基于注意力的残差模块,其主要由基准残差模块、沙漏模块与内部特征拆分注意力模块组成,通过内部特征拆分注意力模块加强通道内部之间的交互性,使网络能够提取到更详细的特征信息,恢复出更多人脸面部细节,同时在残差模块中利用一个预激活模块,解决批量归一化层在超分辨率网络中存在的伪影问题。在特征提取单元末端运用多阶特征融合模块充分融合多个阶段的特征,缓解特征在网络传输过程中的丢失现象,提高特征利用率。实验结果表明,该方法可以恢复出更多人脸面部细节,在Helen人脸数据集上,重建人脸图像的PSNR值为27.74 dB,相比SISN和DICNet方法,分别提高了1.47 dB、1.12 dB。在CelebA人脸数据集上,重建人脸图像的PSNR值为27.40 dB,相比SISN和DICNet方法,分别提高了1.26 dB、0.39 dB。     

基于多尺度特征融合生成对抗网络的水下图像增强

针对水下退化图像细节模糊、对比度低和蓝绿色偏问题,提出了一种基于多尺度特征融合生成对抗网络的水下图像增强算法。算法以生成对抗网络为基本框架,结合传统白平衡算法和多尺度增强网络实现对水下退化图像的增强。通过改进的通道补偿白平衡算法矫正蓝绿色偏,并以卷积神经网络提取偏色校正后图像的特征;提取图像多尺度特征,结合提出的残差密集块将每一层的局部特征增强为捕获语义信息的全局特征,并与偏色校正图像的特征相融合;通过重建模块将融合特征重建为清晰图像,恢复图像的细节信息。实验结果表明,该算法增强的水下图像去雾效果较好且颜色更真实,有效改善了水下图像色偏和模糊的问题,在主观指标和客观指标上的实验结果均优于对比算法。     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

基于高斯过程回归的多姿态人脸识别

针对在人脸识别中,人脸姿态的变化会对识别结果造成严重的干扰这一问题,以及目前绝大多数人脸识别系统仅支持标准正脸的识别这一现状,基于高斯过程回归分析侧脸轮廓到正脸轮廓的映射关系,提出一种处理侧角在水平-45°到+45°之间的人脸图片的方法,显著地提升了人脸识别系统对侧脸图片的识别率。在Mulit-Pie和FERET两个人脸数据库上进行的多次识别实验表明了该方法的有效性。     

预训练模型特征提取的双对抗磁共振图像融合网络研究

随着多模态医学图像在临床诊疗工作中的普及,建立在时空相关性特性基础上的融合技术得到快速发展,融合后的医学图像不仅可以保留各模态源图像的独有特征,而且能够强化互补信息、便于医生阅片.目前大多数方法采用人工定义约束的策略来实现特征提取和特征融合,这容易导致融合图像中部分有用信息丢失和细节不清晰等问题.为此,提出一种基于预训练模型特征提取的双对抗融合网络实现MR-T1/MR-T2图像的融合.该网络由一个特征提取模块、一个特征融合模块和两个鉴别网络模块组成.由于已配准的多模态医学图像数据集规模较小,无法对特征提取网络进行充分的训练,又因预训练模型具有强大的数据表征能力,故将预先训练的卷积神经网络模型嵌入到特征提取模块以生成特征图.然后,特征融合网络负责融合深度特征并输出融合图像.两个鉴别网络通过对源图像与融合图像进行准确分类,分别与特征融合网络建立对抗关系,最终激励其学习出最优的融合参数.实验结果证明了预训练技术在所提方法中的有效性,同时与现有的6种典型融合方法相比,所提方法融合结果在视觉效果和量化指标方面均取得最优表现.     

基于曲面等高线特征的不同姿态三维人脸深度图识别

三维人脸识别因能克服二维人脸识别易受光照,姿态和表情等因素影响的缺点,从而日益受到关注和重视.文中针对三维人脸实时成像系统所获得的不同姿态下的三维人脸深度图,提出一种人脸识别方法(FDAC).首先利用微分几何相关理论来指导三维深度人脸深度图的校正,再根据曲面等高线来描述人脸的面部特征并使用傅里叶描绘子实现特征提取,最后利用提取的等高线特征进行人脸分类识别.实验结果表明,FDAC方法对于不同姿态下的三维人脸图像有较好的识别率,并且在时间开销方面优于常规的特征脸识别方法.     

多尺度非监督特征学习的人脸识别

为了充分利用人脸图像的潜在信息,提出一种通过设置不同尺寸的卷积核来得到图像多尺度特征的方法,多尺度卷积自动编码器（Multi-Scale Convolutional Auto-Encoder,MSCAE）。该结构所提取的不同尺度特征反映人脸的本质信息,可以更好地还原人脸图像。这种特征提取框架是一个卷积和采样交替的层级结构,使得特征对旋转、平移、比例缩放等具有高度不变性。MSCAE以encoder-decoder模式训练得到特征提取器,用它提取特征,并融合形成用于分类的特征向量。BP神经网络在ORL和Yale人脸库上的分类结果表明,多尺度特征在识别率和性能上均优于单尺度特征。此外,MSCAE特征与HOG（Histograms of Oriented Gradients）的融合特征取得了比单一特征更高的识别率。     

基于多任务学习的多姿态人脸重建与识别

针对当前人脸识别中姿态变化会影响识别性能,以及姿态恢复过程中脸部局部细节信息容易丢失的问题,提出一种基于多任务学习的多姿态人脸重建与识别方法——多任务学习堆叠自编码器（MtLSAE）。该方法通过运用多任务学习机制,联合考虑人脸姿态恢复和脸部局部细节信息保留这两个相关的任务,在步进逐层恢复正面人脸姿态的同时,引入非负约束稀疏自编码器,使得非负约束稀疏自编码器能够学习到人脸部的部分特征;其次在姿态恢复和局部信息保留两个任务之间通过共享参数的方式来学习整个网络框架;最后将重建出来的正脸图像通过Fisherface进行降维并提取具有判别信息的特征,并用最近邻分类器来识别。实验结果表明,MtLSAE方法获得了较好的姿态重建质量,保留的局部纹理信息清晰,而且与局部Gabor二值模式（LGBP）、基于视角的主动外观模型（VAAM）以及堆叠步进自编码器（SPAE）等经典方法相比,识别率性能得以提升。     

基于AAM-SIFT特征描述的两级SVM人脸表情识别

采用AAM定位特征点、尺度不变特征变换（SIFT）描述特征的方式提出一种基于AAM-SIFT的表情特征提取方法。该方法用特征点周围区域梯度方向直方图描述表情特征;同时根据不同子区域对表情的贡献不同,将特征点分组并赋予不同权重,并用两级支持向量机（SVM）对融合的加权特征进行分类识别。在标准表情库和多姿态表情库上的验证结果表明,该方法能有效提高正面人脸表情的识别率,对一定偏转角度的非正面人脸表情也保持较好的鲁棒性。     

基于Gabor滤波器的快速人脸识别算法

针对传统人脸识别方法中所提取特征维数高、计算量大等缺点,提出一种新的正面人脸识别算法。新算法融合了半边人脸识别方法、Gabor滤波器、基于互信息判据的Gabor特征筛选来进行人脸识别。新算法将人脸图像分为左右两个部分,计算并比较人脸图像左右半边脸的熵,选取熵值较大的半边人脸图像进行Gabor特征提取。利用二值分类器判别单个Gabor特征的分类能力,选取分类能力较强的特征（最具判决力的特征）。再利用互信息判据对Gabor特征进行第二次筛选,以减小特征之间的冗余度。最后利用最近邻判别器来进行人脸识别。实验结果表明,新算法的识别率优于传统半边脸识别方法,识别速度也优于传统的利用Gabor滤波器进行特征提取的方法。     

正立和倒立面孔的混合识别

目的 改变正立和倒立面孔只是一种简单倒置关系的观点,研究基于视觉神经整体和局部信息流的正立和倒立面孔混合识别。方法 模拟视觉信息流在视通路中的传递和处理过程,首先构建底层神经网络,建立敏感纹理特征以及对称卷积核的机制,实现正立和倒立面孔图像的去除冗余和预处理;接着提出一种基于局部区域提取的池化神经网络层的概念,构建多局部特征融合的网络结构,实现局部信息的压缩提取和融合;最后根据高级视觉皮层中左右半脑协作的特点,提出一种融合整体和局部信息的预测函数。结果 以AT&T数据库为例,本文方法在经典卷积神经网络模型上增加了多局部特征融合的网络结构,识别准确率从98%提高到100%,表明局部信息能够提高对正立面孔识别的能力;同时采用合适的训练数据集,调节融合时整体与局部信息的关系比,结合使用合适模型训练方式,该模型对正立和倒立面孔的识别率分别为100%和93%,表明对正立和倒立面孔识别具有良好的特性。结论 本文方法说明了整体和局部特征的两条视觉通路虽然分别在正立和倒立面孔识别上起了决定性的作用,但它们并不是孤立存在的,两条通路所刻画的面孔信息应该是一种互补式的关系。不仅为面孔识别提供一种新思路,而且将有助于对视觉神经机制的进一步理解。     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题,本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法.设计了一种残差双注意力模块,该模块对ResNet50网络提取的低层特征进行增强,能够有效学习关键信息并更新权重,提高对高层特征的注意力,然后由跨级特征融合模块对不同阶段的高低层特征进行融合,丰富高级特征图中不同层级之间的语义和位置信息,最后使用全连接层的Softmax分类器对手势图像进行分类识别.本文在ASL美国手语数据集上进行实验,平均准确率为99.68%,相比基础ResNet50网络准确率提升2.52%.结果验证本文方法能充分提取与复用手势特征,有效提高手势图像的识别精度.     

基于深度学习的轻量级和多姿态人脸识别方法

目前基于深度学习的人脸识别方法存在识别模型参数量大、特征提取速度慢的问题,而且现有人脸数据集姿态单一,在实际人脸识别任务中无法取得好的识别效果。针对这一问题建立了一种多姿态人脸数据集,并提出了一种轻量级的多姿态人脸识别方法。首先,使用多任务级联卷积神经网络（MTCNN）算法进行人脸检测,并且使用MTCNN最后包含的高层特征做人脸跟踪;然后,根据检测到的人脸关键点位置来判断人脸姿态,通过损失函数为ArcFace的神经网络提取当前人脸特征,并将当前人脸特征与相应姿态的人脸数据库中的人脸特征比对得到人脸识别结果。实验结果表明,提出方法在多姿态人脸数据集上准确率为96.25%,相较于单一姿态的人脸数据集,准确率提升了2.67%,所提方法能够有效提高识别准确率。     

基于多特征融合的轻量化无锚人脸检测方法

针对大多数基于深度卷积网络的人脸检测方法存在因模型参数和计算量大造成的检测速度慢,以及复杂场景下人脸检测准确率低的问题,提出一种基于多特征融合的轻量化无锚人脸检测方法。构造轻量化卷积神经网络作为特征提取的骨干网络,以加速网络计算过程;引入三种模块处理并融合特征层,包括：感受野增强模块强化图片信息提取、权重特征融合模块提升检测准确性以及通道混洗融合模块简化计算过程;使用中心点定位的无锚检测方法对融合后的特征进行预测。实验结果显示,该方法模型参数量仅为5.1?MB,对比该基准方法,在WIDERFACE验证集中的简单、中等和困难难度的检测准确率分别提升1.4、2.2和4.8个百分点,表明该方法在保证模型轻量化的同时对复杂场景人脸有着较高的检测精度,验证了所提方法的有效性。     

一种基于2DLPP和2DLDA的人脸识别方法研究

局部保持投影（locality preserving projection,LPP）和线性鉴别分析（linear discrimin antanalysis,LDA）是两种有效的一维特征提取方法,广泛应用于人脸识别领域。但采用一维特征提取方法时会存在列向量化时样本的结构信息被破坏和样本在提取特征时必须对协方差矩阵进行特征分解,对于高维小样本的问题很容易出现协方差矩阵奇异的问题。文中提出将二维局部保持投影（2DLPP）和二维线性鉴别分析（2DLDA）这两种方法在特征层进行融合并应用在人脸识别。基于人脸库AR上的实验表明,该方法比传统的IJPP和LDA识别性能更高,因此可作为一种新的人脸识别方法。     

Enhanced long-range personal identification based on multimodal information of human features

This work presents an enhanced long-range personal identification scheme using multimodal information of human features. Multimodal information includes multiview face detection, height measurement and face recognition. Multiview faces are estimated by collecting five face databases that correspond to left, half-left, right, half-right, and frontal faces, respectively. The sequences of parameters based on four detectors are also designed to determine the face direction. The detectors use the head-shoulder region, frontal face, profile face, and eyes detector respectively. In addition to determining when individuals enter the monitoring area, the multiview face detection module also describes the detected face direction. This result allows the identification system to select the face database of a specific direction to identify subsequent faces. Additionally, the height measurement module estimates individual height by calculating the vanishing points and lines. The module concept is based on single-view metrology. The measured information further refines the face database selected by multiview face detection and minimizes the candidates for face identification. Importantly, the proposed method integrates the multimodal information based on face direction, height and face features to refine the database and analyzes the information to determine the identity of a person. In this work, images from a monitoring area 5.6 m away from a camera are captured using an inexpensive digital web camera. The experimental results show that the proposed method can improve the accuracy rate by more than 21 % in contrast with the baselines and correspondingly demonstrates the effectiveness of the proposed idea.