一种基于自注意力机制的自动人脸替换方法

针对DeepFakes人脸替换方法生成人脸图像分辨率低、质量差等问题,提出一种基于自注意力机制的生成对抗网络的自动人脸替换方法,生成对抗网络主体采用类似U型自编码对称结构减少特征信息的损失,引进自注意力机制能够更好地学习图像的纹理特征,提高生成图像的重建质量,应用卡尔曼滤波器平滑处理每一帧上的边界框位置,降低人脸抖动。在FaceForensics++数据集上与DeepFakes替换方法进行对比实验,定性和定量的实验结果证明了该方法能够较好地提升生成图像质量,减少脸部抖动。     

融合多级属性与注意力机制的人脸替换方法

针对当前人脸替换方法仅利用目标图像的姿势和表情指导换脸过程中常常忽略背景、光照等其他属性,同时生成的替换人脸与目标图像的融合效果较差的问题,提出一种融合多级属性和注意力机制的人脸替换方法.在提取目标图像属性阶段,基于U-Net结构设计一种多级属性编码器,采用多层次级联的卷积块和反卷积块以及层间连接准确、全面地提取目标图像的表情与背景属性,保留更多细节信息;在生成替换人脸阶段,设计一种结合注意力机制的生成器,利用注意力模型权重自适应地调整源人脸特征和目标属性集成的有效区域,使生成器生成更加符合视觉机制的替换人脸.在FaceForensics++图像集上的实验结果表明,与DeepFaceLab方法相比,该方法所生成的替换人脸与目标图像的结构相似度提高了6.73%,头部姿势差异和面部表情差异分别降低了1.026和0.491.该方法不仅更好地保留了源人脸特征信息,还更大程度地忠实于目标图像属性,达到了良好的替换效果.     

基于视觉注意力机制的人脸属性迁移

人脸属性迁移作为计算机视觉领域的一个研究热点,对于数字娱乐制作、辅助人脸识别等领域有着重要的意义.现有的算法存在着生成图像模糊、转移属性无关区域变化等问题.针对这些不足,提出一种基于视觉注意力生成对抗网络的人脸属性迁移模型.生成器为减小属性无关区域的变化,引入视觉注意力分别输出RGB图像和注意力图像,并通过一定的融合方...     

基于多通道注意力机制的人脸替换鉴别

基于深度学习的人脸替换技术取得快速发展,但由DeepFake自动生成的人脸替换图片有可能危害人们的隐私安全。针对DeepFake图片鉴别问题,建立一种基于多通道注意力机制的深度学习鉴别网络模型。将Xception网络作为基础特征提取器,在多通道注意力模块中通过矩阵相乘的思想融合全局和局部的注意力表示,以减少重要信息损失。设计损失函数时添加中心损失,从而提高特征区分度。在训练过程中利用注意力图来引导训练图像的裁剪和去除,以达到数据增强的目的。实验结果表明,相比Xception、B4Att方法,在FaceForensics++数据集上该网络模型对DeepFake的检测精度分别提高0.77和0.45个百分点,在Celeb-DF数据集上分别提高5.30和4.68个百分点。     

基于属性分解融合的可控人脸图像合成算法

在现实生活中,人脸图像受隐私或安全因素的限制难以直接采集,因此可以考虑采用图像生成方法。当使用生成对抗网络进行图像生成时,容易出现分辨率低、边缘模糊、身份信息特征丢失等问题。针对上述问题,提出了一种新的人脸特征生成模型：通过将关键信息作为独立编码嵌入隐式空间,再与全局特征进行融合插值实现对人脸关键特征的可控生成;引入改进的注意力模块,在生成过程中关注局部特征和全局特征的相关性;将色差损失和人脸分量损失联合引入整体损失函数中,负责约束像素颜色和人脸纹理特征。该算法可以在人脸局部区域生成自然真实的外观特征,保留原始身份信息,并生成平滑的面部轮廓。使用预处理后的CelebA数据集的实验表明,该算法在主观视觉效果上有显著提升,同时与现有方法相比在PSNR和SSIM上有稳定的提升。     

嵌入注意力机制模型的人脸表情迁移学习方法

人脸表情识别中,利用深度网络进行训练时,往往需要大量的训练数据而且实际应用中常常缺少标签数据,域适应人脸表情迁移学习是一个重要的研究课题。现有基于域适应的人脸表情识别大多采用浅层网络、深度学习网络方法,因此提出了将条件对抗域适应方法应用于人脸表情迁移学习,以及应用熵函数保证分类器预测的不确定人脸表情图像的可迁移性,并通过嵌入注意力机制模型来改进深度学习网络对人脸表情图像的特征提取。实验表明,通过注意力机制模型改进的条件生成对抗网络能有效地提高实验室控制和现实生活中的人脸表情数据识别的准确率。     

深度光流估计方法研究进展

结合深度学习模型实现光流端到端的计算是当前计算机视觉领域的一个研究热点.文中对基于深度学习的光流估计方法进行总结和梳理.首先,介绍了光流的起源与定义;其次,总结了现有的数据集合和评价指标;最重要的是,着重从3个方面回顾了深度光流估计方法,包括有监督的深度光流估计方法、无监督的深度光流估计方法以及对现有光流估计方法的性能...     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

基于人脸角度估计的多观察视频合并

对特定人物进行观察记录时,由于被观察对象处于运动状态,需要通过布置多个观察源来充分采集其行为信息,这导致大量冗余信息的存储,同时不利于后续对视频的检索和对被测对象行为的分析.为此,提出了一种基于人脸角度估计的多观察视频合并方法,通过对多个观察视频的拆分、人脸检测、人脸角度估计和重组,获得单一的包含被观察对象正面行为的观察视频,然后进行存储.通过实验验证了算法的可行性,同时讨论了多观察源采集视频不同步带来的影响.     

基于人脸超分的网络视频人脸检测

针对网络视频质量低导致人脸检测准确率低的问题,提出一种基于人脸超分辨率重建的SR Face Detection模型.使用去掉自监督分支且以Resnet50为基础网络的RetinaFace进行帧图片人脸的粗提取;在人脸检测器后增加一个人脸超分辨率重建网络,剔除粗提取人脸中的非人脸.该超分网络的生成网络使用残差密集块进行特征提取,加入注意力损失和热图,更好地还原面部细节;根据实际需求设计一个多判别功能的判别网络.实验结果表明,SR Face Detection模型在WID-ER FACE数据集上取得了令人信服的结果,提高了人脸检测准确率,且人脸检测场景越复杂,效果提升越明显.     

基于TransEditor的轻量化人脸生成方法及其应用规范

人脸生成可以将人脸的样式和头部的姿态进行组合,合成虚假的人脸图像,常用于性别转换、姿势修改等视觉任务。基于GAN的人脸生成方法大幅度提高了人脸生成的质量和可编辑性,但是这些生成方法网络结构复杂、计算资源需求大,很难直接应用于实际场景中。为了实现高效的人脸生成,提出了一种基于TransEditor的轻量化人脸生成方法,并探讨了相应的应用规范路径。在技术层面,首先,以TransEditor人脸编辑网络模型为基础,参考StyleGAN2等轻量化网络模型的生成器结构,设计了轻量化的人脸生成网络模型。其次,从生成损失、对抗损失、重建损失等方面分析了网络模型的损失函数,提出使用PReLU激活函数代替Softplus激活函数来提高生成器的生成效果。最后,大量实验证明,提出的基于TransEditor的轻量化人脸生成方法的LPIPS仅减少了0.004 2,大幅度减少了模型的训练时间和参数量,提高了人脸生成模型的运行效率。在应用规范层面,需完善现有的规制措施,规范所提方法的使用,使技术进步更好地服务于社会发展。     

基于三网络对抗学习的素描人脸合成方法

为解决现有素描人脸合成方法中素描人脸图像细节缺失、清晰度低及可适用性差的问题,提出一种三网络对抗学习的模型.由面部特征提取网络、生成网络及判别网络组成,引入面部细节损失与对抗损失相结合的复合损失函数,提高合成素描人脸图像的质量.在公共素描人脸数据集中与现有方法的定量与定性对比实验验证了该方法能够生成更加逼真、清晰的素描...     

融合通道位置注意力机制和并行空洞卷积的人脸年龄合成

目的 人脸年龄合成旨在合成指定年龄人脸图像的同时保持高可信度的人脸,是计算机视觉领域的热门研究方向之一。然而目前主流人脸年龄合成模型过于关注纹理信息,忽视了与人脸相关的多尺度特征,此外网络存在对身份信息筛选不佳的问题。针对以上问题,提出一种融合通道位置注意力机制和并行空洞卷积的人脸年龄合成网络（generative adversarial network（GAN）composed of the parallel dilated convolution and channel-coordinate attention mechanism,PDA-GAN）。方法 PDA-GAN基于生成对抗网络提出了并行三通道空洞卷积残差块和通道—位置注意力机制。并行三通道空洞卷积残差块将3种膨胀系数空洞卷积提取的不同尺度人脸特征融合,提升了特征尺度上的多样性和总量上的丰富度;通道—位置注意力机制通过对人脸特征的长度、宽度和深度显著性计算,定位图像中与年龄高度相关的通道和空间位置区域,增强了网络对通道和空间位置上敏感特征的表达能力,解决了特征冗余问题。结果 实验在Flickr高清人脸数据集（Flickr-faces-high-quality,FFHQ）上训练,在名人人脸属性高清数据集（large-scale celebfaces attributes dataset-high quality,Celeba-HQ）上测试,将本文提出的PDA-GAN与最新的3种人脸年龄图像合成网络进行定性和定量比较,以验证本文方法的有效性。实验结果表明,PDA-GAN显著提升了人脸年龄合成的身份置信度和年龄估计准确度,具有良好的身份信息保留和年龄操控能力。结论 本文方法能够合成具有较高真实度和准确性的目标年龄人脸图像。     

光流估计下的移动端实时人脸检测

为了提高移动设备人脸检测准确率,提出一种应用于移动设备的实时人脸检测算法。通过改进Viola-Jones方法进行人脸区域快速分割,在不损失速度的情况下提高分割精度;同时应用了光流估计方法将卷积神经网络子网络在离散关键帧上的特征提取结果传播至非关键帧,提高神经网络实际检测运行效率。实验使用YouTube视频人脸数据库、自建20人各1 min正位人脸视频数据库和实际检测项目在不同分辨率下进行,实验结果表明运行速度在2.35帧/秒~22.25帧/秒,达到了一般人脸检测水平;人脸检测在10%误检率下召回率由Viola-Jones的65.93%提高到82.5%~90.8%,接近卷积神经网络检测精度,满足了移动设备实时人脸检测的速度和精度要求。     

联合注意力和条件GAN的被遮挡人体姿态和体形估计方法

基于图像的人体姿态和体形估计常常因人体被遮挡而充满挑战.为此,提出一种基于单幅图像的姿态和体形估计方法.首先提出多尺度的注意力模块策略,输出具有丰富上下文信息的多尺度注意力特征,以有效地获得不受遮挡影响的全局的姿态和体形分布;然后提出基于热图的条件生成对抗网络策略,将由关节热图得到的姿态估计作为约束,实现网格精细调整;最后借助这2个策略得到的姿态和体形估计方法实现全局预测和局部细节求精的结合.在Ubuntu环境下,在3DPW,3DOH50K和Human3.6M公开数据集上的实验结果表明,与SMPLify,GraphCMR和SPIN等方法相比,所提方法在身体部分被遮挡时重建效果更好,并在ACK, AVE和PA-MPJPE等定量评价指标上取得了更好的结果.     

基于掩码损失的人脸图像生成方法

当前主流的基于生成对抗网络（Generative Adversarial Network,GAN）的图像生成方法,在生成真实度较高的人脸图像方面取得了显著进展,但在生成人脸图像的头发、牙齿等细节区域时易出现失真现象。针对存在的问题,提出掩码损失,并将其整合到Style GAN2中。该损失函数通过人脸分割网络生成人脸掩码,基于掩码调整生成图像在细节和非细节区域的贡献程度,以提高细节区域的合成质量。实验结果表明,所提方法显著改善了头发、牙齿等细节区域的合成质量,提高了生成图像的真实度。     

注意力引导下的面部动作单元级表情编辑方法——AUA-GAN

为解决图像转换过程中产生的伪影问题,利用生成对抗网络(GAN)生成逼真的人脸表情变化,提出了一种注意力引导下的面部动作单元(AU)级表情编辑方法.首先,在数据预处理部分加入正脸恢复模块,当输入图像的姿态偏转较大时,先经过正脸恢复再进行表情编辑,可以有效提高表情生成质量.其次,生成模块中的生成器和判别器网络内置注意力机制...     

基于GAN的分步合成人脸素描生成算法

人脸素描具有丰富的阴影、纹理和鲜明的脸部特征,广泛应用于人脸识别和生活娱乐等领域.鉴于艺术家对人脸素描的绘制步骤具有一定次序的特点,提出一种模拟艺术家绘制人脸素描步骤的算法.将素描生成过程分为2个阶段:第1阶段利用重建的图像辅助生成素描信息;第2阶段利用第1阶段得到的素描信息辅助合成目标素描图像,达到具有脸部轮廓、头发纹理与五官特征、脸部阴影特征的目的.采用CUHK和CUFS数据集进行大量实验,通过PSNR, SSIM和FIR这3个客观评价指标进行对比,结果表明,所提算法的PSNR比典型算法平均提高了4.7 dB, SSIM平均提升0.08, FID分数平均降低8.3;该算法能够生成效果更好的人脸素描图像.     

一种基于SVD协方差加权技术的光流估计算法

本文以经典的L-K光流方程为出发点,提出了一种高效的基于SVD协方差加权的光流估计算法,并成功应用到柔性目标点跟踪中,有效地解决了传统L-K算法的孔径问题、深度不连续点的估计和长序列视频的漂移问题。基于标准测试序列的试验结果,证明该算法能有效地跟踪较长视频序列中具有2D和lD甚至基本没有纹理的具有退化结构的柔性目标点,同时结果还可以作为半稠密的点对应来解决SFM问题中的一个关键难题correspondence。     

基于改进CycleGAN的人脸剪纸自动生成

针对人脸剪纸手工设计难度大, 制作周期长等问题, 本文首次利用生成对抗网络生成高质量人脸剪纸. 面向人脸剪纸艺术特点, 提出了一种基于CycleGAN的改进网络: 1) 在原始CycleGAN生成器中引入CBAM注意力模块, 增强网络特征提取能力; 2) 引入针对鼻、眼、唇等关键面部区域的局部鉴别器, 提升人脸剪纸中以上区域的生成效果; 3)设计基于图像边缘信息与SSIM的损失函数, 取代CycleGAN的前向循环一致损失, 消除所得人脸剪纸中的阴影. 相较于其他人脸剪纸自动生成方法, 本文方法可快速生成与原始人脸相似度高、线条连续流畅、具有艺术美感的人脸剪纸. 此外, 本文还提出了一种人脸剪纸连通性后处理方法, 使所得结果更符合中国传统剪纸整体连通的特点.