基于生成对抗网络的遮挡人脸修复

针对人脸识别中遮挡区域降低检测准确度的问题,提出一种基于生成对抗网络的遮挡人脸修复方法.该方法以生成对抗网络作为基本架构,结合Wasserstein距离和添加梯度惩罚损失函数来训练网络模型,以全局上下文损失和先验损失相结合的方式来约束网络生成无遮挡人脸图片,并利用泊松融合完成遮挡区域的修复.在CelebA数据集的实验结...     

基于生成对抗网络的人脸属性图像生成

生成对抗神经网络是目前深度学习的热门研究方向,而人脸属性生成是重要研究分支之一,为解决目前关于人脸属性生成时导致背景出现颜色变化、扭曲、模糊,并且人脸生成后出现图片失真和其它面部属性有不同程度的变化,通过改进STGAN的网络结构,主要改进其网络归一化层,使得网络训练属性的精确度更高方法,合理控制属性幅度从而提高生成效果...     

基于人脸结构信息引导的人脸图像修复网络

针对人脸图像修复的深度学习网络存在修复后的人脸图像面部语义信息不合理和面部轮廓不协调的问题,提出了一种基于人脸结构信息引导的人脸图像修复网络。首先,采用编码器-解码器网络技术构建人脸结构草图生成网络,并在结构草图生成网络的生成器中加入跳跃连接和引入带膨胀卷积的残差块以生成待修复区域的结构草图。其次,在构建人脸修复网络时,在修复网络生成器中引入注意力机制,让修复网络在修复过程中更多关注待修复区域,并以生成的人脸结构草图为引导从而实现人脸图像面部语义结构和纹理信息的生动修复。最后,在结构草图生成网络的损失函数中引入特征匹配损失进行模型训练,从而约束生成器生成与真实结构草图更相似的结果;在修复网络的损失函数中联合感知损失和风格损失进行模型训练,从而更好地重建待修复区域的人脸图像面部轮廓结构和颜色纹理,使修复后的图像更接近真实图像。对比实验结果表明,在人脸图像数据集中,本文所设计的网络模型的修复性能有较高的提升。     

基于改进深度卷积生成对抗网络的刺绣图像修复

目前中华传统刺绣工艺传承保护问题中的修复任务主要以人工为主,修复过程需要大量的人力、物力。随着深度学习的高速发展,不同类型的刺绣文物损伤可以利用生成对抗网络进行修复。针对上述问题,提出一种基于改进深度卷积生成对抗网络（DCGAN）的刺绣图像修复方法。首先,在生成器部分引入空洞卷积层扩大感受野,并添加卷积注意力机制模块,在通道与空间2个维度增强重要特征的指导作用;在判别器部分增加全连接层数提升网络解决非线性问题的能力;在损失函数部分联合均方误差损失与对抗损失通过网络训练相互博弈的过程实现刺绣图像修复。实验结果表明：引入空洞卷积层与注意力机制提升了网络性能与修复效果,最终得到修复图像的结构相似性高达0.955,能够得到较为自然的刺绣图像修复效果,可以为专家提供纹理、色彩等信息作为参考辅助后续的修复。     

一种基于先验生成对抗网络的人脸超分辨率重建方法

针对人脸超分辨率算法中图像失真大、缺乏细节特征等问题,提出了一种基于先验知识的人脸超分辨率重建模型。通过在超分网络中加入纹理辅助分支,为重建过程提供额外纹理结构先验,以生成精细的面部纹理,恢复高分辨率纹理图。同时引入级联叠加模块对纹理辅助分支进行反馈。设计特征融合模块,将纹理特征图与超分分支特征图融合,获得更好的纹理细节;将纹理损失融入损失函数,以提高网络恢复纹理细节的能力。4倍放大因子下,该方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性指数(Structural Similarity Index, SSIM)比现有方法至少提升1.082 5 dB和0.036,无参考图像质量评价(Natural Image Quality Evaluator, NIQE)至少降低1.690 2;8倍放大因子下,该方法的PSNR与SSIM值分别至少提升0.787 5 dB和0.046 85,NIQE值最小降低3.92。     

图像修复方法综述

图像修复技术是目前计算机视觉领域的研究热点之一,该技术主要利用缺失区域周边或者外部辅助数据来对图片受损区域进行信息推理和修复。随着大数据时代的到来,基于深度学习的图像修复技术以其出色的性能成为了图像处理领域内的关注点。对现有的图像修复算法进行总结,对各个算法的模型结构、性能表现及在常用数据集上的指标进行讨论说明,并对该领域目前所存在的问题和难点进行分析和展望。     

一种生成对抗网络用于图像修复的方法

近年来基于深度学习的图像修复方法相比于传统方法,表现出明显优势,前者能更好的生成视觉上合理的图像结构和纹理.但现有的标准卷积神经网络方法,通常会造成颜色差异过大和图像纹理缺失与失真的问题.本文提出了一种新型图像修复深度网络模型,该模型由两个相互独立的生成对抗式网络模块组成.其中,图像修复网络模块旨在解决图像缺失区域的修复问题,其生成器基于部分卷积网络;图像优化网络模块旨在解决修复后图像存在局部色差的问题,其生成器基于深度残差网络.通过两个网络模块的协同作用,图像的视觉效果与图像质量得到提高.与其他先进方法进行定性和定量比较的实验结果表明,本文提出的方法在图像修复质量上表现更好.     

基于DCGAN的图像增强方法

本文研究了一种基于DCGAN的图像增强方法,来解决拍摄环境条件差或设备补光能力不强等情况造成的图像效果差。设计组成生成对抗网络时,本文在生成模型中增加了解码功能的卷积神经网络,并在判别模型中增加了分类的卷积神经网络。实验结果表明本文方法效果明显,满足图像增强的要求。     

基于扩散模型的人脸图像修复技术

人脸作为人体信息最为密集的部位,人脸图像在各个研究领域都有不可替代的作用。因此,研究如何将遮挡或模糊的人脸图像恢复成真实图像是非常有意义的。针对人脸图像修复技术的研究,提出基于扩散模型的人脸图像修复技术。在现有的人脸图像修复技术基础上,解决在修复大区域破损或遮挡的情况下,修复图像出现纹理模糊及结构扭曲等问题。所提出的方法基于边缘引导的扩散模型图像修复网络,主要包括两个阶段：首先训练基于U-Net结构的边缘修复模型生成较为真实的缺失区域的边缘信息,然后根据已修复好的边缘信息,训练内容生成模型填充缺失部分的内容信息。实验证明对于人脸图像修复具有较好的效果。     

基于深度学习的数字图像修复算法最新进展

数字图像修复是一项利用计算机技术还原破损图像的缺失信息,从而实现自动修复破损图像的技术,其广泛应用于文物修复、图像去雾、电影特效生成等方面。近年来深度学习的发展为图像修复提供了新的思路,即将估计缺失信息的问题转为有条件的图像生成问题。基于深度学习的图像修复研究已成为底层计算机视觉问题的研究热点之一。本文对深度学习在数字图像修复领域的最新进展进行总结归纳,并详细阐述卷积模式和网络结构优化的研究进展,最后对未来的研究方向进行展望。      

基于真实人脸类别对抗机制的人脸活体检测算法

针对现有人脸活体检测算法在单一数据集内表现良好而在多个数据集间泛化能力较差的问题,提出一种聚焦于真实人脸的活体检测方法。在数据输入阶段,每轮训练会向网络输入所有源域的真实人脸的同时只随机输入其中一个源域的虚假人脸。在特征学习阶段,使用Resnet18网络作为主干网络,对不同残差块的输出特征进行基于注意力机制的加权融合。利用三元组损失和对抗损失对融合后的真实人脸特征进行领域内和领域间的聚合,利用三元组损失对融合后的虚假人脸特征只进行领域内的聚合。在分类阶段,利用交叉熵损失对所有源域的真实人脸和虚假人脸进行分类。所提方法在4个人脸活体检测数据集中进行了实验,实验结果表明所提方法相比其他方法具有更低的识别错误率和更高的鲁棒性。     

基于残差卷积注意力网络的视频修复

视频修复旨在填补视频中的缺失区域,由于很难精确保持修复内容的时空一致性,故视频修复仍具有挑战性。针对现有视频修复中存在的修复结果语义信息不连续,出现视频模糊和时间伪影,以及网络设计越来越复杂,网络整体速度变慢的问题,本文提出了一种基于残差网络的卷积注意力网络(RCAN)用以视频修复。通过将自注意力机制和全局注意力机制引入进残差网络,增强网络对所有输入帧的时空特征的学习能力,并采用时空对抗损失函数进行优化,提高视频修复的质量。同时网络还能够高度自由地定义层数和参数量,提高网络的实际应用能力。实验结果表明,该网络在DAVIS和YouTube-VOS数据集上取得了PSNR为30.68 dB,SSIM为0.961,FID为0.113的平均修复结果,基本符合实际场景对模型的修复质量要求,为视频修复提供了一种新思路。     

面向人脸验证的可迁移对抗样本生成方法

在人脸识别模型的人脸验证任务中,传统的对抗攻击方法无法快速生成真实自然的对抗样本,且对单模型的白盒攻击迁移到其他人脸识别模型上时攻击效果欠佳。该文提出一种基于生成对抗网络的可迁移对抗样本生成方法TAdvFace。TAdvFace采用注意力生成器提高面部特征的提取能力,利用高斯滤波操作提高对抗样本的平滑度,并用自动调整策略调节身份判别损失权重,能够根据不同的人脸图像快速地生成高质量可迁移的对抗样本。实验结果表明,TAdvFace通过单模型的白盒训练,生成的对抗样本能够在多种人脸识别模型和商业API模型上都取得较好的攻击效果,拥有较好的迁移性。     

基于注意力机制的双向生成对抗压缩网络

针对现有的图像超分辨率算法网络模型参数量大、计算复杂度高、前向推理过程中耗时长等问题,将深度可分离卷积层引入双向对抗生成网络模型中,同时为了保证双向生成对抗网络的精度,在下采样网络中引入混合注意力机制,以保证模拟生成的低分辨率图片更加贴近现实.在i78700 CPU上对Urban100测试集的图像放大4倍,所提算法的重...     

基于卷积网络通道注意力的人脸表情识别

针对目前人脸表情识别(Facial Expression Recognition, FER)方法准确率低、模型大和识别时间长的问题,提出了一种基于卷积神经网络的通道注意力FER算法,在普通的卷积层中加入Xception网络中的可分离卷积网络,减少参数量和运算成本。在可分离卷积层的输出加入通道注意力Senet,实现对输出通道的权值按重要程度进行重新分配。引入Resnet网络中残差机制,减轻梯度消失现象。对设计的模型分别在CK+,RAF-DB数据集和FER2013数据集进行训练。实验结果显示,在CK+,RAF-DB数据集和FER2013数据集准确率分别提高至99.45%,78.10%和62.65%。模型参数量仅有1.8 MB,识别时间1.24 s。实现了更准、更快、更轻的FER。     

具有遮挡鲁棒性的监控视频人脸再识别算法

传统身份识别技术需要将待识别人员信息预先录入,同时未考虑识别过程中的遮挡问题,不能满足公共场所基于监控视频的再识别需求。现有行人再识别算法多依赖于服饰等外观特征,难以进行长期追踪与再识别。针对以上问题,本文提出了一种对遮挡具有鲁棒性的人脸再识别算法。首先,对监控视频中的人脸进行检测与对齐,并判断人脸中存在的遮挡位置;其次,根据遮挡位置查找掩码字典并选择对应掩码,再用掩码排除遮挡元素;最后,使用注意力机制对多帧图片分配权重以更新特征,再使用分区域匹配方法得到识别结果。为验证该方法的有效性,本文分别在COX数据集和人工合成遮挡的数据集上对所提方法进行了测试。其中,在COX数据集上的rank-1准确率为95.2%, 在合成遮挡的数据集上rank-1准确率为73.0%,相比现有方法有明显优势。      

基于HGCN的序列手势骨架生成方法研究

手势是交流互动中一种重要的非语言媒介,手势序列生成作为手势表达行为建模的重要任务,在手势分类、手势识别和虚拟人手语驱动等场景有大量应用需求。针对序列手势骨架生成问题,提出了基于Hand-Gesture Graph Convolution Neural Network(HGCN)的手势骨架序列生成方法,采用生成对抗训练框架,在图卷积骨架序列生成方法基础上针对手势骨架序列数据特点,提出图卷积的手部特征增强和基于时空位置编码的自注意力结构的改进方法。实验结果表明,提出的HGCN方法相比基准图卷积骨架生成方法在手势骨架序列生成问题中有更好的结果。     

融合注意力机制的高分辨人脸识别图像重建

针对由于人脸姿势、光照不均、拍摄环境、拍摄设备等内外部因素造成图像分辨率低的问题,提出融合注意力机制的高分辨人脸识别图像重建模型.首先以低分辨率人脸图像对作为两个生成器输入,通过残差块和注意力模块堆叠网络提取人脸特征信息,进而生成高分辨率人脸图像.训练中使用一个鉴别器来监督两个生成器的训练过程.利用Adam算法对鉴别器...     

基于生成对抗网络的人脸老化技术在公安领域前景探究

人脸中蕴藏着丰富的视觉信息,具有巨大的开发价值,人脸老化技术可以预测一个人未来的样子或他过去的样子,在公安领域有着广泛的应用前景,对打击犯罪具有重要意义.本文首先介绍了传统和几种比较流行的基于生成对抗网络的人脸老化方法,然后结合公安实际探究了人脸老化技术在公安领域的应用前景,并对公安实战应用面临的诸多困境进行了思考,最...