一种基于自注意力机制的自动人脸替换方法

针对DeepFakes人脸替换方法生成人脸图像分辨率低、质量差等问题,提出一种基于自注意力机制的生成对抗网络的自动人脸替换方法,生成对抗网络主体采用类似U型自编码对称结构减少特征信息的损失,引进自注意力机制能够更好地学习图像的纹理特征,提高生成图像的重建质量,应用卡尔曼滤波器平滑处理每一帧上的边界框位置,降低人脸抖动。在FaceForensics++数据集上与DeepFakes替换方法进行对比实验,定性和定量的实验结果证明了该方法能够较好地提升生成图像质量,减少脸部抖动。     

基于自适应可分离卷积核的视频压缩伪影去除算法

针对目前视频质量增强和超分辨率重建等任务中常采用的光流估计相关算法只能估计像素点间线性运动的问题，提出了一种新型多帧去压缩伪影网络结构。该网络由运动补偿模块和去压缩伪影模块组成。运动补偿模块采用自适应可分离卷积代替传统的光流估计算法，能够很好地处理光流法不能解决的像素点间的曲线运动问题。对于不同视频帧，运动补偿模块预测出符合该图像结构和像素局部位移的卷积核，通过局部卷积的方式实现对后一帧像素的运动偏移估计和像素补偿。将得到的运动补偿帧和原始后一帧联结起来作为去压缩伪影模块的输入，通过融合包含不同像素信息的两视频帧，得到对该帧去除压缩伪影后的结果。与目前最先进的多帧质量增强（MFQE）算法在相同的训练集和测试集上训练并测试，实验结果表明，峰值信噪比提升（ΔPSNR）较MFQE最大增加0.44 dB，平均增加0.32 dB，验证了所提出网络具有良好的去除视频压缩伪影的效果。     

基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

基于人脸超分的网络视频人脸检测

针对网络视频质量低导致人脸检测准确率低的问题,提出一种基于人脸超分辨率重建的SR Face Detection模型.使用去掉自监督分支且以Resnet50为基础网络的RetinaFace进行帧图片人脸的粗提取;在人脸检测器后增加一个人脸超分辨率重建网络,剔除粗提取人脸中的非人脸.该超分网络的生成网络使用残差密集块进行特征提取,加入注意力损失和热图,更好地还原面部细节;根据实际需求设计一个多判别功能的判别网络.实验结果表明,SR Face Detection模型在WID-ER FACE数据集上取得了令人信服的结果,提高了人脸检测准确率,且人脸检测场景越复杂,效果提升越明显.     

基于三维时空注意的密集连接视频超分算法

针对视频超分对时间帧间信息以及分层信息的利用不充分,设计了一种具有空间时序注意力机制的密集可变形视频超分辨率重建网络。利用三维卷积来提取经可变形卷积模块对齐后的相邻帧之间的时间序列信息,同时设计具有步幅卷积层的轻量级模块来提取空间注意力信息。在特征重构阶段引入密集连接,充分利用分层特征信息以实现更好的特征重建。选取公共数据集进行实验验证,结果表明,提出的算法在客观评价指标与视觉对比效果上都有提升。。     

多注意力域的稠密连接人脸超分算法

人脸超分辨率重建是一种对低分辨率人脸处理获取对应高分辨率人脸的低成本技术,又称人脸幻生。为了使重建的人脸图像有更清晰的细节纹理,通过对基于深度学习的人脸超分算法的研究,提出了基于注意力机制的稠密连接人脸超分算法。该算法主要由特征提取和图像重建两个部分组成,通过同时关注特征通道域和空间域的信息,创建了多注意力域模块MADM（Multi Attention Domain Module）。其中,通过改变信道和空间上的相互关系和权重,自适应地对特征进行加权重组,并且使用密集的稠密连接和长短连接将不同层的特征融合在一起,实现提升网络性能。实验结果验证了该算法的正确性;并与现有算法比较,表明了该算法的优越性能,重建的人脸图像具有更清晰的纹理细节特征。     

融合多级属性与注意力机制的人脸替换方法

针对当前人脸替换方法仅利用目标图像的姿势和表情指导换脸过程中常常忽略背景、光照等其他属性,同时生成的替换人脸与目标图像的融合效果较差的问题,提出一种融合多级属性和注意力机制的人脸替换方法.在提取目标图像属性阶段,基于U-Net结构设计一种多级属性编码器,采用多层次级联的卷积块和反卷积块以及层间连接准确、全面地提取目标图像的表情与背景属性,保留更多细节信息;在生成替换人脸阶段,设计一种结合注意力机制的生成器,利用注意力模型权重自适应地调整源人脸特征和目标属性集成的有效区域,使生成器生成更加符合视觉机制的替换人脸.在FaceForensics++图像集上的实验结果表明,与DeepFaceLab方法相比,该方法所生成的替换人脸与目标图像的结构相似度提高了6.73%,头部姿势差异和面部表情差异分别降低了1.026和0.491.该方法不仅更好地保留了源人脸特征信息,还更大程度地忠实于目标图像属性,达到了良好的替换效果.     

基于注意力残差网络的人脸超分辨率重建

为解决通道内部特征信息交互性不足、特征利用和表示不够充分导致的人脸面部细节信息恢复不理想的问题,提出一种基于编码器-解码器的注意力残差网络,并设计基于注意力的残差模块,其主要由基准残差模块、沙漏模块与内部特征拆分注意力模块组成,通过内部特征拆分注意力模块加强通道内部之间的交互性,使网络能够提取到更详细的特征信息,恢复出更多人脸面部细节,同时在残差模块中利用一个预激活模块,解决批量归一化层在超分辨率网络中存在的伪影问题。在特征提取单元末端运用多阶特征融合模块充分融合多个阶段的特征,缓解特征在网络传输过程中的丢失现象,提高特征利用率。实验结果表明,该方法可以恢复出更多人脸面部细节,在Helen人脸数据集上,重建人脸图像的PSNR值为27.74 dB,相比SISN和DICNet方法,分别提高了1.47 dB、1.12 dB。在CelebA人脸数据集上,重建人脸图像的PSNR值为27.40 dB,相比SISN和DICNet方法,分别提高了1.26 dB、0.39 dB。     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

矿山人员行为视觉语义方法研究

煤矿井下人员行为检测是感知矿山建设关注的重点,而现有的基于电磁波、基于可穿戴设备、基于计算机视觉等人员行为检测方法无法综合时间、地点、行为、环境等多方面因素评判矿山人员行为是否安全。提出了一种矿山人员行为视觉语义方法,通过特征提取、语义检测、特征重构、解码等生成描述视频中人员行为的语句。分别采用InceptionV4网络、I3D网络提取视频图像静态、动态特征,在InceptionV4网络中引入基于空间位置注意力模型和通道注意力模型的并行双重注意力机制,提高了网络的特征提取能力。针对视频内容与视觉语义易出现不一致的问题,引入语义检测网络对视频特征添加高级语义标签生成嵌入特征,将其与视频特征、语义特征共同输入解码器,并在解码过程中引入特征重构模块,通过获取解码器隐藏层状态重建视频特征,增强了视频特征与描述语句之间的关联关系,提高了视觉语义生成的准确性。采用MSVD,MSR-VTT公共数据集及自制矿山视频数据集进行实验,结果表明该方法具有较好的语义一致性,能准确获取视频中关键语义,更好地反映视频真实含义。     

基于帧间差异的人脸篡改视频检测方法

近几年,随着计算机硬件设备的不断更新换代和深度学习技术的不断发展,新出现的多媒体篡改工具可以让人们更容易地对视频中的人脸进行篡改。使用这些新工具制作出的人脸篡改视频几乎无法被肉眼所察觉,因此我们急需有效的手段来对这些人脸篡改视频进行检测。目前流行的视频人脸篡改技术主要包括以自编码器为基础的Deepfake技术和以计算机图形学为基础的Face2face技术。我们注意到人脸篡改视频里人脸区域的帧间差异要明显大于未被篡改的视频中人脸区域的帧间差异,因此视频相邻帧中人脸图像的差异可以作为篡改检测的重要线索。在本文中,我们提出一种新的基于帧间差异的人脸篡改视频检测框架。我们首先使用一种基于传统手工设计特征的检测方法,即基于局部二值模式（Local binary pattern,LBP）/方向梯度直方图（Histogram of oriented gradient,HOG）特征的检测方法来验证该框架的有效性。然后,我们结合一种基于深度学习的检测方法,即基于孪生网络的检测方法进一步增强人脸图像特征表示来提升检测效果。在FaceForensics++数据集上,基于LBP/HOG特征的检测方法有较高的检测准确率,而基于孪生网络的方法可以达到更高的检测准确率,且该方法有较强的鲁棒性;在这里,鲁棒性指一种检测方法可以在三种不同情况下达到较高的检测准确率,这三种情况分别是：对视频相邻帧中人脸图像差异用两种不同方式进行表示、提取三种不同间隔的帧对来计算帧间差异以及训练集与测试集压缩率不同。     

双层级联神经网络的人脸超分辨率重建

针对普通的基于卷积神经网络的人脸超分辨率方法未能结合人脸结构信息，重建图像易出现五官偏移、边缘模糊等问题，提出一种基于双层级联神经网络的人脸超分辨率重建方法。在重建网络中加入面部先验信息估计模块，捕捉输入图像的面部关键点信息，约束重建图像与目标图像的空间一致性。在CelebA与Helen数据集上的实验结果验证了该方法对正面人脸能够准确地重建面部五官，对侧面及遮挡人脸等不同的变形人脸也具有强鲁棒性。     

基于多分辨率四叉树的运动分割及交叠块的立体视频帧估计算法

为了对立体视频序列进行有效的编解码，以获得较好的重建图象，提出了一种基于立体视频序列的帧估计及内插方法，该方法就是在立体视频序列编码中，左图象流按MPEG－Ⅰ/Ⅱ的视频编码标准进行编码；面对右图象流，只对参考帧（Ⅰ帧及P帧）进行编码，右图象流的B帧不进行编码及传送，而是在解码端，根据各个参考帧通过帧及内插来获得，可变块分割的方法是采用基于多分辨率四叉树分解的运行分割，对右B帧的重建按照匹配块和失配块分别处理的方法，各个块的位置和内容则根据右B帧中的块与右Ⅰ帧、P帧之间或与左B帧的之间相关性大小来确定，另外，还提出了一种新的可避免误区配和对显露区进行正确填充，并针对交叠块的帧估计和内插方法，仿真实验表明，该图象重建方法与文献[1]所提出的基于固定块的方法相比，能够使得重建图象的峰值信噪比（PSNR）增加约1.25dB，并且图象的主观视觉质量评价也明显要好。     

基于运动估计与时空结合的多帧融合去雨网络

降雨天气会导致视觉质量下降,从而影响目标识别和追踪等视觉任务的处理效果。为了减小雨的影响,完成对运动视频背景细节的有效恢复,近年来相关研究者在视频去雨方向提出了很多方法。其中基于卷积神经网络的视频去雨方法使用最为广泛,它们大多采用单帧增强后多帧融合去雨的方式。但由于直接单帧增强使相邻帧之间部分像素的移动无法完成时间维度上的对齐,不能有效实现端到端的训练,因此丢失了大量细节信息,使得最终得到的去雨效果不尽人意。为有效解决上述问题,文中提出了一个基于运动估计与时空结合的多帧融合去雨网络(ME-Derain)。首先通过光流估计算法将相邻帧对齐到当前帧来有效利用时间信息;然后引入基于残差连接的编码器-解码器结构,结合与时间相关的注意力增强机制一起构成多帧融合网络来有效融合多帧信息;最后利用空间相关的多尺度增强模块来进一步增强去雨效果和得到最终的去雨视频。在多个数据集上的大量实验结果表明,所提算法优于现阶段大部分视频去雨算法,能够获得更好的去雨效果。     

基于自适应级联的注意力网络的超分辨率重建

深度卷积神经网络显著提升了单图像超分辨率的性能. 通常, 网络越深, 性能越好. 然而加深网络往往会急剧增加参数量和计算负荷, 限制了在资源受限的移动设备上的应用. 提出一个基于轻量级自适应级联的注意力网络的单图像超分辨率方法. 特别地提出了局部像素级注意力模块, 给输入特征的每一个特征通道上的像素点都赋以不同的权值, 从而为重建高质量图像选取更精确的高频信息. 此外, 设计了自适应的级联残差连接, 可以自适应地结合网络产生的层次特征, 能够更好地进行特征重用. 最后, 为了充分利用网络产生的信息, 提出了多尺度全局自适应重建模块. 多尺度全局自适应重建模块使用不同大小的卷积核处理网络在不同深度处产生的信息, 提高了重建质量. 与当前最好的类似方法相比, 该方法的参数量更小, 客观和主观度量显著更好.     

基于注意力融合网络的视频超分辨率重建

基于深度学习的视频超分辨率方法主要关注视频帧内和帧间的时空关系,但以往的方法在视频帧的特征对齐和融合方面存在运动信息估计不精确、特征融合不充分等问题。针对这些问题,采用反向投影原理并结合多种注意力机制和融合策略构建了一个基于注意力融合网络（AFN）的视频超分辨率模型。首先,在特征提取阶段,为了处理相邻帧和参考帧之间的多种运动,采用反向投影结构来获取运动信息的误差反馈;然后,使用时间、空间和通道注意力融合模块来进行多维度的特征挖掘和融合;最后,在重建阶段,将得到的高维特征经过卷积重建出高分辨率的视频帧。通过学习视频帧内和帧间特征的不同权重,充分挖掘了视频帧之间的相关关系,并利用迭代网络结构采取渐进的方式由粗到精地处理提取到的特征。在两个公开的基准数据集上的实验结果表明,AFN能够有效处理包含多种运动和遮挡的视频,与一些主流方法相比在量化指标上提升较大,如对于4倍重建任务,AFN产生的视频帧的峰值信噪比（PSNR）在Vid4数据集上比帧循环视频超分辨率网络（FRVSR）产生的视频帧的PSNR提高了13.2%,在SPMCS数据集上比动态上采样滤波视频超分辨率网络（VSR-DUF）产生的视频帧的PSNR提高了15.3%。     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

结合注意力机制与多尺度特征融合的视频彩色化方法

针对现有视频彩色化方法难以同时保证着色质量和时间一致性的问题,提出一种结合注意力机制和多尺度特征融合的视频彩色化方法AMVC-GAN。首先,提出以GAN为主体的视频彩色化网络模型,通过在GAN的生成器中设计以循环时间网络为主体的多尺度特征融合模块,来获取不同时间频率的信息;其次,为了有效地考虑相邻帧之间的关系,将不同时间频率提取的特征进行融合,加强帧与帧之间的联系,以此增强彩色化的时间一致性;最后,为了获取更多的有效信息,在主网络的上采样部分引入了注意力模块,并通过使用PatchGAN来对结果进行优化训练,以增强最终的着色效果。在DAVIS和VIDEVO数据集上与先进的全自动视频彩色化方法进行对比实验。结果表明,AMVC-GAN在多项指标上排名第一,具有更好的时间一致性和着色效果。相比于其他方法,AMVC-GAN能够有效地减少时间闪烁,同时保证着色效果更为真实、自然。     

基于卷积神经网络的人脸图像超分辨率重建方法

为了恢复极低分辨率人脸图像的轮廓及更多细节,论文提出一种结合基于特征的反投影方法以及人脸语义分割的方法.该方法有四部分,包括初步重建网络、精细编码网络、人脸信息先验估计网络以及精细解码网络.首先通过初步重建网络,将图像进行4倍上采样.其次使用DBPN的反投影网络进行精细重建,对初步重建网络的结果进行两倍上采样.与此同时...     

联合局部约束的邻域嵌入人脸超分辨率重建

目的 现有的基于邻域嵌入的人脸超分辨率重建算法只利用了低分辨率图像流形空间的几何结构,而忽略了原始高分辨率图像的流形几何结构,不能很好的反映高低分辨率图像流形几何结构的关系。此外,其对同一幅图像中的不同图像块选取固定数目的最近邻域图像块,从而导致重建质量的下降。为了充分利用原始高分辨率图像空间的几何结构信息,提出基于联合局部约束和自适应邻域选择的邻域嵌入人脸超分辨率重建算法。方法 该方法结合待重构图像与低分辨率图像样本库的相似性约束与初始高分辨图像与高分辨率图像样本库的相似性约束,形成约束低分辨率图像块的重构权重,并利用该重构权重估计出高分辨率的人脸图像,同时引入自适应邻域选择的方法。结果 在CAS-PEAL-R1人脸库上的实验结果表明,相较于传统的基于邻域嵌入的人脸超分辨率重建方法,本文算法在PSNR和SSIM上分别提升了0.39 dB和0.02。相较于LSR重建方法,在PSNR和SSIM上分别提升了0.63 dB和0.01;相较于LcR重建方法,在PSNR和SSIM上分别提升了0.36 dB和0.003 2;相较于TRNR重建方法,在PSNR和SSIM上分别提升了0.33 dB和0.001 1。结论 本文所提的重建方法在现有人脸数据库上进行实验,在主观视觉和客观评价指标上均取得了较好的结果,可进一步适用于现实监控视频中人脸图像的高分辨率重建。