基于扩散模型的人脸图像修复技术

人脸作为人体信息最为密集的部位,人脸图像在各个研究领域都有不可替代的作用。因此,研究如何将遮挡或模糊的人脸图像恢复成真实图像是非常有意义的。针对人脸图像修复技术的研究,提出基于扩散模型的人脸图像修复技术。在现有的人脸图像修复技术基础上,解决在修复大区域破损或遮挡的情况下,修复图像出现纹理模糊及结构扭曲等问题。所提出的方法基于边缘引导的扩散模型图像修复网络,主要包括两个阶段：首先训练基于U-Net结构的边缘修复模型生成较为真实的缺失区域的边缘信息,然后根据已修复好的边缘信息,训练内容生成模型填充缺失部分的内容信息。实验证明对于人脸图像修复具有较好的效果。     

基于MD-CBAM的多样性裂缝图像修复方法

大多数现有的桥梁裂缝图像修复方法为单一目标修复,无法根据孔洞周边的有效信息生成多种合理的填充内容且修复结果存在结构扭曲和纹理模糊的问题。本文提出了一种基于掩膜距离卷积块注意力模块(mask distance convolutional block attention module, MD-CBAM)的多样性裂缝图像修复网络,该方法主要由多样性结构生成器与纹理生成器组成。提出区域结构注意力以降低遮挡区域像素与有效像素的差异性,根据掩膜特征对注意力分数进行平均池化处理,提高模型对遮挡区域的推断能力。设计MD-CBAM模块用以在纹理生成阶段合成高质量的特征,该模块利用特征之间的距离信息与语义信息,有效增强了模型填充大孔洞的能力。实验结果表明,本文方法修复的图像具有更为明确的结构和更加合理的纹理,在各掩膜比例下峰值信噪比(peak signal-to-noise ratio,PSNR)和FID(Fréchet inception distance)均达到最优,其中PSNR在掩膜比例为[0.4,0.5)时增加了0.22—2.38 dB且结构相似度(structural similarity,SS...     

基于人脸结构信息引导的人脸图像修复网络

针对人脸图像修复的深度学习网络存在修复后的人脸图像面部语义信息不合理和面部轮廓不协调的问题，提出了一种基于人脸结构信息引导的人脸图像修复网络。首先，采用编码器-解码器网络技术构建人脸结构草图生成网络，并在结构草图生成网络的生成器中加入跳跃连接和引入带膨胀卷积的残差块以生成待修复区域的结构草图。其次，在构建人脸修复网络时，在修复网络生成器中引入注意力机制，让修复网络在修复过程中更多关注待修复区域，并以生成的人脸结构草图为引导从而实现人脸图像面部语义结构和纹理信息的生动修复。最后，在结构草图生成网络的损失函数中引入特征匹配损失进行模型训练，从而约束生成器生成与真实结构草图更相似的结果；在修复网络的损失函数中联合感知损失和风格损失进行模型训练，从而更好地重建待修复区域的人脸图像面部轮廓结构和颜色纹理，使修复后的图像更接近真实图像。对比实验结果表明，在人脸图像数据集中，本文所设计的网络模型的修复性能有较高的提升。     

多尺度CNN与高频信息融合的图像去雾算法

针对现有去雾算法在恢复图像边缘区域效果不佳以及存在薄雾残留等问题,本文提出了一种基于多尺度卷积神经网络(CNN)与高频信息融合的图像去雾算法(HF-MSNet),采用拉普拉斯算子分离高频信息作为额外先验,用于提高图像细节恢复。首先,采用多尺度CNN作为主干网络,提取图像的主要纹理特征;其次,采用高频特征融合分支对高频信息逐阶段地提炼,并融合了通道注意力模块,使用注意力机制对不重要的特征进行约束;最后,采用高频注意力模块对全局特征自适应地筛选,整合高频特征和纹理特征的分布,得到目标的无雾图像。实验结果表明,本文的算法可以生成更自然真实的去雾图像,并在峰值信噪比(PSNR)、结构相似度(SSIM)两种指标上都达到了理想的效果。     

基于推理注意力机制的二阶段网络图像修复

现有的图像修复方法在处理大面积缺失或高度纹理化的图像时,通常会产生扭曲的结构或与周围区域不一致的模糊纹理,无法重建合理的图像结构。为此,提出了一种基于推理注意力机制的二阶段网络图像修复方法。首先通过边缘生成网络生成合理的幻觉边缘信息,然后在图像补全网络完成图像的重建工作。为了进一步生成视觉效果更逼真的图像,提高图像修复的精确度,在图像补全网络采用推理注意力机制,有效控制了生成特征的不一致性,从而生成更有效的信息。所提方法在多个数据集上进行了实验验证,结果表明该图像修复方法的结构相似性指数达到了88.9%,峰值信噪比达到了25.56 dB,与现有的图像修复方法相比,该方法具有更高的图像修复精确度,生成的图像更逼真。     

融合自注意力机制的人物姿态迁移生成模型

针对人物姿态迁移生成图像存在纹理细节丢失、姿态转移不合理等问题,提出一种融合自注意力机制的人物姿态迁移生成模型.首先,在两阶段姿态迁移生成模型的基础上,通过把改进的自注意力模块嵌入到生成对抗网络中,降低相似特征间的相互影响,强化对纹理细节的学习能力及丰富信息的捕获能力,增强姿态特征的显著性建模.然后,使用马尔可夫判别模...     

基于GAN网络的三维人脸纹理重建技术

在计算机视觉领域,三维人脸重建起着重要的作用,特别是在动画制作、虚拟人脸、人脸识别等领域正被广泛应用。基于单张图片的三维人脸重建,通过使用拟合的模型对图像进行采样,可以创建出面部的UV纹理图。然而通过相机采集到的是单视角的二维图像,存在人脸自遮挡的情况,这导致生成的UV纹理图的信息是不完整的。因此,提出一种针对三维人脸纹理补全问题的条件生成对抗网络,将Unet和部分卷积结合起来作为生成器,从而在纹理修复时可以保留更多的图像信息;判别器中引入SMPatchGAN提高图像判别的真实准确度。实验结果表明,相较于其他算法,所提出的算法取得了较为显著的改进效果,特别是在处于大视角下存在人脸自遮挡问题时,也能重建出精细的三维人脸模型。     

结合多尺度深度学习网络和Retinex理论的低光照图像增强算法

针对低光照增强任务缺乏参考图像及现有算法存在的色彩失真、纹理丢失、细节模糊、真值图像获取难等问题,本文提出了一种基于Retinex理论与注意力机制的多尺度加权特征低光照图像增强算法。该算法通过基于Unet架构的特征提取模块对低光照图像进行多尺度的特征提取,生成高维度的多尺度特征图;建立注意力机制模块凸显对增强图像有利的不同尺度的特征信息,得到加权的高维特征图;最后反射估计模块中利用Retinex理论建立网络模型,通过高维特征图生成最终的增强图像。设计了一个端到端的网络架构并利用一组自正则损失函数对网络模型进行约束,摆脱了参考图像的约束,实现了无监督学习。最终实验结果表明本文算法在增强图像的对比度与清晰度的同时维持了较高的图像细节与纹理,具有良好的视觉效果,能够有效增强低光照图像,视觉质量得到较大改善;并与其他多种增强算法相比,客观指标PSNR和SSIM得到了提高。     

基于子模式的人脸局部遮挡智能识别方法

为了提升局部遮挡情况下人脸的识别效率和精度，提出一种基于子模式的人脸局部遮挡智能识别方法。利用自适应小波变换方法多尺度分解人脸图像，基于此，引入小波模极大值算法和Canny算子，有效提取图像边缘特征；引入局部方向纹理模式算子，经过计算获取各个子模式特征值，同时采用边缘返回值确定计算人脸图像纹理特征时的权重分配，将梯度和纹理信息进行融合，实现人脸局部遮挡智能识别。实验结果表明，所提方法的遮挡人脸误识率始终低于0.2%,当遮挡率为25%时，所提方法的人脸识别率仍可达94%,可以为人脸识别的深入研究提供依据。     

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道-空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。     

基于改进U-net的自监督低剂量CT图像去噪算法研究

针对低剂量CT(low-dose CT,LDCT)图像去噪过程中配对数据难以获取的问题,本文提出了一种基于注意力机制和联合损失的自监督LDCT图像去噪算法。在该算法中,利用边缘增强后的U-net网络完成LDCT图像的特征提取,在网络框架中引入通道和像素注意力机制,以提高网络对噪声和伪影的抑制能力。同时使用联合损失避免传统损失对图像造成的图像过平滑问题,使得去噪后图像更加接近原图像。实验结果表明：所提出的算法可有效抑制LDCT图像的噪声,保留图像的纹理细节。经过算法处理后的LDCT图像的峰值信噪比(peak signal-to-noise ratio,PSNR)提高了16.40%,结构相似性(structural similarity,SSIM)提高了9.60%。在无配对数据下,该方法可有效保留细节并减少低剂量扫描产生的噪声,为临床LDCT图像去噪提供新思路。     

一种基于先验生成对抗网络的人脸超分辨率重建方法

针对人脸超分辨率算法中图像失真大、缺乏细节特征等问题,提出了一种基于先验知识的人脸超分辨率重建模型。通过在超分网络中加入纹理辅助分支,为重建过程提供额外纹理结构先验,以生成精细的面部纹理,恢复高分辨率纹理图。同时引入级联叠加模块对纹理辅助分支进行反馈。设计特征融合模块,将纹理特征图与超分分支特征图融合,获得更好的纹理细节;将纹理损失融入损失函数,以提高网络恢复纹理细节的能力。4倍放大因子下,该方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性指数(Structural Similarity Index, SSIM)比现有方法至少提升1.082 5 dB和0.036,无参考图像质量评价(Natural Image Quality Evaluator, NIQE)至少降低1.690 2;8倍放大因子下,该方法的PSNR与SSIM值分别至少提升0.787 5 dB和0.046 85,NIQE值最小降低3.92。     

基于注意力机制的多分支特征级联图像去雨网络

针对已有去雨网络在不同环境中去雨不彻底和图像细节信息损失严重的问题,本文提出一种基于注意力机制的多分支特征级联图像去雨网络。该模型结合多种注意力机制,形成不同类型的多分支网络,将图像空间细节和上下文特征信息在整体网络中自下而上地进行传递并级联融合,同时在网络分支间构建的阶段注意融合机制,可以减少特征提取过程中图像信息的损失,更大限度地保留特征信息,使图像去雨任务更加高效。实验结果表明,本文算法的客观评价指标优于其他对比算法,主观视觉效果得以有效提升,去雨能力更强,准确性更加突出,能够去除不同密度的雨纹,并且能够更好地保留图像背景中的细节信息。     

基于改进深度卷积生成对抗网络的刺绣图像修复

目前中华传统刺绣工艺传承保护问题中的修复任务主要以人工为主，修复过程需要大量的人力、物力。随着深度学习的高速发展，不同类型的刺绣文物损伤可以利用生成对抗网络进行修复。针对上述问题，提出一种基于改进深度卷积生成对抗网络（DCGAN）的刺绣图像修复方法。首先，在生成器部分引入空洞卷积层扩大感受野，并添加卷积注意力机制模块，在通道与空间2个维度增强重要特征的指导作用；在判别器部分增加全连接层数提升网络解决非线性问题的能力；在损失函数部分联合均方误差损失与对抗损失通过网络训练相互博弈的过程实现刺绣图像修复。实验结果表明：引入空洞卷积层与注意力机制提升了网络性能与修复效果，最终得到修复图像的结构相似性高达0.955，能够得到较为自然的刺绣图像修复效果，可以为专家提供纹理、色彩等信息作为参考辅助后续的修复。     

结合双注意力和结构相似度量的图像超分辨率重建网络

针对低分辨率图像到高分辨率图像的映射函数解空间极大,导致超分辨率重建模型难以产生细致纹理的问题,本文提出一种结合双注意力和结构相似度量的图像超分辨率重建网络。以改进的U-Net网络模型作为基本结构,引入针对低级别视觉任务的数据增强方法,增加样本多样性。编码器部分由卷积层和自适应参数线性整流激活函数(Dynamic ReLU)组成。同时引入了一种残差双注意力模块(Residual Dual Attention Module, RDAM)与像素重组(PixelShuffle)模块共同构成解码器,通过上采样操作,逐级放大图像。为了使生成图像更加符合人眼视觉特性,采用了一种结合结构相似度量准则的损失函数,增强网络约束。实验结果表明：重建图像的质量对比SRCNN,在Set5、Set14、BSD100和Urban100标准测试集上的平均PSNR提升约1.64 dB,SSIM提升约0.047。本文方法能够使重建的图像纹理细节更丰富,有效地减少了映射函数可能的解空间。     

一种生成对抗网络用于图像修复的方法

近年来基于深度学习的图像修复方法相比于传统方法,表现出明显优势,前者能更好的生成视觉上合理的图像结构和纹理.但现有的标准卷积神经网络方法,通常会造成颜色差异过大和图像纹理缺失与失真的问题.本文提出了一种新型图像修复深度网络模型,该模型由两个相互独立的生成对抗式网络模块组成.其中,图像修复网络模块旨在解决图像缺失区域的修复问题,其生成器基于部分卷积网络;图像优化网络模块旨在解决修复后图像存在局部色差的问题,其生成器基于深度残差网络.通过两个网络模块的协同作用,图像的视觉效果与图像质量得到提高.与其他先进方法进行定性和定量比较的实验结果表明,本文提出的方法在图像修复质量上表现更好.     

基于语义导向的光场图像深度估计

光场图像的深度估计是3维重建、自动驾驶、对象跟踪等应用中的关键技术。然而,现有的深度学习方法忽略了光场图像的几何特性,在边缘、弱纹理等区域表现出较差的学习能力,导致深度图像细节的缺失。该文提出了一种基于语义导向的光场图像深度估计网络,利用上下文信息来解决复杂区域的不适应问题。设计了语义感知模块的编解码结构来重构空间信息以更好地捕捉物体边界,空间金字塔池化结构利用空洞卷积增大感受野,挖掘多尺度的上下文内容信息;通过无降维的自适应特征注意力模块局部跨通道交互,消除信息冗余的同时有效融合多路特征;最后引入堆叠沙漏串联多个沙漏模块,通过编解码结构得到更加丰富的上下文信息。在HCI4D光场数据集上的实验结果表明,该方法表现出较高的准确性和泛化能力,优于所比较的深度估计的方法,且保留较好的边缘细节。     

基于门控卷积与注意迁移的二阶图像修复

针对现有修复算法在处理较大面积缺失时易产生伪影且与原图像语义不符的问题，提出了基于门控卷积与注意迁移的二阶图像修复方法，通过加强待修复图像内部语义对修复网络的影响来确保修复结果整体语义的一致性。首先使用多层卷积对缺损图像进行粗略修复；然后将粗略修复结果输入改进的细化修复网络，使用门控卷积和注意迁移网络对图像内部纹理细节进行修复处理，在编解码阶段引入SimAM模块作为注意力机制，强化对待修复图像中重要信息的筛选能力；最后通过谱归一化的马尔科夫判别器判别真伪同时提供对抗损失，将感知损失与多尺度结构相似性损失作为重建损失再将其与对抗损失相结合作为损失函数。与其他图像修复方法的对比实验表明，本文方法较其中最好结果在结构相似性上提升1.47%，峰值信噪比上提升5.48%。本文方法修复结果更加真实自然且在各种尺寸缺失下均实现了理想的修复效果。     

面向人脸识别的口罩区域修复算法

遮挡下的人脸识别一直是现实场景中的一个难题。特别是新冠肺炎疫情爆发后,在机场、车站等需要鉴别入场人员身份信息的场所,口罩遮挡使得可供识别的面部特征大幅减少,原有的人脸识别算法准确率随之下降。对去除口罩遮挡进行了研究,提出了一个新的框架修复人脸,利用边缘生成网络还原遮挡区域的边缘,在此基础上再利用区域填充网络恢复被遮挡的人脸,同时保留身份信息。为提升模型的性能,提出空间加权对抗损失和身份一致性损失训练上述网络,并利用关键点信息,构建了两个戴口罩的人脸数据集。实验结果表明,恢复被口罩遮挡的人脸的图像使人脸识别算法 ArcFace 的准确率达到 98.39%,比直接采用ArcFace识别遮挡人脸提升了4.13%的准确率。     

融合注意力机制的高分辨人脸识别图像重建

针对由于人脸姿势、光照不均、拍摄环境、拍摄设备等内外部因素造成图像分辨率低的问题,提出融合注意力机制的高分辨人脸识别图像重建模型.首先以低分辨率人脸图像对作为两个生成器输入,通过残差块和注意力模块堆叠网络提取人脸特征信息,进而生成高分辨率人脸图像.训练中使用一个鉴别器来监督两个生成器的训练过程.利用Adam算法对鉴别器...