基于扩散模型的人脸图像修复技术

人脸作为人体信息最为密集的部位,人脸图像在各个研究领域都有不可替代的作用。因此,研究如何将遮挡或模糊的人脸图像恢复成真实图像是非常有意义的。针对人脸图像修复技术的研究,提出基于扩散模型的人脸图像修复技术。在现有的人脸图像修复技术基础上,解决在修复大区域破损或遮挡的情况下,修复图像出现纹理模糊及结构扭曲等问题。所提出的方法基于边缘引导的扩散模型图像修复网络,主要包括两个阶段：首先训练基于U-Net结构的边缘修复模型生成较为真实的缺失区域的边缘信息,然后根据已修复好的边缘信息,训练内容生成模型填充缺失部分的内容信息。实验证明对于人脸图像修复具有较好的效果。     

基于子模式的人脸局部遮挡智能识别方法

为了提升局部遮挡情况下人脸的识别效率和精度，提出一种基于子模式的人脸局部遮挡智能识别方法。利用自适应小波变换方法多尺度分解人脸图像，基于此，引入小波模极大值算法和Canny算子，有效提取图像边缘特征；引入局部方向纹理模式算子，经过计算获取各个子模式特征值，同时采用边缘返回值确定计算人脸图像纹理特征时的权重分配，将梯度和纹理信息进行融合，实现人脸局部遮挡智能识别。实验结果表明，所提方法的遮挡人脸误识率始终低于0.2%,当遮挡率为25%时，所提方法的人脸识别率仍可达94%,可以为人脸识别的深入研究提供依据。     

基于表情人脸图像的三维人脸模型重建

阐述对于带有表情的二维人脸图像的三维人脸模型重建算法。选取向左、中间、向右三种不同朝向的同一表情人脸图像，以基于颜色的K均值聚类进行人脸分割，获得富含特征信息的人脸轮廓，接着，对三种朝向的人脸图像进行投影变换实现立体校正，并基于特征信息完成立体匹配，获得带有深度信息的稀疏视差图，继而形成平滑的点云形式，并基于三角剖分算法完成三维人脸模型的建立。实验结果表明，该算法对实现表情图像的三维人脸模型重建具有较好的效果。     

多视图三维人脸重建方法综述

<正>在现实生活中，人脸蕴含了个体丰富的信息，在视觉感知中占有非常重要的地位，因此人脸在三维重建中是一个非常重要的对象，具有广泛的应用前景。三维人脸重建具有很高的研究价值和意义。目前有关三维人脸重建的研究大多是针对单张人脸图像，虽然单视图三维人脸重建已经在人脸识别、虚拟现实等领域有了广泛应用，但是它仍然存在很大弊端，比如单张图像重建出的模型准确性和精度不足，但是多张图像却可以提供更多的观测数据，从而可以提高人脸三维模型的精度和准确性。     

一种3D眼镜虚拟试戴系统的实现

针对人脸图像试戴3D眼镜过程中存在的镜腿遮挡人脸问题,文中提出一种基于人脸图像的3D眼镜虚拟试戴技术。利用构建的人脸形状的三维模型,使其在虚拟试戴中对镜腿起到消隐作用,解决镜腿的遮挡问题。文中对输入的人脸图像进行关键点检测,结合Graham扫描法求得人脸形状的凸多边形,利用平移扫描构建人脸形状的三维模型。此外,文中根据定位人脸图像上的关键点以及姿态估计后对三维眼镜模型的变换,将眼镜模型佩戴到人脸图像上。实验结果表明,该方法对于多视角的人脸图像实现了虚拟试戴效果,解决了多种视角下人脸图像试戴过程中镜腿的遮挡问题,虚拟试戴中镜腿遮挡平均准确率为94.5%,遮挡精度较高。     

基于局部形变模型三维人脸快速建模

针对传统三维形变模型计算量大,难以满足实时性的不足,提出一种实用、高效的三维形变模型,进行个性化三维人脸重建。首先,对三维人脸关键特征点定位,分割划片;然后,对每个分片分别建立形变模型并进行匹配恢复其局部形状信息;最后,把每部分进行无缝拼接,生成逼真的三维人脸。实验结果表明,该方法能够获得较好的建模精度,在短时间内可以通过单幅真实图像重建出逼真的三维人脸模型。     

一种基于体素的三维重建方法

文章给出的一种基于体素的三维重建算法，采用面片作为体素，通过判断不同视点处输入图像纹理颜色的一致性来重建三维模型。算法利用场景分块重建来简化遮挡问题，降低了时间复杂度；算法提出了面片步长的计算方法．以重建具有照片级真实感的三维模型。     

基于人脸结构信息引导的人脸图像修复网络

针对人脸图像修复的深度学习网络存在修复后的人脸图像面部语义信息不合理和面部轮廓不协调的问题，提出了一种基于人脸结构信息引导的人脸图像修复网络。首先，采用编码器-解码器网络技术构建人脸结构草图生成网络，并在结构草图生成网络的生成器中加入跳跃连接和引入带膨胀卷积的残差块以生成待修复区域的结构草图。其次，在构建人脸修复网络时，在修复网络生成器中引入注意力机制，让修复网络在修复过程中更多关注待修复区域，并以生成的人脸结构草图为引导从而实现人脸图像面部语义结构和纹理信息的生动修复。最后，在结构草图生成网络的损失函数中引入特征匹配损失进行模型训练，从而约束生成器生成与真实结构草图更相似的结果；在修复网络的损失函数中联合感知损失和风格损失进行模型训练，从而更好地重建待修复区域的人脸图像面部轮廓结构和颜色纹理，使修复后的图像更接近真实图像。对比实验结果表明，在人脸图像数据集中，本文所设计的网络模型的修复性能有较高的提升。     

基于照片混合算法的人脸三维建模

提出了一种基于两张照片进行人脸三维重建的方法。采用将采集图像的两个照相机固定的做法，从而可以根据一定的图像配准算法和空间的联立方程组得到人脸在两个坐标系统中的三维空间数据坐标，然后进行数据拟合得到非特征点的数据，最后根据三维数据重建得到三维人脸模型，大大提高了生成的三维图像的质量和准确性。     

基于深度卷积网络的3D人脸重构算法

基于单张人脸图片的3D人脸模型重构,无论是在计算机图形领域还是可见光成像领域都是一个极具挑战性的研究方向,对于人脸识别、人脸成像、人脸动画等实际应用更是具有重要意义。针对目前算法复杂度较高、运算量较大且存在局部最优解和初始化不良等问题,本文提出了一种基于深度卷积神经网络的单张图片向3D人脸自动重构算法。该算法首先基于3D转换模型来提取2D人脸图像的密集信息,然后构建深度卷积神经网络架构、设计总体损失函数,直接学习2D人脸图像从像素到3D坐标的映射,从而实现了3D人脸模型的自动构建。算法对比与仿真实验表明,该算法在3D人脸重建上的归一化平均误差更低,且仅需一张2D人脸图像便可自动重构生成3D人脸模型。所生成的3D人脸模型鲁棒性好,重构准确,完整保留表情细节,并且对不同姿态的人脸也具有较好的重建效果,能够在三维空间中无死角自由呈现,将满足更多实际应用需求。     

多视图三维人脸重建方法研究

人脸信息包含每个人的外貌、表情信息。对人脸进行三维重建,重建后的人脸信息能够广泛地应用于人脸识别门禁系统、人脸动画角色以及医美整形等行业,具有重要的研究价值。目前,三维人脸重建存在一些遮挡和大姿态等问题,其中大部分人脸重建方法是从单张图片入手,模型效果较差,而多张图片的信息综合利用更有助于人脸信息的重建。为此,本文围绕基于传统方法的多视图人脸重建和基于深度学习方法的多视图人脸重建展开详细阐述,并对多视图人脸重建领域进行总结与展望。     

人脸识别中局部遮挡处理技术研究

局部遮挡严重影响了人脸识别准确率,提出了自动最优局部遮挡的重建模型.该模型首先利用人脸图像的灰度值判断人脸遮挡类型,然后利用M估计器(M-estimator)对遮挡掩模进行估计,找到最佳局部遮挡的人脸重建系数,重建人脸,减弱人脸遮挡的影响.实验证明了局部遮挡处理的有效性,明显提高了识别准确率.     

一种基于三维扫描数据的人脸建模方法

三维扫描仪可以准确获取人脸的几何形状与纹理,但原始的人脸扫描数据仅为一张连续曲面,不符合实际的人脸结构,无法用于人脸动画。针对此问题,提出了一种由三雏扫描数据进行人脸建模的方法,将一个具备完整结构的通用人脸模型与扫描数据进行初步适配,再采用细节重建技术恢复特定人脸的表面细节和皮肤纹理。实验表明,该方法建立的三维人脸模型真实感强,结构完整,可生成连续自然的表情动画。     

基于Lazy Snapping混合模拟退火算法的高压开关柜温度场红外三维图像重建仿真

提出基于Lazy Snapping混合模拟退火算法的高压开关柜温度场红外三维图像重建仿真方法,以提升高压开关柜温度场仿真效果。该方法利用主动式红外图像传感器采集高压开关柜温度场红外图像后,使用直方图非线性拉伸算法对其实施增强处理;再使用Lazy Snapping算法对增强后的高压开关柜温度场红外图像进行分割,并通过混合遗传模拟退火算法合成二维纹理流场图像;以该图像为基础,使用Image Quiltingh纹理合成算法合成高压开关柜温度场三维图像,完成高压开关柜温度场红外三维图像重建仿真过程。实验结果表明：该方法可有效增强高压开关柜温度场红外图像,其分割红外图像时的交并比数值接近1.0;可依据其生成的二维纹理流场图像生成三维图像,温度场仿真数值最大偏差仅为0.03℃。     

基于Laws模板与CSLBP的人脸识别

针对CSLBP对人脸图像的局部特征提取不充分问题,提出一种基于Laws模板的CSLBP算法。该算法首先选取Laws模板对原始图像进行滤波,获得多幅纹理单一图像。其次,引进CSLBP算子对各纹理图像进行特征提取,再将图像分成若干子区域,通过连接这些子区域的CSLBP直方图生成人脸特征向量。最后,针对Laws-CSLBP中存在的高维向量问题,做了进一步研究分析,引入了局部保持投影(LPP)的流行算法进行降维,并采用最近邻分类器进行判别分类。该算法在ORL、FERET人脸库中都取得了较好的识别效果,证明了该算法的有效性。     

基于Laws模板与CSLBP的人脸识别

针对CSLBP对人脸图像的局部特征提取不充分问题,提出一种基于Laws模板的CSLBP算法。该算法首先选取Laws模板对原始图像进行滤波,获得多幅纹理单一图像。其次,引进CSLBP算子对各纹理图像进行特征提取,再将图像分成若干子区域,通过连接这些子区域的CSLBP直方图生成人脸特征向量。最后,针对Laws-CSLBP中存在的高维向量问题,做了进一步研究分析,引入了局部保持投影（LPP）的流行算法进行降维,并采用最近邻分类器进行判别分类。该算法在ORL、FERET人脸库中都取得了较好的识别效果,证明了该算法的有效性。     

多表情人脸肖像的自动生成

肖像是一种能够抓住人物特征,又能隐藏细节,保留个人隐私的艺术表现形式,本文提出一种以中性表情人脸作为输入,自动生成不同表情的肖像算法.首先利用主动形状模型(Active Shape Model,ASM)提取人脸的关键特征点,然后根据统计学习获取的不同表情人脸的FAP(Facial Animation Parameter)规则,对中性人脸的特征点进行变形,生成表情三角网格,将中性人脸图像作为纹理映射到表情人脸网格,生成表情人脸图像,最后利用图像的梯度域信息和非真实感渲染技术,将带表情的人脸生成具有肖像风格的人脸图像.所生成的多表情人脸肖像效果良好,能够应用于网络和报刊杂志等非真实感图形学和数字娱乐等领域中.     

基于边缘先验的人脸去手势遮挡修复方法研究

针对当下人脸去手势遮挡任务中常出现的结构缺失和纹理模糊等问题,文章提出一种基于边缘条件和注意力机制的两阶段修复网络——EmmNet。第一阶段网络为第二阶段细节修复提供边缘指导信息,以避免出现过度平滑等问题。第二阶段网络中的并行多扩张卷积模块可在有效扩大网络感受野的同时提高对有效像素的利用率。此外,注意力模块可促使网络生成具有全局一致性,使研究者获得符合原图特征的修复图像。实验结果表明,EmmNet在去手势遮挡任务中可以生成轮廓结构更加完整流畅,细节纹理更加清晰自然的人脸图像。     

面向人脸识别的口罩区域修复算法

遮挡下的人脸识别一直是现实场景中的一个难题。特别是新冠肺炎疫情爆发后,在机场、车站等需要鉴别入场人员身份信息的场所,口罩遮挡使得可供识别的面部特征大幅减少,原有的人脸识别算法准确率随之下降。对去除口罩遮挡进行了研究,提出了一个新的框架修复人脸,利用边缘生成网络还原遮挡区域的边缘,在此基础上再利用区域填充网络恢复被遮挡的人脸,同时保留身份信息。为提升模型的性能,提出空间加权对抗损失和身份一致性损失训练上述网络,并利用关键点信息,构建了两个戴口罩的人脸数据集。实验结果表明,恢复被口罩遮挡的人脸的图像使人脸识别算法 ArcFace 的准确率达到 98.39%,比直接采用ArcFace识别遮挡人脸提升了4.13%的准确率。     

采用自适应加权扩展LBP的单样本人脸识别

提出了一种采用自适应加权扩展LBP(AWELBP,adaptively weighted extended local binarypattern)的单样本人脸描述方法,首先对单样本的人脸图像进行多尺度分块,对子块的图像进行扩展均匀LBP算子运算,同时同步生成图像局部熵图谱(LEM,local entropy map),计算每一子块对整体人脸图像纹理描述的贡献度图谱,根据贡献度图谱对每个子块的LBP直方图进行自适应加权,最后将各子块的LBP直方图进行连接形成人脸特征。本算法在ORL、Yale、Yale B人脸库上对部分遮挡、表情变化、光照变化等环境进行测试,并与传统算法以及与多种LBP改进算法进行比较,结果表明该算法对部分遮挡、表情变化和光照等环境下单样本人脸描述具有较好的效果。