基于卷积神经网络的单幅图像三维人脸重建

利用单幅二维图像进行三维人脸重建是图像处理研究领域的热点问题.受深度卷积神经网络(CNN)和三维形变模型(3DMM)的启发,提出一种采用CNN回归3DMM形状和表情参数的方法,进行三维人脸重建.在CNN模型VGG-16的基础上设计一种VGG-BN的改进网络模型,通过在每个卷积层后加入批归一化层,优化网络模型性能;并采用...     

单幅人脸图像的全景纹理图生成方法

目的针对从单幅人脸图像中恢复面部纹理图时获得的信息不完整、纹理细节不够真实等问题,提出一种基于生成对抗网络的人脸全景纹理图生成方法。方法将2维人脸图像与3维人脸模型之间的特征关系转换为编码器中的条件参数,从图像数据与人脸条件参数的多元高斯分布中得到隐层数据的概率分布,用于在生成器中学习人物的头面部纹理特征。在新创建的人脸纹理图数据集上训练一个全景纹理图生成模型,利用不同属性的鉴别器对输出结果进行评估反馈,提升生成纹理图的完整性和真实性。结果实验与当前最新方法进行了比较,在Celeb A-HQ和LFW(labled faces in the wild)数据集中随机选取单幅正面人脸测试图像,经生成结果的可视化对比及3维映射显示效果对比,纹理图的完整度和显示效果均优于其他方法。通过全局和面部区域的像素量化指标进行数据比较,相比于UVGAN,全局峰值信噪比(peak signal to noise ratio,PSNR)和全局结构相似性(structural similarity index,SSIM)分别提高了7.9 d B和0.088,局部PSNR和局部SSIM分别提高了2.8 d B和0...     

面向应用的个性化3D人脸模型快速生成技术

真实感3D人脸模型生成技术是计算机图形领域研究的热点问题之一,但已有的相关方法存在真实感差、算法复杂度高、局限性多、实用性弱等问题．在分析3D人脸模型姿态矫正和模型变换方法基础上,研究基于一张人脸正面图像和普通3D人脸模型、采用关键特征点匹配和真实感纹理映射方法构建个性化3D人脸模型的方法,最后利用基于C＋＋和OpenGL实现的原型系统进行实验分析．实验结果表明该方法计算简单、建模效率高,且适用于影视特效制作、3D网络游戏、医学美容等领域．     

基于人脸标准化的纹理和光照保持3D人脸重构

现有人脸纹理重建方法对于人脸的皱纹、胡须、瞳孔颜色等重建效果往往不够细致.为了解决此问题,文中提出基于人脸标准化的纹理和光照保持3D人脸重构.首先对2D人脸图像标准化,使用光照信息和对称纹理重构人脸自遮挡区域的纹理.然后依据2D-3D点对应关系从标准化的2D人脸图像获取相应的3D人脸纹理,结合人脸形状重构和纹理信息,得到最终的3D人脸重构结果.实验表明文中方法有效保留原始2D图像的纹理和光照信息,重构的人脸更自然,具有更丰富的人脸细节.     

从多张非标定图像重建三维人脸

为了在人脸动画中方便地重建真实感强的三维人脸模型,提出一种从多角度、非标定图像重建三维人脸的方法.首先利用一种基于规则网格变形的模型归一化方法建立人脸形变模型;然后分别在5幅人脸图像上手动标注不超过14个关键点,通过拟合图像上的关键点重建个性化的人脸几何形状;最后从每个角度渲染出一幅形状无关纹理,并将5幅形状无关纹理融合成一幅平滑的纹理图像.重建结果显示,该方法能在较少的手动交互的情况下重建出具有真实感的个性化人脸模型.     

基于形变模型的多视图三维人脸重建

本文提出了基于形变模型的多视图三维人脸重建方法,将人脸形变模型与同一人脸在不同视点下的多幅图像进行匹配,从而重建出具有较强真实感的三维人脸模型。本文将对基于形变模型的多视图三维人脸重建方法进行详细的阐述,并把实验结果与单视图重建出的三维人脸模型进行了对比,从而体现出多视图重建的优势所在。     

基于3D人脸重建的光照、姿态不变人脸识别

待匹配人脸图像与库存原型图像之间姿态和光照的差异是自动人脸识别的两个主要瓶颈问题,已有的解决方法往往只能单独处理二者之-,而不能同时处理光照和姿态问题.提出了一种对人脸图像中的姿态和光照变化同时进行校正处理的方法,即通过光照不变的3D人脸重建过程,将姿态和光照都校正到预先定义的标准条件下.首先,利用先验的统计变形模型,结合人脸图像上的一些关键点来恢复较为精细的人脸3D形状.基于此重建的3D形状,进而通过球面谐波商图像的方法估计输入图像的光照属性并提取输入图像的光照无关的纹理信息,从而将光照无关的3D人脸完全重构出来,生成输入人脸图像在标准姿态和光照条件下的虚拟视图,用于最终的分类识别,实现了对光照和姿态问题的同时处理.在CMU PIE数据库上的实验结果表明,此方法可以在很大程度上提高现有人脸识别方法对于原型集合(gallery)和测试集合中图像在姿态和光照不一致情况下识别结果的正确性     

色彩空间中的单幅图像自适应去雾算法EI北大核心CSCD

为解决传统基于暗原色先验的去雾算法在景物边界处出现的白边现象,以及在天空、白云等明亮区域出现的颜色失真的问题,提出一种基于色彩空间的快速去雾算法.首先把暗原色先验值求解中对邻域求最小值操作改为求中值操作;然后根据RGB色彩空间中像素颜色深度变化正好与场景深度变化相对应的关系,引入像素最大值与最小值之差的加权来调整暗原色先验值;再根据阈值来区分是否是明亮区域,修改明亮区域透射率估计的不足;最后在HIS色彩空间复原强度分量和饱和度值,并用直方图拉伸增强强度分量.文中算法无需图像后期修补,能自适应地修改暗原色先验值,实验结果表明了该算法的可行性和有效性.     

单幅植物叶片图像的3维重建

目的 植物叶片形态复杂,在虚拟场景中很难真实表现。为了从信息量有限的单幅图像中恢复植物叶片的3维形状,本文基于从明暗恢复形状（shape from shading,SFS）的方法,利用亮度统计规律和植物形态特征恢复叶片的3维形状。方法 在SFS的基础上,设计基于图像骨架的距离场偏置加强表面细节;针对SFS对恢复宏观几何形状的不足,提出根据图像亮度统计分布选取控制点控制表面宏观形状变化,并利用叶片中轴的距离场约束恢复宏观几何形状,每种方法对于表面宏观几何形状恢复的权重基于恢复的反射图和输入图像间的相似度设定;将表面细节添加到宏观几何形状上得到目标对象的3维形状。结果 选取植物叶片图像进行实验,并与其他方法进行比较,实验结果表明本文方法增强了表面细节显示,并有明显的宏观几何形状变化。同时为了验证本文方法对其他物体表面细节恢复的适用性,分别对硬币和恐龙恢复表面细节,实验结果表明提出的增强表面细节的方法同样适用于其他物体。结论 针对单幅植物叶片图像的3维重建,在SFS的基础上提出了根据骨架特征加强表面细节,根据图像亮度统计分布和叶片中轴距离场约束共同恢复表面宏观几何形状的算法,实验结果验证了本文方法的可行性。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。     

基于感知去模糊的高效人脸图像修复算法EI北大核心CSCD

针对现有深度学习图像修复算法在修复区域内部产生模糊纹理或存在修复区域边界的内容不连贯性的问题,提出一种基于感知去模糊的人脸图像修复算法.首先提出一种包含PSNR损失、SSIM损失和对抗损失的生成对抗网络生成粗略的人脸结构修复信息;然后开发一种基于感知去模糊的生成对抗网络对粗略的人脸结构进行进一步的纹理细节恢复,从而生成自然清晰且内容连贯的面部纹理.在CelebAHQ公开人脸数据集上进行定量、定性和消融实验的结果表明,所提算法在峰值信噪比和结构相似性等定性评价指标方面优于所对比的前沿图像修复算法.     

保特征的单幅图像三维网格重建EI北大核心CSCD

针对图像重建三维物体方法中存在无法保持物体尖锐特征的问题,基于深度神经网络,对输入单幅图像提出一种有效的保特征三维网格生成方法.对单幅输入图像使用VGG-16提取图像特征,并特别设计了图像边缘检测层获取物体的尖锐特征;将三维网格(初始为椭球)的顶点投影到特征图和边缘检测图上,以获得顶点局部特征,并判断其是否为尖锐特征点;然后,将局部特征和顶点位置串联输入到改进的图卷积神经网络(graph convolutional neural network, GCNN),对于非尖锐特征点采用普通GCNN,对于检测到的尖锐特征点采用0邻域图卷积神经网络(0-neighborhood GCNN, 0N-GCNN),以期其尽量不被邻域顶点过度光滑;GCNN的输出预测了顶点的新位置和三维特征;最后,对网格的顶点及特征用Loop细分上采样.执行3次上述变形(二维特征投影、尖锐特征检测、GCNN变形、上采样)后,初始椭球最终变形为输入图像中物体模样.实验使用ShapeNet数据集,在PyTorch框架下实现,从定性和定量两方面与现有方法进行了比较.实验结果表明,在Chamfer距离和F-score两类定量指标上均优于大部分现有方法,而Chamfer距离和F-score(2τ)的均值表现为最优.视觉比较也表明,文中方法可有效地提升特征保持性能.     

基于3D人脸识别研究的探索

2D人脸识别技术目前已经成熟,但由于单一的2D图像不能提供识别所需要的完整信息,所以识别精度难以提高。在人脸识别过程中,特征提取是影响识别效果的一个重要环节,该文在传统的主成分分析法和由此改进的2DPCA方法的基础上提出了3D人脸识别方法,该方法将人脸图象分为几个部分分别进行特征提取,充分考虑每个部分所包含的特征信息量的多少,在分类时赋予它们不同的权值。因此将人脸用立体图像来表示进行识别,以提高其精度是目前极富挑战性的前沿课题。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够,导致重建出的三维人脸模型泛化性能不佳的问题,提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进,以提高三维人脸模型的表达能力;然后,基于人脸光滑性和图像相似性,在特征点和像素层面提出新的损失函数,并使用弱监督学习训练卷积神经网络模型;最后,通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明,对于三维人脸重建任务,所提模型在AFLW2000-3D上实现了2.25的归一化平均误差;对于密集人脸对齐任务,所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比,所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片,该网络模型的重建准确,鲁棒性好,且具有较高的三维人脸重建和密集人脸对齐质量。     

图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

一种个性化人脸三维建模方法

描述了一种特定人的人脸三维建模方法,该方法用该人的正面及侧面人脸两张照片,通过选择关键特征点,在基本人脸模型基础上,经过变形,得到特定人脸三维网格模型。再经纹理匹配,获得特定人的三维人脸模型。该方法已在微型计算机上进行了模拟,并成功地获得酷似真人的人脸三维模型。     

基于形变模型的3D表面自适应重建

结合形变模型和ＡＣＤ方法提出了基于变形模型的３Ｄ表面自适应重建方法。同时引入了与图象统计特性有关的外力,使得表面重建结果与模型的初始位置无关,利用ＡＣＤ方法使模型自适应地改变其拓扑结构;为了提高表面重建的程度和鲁棒性,提出了多尺度重建算法,该方法适用于形状、结构复杂的物体重建,实验结果证明了该方法的有效性。     

基于粒子滤波的人脸图像超分辨率重建方法

将人脸图像超分辨率重建描述为人脸混合模型的纹理和位置参数的贝叶斯概率估计问题,将超分辨率重建的图像配准和像素融合这两个过程置于统一的概率估计框架下,并利用基于粒子滤波的参数估计算法,同时估计纹理和位置参数,从而实现人脸图像的超分辨率重建.包含灰度和位置两种先验信息的人脸混合模型,同时用于超分辨率重建的两个过程中,提高了图像配准精度和重建算法的性能,避免了通常方法在获得准确鲁棒的运动场估计时需要清晰的高分辨图像,而获得清晰的高分辨图像时又需要准确鲁棒运动场估计的困境.正面人脸合成序列图像实验结果表明,该方法获得的重建结果较为理想.     

基于单张图像的三维人脸重建

利用一种基于法线的模型变形方法,从单张图像重建高质量的三维人脸.利用球谐函数和一个初始参考模型计算得到模型上每个顶点的法线,利用法线使参考模型变形.实验结果表明:提出的算法可以从单幅图像重建具有细节的高质量三维人脸.     

单幅图像超分辨率重建技术研究进展

图像分辨率是衡量一幅图像质量的重要标准. 在军事、医学和安防等领域, 高分辨率图像是专业人士分析问题并做出准确判断的前提. 根据成像采集设备、退化因素等条件对低分辨率图像进行超分辨率重建成为一个既具有研究价值又极具挑战性的难点问题. 首先简述了图像超分辨率重建的概念、重建思想和方法分类; 然后重点分析用于单幅图像超分辨率重建的空域方法, 梳理基于插值和基于学习两大类重建方法中的代表性算法及其特点; 之后结合用于超分辨率重建技术的数据集, 重点分析比较了传统超分辨率重建方法和基于深度学习的典型超分辨率重建方法的性能; 最后对图像超分辨率重建未来的发展趋势进行展望.