一种基于人体测量学的三维人体快速建模方法研究与实现

常用的个性化三维人体建模方法存在数据量大,处理过程复杂,不适合Web应用的不足,该文提出一种新的快速进行三维人体建模的方法,该方法根据人体测量学和人体解剖学原理,结合人体表面特征点和特征线分布规律,应用超椭圆仿真人体各截面、采用层次参数驱动设计思想,实现快速创建个性化三维人体模型。该方法具有满足实时要求、交互参数少,易于控制,误差小、模型真实感强等优点,并可以准确地提供骨骼关节点和人体特征点,适于三维仿真形象动态设计、人体运动模拟和虚拟服装试衣等多种应用。     

一种基于人体测量学的三维人体快速建模方法研究与实现

常用的个性化三维人体建模方法存在数据量大,处理过程复杂,不适合Web应用的不足,该文提出一种新的快速进行三维人体建模的方法,该方法根据人体测量学和人体解剖学原理,结合人体表面特征点和特征线分布规律,应用超椭圆仿真人体各截面、采用层次参数驱动设计思想,实现快速创建个性化三维人体模型。该方法具有满足实时要求、交互参数少,易于控制,误差小、模型真实感强等优点,并可以准确地提供骨骼关节点和人体特征点．适于三维仿真形象动态设计、人体运动模拟和虚拟服装试衣等多种应用。     

基于深度学习的人体动作草图到三维骨骼模型重建方法的研究

为了提高三维人体骨骼模型的建模效率并简化交互规则,提出了一种基于深度学习的手绘人体动作草图到三维骨骼模型的重建方法。首先将三维骨骼模型渲染为二维图像来建立维度映射关系,进而使用图像分类方法识别手绘草图动作并根据维度映射实现三维骨骼模型重建。在实验中使用基于深度卷积神经网络对图像分类模型进行构建,使用浅层卷积网络作为训练单元,并使用逐级分类与分块训练策略加速网络收敛速度来提高训练效率。最后实验结果验证了该方法的可行性与有效性。     

联合注意力和条件GAN的被遮挡人体姿态和体形估计方法

基于图像的人体姿态和体形估计常常因人体被遮挡而充满挑战.为此,提出一种基于单幅图像的姿态和体形估计方法.首先提出多尺度的注意力模块策略,输出具有丰富上下文信息的多尺度注意力特征,以有效地获得不受遮挡影响的全局的姿态和体形分布;然后提出基于热图的条件生成对抗网络策略,将由关节热图得到的姿态估计作为约束,实现网格精细调整;最后借助这2个策略得到的姿态和体形估计方法实现全局预测和局部细节求精的结合.在Ubuntu环境下,在3DPW,3DOH50K和Human3.6M公开数据集上的实验结果表明,与SMPLify,GraphCMR和SPIN等方法相比,所提方法在身体部分被遮挡时重建效果更好,并在ACK, AVE和PA-MPJPE等定量评价指标上取得了更好的结果.     

改进的三维人体姿态估计算法

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头图注意力部分的网络结构进行改进,使节点间更好传播和融合信息,捕获图中没有显式表示的语义信息.同时引入运动学约束,在MPJPE损失的基础上,加上骨骼长度损失.通过对局部和全局的空间节点信息建模,实现对局部运动学连接、对称性和全局姿态的人体骨骼运动学约束的学习.通过实验证明,本文改进后的模型有效地提高了人体姿态估计性能,在Human3.6M数据集上相较于原始模型,实现了1.8%的平均关节位置误差(MPJPE)提升和1.3%的预测关节与真值关节刚性对齐后的平均关节位置误差(P-MPJPE)提升.     

基于深度图像的人体骨骼提取技术的研究

利用Kinect设备获取深度图像,通过前景提取得到深度图像中的人体目标,使用距离变换(包括欧氏距离、城市街区距离、棋盘距离方法)和图像细化算法(包括Hilditch细化算法和Zhang快速并行细化算法)研究并实现了人体骨骼的提取,通过实验对各算法的运行效果进行了对比分析。同时,利用深度图像具备深度信息这一特点解决了在骨骼提取中出现的人体自遮挡问题。在获取的人体骨骼线基础上根据人体测量比例定位人体各骨骼关节点,最终通过实验证明了该骨骼提取方法的有效性。     

一种基于国标人体测量学数据的虚拟人建模方法

针对目前利用国标人体测量学数据构建的虚拟人模型,只有单一的骨骼层或皮肤层,不便于同时对虚拟人进行实时运动控制和皮肤动态变形研究的问题,提出一种利用GB 10000-88的19个人体测量学特征数据、用3ds max构造出虚拟人的皮肤网格、层级建模方法构建出虚拟人的骨骼关节运动模型与四元数球面混合插值技术相结合的虚拟人建模方法。实验结果表明,该方法构建的虚拟人双层模型有利于对准确的国标人体测量学数据的虚拟人角色进行建模、皮肤逼真变形、实时运动仿真和人机工效学分析。     

基于面绘制的医学序列图像三维重建

基于医学CT图像序列,利用改进的面绘制方法,分别实现了皮肤和骨骼的三维表面重建。在皮肤重建中,主要采用阈值分割法和迭代法相结合而得到光滑逼真的效果。在骨骼重建过程中,采用二值法构建骨骼三维表面,并对得到的结果进行去噪处理,进而得到清晰的骨骼轮廓。为了验证重建方法的通用性,实现了复杂结构器官--心脏的三维表面重建。实验结果表明,方法易于实现,获得了较理想的三维重建结果。重建的三维模型可进行旋转、放大和缩小等操作,这不仅有利于实现人机交互的功能,同时也有利于对模型进行设置和观察。     

运动员动态图像三维仿真技术研究

研究运动员运动图像三维仿真的真实性问题.运动员进行不同的运动项目时,关节所成的角度,运动速度有差异,造成不同部位在空间上会出现严重的视觉遮挡,发生特征点的重叠和丢失,造成运动员形状基计算不准确.传统的人体运动重建算法,都是以人体形状基个数为基础,没有考虑形状基计算错误带来的重建特征点缺失问题,造成仿真效果较差.提出了一种改进因式分解的人体运动图像三维动态仿真算法.运用光流体的概念合理的计算运动中的形状基个数,对形状基的数量进行约束性计算,从而实现人体运动图像序列中的三维动态仿真建模.实验结果表明,改进算法提高了人体运动图像序列三维动态仿真的真实性.     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

关节轴角先验对3维人体重建结果的影响

目的 3维人体重建的目标在于建立真实可靠的3维人体模型。但目前基于SMPL（skinned multi-person linear model）模型重建3维人体的实验和一些公开数据集中，常常会出现预测的姿势角度值不符合真实人体关节角度规则的现象。针对这一问题，本文提出设置关节旋转角值域，使得重建的结果真实性更强、更符合人体关节机械结构。方法 根据人体关节的联接结构将各个关节的运动进行划分。根据划分结果计算关节运动自由度，并结合实际情况提出基于SMPL模型的关节旋转值域。提出一个简单的重建方法来验证值域分析的正确性。结果 使用3维人体数据集UP-3D进行相关实验，并对比以往直接根据学习结果生成重建模型的数据。在使用轴角作为损失参数的情况下，重建精度提高显著，平均误差降低15.1%。在使用所有损失函数后，平均误差比直接根据预测值生成重建模型的两段式重建方法降低7.0%。重建结果与UP-3D数据集进行真实性对比有显著的关节联动性效果。结论 本文提出的关节旋转角值域设置对基于SMPL模型进行3维人体重建的方法在进行关节点旋转角回归的过程中起到了很大作用，重建的模型也更符合人体关节运动联动性。     

基于高分辨率网络和图卷积网络的三维人体重建模型

针对单目图像重建人体时出现的头部姿态翻转和图像特征间隐式空间线索缺失的问题,提出了一种基于高分辨率网络（HRNet）和图卷积网络（GCN）的三维人体重建模型。首先利用HRNet和残差块作为主干网络从原始图像中提取丰富的人体特征信息,然后使用GCN来捕获特征之间隐式的空间线索以获得空间精确的特征表示,最后使用此特征来预测多人线性蒙皮模型（SMPL）的参数以得到更加准确的重建结果;同时为了有效解决人体头部姿态翻转的问题,对SMPL的关节点重新进行了定义,在原有关节的基础上增加对头部关节点的定义。实验结果表明,所提模型能够准确地重建出三维人体,在2D数据集LSP上的重建准确率达到了92.41%,在3D数据集MPI-INF-3DHP上的关节误差和重建误差也大幅降低,平均误差仅分别为97.73 mm和64.63 mm,验证了所提模型在人体重建领域的有效性。     

任意姿态虚拟人网格模型骨骼提取算法

人体骨骼动画技术是虚拟人物建模中的研究重点。在现有人体骨骼动画的制作过程中,动画师必需手工标定人体各主要关节点位置及人体骨架每一关键帧的姿态,工作量巨大。因此提出一种自动提取人体任意姿态网格模型骨架结构的方法。该方法首先利用模型各顶点间测地距离的几何关系自动识别人体位于四肢和头顶末端的5个特征点,再以特征点为起点生成等测地距离曲线族,利用等测地距离曲线将人体四肢和躯干区分开来,将这些相邻等测地线中心连接起来生成5条骨骼中心线,最后在中心线上根据中心夹角极小值及等测地距离曲线似圆率来确定人体关节的确切位置。实验结果表明,该算法能适应不同姿态的人体模型,计算结果准确性高,能完全自动实现关节点定位和骨骼提取。     

物体变形的广义形态变换方法

将广义形态变换理论用于非刚体运动的描述和内插，通过对非刚体的凸剖分把非刚体的运动分解为非刚体的变形与子凸集的旋转，提出物体近似骨架的概念；通过近似骨架实现子凸集匹配，实现了任意非同拓扑结构(包括有孔及凹多面体)物体的变形．广义形态变换具有基于体元的变形方法和基于边界形状的变形方法的优点，同时克服了它们的缺点．实验表明，该方法变形物体边界光滑、定位精度高、计算速度快，可应用于CAD、虚拟现实和生物医学工程。     

面向人体动作预测的对称残差网络

为了研究不同残差连接方式对人体动作预测卷积神经网络的影响,探讨了在保持网络深度一定的情况下,如何利用残差连接构成一个高效捕捉人体动作特征的预测模型。通过观察人体骨骼关节点排列方式,提出一种适用于人体骨骼关节点预测的对称残差连接方法,并基于该方法设计了对称残差块（symmetric residual block,SRB）。所设计的SRB,最后一层卷积核的感受野达到最大,覆盖了人体全部关节信息,采用的对称连接方式高效地利用浅层动态特征,使预测的效果更好、模型使用的参数更少。此外,本文提出一种基于2个SRB和1个解码器的端到端卷积网络——对称残差网络（symmetric residual network,SRNet）,取得的预测结果高于基准方法。最后,在TensorFlow框架下利用公开数据集Human3.6M和CMU-Mocap进行了人体动作预测实验。其结果表明,与基准方法相比,本文方法的关节位置平均误差（mean per joint postion error,MPJPE）在各个预测时间点上均有0.2mm～1mm的降低,验证了本文提出的SRNet能有效建模人体姿态的全局空间特征。     

基于二维点云图的三维人体建模方法

近年来基于二维图像的三维建模方法取得了快速发展,但就人体建模而言,由于摄像头采集到的二维人体图像包含衣物、发丝等大量的纹理信息,而像虚拟试衣等相关应用需要将人体表面的衣物褶皱等纹理信息去除,同时考虑到裸体数据采集侵犯了用户的隐私,因此提出一种基于二维点云图像到三维人体模型的新型建模方法。与摄像机等辅助设备进行二维图片数据集的采集不同,该算法的输入是由三维人体点云模型以顶点模式绘制的二维点云渲染图。主要工作是建立一个由二维点云图和相应的人体黑白二值图构成的数据集,并训练一个由前者生成后者的生成对抗网络模型。该模型将二维点云图转化为相应的黑白二值图。将该二值图输入一个训练好的卷积神经网络,用于评估二维图像到三维人体模型构建的效果。考虑到由不完整三维点云数据重建完整的三维人体网格模型是一个具有挑战性的问题,因此通过模拟二维点云的破损和残缺状态,使得算法能够处理不完整的二维点云图。大量的实验结果表明,该方法重建出的三维人体模型能够有效实现视觉上的真实感,为了对重建后的精度进行定量的分析,选取了人体特征中具有代表性的腰围特征作为误差评估;为了增加三维人体模型库中人体形态的多样性,还引入一种便捷的三维人体模型数据增强技术。实验结果表明,该算法只需要输入一张二维点云图像,就能快速创建出相应的数字化人体模型。     

草绘3维人体建模的模板形变方法

目的 采用草绘交互方式直接构造3维人体模型是当前人体建模研究的重要课题之一.提出一种草绘3维人体建模的模板形变方法.方法 针对输入的草图,首先,采用关节点定位方法获取草图中的人体关节点,根据人体结构学约束识别人体骨架结构,通过解析人体轮廓草图获取人体草图特征;其次,通过骨架模板和外观轮廓模板形变,将草图特征映射到3维人体模型,实现3维人体建模.结果 草图解析方法能有效提取草图特征,通过模板形变方法生成3维人体模型,并在模型上保持草图特征;能适应不同用户的绘制习惯,且生成的3维人体模型可用于人体动画设计.结论 提出一种草绘3维人体建模的模板形变方法,支持用户采用草绘方式进行3维人体模型设计,方法具有良好的用户适应性,对3维动画创作具有重要意义.     

基于Poser模型的三维人体建模方法

人体真实感建模是虚拟人研究领域的一项重要内容。该文提出一种基于模型的快速人体建模方法。人体几何模型的皮肤层由多边形网格组成的表面表示,骨架层建模采用H-Anim标准,并针对Poser软件输出的人体模型缺乏关节点数据问题,给出一种骨架提取算法。人体运动模型应用机器人运动学方法,由骨架层驱动皮肤层实现。在VC++平台上实现对不同姿势下人体模型的骨架提取,仿真了敬礼过程中手臂的运动,验证了该方法的可行性。     

Deformable model for estimating clothed and naked human shapes from a single image

Estimation of human shape from images has numerous applications ranging from graphics to surveillance. A single image provides insufficient constraints (e.g. clothing), making human shape estimation more challenging. We propose a method to simultaneously estimate a person’s clothed and naked shapes from a single image of that person wearing clothing. The key component of our method is a deformable model of clothed human shape. We learn our deformable model, which spans variations in pose, body, and clothes, from a training dataset. These variations are derived by the non-rigid surface deformation, and encoded in various low-dimension parameters. Our deformable model can be used to produce clothed 3D meshes for different people in different poses, which neither appears in the training dataset. Afterward, given an input image, our deformable model is initialized with a few user-specified 2D joints and contours of the person. We optimize the parameters of the deformable model by pose fitting and body fitting in an iterative way. Then the clothed and naked 3D shapes of the person can be obtained simultaneously. We illustrate our method for texture mapping and animation. The experimental results on real images demonstrate the effectiveness of our method.