三维人体的草绘建模方法

提出了一种三维人体的草绘建模方法,允许用户分层次绘制人体骨架线和轮廓线草图,并快速生成三维人体模型.该方法的特征主要表现在两个方面:首先,采用层次化的人体截面模板进行形变,并使用基于距离的描述子在人体模板库中检索最符合用户绘制的模板,使结果模型更能体现人体草图特性;其次,采用参数驱动的三维人体模型生成方法,将草图轮廓特征与模板轮廓进行对应并计算三维形变参数,最后对人体模板进行形变生成三维人体模型.实验结果表明,该方法能够快速构建符合用户绘制意图的三维人体模型.     

采用草绘轮廓的3维人脸建模方法

为方便用户进行3维人脸形状设计,提出一种基于手绘轮廓的3维人脸建模方法。该方法的主要特点在于,一方面,引用姿态估计技术对人脸草图进行解析,将用户绘制的侧视人脸草图转换成对应的正视人脸草图,可支持用户选择多个视角绘制人脸;另一方面,采用多层映射机制建立人脸草图特征点与3维人脸特征点之间的一一对应关系,由对应特征点之间的形变量来控制生成3维人脸,保证草图笔画的几何形状信息能有效映射到3维模型中。实验结果表明,文中方法能快速生成形状新颖的特定人脸,可有效支持用户进行3维人脸形状的手绘建模。     

异常步态3维人体建模和可变视角识别

目的 运用视觉和机器学习方法对步态进行研究已成为当前热点,但多集中在身份识别领域。本文从不同的视角对其进行研究,探讨一种基于点云数据和人体语义特征模型的异常步态3维人体建模和可变视角识别方法。方法 运用非刚性变形和蒙皮方法,构建基于形体和姿态语义特征的参数化3维人体模型;以红外结构光传感器获取的人体异常步态点云数据为观测目标,构建其对应形体和姿态特征的3维人体模型。通过ConvGRU（convolution gated necurrent unit）卷积循环神经网络来提取其投影深度图像的时空特征,并将样本划分为正样本、负样本和自身样本三元组,对异常步态分类器进行训练,以提高分类器对细小差异的鉴别能力。同时对异常步态数据获取难度大和训练视角少的问题,提出了一种基于形体、姿态和视角变换的训练样本扩充方法,以提高模型在面对视角变化时的泛化能力。结果 使用CSU（Central South University）3维异常步态数据库和DHA（depth-included human action video）深度人体行为数据库进行实验,并对比了不同异常步态或行为识别方法的效果。结果表明,本文方法在CSU异常步态库实验中,0°、45°和90°视角下对异常步态的综合检测识别率达到了96.6%,特别是在90°到0°交叉和变换视角实验中,比使用DMHI（difference motion history image）和DMM-CNN（depth motion map-convolutional neural network）等步态动作特征要高出25%以上。在DHA深度人体运动数据库实验中,本文方法识别率接近98%,比DMM等相关算法高出2%~3%。结论 提出的3维异常步态识别方法综合了3维人体先验知识、循环卷积网络的时空特性和虚拟视角样本合成方法的优点,不仅能提高异常步态在面对视角变换时的识别准确性,同时也为3维异常步态检测和识别提供一种新思路。     

关节轴角先验对3维人体重建结果的影响

目的 3维人体重建的目标在于建立真实可靠的3维人体模型。但目前基于SMPL（skinned multi-person linear model）模型重建3维人体的实验和一些公开数据集中，常常会出现预测的姿势角度值不符合真实人体关节角度规则的现象。针对这一问题，本文提出设置关节旋转角值域，使得重建的结果真实性更强、更符合人体关节机械结构。方法 根据人体关节的联接结构将各个关节的运动进行划分。根据划分结果计算关节运动自由度，并结合实际情况提出基于SMPL模型的关节旋转值域。提出一个简单的重建方法来验证值域分析的正确性。结果 使用3维人体数据集UP-3D进行相关实验，并对比以往直接根据学习结果生成重建模型的数据。在使用轴角作为损失参数的情况下，重建精度提高显著，平均误差降低15.1%。在使用所有损失函数后，平均误差比直接根据预测值生成重建模型的两段式重建方法降低7.0%。重建结果与UP-3D数据集进行真实性对比有显著的关节联动性效果。结论 本文提出的关节旋转角值域设置对基于SMPL模型进行3维人体重建的方法在进行关节点旋转角回归的过程中起到了很大作用，重建的模型也更符合人体关节运动联动性。     

融入变分自编码网络的文本生成三维运动人体

目的 针对现有动态三维数字人体模型生成时不能改变体型、运动固定单一等问题,提出一种融合变分自编码器（variational auto-encoder,VAE）网络、对比语言—图像预训练（contrastive language-image pretraining,CLIP）网络与门控循环单元（gate recurrent unit,GRU）网络生成运动三维人体模型的方法。该方法可根据文本描述生成相应体型和动作的三维人体模型。方法 首先,使用VAE编码网络生成潜在编码,结合CLIP网络零样本生成体型与文本表述相符的人体模型,以解决蒙皮多人线性（skinned multi-person linear,SMPL）模型参数不合理而生成不符合正常体型特征的人体模型问题;其次,采用VAE网络与GRU网络生成与文本表述相符的变长时间三维人体姿势序列,以解决现有运动生成方法仅生成事先指定的姿势序列、无法生成运动时间不同的姿势序列问题;最后,将体型特征与运动特征结合,得到三维运动人体模型。结果 在HumanML3D数据集上进行人体生成实验,并与其他3种方法进行比较,相比于现有最好方法,R精度的Top1、Top2和Top3分别提高了0.031、0.034和0.028,弗雷歇初始距离（Fréchet inception distance,FID）提高了0.094,多样性提高了0.065。消融实验验证了模型的有效性,结果表明本文方法对人体模型生成效果有提升。结论 本文方法可通过文本描述生成运动三维人体模型,模型的体型和动作更符合输入文本的描述。     

结合特权信息的人体动作识别

目的 采用传统的2维特征提取方法,很难从视频中准确地捕获出人体的关节点位置,限制了识别率的上限。采用深度信息的3维特征提取能提升识别率,但高维空间运算复杂度高,很难实现实时识别,受应用场景限制。为克服上述难点,提出一种基于3维特权学习的人体动作识别方法,将3维信息作为特权信息引入到传统的2维动作识别过程中,用来识别人体动作。方法 以运动边界直方图密集光流特征、Mosift（Motion SIFT）特征和多种特征结合的混合特征作为2维基本特征。从Kinect设备获得的深度信息中评估出人体的关节点信息,并用李群算法处理得到3维特征作为特权信息。特权信息在经典支持向量机下的识别效果优于2维基本特征。训练数据包含2维基本特征和3维特权信息,测试数据只有2维基本特征。通过训练样本学习,得到结合特权信息的支持向量机（SVM+）,使用该向量机对测试样本进行分类,得到人体动作识别结果。结果 在UTKinect-Action和Florence3D-Action两个人体动作数据集上进行实验。引入特权信息后,人体动作识别率较传统2维识别有2%的平均提升,最高达到9%。SVM+分类器对参数的敏感性较SVM下降。结论 实验结果表明,本文方法较以往方法,在提升识别准确率的同时,降低了分类器对参数的敏感性。本文方法仅在训练过程中需要同时提取2维基本特征和3维特权信息,而在测试过程中无需借助深度信息获取设备提取3维特权特征信息,学习速度快,运算复杂度低,可广泛应用于低成本,高实时的人体动作识别场合。     

基于手绘轮廓的3维服饰模型生成

为了满足虚拟角色交互式服饰设计的需要,提出了一种基于手绘轮廓的3维服饰模型生成方法,该方法的主要特点在于以下3个方面：一是通过限定距离场的方向(仅考虑z轴方向)来建立3维人体模型的参考模型,从而简化了距离场计算;二是利用手绘服饰轮廓与人体投影轮廓间的相对位置关系来生成服饰网格,以实现2维草图向3维服饰的有效映射;三是根据服饰网格点与人体模型上网格点间的对应关系来生成3维服饰模型,确保了服饰宽松部分的有效生成。实验结果表明,该方法能够从2维服饰轮廓实时生成符合人体表面形状的3维服饰模型。     

人体运动分析的实例学习方法

目的 面向实时、准确、鲁棒的人体运动分析应用需求,从运动分析的特征提取和运动建模问题出发,本文人体运动分析的实例学习方法。方法 在构建人体姿态实例库基础上,首先,采用运动检测方法得到视频每帧的人体轮廓;其次,基于形状上下文轮廓匹配方法,从实例库中检索得到每帧视频的候选姿态集;最后,通过统计建模和转移概率建模实现人体运动分析。结果 对步行、跑步、跳跃等测试视频进行实验,基于轮廓的形状上下文特征表示和匹配方法具有良好的表达能力;本文方法运动分析结果,关节夹角平均误差在5°左右,与其他算法相比,有效提高了运动分析的精度。结论 本文人体运动分析的实例学习方法,能有效分析单目视频中的人体运动,并克服了映射的深度歧义,对运动的视角变化鲁棒,具有良好的计算效率和精度。     

基于流形学习的人体动作识别

目的 提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。方法 从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,利用LE（Lalpacian eigenmaps）流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。结果 用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文方法识别效果优于以往方法。结论 实验结果表明本文方法适用于基于深度图像序列的人体动作识别。     

基于RGB-D序列的人体动态建模方法

人体建模是计算机视觉研究领域的重要研究课题。人体建模被广泛应用于科研、动画、游戏、服装设计、工业等领域,具有非常广阔的应用前景。传统的建模方法可以在大体上还原人体的姿态,但细节上会有偏差。本文提出一种基于RGB—D序列的人体动态建模方法。人体在场景中自然活动,利用廉价的深度摄像设备Kinect可以获取人体的骨架信息和三维点云。利用获得的骨架信息将模板人体分段刚性地变形到目标位置,使用ICP算法将变形后的模型与Kinect获取的点云进行更精确的配准,使用TPS变形获得一个平滑的柔性形变人体。     

草图交互式地质建模研究

提出一种简单、快捷的草图交互式地质建模方法,旨在帮助地质学家们在地质勘测初期直观、快速地创建无数据地质概念模型.迄今,现存专业地质建模工具依赖成本较高的真实数据创建精细复杂的三维地质模型,且通常具有建模用时长、不易于学习和使用等缺陷.因此,采用直观的“纸-笔”建模隐喻,提供了一套从草图绘制到三维模型创建,再到三维模型编辑的完整建模流程,允许用户在自由定义的绘图平面上绘制描述模型地质特征的三维草图,并对其构成的连通草图网络实时地进行三维模型重建.模型重建使用分治的思想,大致分为3个步骤完成：首先利用三维草图的几何信息,即拐点,根据其拓扑连接搜寻草图网络中近似平面的能量最小圈,然后通过调和函数计算草图网络中每个圈包围区域的目标平均曲率标量及其法线方向,随后以Laplacian方程优化生成曲面片,最后将曲面片拼接成完整的三维模型.褶皱、断层地质现象可以分别通过重绘和切割操作进行建模.此外,利用层级结构树存储地质模型间的层级关系,并通过变形传递的方式对与形变物体接触的地质模型进行形变,从而保持了地质结构中多物质体相互接触的特性.相比现有基于草图的交互式建模工具,该方法融合了地质学知识,且能够更有效地使用少量草图描述地质物体的特征.基于用户体验调查,该方法具有操作简单、建模直观的特点,能够同时满足专业和非专业人士快速创建地质概念模型的需求.     

A sketch-based interface to modify and reproduce motion sequences

We present a sketch-based user interface, which was designed to help novices to create 3D character animations by multi-pass sketching, avoiding the ambiguities usually present in sketch input. Our system also contains sketch-based editing and reproducing tools, which allow paths and motions to be partially updated rather than wholly redrawn; and graphical block interface permits motion sequences to be organized and reconfigured easily. A user evaluation with participants of different skill levels suggest that novices using this sketch interface can produce animations almost as quickly as users who are experienced in 3D animation.     

A template-based reconstruction of plane-symmetric 3D models from freehand sketches

This paper presents a method for reconstructing a 3D model from a freehand sketch. There are two methods used in sketch-based modeling research: gestural modeling and reconstructional modeling. This research involves the reconstructional modeling method of Mitani, which was originally designed for a box-shaped model using a predefined template. Here, this method is improved by leveraging a relational template and a template matching method that extend the range of categories of the reconstructed objects. Sketch preprocessing details are provided and the template-based reconstructional method then uses the sketch preprocessing results to reconstruct a 3D model from a freehand sketch.     

Realistic modeling and animation of human body based on scanned data

In this paper we propose a novel method for building animation model of real human body from surface scanned data. The human model is represented by a triangular mesh and described as a layered geometric model. The model consists of two layers: the control skeleton generating body animation from motion capture data, and the simplified surface model providing an efficient representation of the skin surface shape. The skeleton is generated automatically from surface scanned data using the feature extraction, and then a point-to-line mapping is used to map the surface model onto the underlying skeleton. The resulting model enables real-time and smooth animation by manipulation of the skeleton while maintaining the surface detail. Compared with earlier approach, the principal advantages of our approach are the automated generation of body control skeletons from the scanned data for real-time animation, and the automatic mapping and animation of the captured human surface shape. The human model constructed in this work can be used for applications of ergonomic design,garment CAD, real-time simulating humans in virtual reality environment and so on.     

面向概念设计的实体草绘建模

提出了一种简单、快速、高效的基于草绘设计的概念模型创建方法.该方法模仿传统的纸笔草绘设计方式,允许用户自由地在笔式用户界面上勾画特征笔划,然后根据笔划的形状和位置关系采用基于特征的实体建模方法构造不同的扫描特征体素.在此基础上,采用了基于意图捕捉的特征添加及切削机制创建复杂的实体模型,给出了一些关键算法的实现过程.实验结果表明:该方法能够较好地应用到联机三维概念模型快速创建过程中.     

手绘二维曲线自动生成三维模型研究

通过手绘创作三维模型是改变传统三维模型制作方式的新兴研究点;论文提出两种由手绘二维曲线自动产生三维模型的算法,分别进行了详细介绍和讨论：算法一基于重心原理拓展曲线,并在曲线簇上进行网格重构,但此方法仅限于椭圆拓扑的曲线;算法二利用离散方法寻找轴线,该方法能够生成更加多样化的模型并侧重于细节。通过算法实现效果的对比,验证了两种算法快速生成三维模型的有效性;最后展示了通过该文算法绘制的几个卡通模型,并对进一步生成模型动画进行了设想。     

A sketch-based approach to human body modelling

In this paper, we present a new approach and a novel interface, Virtual Human Sketcher (VHS), which enables those who can draw, to sketch-out various human body models. Our approach supports freehand drawing input and a “Stick Figure→Fleshing-out→Skin Mapping” modelling pipeline. Following this pipeline, a stick figure is drawn first to illustrate a figure pose, which is automatically reconstructed into 3D through a “Multi-layered Back-Front Ambiguity Clarifier”. It is then fleshed-out with freehand body contours. A “Creative Model-based Method” is developed for interpreting the body size, shape, and fat distribution of the sketched figure and transferring it into a 3D human body through graphical comparisons and generic model morphing. The generic model is encapsulated with three distinct layers: skeleton, fat tissue, and skin. It can be transformed sequentially through rigid morphing, fatness morphing, and surface matching to match the 2D figure sketch. The initial resulting 3D body model can be incrementally modified through sketching directly on the 3D model. In addition, this body surface can be mapped onto a series of posed stick figures to be interpolated as a 3D character animation. VHS has been tested by various users on Tablet PC. After minimal training, even a beginner can create plausible human bodies and animate them within minutes.     

基于手绘输入理解的智能3D几何建模系统

近年来,图形学领域已经开发了大量的3D建模和可视化工具,但是这些工具的界面往往过于复杂,制约了设计人员的创造性工作,也进一步限制了这些工具为普遍用户所使用。事实上,理想的3D建模工具应该提供给用户以尽可能自然、简单的操作,例如基于电子笔的草图输入,而且随着移动设备的发展,也使之成为图形学中更有前景的研究方向。文章论述了当前支持手绘的建模技术的研究现状,并提出了一个更加智能化的多模块建模体系,突出了交互技术、智能理解和高质量的可视化输出技术的结合;而且针对手绘输入的不明确性,着重分析了图形数据的基于特性的语义描述,提出了智能的逻辑推理模型,并进一步描述了下一代融合自然输入、逻辑推理与虚拟显示于一体的智能图形建模系统的实现。预测了人工智能技术与CA D技术的结合将是未来图形学领域发展的主要方向之一。