最优几何匹配程序下重建时间连贯3D动画的研究

对RGB-D数据的三维重建进行优化,由此提出基于时间连贯的重建策略。在完成数据收集之后,对其中的RGB数据进行光学特征点的提取,由此获取两帧相互之间的初始系数3D关系。在对这些特征点进行细化时,则运用了最优几何匹配系统,然后利用特征点对连续帧的三维点云展开匹配,这个过程与帧分辨率独立;最后完成时间连贯的3D动画重建,具体是借助于运动向量对齐策略。通过实验得出,本文提出的策略能够对该3D动画进行重建。相较于其他方法,数据利用率更高,同时还有较高的精准度,在计算效率方面也具有一定优势。     

基于二维图像的三维人脸建模技术

建立三维人脸模型和表情动画是计算机图形学领域的一个研究热点。文章提出了一种基于二维图像的三维人脸建模方法,首先在给定的人脸的正侧面照片上提取事先定义好的反映人脸特征的特征点信息,与一个一般人脸模型上对应点的信息进行比较和修改,得到反映给定人脸特征的特定人脸模型。最后使用纹理映射技术给特定人脸模型添加纹理信息,形成真实感的虚拟三维人脸模型。     

基于正交立体图像的3D人体姿态重建算法

提出一种由目标的立体图像通过人工神经网络实时估计得到其3D姿态的方法。网络的输入向量由同步立体图像帧上目标特征点的坐标构成;而输出向量则表示目标若干关键位置的三维姿态（进而可以建立目标的3D模型）。拟合该神经网络所需要的输出样本数据由运动捕获系统REACTOR获取。实验表明基于该算法的3D姿态估计误差低于5%,可以有效应用于3D虚拟目标的计算机实时合成等。     

基于姿态校正与姿态融合的2D/3D骨架动作识别方法

针对现有的人体骨架动作识别方法对肢体信息挖掘不足以及时间特征提取不足的问题,提出了一种基于姿态校正模块与姿态融合模块的模型PTF-SGN,实现了对骨架图关键时空信息的充分利用。首先,对骨架图数据进行预处理,挖掘肢体和关节点的位移信息并提取特征;然后,姿态校正模块通过无监督学习的方式获取姿态调整因子,并对人体姿态进行自适应调整,增强了模型在不同环境下的鲁棒性;其次,提出一种基于时间注意力机制的姿态融合模块,学习骨架图中的短时刻特征与长时刻特征并融合长短时刻特征,加强了对时间特征的表征能力;最后,将骨架图的全局时空特征输入到分类网络中得到动作识别结果。在NTU60 RGB+D、NTU120 RGB+D两个3D骨架数据集和Penn-Action、HARPET两个2D骨架数据集上的实验结果表明,该模型能够有效地识别骨架时序数据的动作。     

Video-based Approach to Human Animation

A method based on computer vision technologies is presented to determine the 3-D spatial locations of joints or feature points of a human body from human motion video. The proposed method first applies the geometric projection theory to obtain a set of feasible postures in some key frames according to predefined 2D video features and 3D-model features correspondence. Next it makes use of the available skeleton controlled human model to get a feasible posture for each key frame. The method is applied to a series of video images to animate artificial 3D human models.     

Animated 3D Line Drawings with Temporal Coherence

Producing traditional animation is a laborious task where the key drawings are first drawn by artists and thereafter inbetween drawings are created, whether it is by hand or computer‐assisted. Auto‐inbetweening of these 2D key drawings by computer is a non‐trivial task as 3D depths are missing. An alternate approach is to generate all the drawings by extracting lines directly from animated 3D models frame by frame, concatenating and rendering them together into an animation. However, animation quality generated using this straightforward method bears two problems. Firstly, the animation contains unsatisfactory visual artifacts such as line flickering and popping. This is especially pronounced when the lines are extracted using high‐order derivatives, such as ridges and valleys, from 3D models represented in triangle meshes. Secondly, there is a lack of temporal continuity as each drawing is generated without taking its neighboring drawings into consideration. In this paper, we propose an improved approach over the straightforward method by transferring extracted 3D line drawings of each frame into individual 3D lines and processing them along the time domain. Our objective is to minimize the visual artifacts and incorporate temporal relationship of individual lines throughout the entire animation sequence. This is achieved by creating correspondent trajectory of each line from each frame and applying global optimization on each trajectory. To realize this target, we present a fully automatic novel approach, which consists of (1) a line matching algorithm, (2) an optimizing algorithm, taking into account both the variations of numbers and lengths of 3D lines in each frame, and (3) a robust tracing method for transferring collections of line segments extracted from the 3D models into individual lines. We evaluate our approach on several animated model sequences to demonstrate its effectiveness in producing line drawing animations with temporal coherence.     

基于拓扑分析的三维动漫人物造型重构

传统方法在三维动漫人物造型重构过程中未确定关键特征点,导致姿态图像匹配度低和收敛速度慢,为此设计一种基于拓扑分析的三维动漫人物造型重构方法。引用拓扑分析确定三维动漫人物造型的点、线、面结构,运用基于融合技术的边缘检测方法提取造型特征点,计算特征点的梯度值和梯度方向,以此来确定关键特征点,生成主方向和特征描述符。在此基础上计算与其对应的源数据库中关键点的描述符距离,根据最小距离和次小距离的比值实现特征点的匹配,利用交互式几何约束变形完成三维动漫人物造型重构。测试结果表明：设计的三维动漫人物造型重构方法的姿态图像匹配度整体在0.6以上,远高于传统重构方法的匹配度,且该方法的收敛速度较快,说明其适合应用在三维动漫人物造型重构设计中。     

一种视频驱动的三维虚拟人动画实现方法

研究实现三维人体动画具有广泛的应用前景和实用意义,提出了一种二维视频驱动的三维人体动画实现方法。基于动态帧的关键帧提取算法从二维视频中构建了二维关键帧集合;基于二维关键帧构建二维人体骨骼模型;利用小孔成像原理和勾股定理计算得到关节特征点的深度坐标,从而得到了反映人体动画的三维数据。实验结果表明,该方法生成的三维人体动画形象逼真、成本低、提高了运动生成的实时性,能够应用于虚拟现实、计算机游戏、三维视频游戏制作等领域。     

基于改进的轮廓线算法的三维人脸识别方法

针对二维人脸识别中受表情、姿态以及光照等因素而影响识别率的问题,在分析人脸生理结构的基础上,提出了一种基于改进的轮廓线的三维人脸识别方法,即先提取三维人脸特征点,然后提取人脸轮廓线,最后利用人脸轮廓线和特征点构成的特征模型进行三维人脸识别。试验结果证明该方法提高了人脸识别率,并具有强抗干扰能力。     

基于二维半雕刻系统的三维人脸重建

三维人脸的重建是二维半雕刻系统的核心内容,提出了一种从正、侧面图像上自动提取特征点来修正通用模型从而重建三维人脸的方法。首先使用特征点模板匹配的方法自动提取出特征点,然后以这些特征点为依据,通过整体变换和径向基插值来修正通用模型得到特定人脸。同时建立了一个人脸模型库来获得特征点模板,并且提出了一种分块存储的方法可以更精确地针对脸部不同区域进行重建。实验验证,这种方法效率高、交互操作少、取得了满意的重建效果。     

具有真实感的三维人脸动画

具有真实感的三维人脸模型的构造和动画是计算机图形学领域中一个重要的研究课题.如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点.提出一种实时的三维人脸动画方法,该方法将人脸模型划分成若干个运动相对独立的功能区,然后使用提出的基于加权狄里克利自由变形DFFD(Dirichlet free-form deformation)和刚体运动模拟的混合技术模拟功能区的运动.同时,通过交叉的运动控制点模拟功能区之间运动的相互影响.在该方法中,人脸模型的运动通过移动控制点来驱动.为了简化人脸模型的驱动,提出了基于MPEG-4中脸部动画参数FAP(facial animation parameters)流和基于肌肉模型的两种高层驱动方法.这两种方法不但具有较高的真实感,而且具有良好的计算性能,能实时模拟真实人脸的表情和动作.     

基于人体行为3D模型的2D行为识别

针对行为识别中行为者朝向变化带来的问题, 提出了一种基于人体行为3D模型的2D行为识别算法. 在学习行为分类器时, 以3D占据网格表示行为样本, 提取人体3D关节点作为描述行为的特征, 为每一类行为训练一个基于范例的隐马尔可夫模型(Exemplar-based hidden Markov model, EHMM), 同时从3D行为样本中选取若干帧作为3D关键姿势集, 这个集合是连接2D观测样本和人体3D关节点特征的桥梁. 在识别2D行为时, 2D观测样本序列可以由一个或多个非标定的摄像机采集. 首先在3D关键姿势集中为每一帧2D观测样本寻找与之最匹配的3D关键姿势帧, 之后由行为分类器对2D观测样本序列对应的3D关键姿势序列进行识别. 该算法在训练行为分类器时要进行行为者的3D重构和人体3D关节点的提取, 而在识别2D行为时不再需要进行3D重构. 通过在3个数据库上的实验, 证明该算法可以有效识别行为者在任意朝向下的行为, 并可以适应不同的行为采集环境.     

基于高分辨率网络和图卷积网络的三维人体重建模型

针对单目图像重建人体时出现的头部姿态翻转和图像特征间隐式空间线索缺失的问题,提出了一种基于高分辨率网络（HRNet）和图卷积网络（GCN）的三维人体重建模型。首先利用HRNet和残差块作为主干网络从原始图像中提取丰富的人体特征信息,然后使用GCN来捕获特征之间隐式的空间线索以获得空间精确的特征表示,最后使用此特征来预测多人线性蒙皮模型（SMPL）的参数以得到更加准确的重建结果;同时为了有效解决人体头部姿态翻转的问题,对SMPL的关节点重新进行了定义,在原有关节的基础上增加对头部关节点的定义。实验结果表明,所提模型能够准确地重建出三维人体,在2D数据集LSP上的重建准确率达到了92.41%,在3D数据集MPI-INF-3DHP上的关节误差和重建误差也大幅降低,平均误差仅分别为97.73 mm和64.63 mm,验证了所提模型在人体重建领域的有效性。     

基于图像处理的外螺纹三维模型重构

提出了一种基于多角度序列图像特征实现外螺纹的三维模型重建的方法。 首先在旋转平台上采集多角度序列螺纹件图像,然后对每帧图像进行特征点提取,将序列图 像的特征点进行三维变换和插值,最终生成三维模型。实验结果表明,此算法能精确高精度 地实现外螺纹三维模型重构。     

基于色彩空间分块匹配的三维动画融合技术

为了提高影视动画制作的三维图像成像质量,需要进行动画图像的动态信息融合处理,提出一种基于二维色彩空间分块匹配的三维动画图像的动态信息融合处理技术,采用虚拟视景重构技术进行三维动画图像采集和特征投影处理,对三维动画图像进行二值拟合和边缘轮廓检测,采用RGB分解技术进行三维动画图像的颜色分量提取,采用颜色模板空间投影算法进行三维动画图像的分块融合处理,提高三维动画图像的边缘像素点的特征配对性能,结合三维动画图像的色彩空间分块融合结果进行像素特征优化配置,计算匹配窗口相关系数,实现三维动画图像的动态信息融合处理。仿真结果表明,采用该方法进行三维动画图像的动态信息融合处理,能提高图像输出峰值信噪比,提高动态成像质量。     

草绘3维人体建模的模板形变方法

目的 采用草绘交互方式直接构造3维人体模型是当前人体建模研究的重要课题之一.提出一种草绘3维人体建模的模板形变方法.方法 针对输入的草图,首先,采用关节点定位方法获取草图中的人体关节点,根据人体结构学约束识别人体骨架结构,通过解析人体轮廓草图获取人体草图特征;其次,通过骨架模板和外观轮廓模板形变,将草图特征映射到3维人体模型,实现3维人体建模.结果 草图解析方法能有效提取草图特征,通过模板形变方法生成3维人体模型,并在模型上保持草图特征;能适应不同用户的绘制习惯,且生成的3维人体模型可用于人体动画设计.结论 提出一种草绘3维人体建模的模板形变方法,支持用户采用草绘方式进行3维人体模型设计,方法具有良好的用户适应性,对3维动画创作具有重要意义.     

双目立体视觉的三维人脸重建方法

创建逼真的三维人脸模型始终是一个极具挑战性的课题.随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用,三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点.针对这一问题,提出一种基于双目立体视觉的三维人脸重建方法,重建过程中无需三维激光扫描仪和通用人脸模型.首先利用标定的2台摄像机获取人脸正面图像对,通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变;在立体匹配方面,选择具有准确可靠视差的人脸边缘特征点作为种子像素,以种子像素的视差作为区域生长的视差,在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下,进行水平扫描线上的区域生长,从而得到整个人脸区域的视差图,提高了对应点匹配的速度和准确度;最后,根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标,对人脸的三维点云进行三角剖分、网格细分和光顺处理.实验结果表明,该方法能够生成光滑、逼真的三维人脸模型,证明了该算法的有效性.     

基于双相机捕获面部表情及人体姿态生成三维虚拟人动画

为了生成表情丰富、动作流畅的三维虚拟人动画,提出了一种基于双相机同步捕获面部表情及人体姿态生成三维虚拟人动画的方法.首先,采用传输控制协议(TCP)网络时间戳方法实现双相机时间同步,采用张正友标定法实现双相机空间同步.然后,利用双相机分别采集面部表情和人体姿态.采集面部表情时,提取图像的2D特征点,利用这些2D特征点回...     

三维人体点云模型多约束肢体分割

针对人体点云模型的肢体分割这一动作识别和虚拟重建领域的重要问题,提出了一种基于分类骨架线、测地距离、特征点和姿态分析的多约束肢体分割算法,通过生成点云模型的分类骨架线,配合测地距离获得人体各部位粗分割点云集,利用测地路径方法实现关键特征点的定位,并利用曲线拟合方式进行定位优化,针对头颈、上肢、下肢和躯干之间关联部位的解剖学特征,构造多种约束条件,对各部位粗分割点云集进行了优化再分割。实验结果表明,所提算法对站姿条件下的不同动作、不同体型、不同精度人体点云模型均能取得与视觉理解相吻合的分割效果。通过该算法得到的肢体各部分点云数据可用于姿态分析等后续研究。     

结合个性化建模和深度数据的三维人体姿态估计

利用深度传感器估计三维人体姿态是计算机视觉领域的一个重要问题,在人机交互、虚拟现实和动画设计等领域有重要的应用价值.针对该问题的主流方法是自底向上的方法,这类方法一般采用分类、回归或检索技术,可以直接从深度数据中估计三维肢体姿态,在人机交互中得到了很广泛的应用.但是这类方法依赖于大规模的姿态数据库,而且结果不够精确.本文提出一种结合个性化人体建模和深度数据的三维姿态估计方法,首先对运动对象建立三维虚拟人模型,然后利用该个性化的虚拟人模型与深度数据之间的点匹配关系构造姿态优化的目标函数,通过迭代优化目标函数,估计出与深度数据相吻合的三维姿态.与传统方法相比,本文方法不需要任何姿态数据库.实验表明,本文方法得到的结果更加精确.