基于视频的运动捕获

现有的运动捕获方法大都存在运动捕获设备昂贵、演员运动受限等缺点，为此，提出了一种利用视觉技术从视频中提取人体运动的方法，并对其中的特片跟踪和三维运动序列恢复等关键技术进行了深入研究。基于人体模型的特征跟踪算法利用卡尔曼滤波和极线方程，能精确地跟踪比较大的人体运动；采用不共面的非线性定标模型和考虑运动不确定性的三维重建方法，能恢复逼真的三维人体骨架模型，实验结果验证了基于视频的运动捕获方法的可行性和有效性。     

三维人体行走模型的研究与实现

本文采用多面体组合建立人体模型，用三角函数拟合步行时的关节活动轨迹，设计ｂｅｎｄ函数来实现关节体和部位体的转动控制，采用逐节调整转动角度的方法实现人体旋转坐标变换，整体进行人体的坐标平移变换，生成了步行过程中的一幅幅三维人体活动模型图形，使之在连续播映时产生逼真的人体行走画效果。     

基于单幅图像的真实感人体动画合成

由于单幅图像缺失三维信息以及完整的纹理信息,基于单幅图像的真实感三维人体动画合成极具挑战性。针对单幅图像三维信息缺失问题,提出了一种基于SMPL参数模型的三维人体几何重建方法。该方法以单幅图像为输入,先根据输入图像人体轮廓信息变形标准的SMPL参数模型分别生成与目标轮廓一致的正反面的三维几何模型,然后利用基于B样条插值的网格拼接融合算法拼接正反面三维几何,最后为了恢复正确的手部几何,利用基于B样条插值的网格拼接融合算法,将重建后的模型上错误的手部几何用标准SMPL参数模型上正确的手部几何替换。同时,针对单幅图像中纹理缺失的问题,提出了一个称为FBN（front to back network）的对抗生成网络,用于恢复被遮挡的人体背面纹理。实验结果表明,该方法生成的具有完整纹理的人体几何能够由3D运动数据驱动运动,生成具有高度真实感的三维人体动画。     

面向人机工程的三维人体尺度空间模型

建立三维人体模型以及分析人体肢体可及空间，对于人机工程设计、人体关节运动控制和人体模型的碰撞检测研究都具有重要的意义。然而多关节的真实人体可及空间难以描述，目前没有很好地解决。该文在研究人机工程仿真的基础上，建立了逼真三维人体模型，探讨了多关节且关节转角受限制的三维人体尺度空间模型，并应用虚拟现实建模语言(VRML)对上述模型和方法进行了验证。结果表明：该方法计算量小，生成的空间模型直观准确。     

基于VTK人体肺部的三维重建

医学图像三维重建技术是利用二维医学图像序列重建出三维模型,为医生提供直观、全面、准确的病灶和正常组织信息,是当今医学影像领域研究的热点之一。利用一个包含了多种面绘制技术的基于面向对象方法设计的、功能强大的可视化类库Visuali zation ToolKit（VTK）进行人体肺部断层图像的三维重建,讨论了面绘制算法中最常用的移动立方体法（MC）。重建效果表明基于VTK的面绘制技术具有应用灵活、重建效果逼真、重建速度较快等优点。为进一步研究人体肺部的动态建模打下基础。     

单目视频中人体三维运动的迭代优化估计

提出并实现了一种从单目视频流中重建人体三维运动的方法．该方法通过交互定制得到个性化的人体骨架模型和视频序列每一帧中人体各关节点的二维坐标后,分别针对单帧和连续多帧进行优化并迭代求解,得到每一帧的比例因子的最优解;最后反求各关节点的三维坐标,重建人体三维运动序列．对包含复杂和快速多变的人体运动的视频进行的实验表明,该方法简单有效,适用于包括体育、影视等在内的实际视频源．     

一种视频驱动的三维虚拟人动画实现方法

研究实现三维人体动画具有广泛的应用前景和实用意义,提出了一种二维视频驱动的三维人体动画实现方法。基于动态帧的关键帧提取算法从二维视频中构建了二维关键帧集合;基于二维关键帧构建二维人体骨骼模型;利用小孔成像原理和勾股定理计算得到关节特征点的深度坐标,从而得到了反映人体动画的三维数据。实验结果表明,该方法生成的三维人体动画形象逼真、成本低、提高了运动生成的实时性,能够应用于虚拟现实、计算机游戏、三维视频游戏制作等领域。     

一种基于模型的人体建模系统

提出了一种基于Pbser人体模型库模型的人体曲面建模和模型局部尺寸调节的方法，并以此为基础开发出了一套基于模型的人体建模系统。实验证明，该系统在得到令人满意的重建视觉效果的前提下，较已有的同类系统更加经济和高效。     

三维人体模型构建

人体动画制作技术是计算机动画领域的研究热点和难点。在制作真实感人体动画时,除了要有真实的人体运动和灵活的运动控制方法外,还需要有逼真的人体造型和皮肤变形效果。本文给出计算机动画中的三维人体建模的一种算法,实现骨骼-皮肤动画,可以高效率创作出高度真实感的人体模型。     

基于Poser的个性化人体模型运动仿真技术研究

根据服装工业对数字化动态人体模型的需要,提出了一种建立人体动态模型的新方法.该方法针对特定人体的三维扫描数据,用逆向工程软件Geomagic Studio实现个性化的三维人体NURBS曲面模型的构建,将完成后的人体曲面模型导入Poser软件,利用人体特征点确定关节位置, 建立相应的人体骨骼模型, 并将人体表面模型与骨骼模型相匹配,实现人体运动仿真.实验证明,所建立的人体动态模型在外观形状和运动姿态上具有较高的真实性, 操作简便,易于掌握.     

基于SFM算法的三维人脸模型重建

提出了一种根据两幅正面人脸图像和一幅侧面图像重建人脸三维模型的算法，该算法主要包括4个步骤：寻找匹配点；采用SFM算法计算出特征点的三维坐标，并组成稀疏的三维网格结构；采用分步紧支撑径向基函数进行三维插值，得到三维模型；最后根据多分辨图像拼接算法生成纹理图像并将其映射到三维模型上，从而增强真实感，与其它算法相比，该算法最大的不同之处在于匹配点的寻找，匹配点的准确与否直接影响SFM算法结果的正确性，许多寻找匹配点的算法如角点匹配算法，在处理人脸图像时得到的结果并不稳定，这是因为人脸图像上包含了许多低纹理和重复纹理区域，大多数算法将代表人脸结构基本特征的基准模型运用在重建过程的最后一步，通过三维逼近运算，得到最终的重建模型，而该算法将反映人脸共性特征的几何对称性和规律性运用到匹配点的寻找中，能够快速准确地找出SFM算法需要的匹配点，用户使用普通照相机拍摄到的图像经本算法的处理后就可以得到相应的三维人脸结构。     

New algorithm for 3D facial model reconstruction and its application in virtual reality

3D human face model reconstruction is essential to the generation of facial animations that is widely used in the field of virtual reality (VR). The main issues of 3D facial model reconstruction based on images by vision technologies are in twofold: one is to select and match the corresponding features of face from two images with minimal interaction and the other is to generate the realistic-looking human face model. In this paper, a new algorithm for realistic-looking face reconstruction is presented based on stereo vision. Firstly, a pattern is printed and attached to a planar surface for camera calibration, and corners generation and corners matching between two images are performed by integrating modified image pyramid Lucas-Kanade (PLK) algorithm and local adjustment algorithm, and then 3D coordinates of corners are obtained by 3D reconstruction. Individual face model is generated by the deformation of general 3D model and interpolation of the features. Finally, realistic-looking human face model     

Virtual view synthesis of people from multiple view video sequences

This paper addresses the synthesis of novel views of people from multiple view video. We consider the target area of the multiple camera 3D Virtual Studio for broadcast production with the requirement for free-viewpoint video synthesis for a virtual camera with the same quality as captured video. A framework is introduced for view-dependent optimisation of reconstructed surface shape to align multiple captured images with sub-pixel accuracy for rendering novel views. View-dependent shape optimisation combines multiple view stereo and silhouette constraints to robustly estimate correspondence between images in the presence of visual ambiguities such as uniform surface regions, self-occlusion, and camera calibration error. Free-viewpoint rendering of video sequences of people achieves a visual quality comparable to the captured video images. Experimental evaluation demonstrates that this approach overcomes limitations of previous stereo- and silhouette-based approaches to rendering novel views of moving people.     

自由多视角恢复表面纹理的三维重建

针对从轮廓恢复形状获得的几何模型,为使其具有真实感,提出了一种基于自由多视角的图像序列为几何模型添加表面纹理的新方法,解决了以往二维图像和三维几何模型配准方法中需人工干预、低精度,速度慢的问题。本文通过设计一个配准模板,实现了全自动、高精度的配准,并利用透视投影变换一次性获得纹理坐标,实现了快速的纹理恢复。实验结果表明,采用这种方法的纹理绘制效果理想,生成的模型真实感强。     

Volumetric Model Reconstruction from Unrestricted Camera Views Based on the Photo-consistency of 3D Voxel Mask

This project aims to develop a three-dimensional (3D) model reconstruction system using images acquired from a mobile camera. It consists of four major steps: camera calibration, volumetric model reconstruction, surface modeling and texture mapping. A novel online scale factor estimation is developed to enhance the accuracy of the coplanar camera calibration. For the volumetric modeling, the voting-based shape-from-silhouette first generates a coarse model, which is then refined by the photo-consistency check using the novel 3D voxel mask. Our scheme can handle concave surface in a sophisticated way. Finally, the surface model is formed with the original images mapped. 3D models of some test objects are presented.     

A Video-Based 3D-Reconstruction of Soccer Games

In this paper we present SoccerMan, a reconstruction system designed to generate animated, virtual 3D views from two synchronous video sequences of a short part of a given soccer game. After the reconstruction process, which needs also some manual interaction, the virtual 3D scene can be examined and 'replayed' from any viewpoint. Players are modeled as so-called animated texture objects, i.e. 2D player shapes are extracted from video and texture-mapped onto rectangles in 3D space. Animated texture objects have shown very appropriate as a 3D representation of soccer players in motion, as the visual nature of the original human motion is preserved. The trajectories of the players and the ball in 3D space are reconstructed accurately. In order to create a 3D reconstruction of a given soccer scene, the following steps have to be executed: 1) Camera parameters of all frames of both sequences are computed (camera calibration). 2) The playground texture is extracted from the video sequences. 3) Trajectories of the ball and the players' heads are computed after manually specifying their image positions in a few key frames. 4) Player textures are extracted automatically from video. 5) The shapes of colliding or occluding players are separated automatically. 6) For visualization, player shapes are texture-mapped onto appropriately placed rectangles in virtual space. SoccerMan is a novel experimental sports analysis system with fairly ambitious objectives. Its design decisions, in particular to start from two synchronous video sequences and to model players by texture objects, have already proven promising.     

单幅人脸图像的全景纹理图生成方法

目的 针对从单幅人脸图像中恢复面部纹理图时获得的信息不完整、纹理细节不够真实等问题,提出一种基于生成对抗网络的人脸全景纹理图生成方法。方法 将2维人脸图像与3维人脸模型之间的特征关系转换为编码器中的条件参数,从图像数据与人脸条件参数的多元高斯分布中得到隐层数据的概率分布,用于在生成器中学习人物的头面部纹理特征。在新创建的人脸纹理图数据集上训练一个全景纹理图生成模型,利用不同属性的鉴别器对输出结果进行评估反馈,提升生成纹理图的完整性和真实性。结果 实验与当前最新方法进行了比较,在CelebA-HQ和LFW （labled faces in the wild）数据集中随机选取单幅正面人脸测试图像,经生成结果的可视化对比及3维映射显示效果对比,纹理图的完整度和显示效果均优于其他方法。通过全局和面部区域的像素量化指标进行数据比较,相比于UVGAN,全局峰值信噪比（peak signal to noise ratio,PSNR）和全局结构相似性（structural similarity index,SSIM）分别提高了7.9 dB和0.088,局部PSNR和局部SSIM分别提高了2.8 dB和0.053;相比于OSTeC,全局PSNR和全局SSIM分别提高了5.45 dB和0.043,局部PSNR和局部SSIM分别提高了0.4 dB和0.044;相比于MVF-Net （multi-view 3D face network）,局部PSNR和局部SSIM分别提高了0.6和0.119。实验结果证明,提出的人脸全景纹理图生成方法解决了从单幅人脸图像中重建面部纹理不完整的问题,改善了生成纹理图的显示细节。结论 本文提出的人脸全景纹理图生成方法,利用人脸参数和网络模型的特性,使生成的人脸纹理图更完整,尤其是对原图不可见区域,像素恢复自然连贯,纹理细节更真实。     

基于二维点云图的三维人体建模方法

近年来基于二维图像的三维建模方法取得了快速发展,但就人体建模而言,由于摄像头采集到的二维人体图像包含衣物、发丝等大量的纹理信息,而像虚拟试衣等相关应用需要将人体表面的衣物褶皱等纹理信息去除,同时考虑到裸体数据采集侵犯了用户的隐私,因此提出一种基于二维点云图像到三维人体模型的新型建模方法。与摄像机等辅助设备进行二维图片数据集的采集不同,该算法的输入是由三维人体点云模型以顶点模式绘制的二维点云渲染图。主要工作是建立一个由二维点云图和相应的人体黑白二值图构成的数据集,并训练一个由前者生成后者的生成对抗网络模型。该模型将二维点云图转化为相应的黑白二值图。将该二值图输入一个训练好的卷积神经网络,用于评估二维图像到三维人体模型构建的效果。考虑到由不完整三维点云数据重建完整的三维人体网格模型是一个具有挑战性的问题,因此通过模拟二维点云的破损和残缺状态,使得算法能够处理不完整的二维点云图。大量的实验结果表明,该方法重建出的三维人体模型能够有效实现视觉上的真实感,为了对重建后的精度进行定量的分析,选取了人体特征中具有代表性的腰围特征作为误差评估;为了增加三维人体模型库中人体形态的多样性,还引入一种便捷的三维人体模型数据增强技术。实验结果表明,该算法只需要输入一张二维点云图像,就能快速创建出相应的数字化人体模型。     

基于形变模型的物体建模与分析

在物体建模领域内,传统的方法是建立三维线框模型上的纹理图像。该方法计算复杂,数据冗余量大,显示效果真实性差。近年来,在对同类物体（尤其是人脸）的建模研究中提出了形变模型（morphable model)的方法,该方法数据冗余少,显示效果逼真,在低码率编码、分析识别、身份验证、重建等方面的应用中取得了良好效果。文中回顾了近年来morphable模型的研究、发展及应用情况,并对未来的发展方向进行了展望。     

Whole-body modelling of people from multiview images to populate virtual worlds

In this paper a new technique is introduced for automatically building recognisable, moving 3D models of individual people. A set of multiview colour images of a person is captured from the front, sides and back by one or more cameras. Model-based reconstruction of shape from silhouettes is used to transform a standard 3D generic humanoid model to approximate a person's shape and anatomical structure. Realistic appearance is achieved by colour texture mapping from the multiview images. The results show the reconstruction of a realistic 3D facsimile of the person suitable for animation in a virtual world. The system is inexpensive and is reliable for large variations in shape, size and clothing. This is the first approach to achieve realistic model capture for clothed people and automatic reconstruction of animated models. A commercial system based on this approach has recently been used to capture thousands of models of the general public.