基于高分辨率网络和图卷积网络的三维人体重建模型

针对单目图像重建人体时出现的头部姿态翻转和图像特征间隐式空间线索缺失的问题,提出了一种基于高分辨率网络（HRNet）和图卷积网络（GCN）的三维人体重建模型。首先利用HRNet和残差块作为主干网络从原始图像中提取丰富的人体特征信息,然后使用GCN来捕获特征之间隐式的空间线索以获得空间精确的特征表示,最后使用此特征来预测多人线性蒙皮模型（SMPL）的参数以得到更加准确的重建结果;同时为了有效解决人体头部姿态翻转的问题,对SMPL的关节点重新进行了定义,在原有关节的基础上增加对头部关节点的定义。实验结果表明,所提模型能够准确地重建出三维人体,在2D数据集LSP上的重建准确率达到了92.41%,在3D数据集MPI-INF-3DHP上的关节误差和重建误差也大幅降低,平均误差仅分别为97.73 mm和64.63 mm,验证了所提模型在人体重建领域的有效性。     

图像序列的增量式运动结构恢复

目的 传统增量式运动结构恢复算法中,初始图像对选择鲁棒性差,增量求解过程效率较低,捆绑调整策略存在计算冗余,模型修正后仍存在较大误差。为解决上述问题,以基于图像序列的3维重建为基础,提出一种新的增量式运动结构恢复算法（SFM-Y）。方法 首先,采用改进的自适应异常值过滤方法增强初始图像对选择的鲁棒性,得到用于初始重建的初始图像对;其次,通过增量迭代重建丰富点云模型,采用改进的EPNP（efficient perspective-n-point）解算方法提高增量添加过程的计算效率和精确度;最后,采用优化的捆绑调整策略进行模型修正,解决模型漂移问题,修正重投影误差。结果 实验选取不同数据规模的数据集,在本文方法及传统方法间进行测试对比,以便更加全面地分析算法性能。实验结果表明,SFM-Y算法相比传统的增量式运动结构恢复算法,在计算效率和结果质量方面均有所提高,根据性能分析对比的结果所示,本文方法较传统方法在计算效率和重建精度上约有10%的提升。结论 提出的增量式运动结构恢复算法能够高效准确地实现基于图像序列的3维重建优于传统方法,计算效率较高,初始重建鲁棒性强,生成模型质量较好。     

结合特征适配与拉普拉斯形变的3维人脸重建

目的 数字娱乐产业的发展要求3维人脸重建技术能重建高分辨率3维人脸,并具有较高计算效率和重建准确性。针对这一情况,提出一种基于单幅图像的高分辨率3维人脸重建方法。方法 该方法包含特征适配与拉普拉斯形变两部分。预先用1组3维人脸样本上的3维特征构造可变形模型。给定图像时,从其上自动提取2维特征点,并根据获得问题最优解的必要条件进行特征适配以重建个性化3维特征;然后基于拉普拉斯方法,用该3维特征对一般人脸模型进行变形以获得特定高分辨率3维人脸;最后通过纹理合成获得真实感人脸。结果 用本文方法和已有方法分别进行可变形模型适配和模型变形,本文的特征适配方法具有更快的收敛速度和更高的准确性,拉普拉斯方法具有更小的重建误差。纹理映射后的3维人脸具有很好的视觉效果。结论 本文方法将特征适配与拉普拉斯形变结合起来进行高分辨率3维人脸重建。实验结果表明所提出的方法具有较高的计算效率和准确性,能实现较为理想的高分辨率3维人脸重建。     

下视SAR数据3维表面重建

目的 合成孔径雷达(SAR)因成像方法、几何角度等原因使得采集到的数据具有稀疏性及残缺性,如果直接用其进行建模,不能真实地还原物体。针对下视SAR数据的特点,提出一种在建模过程中能够自动修补稀疏及残缺数据的重建方法。方法 首先引入大津法对3维SAR数据进行预处理,然后将2维图像分割方法中的Chan-Vese模型推广应用到下视SAR数据的表面重建中,在初始表面及轮廓指示函数的求取过程中引入距离函数和内积函数。结果 将本文方法与等值面抽取法的重建结果进行比较,本文方法在重建的过程中能够自动修补空洞,重建出的模型表面更加光滑,能更加真实地反映原物体的特征。结论 可以将本文方法推广应用到稀疏及残缺SAR数据的建模中。     

融合语义先验和渐进式深度优化的宽基线3维场景重建

目的 基于视觉的3维场景重建技术已在机器人导航、航拍地图构建和增强现实等领域得到广泛应用。不过,当相机出现较大运动时则会使得传统基于窄基线约束的3维重建方法无法正常工作。方法 针对宽基线环境,提出了一种融合高层语义先验的3维场景重建算法。该方法在马尔可夫随机场（MRF）模型的基础上,结合超像素的外观、共线性、共面性和深度等多种特征对不同视角图像中各个超像素的3维位置和朝向进行推理,从而实现宽基线条件下的初始3维重建。与此同时,还以递归的方式利用高层语义先验对相似深度超像素实现合并,进而对场景深度和3维模型进行渐进式优化。结果 实验结果表明,本文方法在多种不同的宽基线环境,尤其是相机运动较为剧烈的情况下,依然能够取得比传统方法更为稳定而精确的深度估计和3维场景重建效果。结论 本文展示了在宽基线条件下如何将多元图像特征与基于三角化的几何特征相结合以构建出精确的3维场景模型。本文方法采用MRF模型对不同视角图像中超像素的3维位置和朝向进行同时推理,并结合高层语义先验对3维重建的过程提供指导。与此同时,还使用了一种递归式框架以实现场景深度的渐进式优化。实验结果表明,本文方法在不同的宽基线环境下均能够获得比传统方法更接近真实描述的3维场景模型。     

基于RGB-D深度相机的室内场景重建

目的 重建包含真实纹理的彩色场景3维模型是计算机视觉领域重要的研究课题之一,由于室内场景复杂、采样图像序列长且运动无规则,现有的3维重建算法存在重建尺度受限、局部细节重建效果差的等问题。方法 以RGBD-SLAM 算法为基础并提出了两方面的改进,一是将深度图中的平面信息加入帧间配准算法,提高了帧间配准算法的鲁棒性与精度;二是在截断符号距离函数(TSDF)体重建过程中,提出了一种指数权重函数,相比普通的权重函数能更好地减少相机深度畸变对重建的影响。结果 本文方法在相机姿态估计中带来了比RGBD-SLAM方法更好的结果,平均绝对路径误差减少1.3 cm,能取得到更好的重建效果。结论 本文方法有效地提高了相机姿态估计精度,可以应用于室内场景重建中。     

曲率无穷范数约束的曲线3维重建

目的 为提高曲线3维重建的精度,提出一种基于曲率无穷范数约束根据2幅图像重建3维非参数空间曲线的方法。方法 分析以重建曲线的反投影误差、曲率的加权和作为目标函数的缺点。为了避免引入不确定的权系数,同时使求解结果更好地逼近全局最优解,把原目标函数中的曲率项转化为曲率无穷范数的不等式约束,即限制了曲线上所有点的曲率值都必须小于某个较小阈值,从而保证了重建曲线的连续性。结果 模拟曲线实验验证了方法的可行性、鲁棒性和优越性;圆柱相贯线的重建结果显示重建曲线在特定方向上的相对误差为2.98%;最后把方法应用于果树枝干骨架的3维重建,重建的果树枝干骨架符合肉眼观察的视觉效果。结论 本文方法适用于不同场合下的曲线3维重建,且重建精度较高。     

应用于人体关节缺损修复的建模与可视化

目的 关节缺损疾病治疗目前存在的主要问题是缺乏精确的关节模型以及个体化的修复方案,为此提出量化关节骨缺损的精确建模与可视化方法。方法 利用骨骼图像增强、多模态影像融合、关节结构分割、关节病变结构建模与定量分析等核心关键技术,从关节CT或MRI影像中构建和恢复缺损关节的空间立体结构,为关节缺损信息提供量化参数和3维模型,从而帮助医生快速准确地对关节缺损疾病进行诊疗。结果 针对建模与可视化方法中的核心关键技术进行了深入研究,实验结果显示上述方法能够为关节缺损修复提供精确的3维量化模型。结论 基于CT、MRI影像的关节结构建模与可视化技术为评价骨缺损大小提供了精确有效的方法,在关节盂或肱骨结构等疾病的诊疗方面具有重要的临床意义,此项技术的发展对关节缺损疾病的修复发挥着重要作用。     

多参数加权的无缝纹理映射算法

目的 针对基于图像3维重建中纹理映射存在缝隙的问题,提出一种多参数加权的无缝纹理映射算法。方法 算法根据图像的标定信息对三角格网进行聚类分割,将重建模型聚类成不同参考图像的网格贴片,并对贴片排序生成纹理图像,加权融合重建顶点的法线角度、图像视点、模型深度等信息生成纹理贴片像素,最后采用多分辨率分解融合技术消除纹理贴片缝隙,实现无缝的纹理映射。结果 对不同的测试数据进行了验证,本文算法在保持一定清晰度的前提下消除了纹理的缝隙,即使对于构网误差较大的区域也能得到较为满意的结果,同时本文算法支持大数据的3维纹理映射。结论 提出了一种无缝的纹理映射算法,算法通过构造一个平滑的加权方程融合多源信息消除纹理的接缝,实验结果表明了本文算法的有效性及实用性,得到了高保真的无缝纹理映射效果,可应用到城市级别的大场景3维重建领域。     

面向手持式3维扫描设备的本征纹理重建

目的 针对目前手持式3维扫描设备生成的模型纹理分辨率不够,且部分区域存在高光、阴影及明暗变化等问题,提出一种基于多幅实拍照片的纹理重建方法。方法 首先使用基于特征匹配的方法将照片图像与几何模型进行配准;其次根据重建纹理大小,采用特殊编码方式的位置纹理建立照片像素到纹理像素直接且精确的对应关系;然后根据多幅使用闪光灯作为光源拍摄的照片,通过位置纹理建立联立方程,求解漫反射分量;最后采用改进的基于混合权重的融合方法对求解的漫反射分量进行纹理融合。结果 使用本文方法对3个实验模型进行本征纹理重建,与3维扫描设备生成纹理和直接用照片生成纹理相比,该方法操作简单、使用方便,可获得高度清晰的,不含高光和明暗效果的本征纹理图像。结论 实验结果表明,重建纹理质量在分辨率、色彩还原性及一致性方面明显优于原有纹理,且该方法具有很高的精确性和鲁棒性,可满足高质量的纹理重建需求。     

基于改进分段铰链变换的人体重建技术

目前,基于单帧图像的人体建模还不能有效地处理手臂、衣服等对身体部位的遮 挡,以及因视角带来的自我身体遮挡等复杂的遮挡问题。为此,利用SMPL 模型骨骼关节分布 特点,提出改进传统分段铰链变换模型的人体重建方法。该方法运用骨骼关节的精确标注确定 模型变换的节点,结合图像轮廓边界约束图,提出前向分段回归概率期望最小化(FPR-PEM)的 柔性配准方法。通过迭代模型对变形关节处结合薄板样条进行线性插值,保证模型表面点云形 状的独立性,有效地注册各种姿势下的非刚性变形模型,较好地解决了复杂遮挡带来的重建挑 战,并进行模型姿态回归调整,实现准确的人体建模。实验结果表明,方法可以有效实现精细 和平滑模型的人体表面重建。     

基于单幅图像的真实感人体动画合成

由于单幅图像缺失三维信息以及完整的纹理信息,基于单幅图像的真实感三维人体动画合成极具挑战性。针对单幅图像三维信息缺失问题,提出了一种基于SMPL参数模型的三维人体几何重建方法。该方法以单幅图像为输入,先根据输入图像人体轮廓信息变形标准的SMPL参数模型分别生成与目标轮廓一致的正反面的三维几何模型,然后利用基于B样条插值的网格拼接融合算法拼接正反面三维几何,最后为了恢复正确的手部几何,利用基于B样条插值的网格拼接融合算法,将重建后的模型上错误的手部几何用标准SMPL参数模型上正确的手部几何替换。同时,针对单幅图像中纹理缺失的问题,提出了一个称为FBN（front to back network）的对抗生成网络,用于恢复被遮挡的人体背面纹理。实验结果表明,该方法生成的具有完整纹理的人体几何能够由3D运动数据驱动运动,生成具有高度真实感的三维人体动画。     

基于单视频图像序列的人体三维姿态重建

提出了至少存在一个深度值已知点的约束条件下,基于单视频图像序列重建人体三维姿态的方法.利用已知间距的平面点阵来标定获得摄像机参数,在透视投影模型下,根据单视频图像序列中人体关节点的二维数据,重建其三维信息.并将人体运动序列按照运动突变点划分为若干子序列,有效消除了二义性的干扰,较为精确的实现了人体三维姿态的重建.给出了该方法的实验过程及计算结果,验证了该算法的可行性和精度.     

基于仿射CPD的股骨医学图像配准方法*

股骨医学图像配准是股骨三维重建技术的主要研究内容,通过机器辅助获得配准的参数决定了三维重建的准确性。针对传统ICP算法普遍存在的准确度和鲁棒性的较低问题,提出一种基于仿射CPD的股骨医学图像配准方法,使配准自动化以及精准化。该方法通过边缘提取获得浮动、参考点集;在配准后获取结果参数;通过结果参数将股骨通用模型摆成股骨个体化骨折姿态。实验结果：平移、旋转的平均误差分别小于2.1mm、 1.6;配准失败率仅在10%左右;三维重建后的3D图像真实度较高。结论：本文所述的方法对于图像配准和三维重建是可行的和高效的。     

Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking

We present a method to reconstruct human motion pose from uncalibrated monocular video sequences based on the morphing appearance model matching. The human pose estimation is made by integrated human joint tracking with pose reconstruction in depth-first order. Firstly, the Euler angles of joint are estimated by inverse kinematics based on human skeleton constrain. Then, the coordinates of pixels in the body segments in the scene are determined by forward kinematics, by projecting these pixels in the scene onto the image plane under the assumption of perspective projection to obtain the region of morphing appearance model in the image. Finally, the human motion pose can be reconstructed by histogram matching. The experimental results show that this method can obtain favorable reconstruction results on a number of complex human motion sequences.     

3D Posture Reconstruction and Human Animation from 2D Feature Points

An optimal approach is proposed in this paper for posture reconstruction and human animation from 2D feature points extracted from the monocular images containing human motions. Biomechanical constraints are encoded in every joint of the adopted 3D skeletal human model to make sure that each state of the joints represents a physically valid posture. Size of the human model is adjusted to be consistent with the human figure represented by feature points. Energy Function is defined to represent the residuals between the extracted 2D feature points and the corresponding features resulted from projection of the 3D human model. Local Adjustment and Global Adjustment procedures are proposed to place the joints and body segments into proper locations and orientations in 3D space to create the posture with the minimum value of Energy Function. To find the optimal solution of the ill‐posed recovery problem from 2D to 3D, Genetic Algorithm is employed in the high‐dimensional parameter space by considering all the parameters simultaneously. Smooth and continuous changes between consecutive frames are considered in development of the human animation procedure. The proposed approach produces optimal reconstruction results of any possible human postures and movements. It is different from classical kinematics and dynamics formulations, and is an attempt to bridge the gap between computer vision and computer animation in human motion study.     

结合稀疏表示和深度学习的视频中3D人体姿态估计

目的 2D姿态估计的误差是导致3D人体姿态估计产生误差的主要原因,如何在2D误差或噪声干扰下从2D姿态映射到最优、最合理的3D姿态,是提高3D人体姿态估计的关键。本文提出了一种稀疏表示与深度模型联合的3D姿态估计方法,以将3D姿态空间几何先验与时间信息相结合,达到提高3D姿态估计精度的目的。方法 利用融合稀疏表示的3D可变形状模型得到单帧图像可靠的3D初始值。构建多通道长短时记忆MLSTM（multi-channel long short term memory）降噪编/解码器,将获得的单帧3D初始值以时间序列形式输入到其中,利用MLSTM降噪编/解码器学习相邻帧之间人物姿态的时间依赖关系,并施加时间平滑约束,得到最终优化的3D姿态。结果 在Human3.6M数据集上进行了对比实验。对于两种输入数据：数据集给出的2D坐标和通过卷积神经网络获得的2D估计坐标,相比于单帧估计,通过MLSTM降噪编/解码器优化后的视频序列平均重构误差分别下降了12.6%,13%;相比于现有的基于视频的稀疏模型方法,本文方法对视频的平均重构误差下降了6.4%,9.1%。对于2D估计坐标数据,相比于现有的深度模型方法,本文方法对视频的平均重构误差下降了12.8%。结论 本文提出的基于时间信息的MLSTM降噪编/解码器与稀疏模型相结合,有效利用了3D姿态先验知识,视频帧间人物姿态连续变化的时间和空间依赖性,一定程度上提高了单目视频3D姿态估计的精度。     

基于sift特征匹配的人体上半身三维运动跟踪

研究人体姿态与视频优化跟踪问题,单目视频缺少深度信息,使得单目视频的人体运动跟踪难以实现三维姿态恢复问题。为解决上述问题,提出了一种利用sift特征尺度不变性的优点进行人体上半身三维运动跟踪的算法。在跟踪过程中先计算初始匹配sift特征点对,然后反复迭代出除误匹配点,消除误差,最后求解由两个匹配sift特征组成的方程组得到胸部关节的位姿,根据人体骨骼模型采用深度遍历依次恢复其它关节的姿态。实验结果表明,系统能够对人体上半身运动进行比较准确的三维运动跟踪。