二维碰撞感知的单张图像参数化人体与服装重构

已有的基于图像的人体与服装重构大都不考虑身体与衣物之间的交互,导致独立重构结果互相穿刺.本文提出一个二维碰撞感知的从单张图像重构人体与服装的优化方法,利用SMPL和TailorNet参数化模型来分别表示人体和衣服的三维形状,进而建立约束能量求解人体形状参数,运动参数和服装细节控制参数.我们的方法在初始化阶段对输入图像进行了语义分割以及二维关节点的估计,并采用human mesh recovery初步估计人体的形状与运动参数作为能量优化的初始值.我们的能量优化由两部分构成:其一是形状与姿态约束,利用图像中人体的关节位置和着装人体区域对三维参数化模型的投影的关节位置和投影区域进行约束,保证重建模型与图像在形状与姿态上的一致性;其二是人体与衣服的碰撞约束,引入重构人体与服装模型的二维投影区域间的误差对人体与衣服进行碰撞约束,以避免相互穿刺,考虑到基于投影的约束对视点敏感,我们在三维空间中进行视点采样,从而建立多视角的二维投影约束.考虑到能量中包含了TailorNet,不容易计算梯度,我们利用爬山法交替地对人体形状,姿态和服装尺寸参数进行优化求取最优解.最后,通过一系列实验对本文方法和最近的一...     

结合三维几何形状信息和二维纹理的3D目标匹配

为了实现场景中三维目标与模型之间的匹配,提出了一种结合三维几何形状信息和二维纹理的三维目标匹配方法。首先提取场景中深度图像的尺度不变特征变换(SIFT)特征,用SIFT算法与三维模型重建时所用到的一系列2.5维深度图像进行一一匹配,找到与场景中目标姿态最为相似的深度图像,提取此深度图像的三维几何形状特征与模型进行匹配,实现模型的初始化,即将模型重置到与场景目标相接近的姿态。最后用融合二维纹理信息的迭代就近点（ICP）算法实现场景中目标与模型之间的匹配,从而得到场景中三维目标的准确姿态。实验结果验证了方法的可行性与精确性。     

基于高分辨率网络和图卷积网络的三维人体重建模型

针对单目图像重建人体时出现的头部姿态翻转和图像特征间隐式空间线索缺失的问题,提出了一种基于高分辨率网络（HRNet）和图卷积网络（GCN）的三维人体重建模型。首先利用HRNet和残差块作为主干网络从原始图像中提取丰富的人体特征信息,然后使用GCN来捕获特征之间隐式的空间线索以获得空间精确的特征表示,最后使用此特征来预测多人线性蒙皮模型（SMPL）的参数以得到更加准确的重建结果;同时为了有效解决人体头部姿态翻转的问题,对SMPL的关节点重新进行了定义,在原有关节的基础上增加对头部关节点的定义。实验结果表明,所提模型能够准确地重建出三维人体,在2D数据集LSP上的重建准确率达到了92.41%,在3D数据集MPI-INF-3DHP上的关节误差和重建误差也大幅降低,平均误差仅分别为97.73 mm和64.63 mm,验证了所提模型在人体重建领域的有效性。     

多视角约束级联回归的视频人脸特征点跟踪

近年来,静态图像中人脸特征点检测算法得到了极大的改进,然而,由于真实视频中头部姿态、遮挡和光照等因素的变化,人脸特征点检测和跟踪仍然具有挑战性。为了解决这一问题,提出一种多视角约束级联回归的视频人脸特征点跟踪算法。首先,利用三维和二维稀疏点集建立变换关系,并估计初始形状;其次,由于人脸图像存在较大的姿态差异,使用仿射变换对人脸图像进行姿态矫正;在构造形状回归模型时,采用多视角约束级联回归模型减小形状方差,从而使学习到的回归模型对形状方差具有更强的鲁棒性;最后,采用重新初始化机制,并在特征点正确定位时使用归一化互相关（NCC）模板匹配跟踪算法建立连续帧之间的形状关系。在公共数据集上的实验结果表明：该算法的平均误差小于眼间距离的10%。     

PTZ摄像机视频与三维模型的配准技术研究

针对基于投影纹理映射的虚实融合系统,提出了一种PTZ摄像机视频与三维模型实时配准的技术.选取PTZ摄像机若干特定姿态的子图像组成一张全景图像,进行最优匹配图像的搜索,用SURF图像配准的方法对实时视频图像进行透视变换,利用最优匹配图像的三维投影信息将实时视频图像精确投影到三维模型中.实验结果表明,该算法具有较高的准确性,适用于虚实融合系统中PTZ摄像机视频的三维配准.     

适用于单目视频的无标记三维人体运动跟踪

在无标记人体运动跟踪过程中,由于被跟踪目标缺乏明显的特征以及背景复杂而使得跟踪到的人体运动姿态与真实值偏差较大,不能进行长序列视频跟踪.针对这一现象,提出一种基于形变外观模板匹配进行单目视频的三维人体运动跟踪算法,其中所用的人体外观模型由三维人体骨骼模型及二维纸板模型组成.首先根据人体骨骼比例约束采用逆运动学计算出关节旋转欧拉角;然后利用正向运动学求得纸板模型中像素在三维空间中的坐标,将这些像素根据摄像机成像模型投影到二维图像中得到形变外观模板;最后采用直方图匹配得到人体运动跟踪结果.实验结果表明,该算法对于一些复杂的长序列人体运动能够得到较为理想的跟踪结果,可应用于人机交互和动画制作等领域.     

基于单视频图像序列的人体三维姿态重建

提出了至少存在一个深度值已知点的约束条件下,基于单视频图像序列重建人体三维姿态的方法.利用已知间距的平面点阵来标定获得摄像机参数,在透视投影模型下,根据单视频图像序列中人体关节点的二维数据,重建其三维信息.并将人体运动序列按照运动突变点划分为若干子序列,有效消除了二义性的干扰,较为精确的实现了人体三维姿态的重建.给出了该方法的实验过程及计算结果,验证了该算法的可行性和精度.     

基于单-多视图优化的足球球员三维姿态和体型估计

足球比赛场景的三维重建有助于观众自由切换视角,增加了互动性和沉浸感。针对足球比赛场景中的足球球员,提出一种三维姿态和体型估计方法。对球员的多视图图像使用训练好的部分注意力回归的三维人体估计(PARE)模型生成初始的三维姿态和体型估计,并使用人工标注的二维关节点作为优化目标。单-多视图优化操作利用蒙皮多人线性模型(SMPL)和正交投影的可微性,将球员的三维姿态和体型参数映射到二维关节点,计算其与人工标注之间的差异,再使用神经网络的反向传播算法更新三维姿态和体型参数,持续这些过程直到差异最小化。在自建的足球球员多视图数据集上的实验结果表明,该方法能够有效估计足球球员的三维姿态和体型,与人体网格恢复、在循环中优化SMPL、PARE等方法相比,二维关节点精度在单视图上提高了9.2%～37.5%,在多视图交叉验证中提高了34.9%～54.1%。     

基于投影匹配的目标姿态测量方法研究

提出一种在图像投影匹配基础上进行的目标姿态测量新方法,避免了传统姿态测量中左右像面目标的特征匹配或灰度匹配.二维投影相关法是基于二维投影的灰度相关匹配算法,主要利用匹配图像相邻像素的灰度值的大小关系应该相同的原理进行图像匹配.在此基础上采用双目视觉测量空间轴对称目标姿态,应用面面交会法获取轴对称目标在像面的轴线,进行三维姿态测量.模拟实验结果表明:该方法姿态角测量误差小于0.2°;且计算速度快,结果稳定,能够满足处理的要求.     

基于SMPL可变模型和单幅图像的动画三维重建方法

提出一种基于人体皮肤多线性(Skinned Multiple Person Linear, SMPL)模型的3D动画重建方法。将SMPL模型与一副图像进行拟合，对SMPL轮廓进行扭曲，以匹配原始图像中目标人物轮廓；向投影SMPL法线贴图和蒙皮贴图应用该扭曲，获得可用于构建人物的正面视图和背面视图；将视图与拟合的3D骨架相结合，以重建目标人物轮廓。此外，针对自遮挡问题，提出一个解决方案。对包括艺术作品、海报、涂鸦等正面图进行测试，通过提出的用户接口改变3D人物姿态，通过编辑和调整，从单幅人物图像重建的3D动画接近现实动画。所提方法在细节处理方面较好，手部、头发等纹理细节部分得到了较好的保留和再现，优于一些同类方法。     

面向移动设备的三维人体重建方法

针对移动端的计算资源和存储空间有限等问题,本文提出了一种轻量级的三维人体重建方法.首先,采用DeepLabV3+网络对人体正面和侧面图像进行分割,获得人体净身轮廓.其次利用SMPL人体模型对三维人体进行参数化表示,并对SMPL模型的正面和侧面进行投影,获得二值轮廓作为数据集.然后,构建并训练一个教师网络以预测二值轮廓图的SMPL参数.之后,构建一个轻量级的学生网络,通过知识蒸馏的方式,利用教师网络来提高学生网络预测的人体参数精度.最后通过学生网络预测的SMPL人体参数生成三维人体模型.实验结果证明,本文的方法可以在消耗较少的计算资源和存储空间的情况下获得相对较高精度的三维人体.     

面向太极拳学习的人体姿态估计及相似度计算

针对当前线上太极拳学习自然交互性差、缺乏学习反馈等问题,提出一种面向太极拳学习的人体姿态估计及相似度计算方法。首先,输入太极拳视频,利用帧间差分法提取关键帧图像;然后,利用堆叠沙漏网络模型对关键帧图像进行二维关节点检测;接着,使用长短期记忆(LSTM)网络结合Sequence-to-Sequence网络模型对检测到的二维关节点序列进行二维到三维的映射,预测三维关节点的位置坐标;最后对估计的人体姿态进行二维和三维余弦相似度计算。利用该方法设计并开发了一款相关设备简便、用户体验感强的太极拳学习与反馈应用系统,并在实际中应用。该系统可以检测太极拳学员的整体动作及各肢体段动作是否标准,并给出反馈,学员可以根据反馈结果练习和改善不标准动作,达到提升学习效果的目的。     

基于视频帧连贯信息的3维人体姿势优化估计方法

针对基于视频的3维人体姿态估计问题,传统方法是先估计出每帧图像中的3维人体姿态,再将估计结果按帧序排列,获得视频中的3维人体姿态.这种方法没有考虑连续帧间人体动作的连贯性,以及人体关节连接的空间一致性,估计结果中常会出现人体的高频抖动及动作的较大偏差.针对该问题,提出一种基于视频帧连贯信息的3维姿态优化估计方法.首先利用2维姿势估计结果优化人体3维关节点坐标,以减少抖动;其次引入前后帧关节点运动的逆向与正向预测,以保持动作连贯性;最后,加入骨骼连接约束,建立可保持人体动作轨迹光滑且优化前后关节连接结构一致的模型,实现对3维人体姿态的精确估计.在公共数据集MPI-INF-3DHP上的测试结果显示,与基准3维姿态估计方法相比,本文方法估计的关节点平均误差降低3.2％.在公共数据集3DPW上的测试结果显示,与未优化情形相比,加速误差降低44％.     

基于弹性匹配活动轮廓模型心脏超声图像分割

超声医学图像由于受成像机理的影响,图像对比度不高、边缘不明显.基于传统活动轮廓线模型(snake模型)的分割方法可能产生过分割或泄漏问题.由于医学图像中拓扑结构已知,因此基于先验知识的活动轮廓线分割方法是解决这个问题的一个有效途径.建立一种新的基于弹性匹配活动轮廓线模型,该方法将待分割曲线的形状与原型曲线用弹性匹配测量变形量或相似度.曲线在演化过程中,根据变形量或相似度,可以准确分割模糊的边缘,同时保持整体目标分割形状.通过对二维小儿超声心脏图像的左心房内壁进行分割,经比较,基于弹性匹配活动轮廓线分割比传统活动轮廓线分割的误差有显著减少,避免了传统活动轮廓线的过分割或泄漏问题.     

基于视频序列的车型识别算法设计

针对复杂背景下的目标车型识别问题,提出一种基于视频序列的检测识别算法。运用帧差序列图像进行背景建模与更新,采用背景差分和LBP纹理分析法进行运动车辆的分割及阴影消除,提出车辆形状投影量的概念,将视频车辆二维形状信息降至一维,并设计二维输入模糊分类器,根据形状投影量和车高/车长比,完成车型的多种类精细识别。实验结果验证了该算法的有效性。     

基于三维人脸建模的多姿态人脸识别

待匹配人脸图像与原始图像存在姿态和光照的差异,是自动人脸识别的两个主要瓶颈问题.给出了采用三维人脸模型来解决人脸姿态的变化对人脸识别的影响问题.通过正侧面图像,利用B样条曲线与径向基函数相结合的方法进行三维人脸重建,生成三维人脸模型库.分别计算待匹配人脸图像的3个自由度,快速估计出人脸的姿态;结合待匹配人脸图像的姿态参数及三维人脸模型库,获得与待匹配图像相同姿态的三维人脸模型库中的二维人脸图像.最后完成了相同人脸姿态的二维人脸识别.实验结果证明,该方法无需复杂的设备、简单易行、识别时间短,是一种非常实用的解决人脸姿态问题的识别方法.     

基于SMPL模型的人体姿态估计

针对目前人体形变模型中姿态估计算法容易出现误差、信息缺失等问题,提出一种利用深度相机获取的人体三维信息来优化模型的方法.通过深度相机Kinect获取的三维骨架信息,与SMPL模型进行配准,修正原始的模型姿态,得到一个接近人体真实姿态的模型.实验结果表明,融合人体三维信息后,模型的准确性得到一定程度上的提高.     

三维表面与平面数据间的自适应配准

三维体数据与二维平面数据间的配准是手术导航的基础。与以往的思路有所不同,论文通过把三维表面投影到平面上,利用光照模型计算投影平面的灰度值,实现投影图像与实拍照片间的匹配,在匹配中调整投影参数使得两平面图像达到最佳相似,进而实现三维到二维的自适应配准。     

基于姿态引导的场景保留人物视频生成

人物视频生成技术是通过学习人体结构与运动的特征表示,实现从特征表示到 人物视频帧的空间生成映射。针对现有的人物视频生成算法未考虑背景环境转换及人体姿态 估计精度较低等问题,提出一种基于姿态引导的场景保留人物视频生成算法(PSPVG)。首先, 取合适的源视频和目标视频,利用分割人物外观的视频帧代替源视频帧作为网络的输入;然 后,基于GAN 的运动转换模型将源视频中的人物替换成目标人物,并保持动作一致性;最后, 引用泊松图像编辑将人物外观与源背景融合,去除边界异常像素,实现将人物自然地融入源 场景且避免改变画面背景环境和整体风格。该算法使用分割出的前景人物图代替源视频帧中 的人物,减少背景干扰,提高姿态估计精度,自然地实现运动转移过程中源场景的保留,生 成艺术性与真实性和谐并存的人物视频。     

基于三维变换形状搜索的ASM人脸特征点定位

通过三维变换的特征点搜索方法对二维人脸图像进行形状搜索,形状搜索以人脸的标准三维模型为基础,将二维坐标三维化;通过三维变换、投影等过程迭代搜索逼近目标形状,最后得到三维变换的10个姿态参数。测试结果表明：在对非活动形状模型(ASM)训练集中的多姿态人脸进行形状搜索时,三维变换方法具有更好的逼近效果。较好地模拟了人脸姿态的实际变化,有效地解决了ASM人脸偏转的非线性问题。