| 基于人体和场景上下文的多人3D姿态估计 |
| |
| 引用本文： | 何建航,孙郡瑤,刘琼.基于人体和场景上下文的多人3D姿态估计[J].软件学报,2024,35(4):2039-2054. |
| |
| 作者姓名： | 何建航 孙郡瑤 刘琼 |
| |
| 作者单位： | 华南理工大学 软件学院, 广东 广州 510006 |
| |
| 基金项目： | 广东省自然科学基金(2021A1515011349)；国家自然科学基金(61976094) |
| |
| 摘 要： | 深度歧义是单帧图像多人3D姿态估计面临的重要挑战, 提取图像上下文对缓解深度歧义极具潜力. 自顶向下方法大多基于人体检测建模关键点关系, 人体包围框粒度粗背景噪声占比较大, 极易导致关键点偏移或误匹配, 还将影响基于人体尺度因子估计绝对深度的可靠性. 自底向上的方法直接检出图像中的人体关键点再逐一恢复3D人体姿态. 虽然能够显式获取场景上下文, 但在相对深度估计方面处于劣势. 提出新的双分支网络, 自顶向下分支基于关键点区域提议提取人体上下文, 自底向上分支基于三维空间提取场景上下文. 提出带噪声抑制的人体上下文提取方法, 通过建模“关键点区域提议”描述人体目标, 建模姿态关联的动态稀疏关键点关系剔除弱连接减少噪声传播. 提出从鸟瞰视角提取场景上下文的方法, 通过建模图像深度特征并映射鸟瞰平面获得三维空间人体位置布局; 设计人体和场景上下文融合网络预测人体绝对深度. 在公开数据集MuPoTS-3D和Human3.6M上的实验结果表明: 与同类先进模型相比, 所提模型HSC-Pose的相对和绝对3D关键点位置精度至少提高2.2%和0.5%; 平均根关键点位置误差至少降低4.2 mm.
|
| 关 键 词： | 多人场景3D姿态估计 关键点区域提议 人体上下文 场景上下文 人体绝对深度 |
| 收稿时间： | 2022/5/31 0:00:00 |
| 修稿时间： | 2022/8/16 0:00:00 |
Multi-person 3D Pose Estimation Using Human-and-scene Contexts |
| |
| HE Jian-Hang,SUN Jun-Yao,LIU Qiong.Multi-person 3D Pose Estimation Using Human-and-scene Contexts[J].Journal of Software,2024,35(4):2039-2054. |
| |
| Authors: | HE Jian-Hang SUN Jun-Yao LIU Qiong |
| |
| Affiliation: | School of Software Engineering, South China University of Technology, Guangzhou 510006, China |
| |
| Abstract: | |
| |
| Keywords: | multi-person 3D pose estimation keypoint region proposal human context scene context absolute human depth |
|
| 点击此处可从《软件学报》浏览原始摘要信息 |
|
点击此处可从《软件学报》下载全文 |
|
