接触式交互感知的人体三维坐姿姿态估计

针对视觉姿态估计方法受覆盖遮挡等干扰,提出一种基于座椅面压力图像的人体三维坐姿姿态估计方法,建立坐姿时 座椅面体压分布与人体三维姿态之间的跨域联系。 设计了一套基于压力-视觉的坐姿训练系统,将阵列式压力传感器嵌入在座 椅面中感知坐姿变换,利用时间戳实现压力图像和双目视觉图像的同步匹配。 采取双边滤波消除压力图像的尖峰噪声;依靠 OpenPose 姿态估计、三角测量等手段从双目视觉图像中提出 19 个三维关键点;为提高姿态估计精度,提出随机梯度下降最小化 损失函数的方法来优化三维关键点坐标,并利用 3D 高斯滤波器进一步生成 3D 关键点置信度图。 设计一个基于多层卷积神经 网络的压力-视觉跨域深度学习模型,以连续的多帧压力图像作为模型输入,包含三维关键点坐标及其置信度图的 3D 姿态估计 结果作为监督对模型进行训练。 算法依靠椅面上的阵列传感器接触感知坐姿时的压力分布,就能够准确的估计包含 19 个人体 关键点的三维坐姿姿态,在验证集上测试,19 个关键点平均误差 9. 7 cm。