基于伪孪生神经网络的低纹理工业零件6D位姿估计

从单帧RGB图像中获取目标物体的6D位姿信息在机器人抓取、虚拟现实、自动驾驶等领域应用广泛.本文针对低纹理物体位姿估计精度不足的问题,提出一种基于伪孪生神经网络的位姿估计方法 .首先,通过渲染CAD模型的方式,获取不同观察角度下的RGB图作为训练样本,解决了深度学习中数据集获取与标注较为繁琐的问题.其次,利用伪孪生神经网络结构学习二维图像特征和物体的三维网格模型特征之间的相似性,即分别采用全卷积网络和三维点云语义分割网络构成伪孪生神经网络,提取二维图像和三维模型的高维深层特征,使用网络推断密集的二维-三维对应关系.最后,通过PnP-RANSAC方法恢复物体的位姿.仿真数据集的实验结果表明,本文提出的方法具有较高的准确性和鲁棒性.