面向机械臂操作的视觉信息实时重建方法

现阶段的机械臂技能传授方法主要通过三维实时重建技术搭建虚拟空间进行模拟训练。然而人与机械臂视角不同，传统视觉信息重建方法由于重建误差大、时间长，而且实验环境苛刻、所需传感器较多等原因，导致机械臂在虚拟空间内习得的技能不能很好地迁移于现实环境。针对以上问题，提出了一种面向机械臂操作的视觉信息实时重建方法。首先，通过Mask-RCNN(Mask-Region Convolutional Neural Network)对实时采集到的RGB图像提取信息；然后，将提取后的RGB图像及其他视觉信息联合编码，并通过ResNet-18将视觉信息映射为机械臂操作空间的三维位置信息；最后，为减小重建误差，提出了一种聚类簇中心距离受限离群值调整方法（CC-DIS），并利用OpenGL(Open Graphics Library)将调整后的位置信息可视化，完成机械臂操作空间三维实时重建。实验结果表明，所提的实时重建方法具有较快的重建速度和较高的重建精度，完成一次三维重建仅需62.92 ms，重建速度高达每秒16帧，重建相对误差约为5.23%，能有效用于机械臂技能传授任务。