基于卷积神经网络的扁桃体咽拭子采样机器人

针对医务人员咽拭子采样时有较高被传染风险,提出咽拭子采样机器人。采样需检测、识别和定位扁桃体的位置信息,由于扁桃体在原图中尺寸较小、特征提取困难,设计基于卷积神经网络的两步检测模型。第一步,使用口腔检测模块将口腔图像从自制的人体面部数据集中检测并切割出来;第二步,在口腔图像基础上,识别位扁桃体的位置信息。结合深度图像计算扁桃体在机器人世界坐标系的坐标,控制机械臂运动到指定位置,实现咽拭子采样。实验证明,系统使用基于卷积神经网络的扁桃体两步检测模型具有较高的准确性和检测效率,检测结果的AP50和检测平均时间均优于对比算法且能够准确地完成咽拭子采样。     

基于单视图关键点投票的机器人抓取方法

针对传统机器人抓取算法成本高、位姿估计准确率低、在极端场景中鲁棒性差等问题，提出一种基于单视图关键点投票的机器人抓取方法。该方法基于单个RGB图像，采用投票推理2D关键点的方式，再结合3D关键点的位置，利用多组点对映射关系(E-Perspective-n-Point, EPnP),算法计算物体的6D位姿，并将其转换为最优的机器人抓取姿势，实现机器人抓取。实验表明，即使在遮挡、截断、杂乱场景中，也能体现较好的估计结果。所提方法抓取成功率达到了94%,能引导机器人实现准确抓取。