基于深度卷积网络的多目标动态三维抓取位姿检测方法

在非结构化环境机器人抓取任务中,获取稳定可靠目标物体抓取位姿至关重要。本文提出了一种基于深度卷积网络的多目标动态三维抓取位姿检测方法。首先采用Faster R-CNN进行多目标动态检测,并提出稳定检测滤波器,抑制噪声与实时检测时的抖动;然后在提出深度目标适配器的基础上采用GG-CNN模型估算二维抓取位姿;进而融合目标检测结果、二维抓取位姿以及物体深度信息,重建目标物体点云,并计算三维抓取位姿;最后搭建机器人抓取平台,实验统计抓取成功率达到95.6%,验证了所提方法的可行性及有效性,克服了二维抓取位姿固定且单一的缺陷。     

面向物流分拣任务的自主抓取机器人系统

在现代物流仓库中,货物分拣任务是一个自动化难题,需要机器人在复杂的仓库环境中自动分拣出各种目标物体。为此,提出了一种可以快速学习陌生物体,并实现自主抓取功能的机器人系统。首先,我们搭建了物体快速三维重建平台,获得物体模型,并渲染合成物体数据集。然后,我们训练了SSD网络,识别场景中的物体。为了得到物体的精确6D位姿,我们分割出场景中的物体点云,并与物体模型进行点对特征匹配。得到物体位姿后,采用带启发的非均匀采样离线生成PRM随机路图,通过在线搜索实现机械臂运动规划。在物体分拣实验中,物体识别与位姿估计时间小于0.4 s,系统的抓取成功率稳定在95%以上。本篇文章介绍了整套系统的组成,并总结了实验过程中的相关经验。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

基于单视图关键点投票的机器人抓取方法

针对传统机器人抓取算法成本高、位姿估计准确率低、在极端场景中鲁棒性差等问题，提出一种基于单视图关键点投票的机器人抓取方法。该方法基于单个RGB图像，采用投票推理2D关键点的方式，再结合3D关键点的位置，利用多组点对映射关系(E-Perspective-n-Point, EPnP),算法计算物体的6D位姿，并将其转换为最优的机器人抓取姿势，实现机器人抓取。实验表明，即使在遮挡、截断、杂乱场景中，也能体现较好的估计结果。所提方法抓取成功率达到了94%,能引导机器人实现准确抓取。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

动态场景下基于实例分割和三维重建的多物体单目 SLAM

针对大多数SLAM系统在动态环境下相机位姿估计不准确与环境语义信息利用不充分的问题,提出一种基于实例分割的关键帧检测和贝叶斯动态特征概率传播的动态物体检测算法,并对环境中存在的静态物体三维重建,以此构建一个动态环境下的多物体单目SLAM系统。该系统对关键帧输入图像进行实例分割与特征提取,获取潜在运动物体特征点集合与静态物体特征点集合;利用非运动物体特征点集合获取帧间位姿变换,普通帧利用贝叶斯对动静态特征点进行概率传播,利用静态特征点集实现对相机位姿的精准估计;在关键帧中对静态物体进行联合数据关联,数据充足后进行多物体三维重建,构建多物体语义地图,最终实现多物体单目SLAM。本文在TUM与Boon公开数据集上的实验结果表明,在动态场景下,相较于ORB-SLAM2算法,绝对位姿误差的均方根误差平均降低54.1%和58.2%。     

面向机器人抓取的双目视觉系统标定与目标位姿估计算法

在双目视觉抓取系统中,首要任务是解决相机标定以及目标位姿估计问题。针对工业应用场景,文中提出了一种基于灭点一致性约束的相机标定算法,并利用目标的双目图像立体匹配结果,通过改进迭代最近点算法实现目标位姿估计。实验结果表明:该系统能够有效地估计目标位姿,目标位姿估计的平移与角度误差均能满足抓取需求。     

一种面向工业机器人智能抓取的视觉引导技术研究

为实现工业机器人自主识别并抓取指定的目标,提出了一种基于计算机视觉引导的解决方法.该方法利用指定目标的3D数据模型,以及由两台或者多台CCD摄像机从工作场景中不同角度获取到的数字图像,经过目标姿态估算、投影计算并生成投影图像,再利用投影图像与目标真实图像进行比较,实现了目标的识别与位姿获取.实验结果表明该方法可以在较复杂的环境下识别指定目标,并获得目标的姿态信息,从而为工业机器人抓取目标提供引导.     

动态场景下一种鲁棒的立体视觉里程计算法

针对传统视觉里程计算法在动态场景下对相机位姿估计鲁棒性和精确性不高的问题,基于场景流及静态点相对空间距离不变原理,提出一种动态场景下鲁棒的立体视觉里程计算法。该算法首先利用相机初始位姿估计,计算相邻帧之间匹配点对的场景流,进而建立高斯混合模型,并对场景中动、静物体的特征点进行初步分离;然后利用静态点空间相对距离不变的原理和匹配虚拟地图点集的方法进一步分离动、静物体上的特征点;最后,生成由静态特征点对应地图点构成的局部地图,并考虑虚拟地图点集的匹配情况,最小化重投影误差,以得到精确的相机位姿估计。对TUM数据集以及实际场景进行实验,结果表明提出的算法在动态场景下能够鲁棒地估计出高精度的相机位姿。     

基于多尺度特征融合和抓取质量评估的抓取生成方法

在非结构化场景中，物体的6-Ddf抓取是智能服务机器人领域的一项极具挑战性的任务。在该场景中，机器人需要应对不同大小和形状的物体以及环境噪声等因素的干扰，因此难以生成准确的抓取姿态。针对此问题本文提出一种基于多尺度特征融合和抓取质量评估的6-Dof抓取姿态生成方法。首先，提出了自适应半径查询法，解决真实环境中点云采样不均匀导致的关键点查询异常的问题；其次设计了一种将多尺度特征和抓取质量评估融合的抓取生成网络，可以生成丰富的6-Dof抓取域：最后，定义了一种抓取质量评估方法，包含力闭合分数、接触面平整度、棱边分析和质心分数，并将这些标准应用在标准数据集上生成新的抓取置信分数标签，同时将这些标准融人抓取生成网络中。实验结果表明所述的方法与当前较为先进的方法FGC-GraspNet相比平均精度提升了5.9%，单物体抓取成功率提升了5.8%，多物体场景的抓取成功率提升了1.1%。综上所述，本文所提出的方法具备有效性和可行性，在单物体场景和多物体场景中具有较好的适应性。     

基于傅里叶描述子的平面物体表征与抓取规划

针对传统抓取规划方法难以计算复杂轮廓物体、计算量大耗时长的弊端,以及基于深度学习的抓取规划方法物理模型简单、训练集制作耗时长的缺陷,提出了一种基于傅里叶描述子的平面物体表征及抓取规划方法。对物体进行图像采集和轮廓提取,将以散点形式表示的轮廓转化为傅里叶描述子,提取高阶项从而还原物体轮廓,构造了轮廓的参数方程。根据轮廓参数方程和接触点位置,使用不同接触模型构造抓取映射矩阵,采用凸包推进算法计算不同抓取位姿在力 力矩空间上的抓取性能指标。基于抓取性能指标,采用一种改进的粒子群方法进行抓取点规划,在二指夹持器和四指夹持器模型上进行了仿真验证。     

基于双目视觉的目标识别与定位研究

针对机器人在作业时缺乏自主性与智能性的问题,对基于双目视觉的空间目标识别与定位问题进行了研究。搭建了双目立体视觉系统并对其进行了标定,获取了两相机的内外参数、相对位姿及畸变系数。采用基于描述子的模板匹配技术,通过随机树算法对检测到的特征点进行了准确实时地分类识别。对同一场景的两幅图像进行了立体匹配,求取了对应的视差图。结合特征点对应的视差值及标定结果对其进行了三维重建,对多组特征点对在图像及实际场景里对应的2D-3D位置信息进行了迭代,求取了重投影误差最小的解,即目标物体的位姿。研究结果表明:所采用的方法可以用于准确、快速、稳定地实现对目标的识别与定位。     

三维点云特征的工件识别与位姿估计

针对工业机器人在抓取工件过程中需要识别和定位工件的问题,提出了一种基于改进法矢计算的点云局部描述符SHOT的三维物体识别与位姿估计的方法.首先,对三维扫描仪获取工件表面点云进行预处理和分割,得到用于匹配的工件点云模板数据集;其次,采用均匀采样算法提取特征点集,通过SHOT特征描述符对场景点云与模板点云提取的特征点进行点...     

基于单目视觉的移动机械臂抓取作业方法研究

针对移动机械臂自主抓取作业过程中目标识别慢、作业精度低的问题,对基于单目视觉的目标识别与定位算法以及机器人作业精度提高方法展开了研究。以全向移动平台、工业机器人和单目相机等硬件为基础构建了一套移动机械臂抓取作业系统;对单目视觉模板匹配法进行了归纳,采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位;完成了相机内参数标定和机器人手眼位姿标定,分析了手眼位姿与抓取位姿的关系,提出了一种修正手眼位姿的抓取误差补偿方法,减小手眼标定误差对抓取误差的影响,最后进行了移动机械臂的抓取/放置实验。研究结果表明:采用上述方法能够快速准确识别目标,有效减小作业误差,并达到较高的作业精度。     

基于深度学习的多物体抓取检测技术研究

针对非结构化的抓取场景,提出一种并列式架构的卷积神经网络检测模型。该模型使用单物体抓取数据集训练,可以对多物体进行抓取检测。基于机器人操作系统（Robot Operating System,ROS）平台进行抓取仿真试验,验证抓取检测结果的有效性。试验结果表明,该方法针对密集多物体的仿真抓取成功率达到80.8%。     

位置不确定下移动机器人自主抓取方法

往返取物递送移动机器人在入位定点抓取物体时,自身重复定位的不确定性将影响抓取准确性。为此提出一种克服位置不确定性的移动机器人物体抓取新方法。通过机器人体外定点位置深度视觉传感器与机器人手臂系统的关系标定,基于机器人本体激光传感器数据采用迭代最近点算法补偿机器人位置偏差,基于顶抓策略简化描述抓取位姿。通过待抓物识别与定位、确定抓取姿态以及机械臂运动规划等过程,实现了对平整支撑面上形状规则物体的自主抓取。在移动机器人往返取物作业场景下,实验验证了该方法可以显著提升物体抓取的成功率。     

采用辅助学习的物体六自由度位姿估计

为了在严重遮挡以及少纹理等具有挑战性的场景下,准确地估计物体在相机坐标系中的位置和姿态,同时进一步提高网络效率,简化网络结构,本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入,首先,利用双分支点云配准网络,分别得到模型空间和相机空间下的预测点云;接着,对于辅助学习网络,将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块,再进行由粗到细的位姿估计,并将估计结果作为先验用于优化损失计算。最后,在性能评估阶段,舍弃辅助学习分支,仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%;在LineMOD数据集上的平均ADD(-S)结果为99.4%;在LM-O数据集上的平均ADD(-S)结果为71.3%。与现有的其他六自由度位姿估计方法相比,采用辅助学习的方法在模型性能上具有优势,在位姿估计准确率上有较大提升。     

基于3D视觉的水泵生产线零部件无序抓取研究

为了实现对堆叠零部件的识别、无序抓取及零部件装配状态的检测,依托某水泵生产线智能化改造项目,在现水泵生产线的基础上,建立了一套基于3D机器视觉的堆叠零部件无序抓取系统,从而实现了水泵生产自动化。首先,采用全局特征描述子PPF算法提取了零部件特征;在离线训练阶段,对满足条件的可见点进行了两两组合,计算了点对特征,得到了描述物体全局信息的模型;在线匹配阶段,通过使用基于霍夫变换的投票策略,完成了对零部件的识别;然后,再应用RANSAC算法进行了位姿粗估计,并利用ICP算法对位姿结果进行了微调,得到了目标的最优位姿估计;经过标定的转换矩阵确定了零部件在真实世界坐标系下的位置和姿态,以引导机械手对堆叠摆放的零部件进行精准抓取和放置;最后,将待测状态零部件图像与正确装配零部件图像进行了对比,以判断零部件装配状态,利用水泵生产线改造项目实际搭建了无序抓取系统实验,用以对该系统实施效果进行验证。研究结果表明：以水泵泵体为例,最终选定的点对特征数目为730 830,匹配准确率可以达到94.64%,匹配耗时为1.142 4 s;总体抓取平均成功率为92.3%,并且识别耗时、位姿粗估计耗时及位姿精匹配耗时...     

基于图像语义分割的物体位姿估计

为提高机器人在复杂场景中对物体的辨识与定位能力,提出一种基于图像语义分割技术的物体位姿估计方法。将RGBD传感器拍摄的RGB图像放入语义分割网络中,完成对图像的分割与物体分类;将分割出来的目标物体与深度图配准,得到目标物体点云图;将点云图与模型库中的模型运用ICP算法完成对物体的位姿估计。研究结果表明,该方法分割准确率可达82.26%,完成一次位姿估计时间1.35 s。