基于RGB图像的机械臂目标抓取位姿估计算法

针对抓取过程中目标物体部分被遮挡的问题，设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点，并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练，经过验证，使用合成数据训练的网络也能在真实场景中有效工作。最后，搭建了一个基于机器人操作系统的UR5机械臂抓取平台，将训练好的模型部署到该平台上进行抓取实验，结果表明所提方法能够估计出目标物体的位姿，并在实际场景中抓取位姿未知的物体。     

基于三维模型的单目车辆位姿估计

车辆位姿估计是智慧交通系统的重要组成部分,然而复杂的运动场景以及单目相机存在无法获取深度信息等问题。本文提出了一种结合单目相机及车辆三维模型进行车辆位姿估计的方法。首先对多尺度的车辆目标进行尺度归一化,然后以向量场的形式回归车辆关键点的坐标提升在遮挡或者截断状态下的位姿估计精度。在此过程中提出使用基于距离加权的向量场损失函数和关键点误差最小化的投票方法,进一步提高了位姿估计算法的准确性。此外,本文制作了一个含有丰富标注信息的合成车辆位姿估计数据集,在其上的验证结果表明,本文算法的平均定位误差和角度误差分别为0.162 m和4.692°,在实际场景中有着非常大的应用价值。     

面向机器人抓取的双目视觉系统标定与目标位姿估计算法

在双目视觉抓取系统中,首要任务是解决相机标定以及目标位姿估计问题。针对工业应用场景,文中提出了一种基于灭点一致性约束的相机标定算法,并利用目标的双目图像立体匹配结果,通过改进迭代最近点算法实现目标位姿估计。实验结果表明:该系统能够有效地估计目标位姿,目标位姿估计的平移与角度误差均能满足抓取需求。     

家庭服务机器人手眼协调系统设计

针对目前智能家庭场景下,家居服务机器人对不同物品位姿的识别准确度与操作性差等问题,进行机器人手眼协调识别技术与物品灵巧操作规划方法的研究,提出了视觉前馈目标定位与视觉反馈位姿匹配相结合的识别与多位姿抓取方法。首先,基于SSD深度神经网络模型识别待抓取物品,并进行三维测定,以得到物品粗略坐标位置;其次,根据所得三维坐标预设深度相机与物品的相对位姿,采集物品与障碍物的深度信息,并基于Linemod算法与内置三维模型进行位姿匹配,完成对物品精确位姿的测定;最后,依据所得物品与障碍物的位置与姿态,规范臂手系统的抓取位姿,实现灵巧抓取物品。由以上原理,设计手眼协调测试实验进行不同桌面高度的物品抓取成功率与抓取误差测试,实验抓取总成功率高,且误差满足实际精度要求;该研究有利于提高家居服务机器人物品操作的灵巧性与适应性,对于家居服务机器人产业的发展具有重要意义。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

位置不确定下移动机器人自主抓取方法

往返取物递送移动机器人在入位定点抓取物体时,自身重复定位的不确定性将影响抓取准确性。为此提出一种克服位置不确定性的移动机器人物体抓取新方法。通过机器人体外定点位置深度视觉传感器与机器人手臂系统的关系标定,基于机器人本体激光传感器数据采用迭代最近点算法补偿机器人位置偏差,基于顶抓策略简化描述抓取位姿。通过待抓物识别与定位、确定抓取姿态以及机械臂运动规划等过程,实现了对平整支撑面上形状规则物体的自主抓取。在移动机器人往返取物作业场景下,实验验证了该方法可以显著提升物体抓取的成功率。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于3D视觉的水泵生产线零部件无序抓取研究

为了实现对堆叠零部件的识别、无序抓取及零部件装配状态的检测,依托某水泵生产线智能化改造项目,在现水泵生产线的基础上,建立了一套基于3D机器视觉的堆叠零部件无序抓取系统,从而实现了水泵生产自动化。首先,采用全局特征描述子PPF算法提取了零部件特征;在离线训练阶段,对满足条件的可见点进行了两两组合,计算了点对特征,得到了描述物体全局信息的模型;在线匹配阶段,通过使用基于霍夫变换的投票策略,完成了对零部件的识别;然后,再应用RANSAC算法进行了位姿粗估计,并利用ICP算法对位姿结果进行了微调,得到了目标的最优位姿估计;经过标定的转换矩阵确定了零部件在真实世界坐标系下的位置和姿态,以引导机械手对堆叠摆放的零部件进行精准抓取和放置;最后,将待测状态零部件图像与正确装配零部件图像进行了对比,以判断零部件装配状态,利用水泵生产线改造项目实际搭建了无序抓取系统实验,用以对该系统实施效果进行验证。研究结果表明：以水泵泵体为例,最终选定的点对特征数目为730 830,匹配准确率可以达到94.64%,匹配耗时为1.142 4 s;总体抓取平均成功率为92.3%,并且识别耗时、位姿粗估计耗时及位姿精匹配耗时...     

面向AR辅助维修的3D物体识别技术

3D物体识别与位姿估计是AR辅助维修信息增强的基础,目前的3D物体识别技术在识别准确率、运行实时性和位姿估计准确度上仍然存在不足。以物体识别的实时性和位姿估计的准确性为要求,研究基于纹理点云的局部参考系估计技术和点云全局特征描述符生成与匹配技术,提出融合形状与纹理信息的全局正交对象描述符及其3D物体识别算法,基于蜗轮蜗杆减速器的拆装维修场景进行实例验证。验证结果表明,3D物体识别算法在AR辅助维修场景中具备实际可行性和真实有效性。     

基于单目视觉的移动机械臂抓取作业方法研究

针对移动机械臂自主抓取作业过程中目标识别慢、作业精度低的问题,对基于单目视觉的目标识别与定位算法以及机器人作业精度提高方法展开了研究。以全向移动平台、工业机器人和单目相机等硬件为基础构建了一套移动机械臂抓取作业系统;对单目视觉模板匹配法进行了归纳,采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位;完成了相机内参数标定和机器人手眼位姿标定,分析了手眼位姿与抓取位姿的关系,提出了一种修正手眼位姿的抓取误差补偿方法,减小手眼标定误差对抓取误差的影响,最后进行了移动机械臂的抓取/放置实验。研究结果表明:采用上述方法能够快速准确识别目标,有效减小作业误差,并达到较高的作业精度。     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

一种面向工业机器人智能抓取的视觉引导技术研究

为实现工业机器人自主识别并抓取指定的目标,提出了一种基于计算机视觉引导的解决方法.该方法利用指定目标的3D数据模型,以及由两台或者多台CCD摄像机从工作场景中不同角度获取到的数字图像,经过目标姿态估算、投影计算并生成投影图像,再利用投影图像与目标真实图像进行比较,实现了目标的识别与位姿获取.实验结果表明该方法可以在较复杂的环境下识别指定目标,并获得目标的姿态信息,从而为工业机器人抓取目标提供引导.     

面向物流分拣任务的自主抓取机器人系统

在现代物流仓库中,货物分拣任务是一个自动化难题,需要机器人在复杂的仓库环境中自动分拣出各种目标物体。为此,提出了一种可以快速学习陌生物体,并实现自主抓取功能的机器人系统。首先,我们搭建了物体快速三维重建平台,获得物体模型,并渲染合成物体数据集。然后,我们训练了SSD网络,识别场景中的物体。为了得到物体的精确6D位姿,我们分割出场景中的物体点云,并与物体模型进行点对特征匹配。得到物体位姿后,采用带启发的非均匀采样离线生成PRM随机路图,通过在线搜索实现机械臂运动规划。在物体分拣实验中,物体识别与位姿估计时间小于0.4 s,系统的抓取成功率稳定在95%以上。本篇文章介绍了整套系统的组成,并总结了实验过程中的相关经验。     

不规则金属物料的抓取位姿实时检测方法研究

为解决机器人抓取不规则金属物料时存在的抓取位姿难以准确判断的问题,在图像处理算法的基础上,提出一种基于轮廓和形心特征的抓取位姿判断方法.该方法将金属物料分为两种类型,一种是形心落在轮廓范围以外,另一种是形心落在轮廓范围以内.对于第一种物料,采用直线求交法确定抓取位姿,对于另外一种提出射线求交法确定抓取位姿.两种方法均是...     

基于视觉的料片位姿检测与定位算法研究

为了提高变压器铁芯的叠装效率,设计了基于视觉的料片位姿与定位算法。算法基于视觉系统利用图像识别(图像滤波、分割)得到料片中心位姿,再利用坐标模型得到机械手位姿,最后通过运动控制器控制机器手达到搬运的目的。实验结果表明：检测过的料片中心位姿满足精度要求,可以实现机器人识别、抓取、搬运的功能。     

基于深度卷积网络的多目标动态三维抓取位姿检测方法

在非结构化环境机器人抓取任务中,获取稳定可靠目标物体抓取位姿至关重要。本文提出了一种基于深度卷积网络的多目标动态三维抓取位姿检测方法。首先采用Faster R-CNN进行多目标动态检测,并提出稳定检测滤波器,抑制噪声与实时检测时的抖动;然后在提出深度目标适配器的基础上采用GG-CNN模型估算二维抓取位姿;进而融合目标检测结果、二维抓取位姿以及物体深度信息,重建目标物体点云,并计算三维抓取位姿;最后搭建机器人抓取平台,实验统计抓取成功率达到95.6%,验证了所提方法的可行性及有效性,克服了二维抓取位姿固定且单一的缺陷。     

基于双目视觉的机械手识别、定位、抓取系统研究

针对多类堆叠工件分类和提取三维位姿困难的问题,对随机摆放规则物体的机器识别、三维定位和自动抓取等方面进行了研究,采用一种基于MLP分类器的视觉算法实现了工件识别。利用识别结果选取合适的透视可变形模板匹配将堆叠工件与背景分离,结合双目视觉中的立体匹配、深度计算和坐标变换完成了三维位姿估计,通过Halcon和Visual Studio联合编程的方式,进行了工件识别定位抓取实验系统的软件开发,设计了实验平台,对矩形工件和圆柱体对象进行了位姿提取和抓取实验。实验结果表明:该系统具有较好的分类效果和较高的识别定位精度,可以满足机器人对工件的在线抓取需求。     

智能换电站电池包锁止机构位姿视觉估计

面向电动汽车的电池换电需求，对换电站电池包对接中的锁止机构定位问题，提出了一种基于点云分割的电池包锁止机构6D位姿估计方法。该方法使用YOLOv5网络从场景中分割出锁止机构的点云，并使用体素滤波与移动最小二乘拟合进行点云的滤波与平滑；通过引入点云分割网络预测点云标签，为快速点特征直方图特征加入全局语义特征，弥补快速点特征直方图只有点云局部特征的缺陷，并根据该特征进行随机抽样一致性刚体点云配准，估计锁止机构点云的6D位姿，最后使用迭代最近点方法算法校正位姿估计结果。实验结果表明，基于点云分割的锁止机构6D位姿估计算法精度较高，可以克服环境噪声导致的误匹配，精确获取锁止机构位姿，其位姿估计的角度误差可以达到1.90°，位移误差可以达到1.4 mm,RMSE可以达到1.5 mm，为换电站电池对接定位提供了有效的解决途径。     

融合二维图像和三维点云的相机位姿估计

为了准确地在特定三维真实环境中,通过单目相机获取的RGB图像来估计相机的六自由度位姿,本文结合已知的二维图像及三维点云信息,提出了基于稠密场景回归的多阶段相机位姿估计方法。首先,将深度图像信息与传统运动结构恢复（Structure From Motion,SFM）算法相结合,构建单目相机位姿估计数据集;其次,本文首次将深度图像检索引入2D-3D匹配点的构建当中,通过所提的位姿优化函数对位姿解算加以优化,提出多阶段相机位姿估计方法;最后为提升位姿估计的性能,将ResNet网络结构用于图像的稠密场景坐标回归,使得所提方法的位姿估计精度大幅度提升。实验结果表明：对于给定的位姿误差阈值5 cm/5°,在公开数据集7scenes下的位姿估计准确率均值为82.7%,在自建数据集下的准确率为94.8%。与现有的其他相机位姿估计算法相比,本文所提方法不论在自建数据集还是公开数据集下的位姿估计精度均有提升。     

基于粒子滤波的壁面爬行机器人位姿跟踪研究

为提高壁面爬行机器人的智能化水平,提出一种利用粒子滤波算法进行机器人位姿跟踪的方法。所述方法在机器人身上安装了发声器,将机器人位姿跟踪问题转换为声源跟踪问题处理。设计了一个声阵列传感器,采用可控波束形成定位技术观测机器人位姿,利用里程计描述机器人的位姿变换动态模型,并最终建立了基于贝叶斯估计的粒子滤波位姿跟踪算法。搭建了实验平台进行现场实验,结果表明该方法可行并有实际应用价值。