基于RGB图像的机械臂目标抓取位姿估计算法

针对抓取过程中目标物体部分被遮挡的问题，设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点，并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练，经过验证，使用合成数据训练的网络也能在真实场景中有效工作。最后，搭建了一个基于机器人操作系统的UR5机械臂抓取平台，将训练好的模型部署到该平台上进行抓取实验，结果表明所提方法能够估计出目标物体的位姿，并在实际场景中抓取位姿未知的物体。     

面向物流分拣任务的自主抓取机器人系统

在现代物流仓库中,货物分拣任务是一个自动化难题,需要机器人在复杂的仓库环境中自动分拣出各种目标物体。为此,提出了一种可以快速学习陌生物体,并实现自主抓取功能的机器人系统。首先,我们搭建了物体快速三维重建平台,获得物体模型,并渲染合成物体数据集。然后,我们训练了SSD网络,识别场景中的物体。为了得到物体的精确6D位姿,我们分割出场景中的物体点云,并与物体模型进行点对特征匹配。得到物体位姿后,采用带启发的非均匀采样离线生成PRM随机路图,通过在线搜索实现机械臂运动规划。在物体分拣实验中,物体识别与位姿估计时间小于0.4 s,系统的抓取成功率稳定在95%以上。本篇文章介绍了整套系统的组成,并总结了实验过程中的相关经验。     

基于深度卷积网络的多目标动态三维抓取位姿检测方法

在非结构化环境机器人抓取任务中,获取稳定可靠目标物体抓取位姿至关重要。本文提出了一种基于深度卷积网络的多目标动态三维抓取位姿检测方法。首先采用Faster R-CNN进行多目标动态检测,并提出稳定检测滤波器,抑制噪声与实时检测时的抖动;然后在提出深度目标适配器的基础上采用GG-CNN模型估算二维抓取位姿;进而融合目标检测结果、二维抓取位姿以及物体深度信息,重建目标物体点云,并计算三维抓取位姿;最后搭建机器人抓取平台,实验统计抓取成功率达到95.6%,验证了所提方法的可行性及有效性,克服了二维抓取位姿固定且单一的缺陷。     

基于单目视觉的工业机器人智能抓取系统设计

针对工业机器人如何能在多目标工况下快速自主识别和抓取指定目标工件的问题,将单目视觉引导技术应用到工业机器人智能抓取系统设计中。利用图像进行了模式识别,对检测定位进行了研究,建立了视觉图像与工件定位抓取之间的关系,提出了基于轮廓Hu不变矩快速模板匹配算法的单目视觉抓取系统。首先将摄像机获取的图像进行了预处理,然后利用轮廓Hu不变矩模板匹配算法进行了目标工件的识别,利用轮廓矩和二阶惯性矩最小原理对识别出的目标工件进行了位姿求取,最后通过建立SOCKET通信将求取的位姿发送给了机械臂控制系统引导机械臂的抓取。基于VS软件开发平台和ABB机械手,对智能抓取系统进行了搭建并试验。研究结果表明:该基于单目视觉搭建的工业机器人智能抓取系统成本低、定位精度高,可满足工业自动化生产的需求。     

位置不确定下移动机器人自主抓取方法

往返取物递送移动机器人在入位定点抓取物体时,自身重复定位的不确定性将影响抓取准确性。为此提出一种克服位置不确定性的移动机器人物体抓取新方法。通过机器人体外定点位置深度视觉传感器与机器人手臂系统的关系标定,基于机器人本体激光传感器数据采用迭代最近点算法补偿机器人位置偏差,基于顶抓策略简化描述抓取位姿。通过待抓物识别与定位、确定抓取姿态以及机械臂运动规划等过程,实现了对平整支撑面上形状规则物体的自主抓取。在移动机器人往返取物作业场景下,实验验证了该方法可以显著提升物体抓取的成功率。     

基于单目视觉的移动机械臂抓取作业方法研究

针对移动机械臂自主抓取作业过程中目标识别慢、作业精度低的问题,对基于单目视觉的目标识别与定位算法以及机器人作业精度提高方法展开了研究。以全向移动平台、工业机器人和单目相机等硬件为基础构建了一套移动机械臂抓取作业系统;对单目视觉模板匹配法进行了归纳,采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位;完成了相机内参数标定和机器人手眼位姿标定,分析了手眼位姿与抓取位姿的关系,提出了一种修正手眼位姿的抓取误差补偿方法,减小手眼标定误差对抓取误差的影响,最后进行了移动机械臂的抓取/放置实验。研究结果表明:采用上述方法能够快速准确识别目标,有效减小作业误差,并达到较高的作业精度。     

基于局部视觉的特定工件移动机械臂动态抓取方法

机械臂操作动态工件在分拣、上下料等作业场合有着广泛的需求。针对特定型号工件的移动机械臂动态抓取问题，提出一种基于特定工件ID编号识别和机械臂抓取位姿预测的运动工件鲁棒抓取方法。该方法选取AprilTag视觉标签来标记工件，通过图像采集、自适应阈值处理、连续边界分割、四边形拟合、快速解码等数据处理过程，获取局部视野下运动工件的ID、位置和姿态，实现工件的初次定位。结合移动机械臂的运动规划工艺策略，对特定型号目标工件的抓取位姿进行计算，实现抓取时刻的工件位姿预测。搭建了动态抓取实验平台进行了视觉标签ID识别、工件定位、动态目标抓取实验。结果表明，所提出的移动机械臂动态抓取方法，可以准确识别特定型号工件，并能够对不同运动速度的特定工件进行鲁棒抓取，抓取成功率平均值约为98%。该方法在智能产线的移动机械臂上下料等场景有着广泛的应用价值。     

带双目视觉的SCARA机械臂运动学分析及轨迹规划

为了解决SCARA机械臂因目标位姿变化而引起抓取任务失败问题,给出了一种基于机器视觉目标检测与定位的机械臂控制方法。通过双目相机成像模型实现坐标系之间的转换,利用计算机视觉识别及三维匹配方法,达到对目标物体定位的目的,从而确定机械臂末端执行器的期望位置。结合使用D-H参数法建立机械臂的运动学模型,通过运动学方程的逆解,得到末端执行器到达期望位置时机械臂各驱动关节的变量参数,然后对其进行轨迹规划仿真,得到了连续且平滑的各关节位移、速度、加速度变化规律曲线,同时使用SCARA机械臂进行装配实验。实验结果表明该系统能够准确、稳定地把物体放到目标位置,完成装配任务,从而为开发机械臂运动控制系统提供重要的参考。     

基于深度学习的协作机械臂目标定位与抓取研究

针对协作机械臂在工业应用场景中目标定位困难、抓取精度不高等问题,提出一种基于ROS (Robot Operating System)和深度学习的协作机械臂目标定位与抓取方法。首先搭建了一种视触觉融合的机械臂智能抓取实验平台,该平台由Kinect v2视觉系统、Moveit控制系统及AUBO i5机械臂执行系统组成;以Kinect v2视觉系统为基础设计了一种改进YOLOv8轻量化模型的目标检测识别定位方法实现目标定位;采用GSConv和VoV-GSCSP网络结构改进特征融合Neck端解决了参数量大、算力要求高的问题;控制系统订阅tf广播的目标物体坐标信息实现抓取任务。实验结果表明,模型改进后的计算量GSConv和VoV-GSCSP减少6.9%,GFLOPs减少7.3 (9.8%),且提高了检测精度;螺丝和螺母两种目标物抓取的成功率分别为99%和97%。     

家庭服务机器人手眼协调系统设计

针对目前智能家庭场景下,家居服务机器人对不同物品位姿的识别准确度与操作性差等问题,进行机器人手眼协调识别技术与物品灵巧操作规划方法的研究,提出了视觉前馈目标定位与视觉反馈位姿匹配相结合的识别与多位姿抓取方法。首先,基于SSD深度神经网络模型识别待抓取物品,并进行三维测定,以得到物品粗略坐标位置;其次,根据所得三维坐标预设深度相机与物品的相对位姿,采集物品与障碍物的深度信息,并基于Linemod算法与内置三维模型进行位姿匹配,完成对物品精确位姿的测定;最后,依据所得物品与障碍物的位置与姿态,规范臂手系统的抓取位姿,实现灵巧抓取物品。由以上原理,设计手眼协调测试实验进行不同桌面高度的物品抓取成功率与抓取误差测试,实验抓取总成功率高,且误差满足实际精度要求;该研究有利于提高家居服务机器人物品操作的灵巧性与适应性,对于家居服务机器人产业的发展具有重要意义。     

动态场景下基于实例分割和三维重建的多物体单目 SLAM

针对大多数SLAM系统在动态环境下相机位姿估计不准确与环境语义信息利用不充分的问题,提出一种基于实例分割的关键帧检测和贝叶斯动态特征概率传播的动态物体检测算法,并对环境中存在的静态物体三维重建,以此构建一个动态环境下的多物体单目SLAM系统。该系统对关键帧输入图像进行实例分割与特征提取,获取潜在运动物体特征点集合与静态物体特征点集合;利用非运动物体特征点集合获取帧间位姿变换,普通帧利用贝叶斯对动静态特征点进行概率传播,利用静态特征点集实现对相机位姿的精准估计;在关键帧中对静态物体进行联合数据关联,数据充足后进行多物体三维重建,构建多物体语义地图,最终实现多物体单目SLAM。本文在TUM与Boon公开数据集上的实验结果表明,在动态场景下,相较于ORB-SLAM2算法,绝对位姿误差的均方根误差平均降低54.1%和58.2%。     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

柔性关节机械臂避障路径自动控制数学建模

针对柔性关节机械臂在避障完成后位姿与目标位姿存在一定偏差的问题,提出柔性关节机械臂避障路径自动控制数学建模方法。将五次B样条曲线作为柔性关节机械臂避障路径规划的基础,在避障任务中引入速度修正项,通过关节角和关键点避障速度确定速度修正项取值。建立避障路径自动控制数学模型,利用该模型控制柔性关节机械臂在到达目标位置过程中实现障碍物精准规避,完成柔性关节机械臂避障路径自动控制。实验结果表明,所提方法能够减小位姿误差,平稳关节波动,实际应用效果较好。     

双目视觉伺服的4-DOF机械手臂运动控制

为了解决多自由度机械手臂由于目标放置偏离而引起的抓取任务失败问题,给出了一种基于双目立体视觉的目标识别与定位控制方法。以抓取矩形轮廓的目标物体放置于矩形目标位置为控制任务,基于双目视觉目标图像信息,分析了目标特征参数提取、识别、匹配以及目标空间位姿测量的方法。结合四自由度(4-DOF)机械手臂硬件控制系统,运用改进D-H参数法建立了机械手臂正运动学模型,并通过逆运动学方法将目标位姿转化为机械手臂的控制指令,实现对目标抓取和放置的运动控制。实验结果表明,该视觉伺服的机械手臂运动控制系统能够准确、稳定地实现抓取和放置任务,定位精度高,对工业机器人在分拣、装配中的运动控制研究和应用有重要的参考价值。     

基于深度学习的目标识别与抓取研究

针对机械臂抓取在工业生产中的复杂作业环境、不同零件之间存在干扰的问题,文章提出了一种基于深度学习的目标识别及抓取方法,以此来减少抓取场景中物体位置的不确定性,提高检测和抓取成功率。采用卷积注意力机制模块（convolutional block attention module,CBAM）对YOLO-V5进行改进,加强卷积网络对图像特征的关注和提取能力,提高检测精度。改进之后的网络平均识别率提高了5.26%,证明了改进是有效且成功的。通过AUBO-i5机械臂、电动夹爪、相机以及六轴力传感器等设备搭建了一套机械臂抓取系统,实验结果表明所提出的方法在实际抓取中可以适应不同的抓取场景,减少外界干扰,提高抓取成功率,具有良好的应用前景。     

面向机器人抓取的双目视觉系统标定与目标位姿估计算法

在双目视觉抓取系统中,首要任务是解决相机标定以及目标位姿估计问题。针对工业应用场景,文中提出了一种基于灭点一致性约束的相机标定算法,并利用目标的双目图像立体匹配结果,通过改进迭代最近点算法实现目标位姿估计。实验结果表明:该系统能够有效地估计目标位姿,目标位姿估计的平移与角度误差均能满足抓取需求。     

基于机械臂灵巧手智能数据采集系统的设计与分析

在非结构环境中机器人对不同形状、重量物体的有效抓取效率低。针对这一现状,自主设计了一套基于机械臂灵巧手的智能数据采集系统平台,该平台由Kinect2.0摄像机、BH8-282三指灵巧手、UR5六自由度机械臂等设备组成,通过对目标物体的自动识别和定位,自主运动规划路线完成对目标物体的抓取动作,并得到抓取目标物的视觉和触觉信息。实验表明,该平台可以在无人监督的情况下,完成对目标物体的有效抓取,并实现对视觉和触觉数据的完全自动化采集。实验过程中对3 589组抓取目标物数据分析,未抓住目标物的比例为15.41%,抓稳的比例为42.91%,未抓稳的比例为41.86%,总体实验效果较好。     

一种球形移动机器人传感系统设计

文章为了解决球形机器人自主控制的问题,根据球形机器人结构和运动的特殊性,设计了一种球形机器人的传感系统。建立了无滑动条件下球形机器人运动模型,根据运动模型由惯性测量系统和光电码盘数据组合得到机器人位姿。利用激光测距传感器获取周围障碍物信息。通过全局CCD视觉传感器跟踪识别目标物体,使用手眼CCD视觉传感器和超声传感器定位目标物体并协调机械臂实现对操作目标准确快速的抓取、放置。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于单视图关键点投票的机器人抓取方法

针对传统机器人抓取算法成本高、位姿估计准确率低、在极端场景中鲁棒性差等问题，提出一种基于单视图关键点投票的机器人抓取方法。该方法基于单个RGB图像，采用投票推理2D关键点的方式，再结合3D关键点的位置，利用多组点对映射关系(E-Perspective-n-Point, EPnP),算法计算物体的6D位姿，并将其转换为最优的机器人抓取姿势，实现机器人抓取。实验表明，即使在遮挡、截断、杂乱场景中，也能体现较好的估计结果。所提方法抓取成功率达到了94%,能引导机器人实现准确抓取。