基于深度学习的机器人最优抓取姿态检测方法

服务型机器人在抓取任务中面临的是非结构化的场景。由于物体放置方式的不固定以及其形状的不规则,难以准确计算出机器人的抓取姿态。针对此问题,提出一种双网络架构的机器人最优抓取姿态检测算法。首先,改进了YOLO V3目标检测模型,提升了模型的检测速度与小目标物体的识别性能;其次,利用卷积神经网络设计了多目标抓取检测网络,生成图像中目标物体的抓取区域。为了计算机器人的最优抓取姿态,建立了IOU区域评估算法,筛选出目标物体的最优抓取区域。实验结果表明,改进后的YOLO V3目标检测精度达到91%,多目标抓取检测精度达到86%,机器人最优抓取姿态检测精度达到90%以上。综上所述,所提方法能够高效、精确地计算出目标物体的最优抓取区域,满足抓取任务的要求。     

基于深度卷积网络的多目标动态三维抓取位姿检测方法

在非结构化环境机器人抓取任务中,获取稳定可靠目标物体抓取位姿至关重要。本文提出了一种基于深度卷积网络的多目标动态三维抓取位姿检测方法。首先采用Faster R-CNN进行多目标动态检测,并提出稳定检测滤波器,抑制噪声与实时检测时的抖动;然后在提出深度目标适配器的基础上采用GG-CNN模型估算二维抓取位姿;进而融合目标检测结果、二维抓取位姿以及物体深度信息,重建目标物体点云,并计算三维抓取位姿;最后搭建机器人抓取平台,实验统计抓取成功率达到95.6%,验证了所提方法的可行性及有效性,克服了二维抓取位姿固定且单一的缺陷。     

基于RGB-D图像的三维物体检测与抓取

提出了一种基于RGB-D图像的三维物体检测与抓取方法。该方法主要实现RGB-D图像的模板匹配,对匹配结果进行聚类、评估和非极大值抑制,物体定位,并在三维点云中分割出平滑曲面,从而计算机器人的抓取位置与姿态。实验结果表明:该方法可在杂乱环境下对目标进行定位,并引导机器人抓取,抓取成功率达到89%。     

视觉机器人的零件识别与抓取方法研究

为了满足视觉机器人能够精准抓取平面零件的需求,提出一种加入深度学习算法的零件识别与定位方法。首先,利用YOLOv4-tiny目标检测算法对目标物体进行识别,并提取出感兴趣区域（Region of Interest,ROI）送入PSPnet语义分割网络中进一步提取ROI。然后,将ROI区域进行亚像素级的模板匹配,并计算目标物体的深度信息。在目标物体中心坐标求解中,以ROI区域的最大内接圆的圆心作为目标物体的中心。最后,利用D-H法对机器人进行运动学解算,并进行抓取试验。实验结果表明：该方法的深度误差率大约为0.72%,视觉机器人抓取零件成功率达到91%,具有较高的定位精度和抓取成功率,可以满足实际工业分拣搬运需求。     

基于单视图关键点投票的机器人抓取方法

针对传统机器人抓取算法成本高、位姿估计准确率低、在极端场景中鲁棒性差等问题，提出一种基于单视图关键点投票的机器人抓取方法。该方法基于单个RGB图像，采用投票推理2D关键点的方式，再结合3D关键点的位置，利用多组点对映射关系(E-Perspective-n-Point, EPnP),算法计算物体的6D位姿，并将其转换为最优的机器人抓取姿势，实现机器人抓取。实验表明，即使在遮挡、截断、杂乱场景中，也能体现较好的估计结果。所提方法抓取成功率达到了94%,能引导机器人实现准确抓取。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于多尺度特征融合和抓取质量评估的抓取生成方法

在非结构化场景中，物体的6-Ddf抓取是智能服务机器人领域的一项极具挑战性的任务。在该场景中，机器人需要应对不同大小和形状的物体以及环境噪声等因素的干扰，因此难以生成准确的抓取姿态。针对此问题本文提出一种基于多尺度特征融合和抓取质量评估的6-Dof抓取姿态生成方法。首先，提出了自适应半径查询法，解决真实环境中点云采样不均匀导致的关键点查询异常的问题；其次设计了一种将多尺度特征和抓取质量评估融合的抓取生成网络，可以生成丰富的6-Dof抓取域：最后，定义了一种抓取质量评估方法，包含力闭合分数、接触面平整度、棱边分析和质心分数，并将这些标准应用在标准数据集上生成新的抓取置信分数标签，同时将这些标准融人抓取生成网络中。实验结果表明所述的方法与当前较为先进的方法FGC-GraspNet相比平均精度提升了5.9%，单物体抓取成功率提升了5.8%，多物体场景的抓取成功率提升了1.1%。综上所述，本文所提出的方法具备有效性和可行性，在单物体场景和多物体场景中具有较好的适应性。     

基于深度学习的协作机械臂目标定位与抓取研究

针对协作机械臂在工业应用场景中目标定位困难、抓取精度不高等问题,提出一种基于ROS (Robot Operating System)和深度学习的协作机械臂目标定位与抓取方法。首先搭建了一种视触觉融合的机械臂智能抓取实验平台,该平台由Kinect v2视觉系统、Moveit控制系统及AUBO i5机械臂执行系统组成;以Kinect v2视觉系统为基础设计了一种改进YOLOv8轻量化模型的目标检测识别定位方法实现目标定位;采用GSConv和VoV-GSCSP网络结构改进特征融合Neck端解决了参数量大、算力要求高的问题;控制系统订阅tf广播的目标物体坐标信息实现抓取任务。实验结果表明,模型改进后的计算量GSConv和VoV-GSCSP减少6.9%,GFLOPs减少7.3 (9.8%),且提高了检测精度;螺丝和螺母两种目标物抓取的成功率分别为99%和97%。     

基于 Keypoint RCNN 改进模型的物体抓取检测算法

机器人抓取在工业中的应用有两个难点:如何准确地检测可抓取物体,以及如何从检测出的多个物体中选择最优抓取目标。本文在Keypoint RCNN模型中引入同方差不确定性学习各损失的权重,并在特征提取器中加入注意力模块,构成了Keypoint RCNN改进模型。基于改进模型提出了两阶段物体抓取检测算法,第一阶段用模型预测物体掩码和关键点,第二阶段用掩码和关键点计算物体的抓取描述和重合度,重合度表示抓取时的碰撞程度,根据重合度可以从多个可抓取物体中选择最优抓取目标。对照实验证明,相较原模型,Keypoint RCNN改进模型在目标检测、实例分割、关键点检测上的性能均有提高,在自建数据集上的平均精度分别为85.15%、79.66%、86.63%,机器人抓取实验证明抓取检测算法能够准确计算物体的抓取描述、选择最优抓取,引导机器人无碰撞地抓取目标。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

手势识别引导机械臂的零件智能装配方法

文中利用手势识别方法,以示教编码的模式完成零件自动抓取的动作,防止装配过程中出现错装、漏装等问题,满足零件柔性装配多样化的需求。首先提出利用SSD模型实现零件抓取位置目标检测方法,根据SSD网络给出当前输入图像的零件种类与位置,缩小零件抓取位置分析范围;然后通过整合空间金字塔池化方法与传统特征提取卷积网络,利用传统的边框检测法,设计了物体角度的抓取参考矩形框方法来代替滑动窗口生成方法,以提高检测速度;最后结合YOLOv3网络进行手势识别,引导机械臂进行零件的智能装配。     

自然光线环境中的空间物体快速识别和定位算法研究

针对智能机械臂在自然光环境的三维空间中对目标物体的自主识别率和定位精度低的问题,提出了一种基于深度学习的视觉和光学雷达融合定位算法,实现自然光线下空间物体的高精度快速定位。首先,采集 RGB 图像和深度数据,利用深度学习算法对图像进行目标识别与实例分割;然后,将实例分割目标物的二维深度矩阵转换成三维空间点云;最后,用综合修正算法对位置修正,实现对目标物体在三维空间的抓取位置精准定位。 通过不同光照强度下的目标物体识别和定位实验验证了该算法的有效性和实用性,获取的目标物体的三维空间坐标较为精确,单位距离的定位误差在 0. 5%以内,受照明亮度影响较小,对机械臂智能抓取的研究具有较为重要的意义。     

基于网络直角坐标机器人视觉伺服系统研究

为了实现定位抓取任务，提出基于网络的直角坐标机器人视觉控制系统。针对机器人运动控制的非线性与强耦合特性，采用神经网络控制器，构建了图像偏差与运动控制量之间的对应关系。通过对图像增强、边缘提取、特征提取等图像处理方法的综合分析，提出了一套优化组合图像处理法。在计算机网络环境下，采用自定义协议实现图像处理器与运动控制器协调控制，并将远程监控应用到机器人控制中。实验结果表明，该系统能够在视野范围内自动实现定位抓取动作。     

一种基于生成对抗网络与模型泛化的 机器人推抓技能学习方法

杂乱环境中机器人推动与抓取技能自主学习问题被学者广泛研究,实现二者之间的协同是提升抓取效率的关键,本文提出一种基于生成对抗网络与模型泛化的深度强化学习算法GARL-DQN。首先,将生成对抗网络嵌入到传统DQN中,训练推动与抓取之间的协同进化;其次,将MDP中部分参数基于目标对象公式化,借鉴事后经验回放机制(HER)提高经验池样本利用率;然后,针对图像状态引入随机(卷积)神经网络来提高算法的泛化能力;最后,设计了12个测试场景,在抓取成功率与平均运动次数指标上与其他4种方法进行对比,在规则物块场景中两个指标分别为91.5%和3.406;在日常工具场景中两个指标分别为85.2%和8.6,验证了GARL-DQN算法在解决机器人推抓协同及模型泛化问题上的有效性。     

FORCE FEEDBACK MODEL OF ELECTRO-HYDRAULIC SERVO TELE-OPERATION ROBOT BASED ON VELOCITY CONTROL

The tele-operation robotic system which consists of an excavator as the construction robot, and two joysticks for operating the robot from a safe place are useful for performing restoration in damaged areas. In order to accomplish a precise task, the operator needs to feel a realistic sense of task force brought about from a feedback force between the fork glove of slave robot and unfamiliar environment. A novel force feedback model is proposed based on velocity control of cylinder to determine environment force acting on fork glove. Namely, the feedback force is formed by the error of displacement of joystick with velocity and driving force of piston, and the gain is calculated by the driving force and threshold of driving force of hydraulic cylinder. Moreover, the variable gain improved algorithm is developed to overcome the defect for grasping soft object. Experimental results for fork glove freedom of robotic system are provided to demonstrate the developed algorithm is available for grasping soft object.     

The position/Orientation determination of a mobile-task robot using an active calibration scheme

A new method of estimating the pose of a mobile-task robot is developed based upon an active calibration scheme. The utility of a mobile-task robot is widely recognized, which is formed by the serial connection of a mobile robot and a task robot. To be an efficient and precise mobile-task robot, the control uncertainties in the mobile robot should be resolved. Unless the mobile robot provides an accurate and stable base, the task robot cannot perform various tasks. For the control of the mobile robot, an absolute position sensor is necessary. However, on account of rolling and slippage of wheels on the ground, there does not exist any reliable position sensor for the mobile robot. This paper proposes an active calibration scheme to estimate the pose of a mobile robot that carries a task robot on the top. The active calibration scheme is to estimate a pose of the mobile robot using the relative position/orientation to a known object whose location, size, and shape are known a priori. For this calibration, a camera is attached on the top of the task robot to capture the images of the objects. These images are used to estimate the pose of the camera itself with respect to the known objects. Through the homogeneous transformation, the absolute position/orientation of the camera is calculated and propagated to get the pose of a mobile robot. Two types of objects are used here as samples of work-pieces : a polygonal and a cylindrical object. With these two samples, the proposed active calibration scheme is verified experimentally.     

一种面向工业机器人智能抓取的视觉引导技术研究

为实现工业机器人自主识别并抓取指定的目标,提出了一种基于计算机视觉引导的解决方法.该方法利用指定目标的3D数据模型,以及由两台或者多台CCD摄像机从工作场景中不同角度获取到的数字图像,经过目标姿态估算、投影计算并生成投影图像,再利用投影图像与目标真实图像进行比较,实现了目标的识别与位姿获取.实验结果表明该方法可以在较复杂的环境下识别指定目标,并获得目标的姿态信息,从而为工业机器人抓取目标提供引导.     

基于视觉引导的工业棒材上料系统研究

为了提高生产效率,设计一种基于视觉引导的工业棒材上料系统。首先,为了实现视觉引导进行工业棒材上料,设计了工业棒材上料总体方案,并对上料机械结构模型进行选型设计。然后,为了实现棒材的自动识别和位姿检测,提出了一种基于改进YOLOv5的旋转目标识别与定位算法。该方法在YOLOv5主干特征网络上,添加高效ECA通道注意力机制模块,利用其避免降维,并通过适当跨通道交互策略提高特征提取能力;为了增强不同尺度的特征信息融合,将原特征增强网络替换成BiFPN加权双向特征金字塔网络,进行自上而下和自下而上的多尺度特征融合,提高棒材识别准确率并获取平面位置信息;在此基础上,采用双目视觉进行立体匹配获取棒材的深度位置信息,最终实现棒材立体位姿检测。对所提上料系统进行实验验证,棒材识别的平均精度为99.4%,抓取棒材成功率达到90%及以上。     

机器人抓取对象硬度触觉感知研究

物体硬度感知对于机器人进行物体灵巧操作具有重要意义。针对物体硬度感知中传感信号复杂、物体压缩量大而导致的系统鲁棒性差以及容易损伤物体的问题,提出了一种基于触觉传感的机器人抓取对象硬度感知方法。该方法使用两指夹持器轻微挤压物体,通过安装在两指指尖的柔性触觉传感器阵列采集压力序列信号。将压力序列信号进行多项式处理得到非线性特征序列,使用基于决策树的Adaboost算法处理非线性特征序列,实现抓取物体在线硬度等级分类。将基于决策树的Adaboost算法和其他各种算法进行比较,并进行实际物体硬度识别实验。实验结果表明所提方法能够准确实时识别不同抓取对象的硬度。