复杂环境下基于推抓协同操作的目标物体抓取

针对现有抓取技术在复杂环境下难以进行有效的目标导向性抓取的问题, 本文提出了一种基于深度强化学习的推动和抓取协同操作的方法. 相对于以往的抓取方法, 本方法使用深度学习来处理Intel-D435i相机所获得的RGB-D图像数据, 同时又在视觉网络中引入了注意力机制, 用来提高系统对工作区域内目标物体的敏感性. 其次,使用深度Q网络来学习UR5机械臂与环境之间的交互过程, 提出了密集奖励策略来评判推动或抓取操作的好坏. 随着训练次数的不断增加, UR5机械臂在训练过程中不断地优化两种操作之间的协同策略, 从而更高效的进行决策.最后, 在V-rep仿真平台上设计了仿真场景, 并进行测试, 平均抓取成功率达到92.5%. 通过与其他几种方法进行对比, 证明该方法可以在复杂环境下较好的完成目标物体的抓取任务.     

面向平面放置物体的姿态调整与抓取方法

针对机械臂抓取过程中物体平面放置时可抓取边大于手爪宽度而无法直接进行抓取的问题，提出了一种通过其他物体协助的姿态调整方法，通过对目标物体的姿态调整以满足机械臂抓取的要求，最后通过抓取姿态的生成和选择实现机械臂对平面放置物体和空间物体的抓取。通过抓取实验表明，所提出的方法可以对平面放置的不可抓取的物体进行姿态调整后再进行抓取，实现对空间物体93%的抓取成功率，对于平面放置轻量物体95%的姿态调整成功率。     

基于强化学习的煤矸石分拣机械臂智能控制算法研究

针对传统煤矸石分拣机械臂控制算法如抓取函数法、基于费拉里法的动态目标抓取算法等依赖于精确的环境模型、且控制过程缺乏自适应性,传统深度确定性策略梯度(DDPG)等智能控制算法存在输出动作过大及稀疏奖励容易被淹没等问题,对传统DDPG算法中的神经网络结构和奖励函数进行了改进,提出了一种适合处理六自由度煤矸石分拣机械臂的基于强化学习的改进DDPG算法。煤矸石进入机械臂工作空间后,改进DDPG算法可根据相应传感器返回的煤矸石位置及机械臂状态进行决策,并向相应运动控制器输出一组关节角状态控制量,根据煤矸石位置及关节角状态控制量控制机械臂运动,使机械臂运动到煤矸石附近,实现煤矸石分拣。仿真实验结果表明:改进DDPG算法相较于传统DDPG算法具有无模型通用性强及在与环境交互中可自适应学习抓取姿态的优势,可率先收敛于探索过程中所遇的最大奖励值,利用改进DDPG算法控制的机械臂所学策略泛化性更好、输出的关节角状态控制量更小、煤矸石分拣效率更高。     

一种基于高斯过程混合模型的机械臂抓取方法

为了避免现有的基于视觉的机械臂抓取方法中存在的标定繁琐和求逆困难的不足,提出一种基于高斯过程混合模型的机械臂抓取方法.在学习阶段,利用高斯过程混合模型直接构建目标物体的位姿到机械臂关节角度的映射.在抓取阶段,通过相机获取目标物体的位姿,分别计算各个高斯分量下该位姿的生成概率,选取后验概率最大的高斯分量对应的高斯过程回归计算相应的机械臂关节角度.定位容差为20 mm时,仿真抓取成功率达到93.3%,实际抓取成功率达到了88.3%,对于精度要求不高的抓取作业,该方法可以实现机械臂的快速部署和使用.     

基于RBF-BP算法的机械臂多自由度分拣控制系统设计

为提升机械臂设备的准确分拣能力,设计基于RBF-BP算法的机械臂多自由度分拣控制系统。利用RBF-BP前馈神经网络,规划机械臂设备的运动轨迹路线,实现基于RBF-BP算法的机械臂运动轨迹建模。确定工业相机在总功能框架中所处连接位置,根据机械臂选型情况,确定可编程逻辑控制器、变频控制器对于所选机械臂元件的调节能力,完成对系统功能模块的开发。借助传输信道,将Sorting分拣指令、ToolControl控制指令反馈回核心控制主机,建立完整的指令执行回路,再联合相关硬件设备结构,实现基于RBF-BP算法的机械臂多自由度分拣控制系统设计。实验结果表明,在抓取能力相同的情况下,应用RBF-BP算法控制系统机械臂成功分拣的工件数量为19件,机械臂抓取成功率为95%,说明所设计系统满足提升机械臂准确分拣能力的设计初衷。     

基于机器视觉的三轴机械臂分拣装置设计

针对当前市场上视觉抓取装置操作复杂、移植难度大的问题,本文介绍了一款基于机器视觉的三轴机械臂分拣装置的设计方案。利用单目相机对运动状态下的物体进行图像数据采集,然后对物体图像数据进行处理,从而确定待检测物体的形状和位置,由运动控制模块控制三轴机械臂实现物体的分拣操作。系统基于.Net Framework平台进行软件开发,本装置的硬件部分基于STM32和FPGA设计运动控制模块、基于STM32设计抓取模块和传动模块、基于EmguCV库设计图像采集模块。该装置可在手动模式和自动模式下进行运动状态物体的准确抓取与分拣放置。最后,本文在装置自动模式下对不同运动速度、不同形状、不同颜色的物体进行分拣测试,平均成功率达到96%。结果表明,文中设计的方案具有可行性和有效性。     

基于机器视觉的多机械臂煤矸石分拣机器人系统研究

现有煤矸石分拣方法主要是根据煤和岩石的纹理特征值,利用图像处理和模式识别技术对煤矸石进行识别分选,分选的煤矸石粒度为25～150mm,而对于150mm以上的煤矸石仍依靠人工进行分选。为了对大粒度煤矸石进行分拣,设计了一种基于机器视觉的多机械臂煤矸石分拣机器人系统。该系统采用机器视觉采集煤矸石信息,应用深度学习方法实现煤矸石识别和抓取特征提取;在获取煤矸石序列信息后,根据煤矸石位置进行排序工作,并通过多目标任务分配策略将抓取任务下达给相应机械臂控制器;机械臂获取任务后,根据获得的任务对目标进行动态监测,当目标进入机械臂工作空间后由视觉伺服系统驱动机械臂完成煤矸石分拣。试验结果表明,该系统可对粒度为50～260mm的煤矸石进行高效、快速分拣,所采用的煤矸石识别方法和分拣策略在不同带速下具有良好的稳定性和准确性,煤矸识别与定位的综合准确率可达93%,验证了该系统的可行性。     

核电厂放射性可燃废物管理办法

核电机组产生的大量放射性固体废物中,大部分为低放射性的可燃物质,为缓解核电废物的暂存压力,提高减容效率,提出一套核电厂放射性可燃废物的焚烧管理办法,其具体流程包括分拣、打包、装箱、放射性活度检测、装车、外表面污染检测、运送、焚烧、焚烧灰处理等步骤。其中最重要的环节是放射性活度检测和焚烧处理。放射性活度检测主要包括对放射性废物的整体包装无损检测和外表面污染检测,检测内容主要包括γ类核素、β类核素和α类核素的比活度检测,以及装车后外表面污染程度。焚烧处理需要控制废料的配比,且要充分燃烧,做好烟气净化,避免环境污染。     

不规则多物品无序分拣机器人研究

针对多种不规则物品混乱摆放的抓取问题，一直是机器人领域研究的热点和难点，对其研究在家庭生活服务机器人等领域有很高的应用价值。为实现这一功能，基于双目相机和协作机械臂搭建一套物品分拣机器人系统。系统中基于YOLOv5算法和PSMNet网络建立起目标检测和双目立体匹配算法，利用ROS系统的MoveIt模块进行机械臂控制。经过实验验证，该机器人能够有效识别、定位和分拣形状不规则、表面纹理丰富、摆放混乱的物品，对经过训练的物品识别成功率达到100%，分拣成功率达到93.3%。     

基于树莓派的机械臂视觉抓取系统设计

针对快递物流企业中,包裹供件智能化的需求,提出了一种基于树莓派的机械臂视觉抓取系统.通过运用相机校准、机械臂手眼标定、图像识别、机械臂控制等方法,实现了物体的准确、快速抓取.该系统在快递物流分拣、人工智能相关专业教学等领域具有一定的应用价值.     

基于多约束条件的机器人抓取策略学习方法

针对机器人在多类别物体不同任务下的抓取决策问题,提出基于多约束条件的抓取策略学习方法.该方法以抓取对象特征和抓取任务属性为机器人抓取策略约束,通过映射人类抓取习惯规划抓取模式,并采用物体方向包围盒(OBB)建立机器人抓取规则,建立多约束条件的抓取模型.利用深度径向基(DRBF)网络模型结合减聚类算法(SCM)实现抓取策略的学习,两种算法的结合旨在提高学习鲁棒性与精确性.搭建以Refiex 1型灵巧手和AUBO六自由度机械臂组成的实验平台,对多类别物体进行抓取实验.实验结果表明,所提出方法使机器人有效学习到对多物体不同任务的最优抓取策略,具有良好的抓取决策能力.     

基于视觉与RFID的机器人自定位抓取算法

为实现机器人灵活的自定位,并使其准确地抓取物体,提出一种基于视觉与无线射频识别(RFID)技术的机器人自定位抓取算法。构建网格化环境,利用RFID技术确定机器人的初始位置、行进路线和方向,使用视觉系统获取物体的空间坐标,将其转换到手臂坐标系,采用改进的D-H模型对手臂进行建模,并给出机械臂逆解抓取算法。实验结果表明,该算法使得机器人定位的成功率达到76.7%,抓取成功率高达90%。     

机器人抓取检测技术的研究现状

作为机器人在工厂、家居等环境中最常用的基础动作,机器人自主抓取有着广泛的应用前景,近十年来研究人员对其给予了较高的关注,然而,在非结构环境下任意物体任意姿态的准确抓取仍然是一项具有挑战性和复杂性的研究.机器人抓取涉及3个主要方面:检测、规划和控制.作为第1步,检测物体并生成抓取位姿是成功抓取的前提,有助于后续抓取路径的规划和整个抓取动作的实现.鉴于此,以检测为主进行文献综述,从分析法和经验法两大方面介绍抓取检测技术,从是否具有抓取物体先验知识的角度出发,将经验法分成已知物体和未知物体的抓取,并详细描述未知物体抓取中每种分类所包含的典型抓取检测方法及其相关特点.最后展望机器人抓取检测技术的发展方向,为相关研究提供一定的参考.     

基于目标检测的机器人手眼标定方法

智能协作机器人依赖视觉系统感知未知环境中的动态工作空间定位目标,实现机械臂对目标对象的自主抓取回收作业。RGB-D相机可采集场景中的彩色图和深度图,获取视野内任意目标三维点云,辅助智能协作机器人感知周围环境。为获取抓取机器人与RGB-D相机坐标系之间的转换关系,提出基于yolov3目标检测神经网络的机器人手眼标定方法。将3D打印球作为标靶球夹持在机械手末端,使用改进的yolov3目标检测神经网络实时定位标定球的球心,计算机械手末端中心在相机坐标系下的3D位置,同时运用奇异值分解方法求解机器人与相机坐标系转换矩阵的最小二乘解。在6自由度UR5机械臂和Intel RealSense D415深度相机上的实验结果表明,该标定方法无需辅助设备,转换后的空间点位置误差在2 mm以内,能较好满足一般视觉伺服智能机器人的抓取作业要求。     

An open-source multi-DOF articulated robotic educational platform for autonomous object manipulation

This research presents an autonomous robotic framework for academic, vocational and training purpose. The platform is centred on a 6 Degree Of Freedom (DOF) serial robotic arm. The kinematic and dynamic models of the robot have been derived to facilitate controller design. An on-board camera to scan the arm workspace permits autonomous applications development. The sensory system consists of position feedback from each joint of the robot and a force sensor mounted at the arm gripper. External devices can be interfaced with the platform through digital and analog I/O ports of the robot controller. To enhance the learning outcome for beginners, higher level commands have been provided. Advanced users can tailor the platform by exploiting the open-source custom-developed hardware and software architectures. The efficacy of the proposed platform has been demonstrated by implementing two experiments; autonomous sorting of objects and controller design. The proposed platform finds its potential to teach technical courses (like Robotics, Control, Electronics, Image-processing and Computer vision) and to implement and validate advanced algorithms for object manipulation and grasping, trajectory generation, path planning, etc. It can also be employed in an industrial environment to test various strategies prior to their execution on actual manipulators.     

Collaborative Pushing and Grasping of Tightly Stacked Objects via Deep Reinforcement Learning

Directly grasping the tightly stacked objects may cause collisions and result in failures, degenerating the functionality of robotic arms. Inspired by the observation that first pushing objects to a state of mutual separation and then grasping them individually can effectively increase the success rate, we devise a novel deep Q-learning framework to achieve collaborative pushing and grasping. Specifically, an efficient non-maximum suppression policy (PolicyNMS) is proposed to dynamically evaluate pushing and grasping actions by enforcing a suppression constraint on unreasonable actions. Moreover, a novel data-driven pushing reward network called PR-Net is designed to effectively assess the degree of separation or aggregation between objects. To benchmark the proposed method, we establish a dataset containing common household items dataset (CHID) in both simulation and real scenarios. Although trained using simulation data only, experiment results validate that our method generalizes well to real scenarios and achieves a 97% grasp success rate at a fast speed for object separation in the real-world environment.      

多模态深度神经网络的固废对象分割

目的 对城市发展过程中产生的建筑固废进行处理,并将之转换为资源和能源,是极佳的保护环境的经济发展模式。然而人工分拣处理存在效率低、污染严重、对人身危害大等问题。目前工业界在探索一种有效的基于机械臂自动抓取的建筑固废自动分拣系统,其中图像分割技术是非常必要的一个环节。但是工业现场的环境因素造成固废对象的颜色严重退化,会影响最终的固废对象分割。本文针对建筑固废图像分割难度大的现状,提出一种基于多模态深度神经网络的方法来解决固废对象分割问题。方法 首先, 在颜色退化严重的场景下,把RGB图像和深度图一起作为深度卷积神经网络的输入,利用深度卷积神经网络进行高维特征学习,通过softmax分类器获得每个像素的标签分配概率。其次,基于新的能量函数建立全连接条件随机场,通过最小化能量函数寻找全局最优解来分割图像,从而为每一类固废对象产生一个独立的分割块。最后,利用局部轮廓信息计算深度梯度,实现同一类别的不同实例的固废对象精确分割。结果 在固废图像测试集上,该方法取得了90.02%均像素精度和89.03%均交并比（MIOU）。此外,与目前一些优秀的语义分割算法相比,也表现出了优越性。结论 本文方法能够对每一个固废对象同时进行有效的分割和分类,为建筑垃圾自动分拣系统提供准确的固废对象轮廓和类别信息,从而方便实现机械臂的自动抓取。     

A HUMANLIKE GRASPING FORCE PLANNER FOR OBJECT MANIPULATION BY ROBOT MANIPULATORS

Recently robot manipulators have been expected to perform sophisticated tasks such as object manipulation, assembly tasks, or cooperative tasks with human workers. In order to realize these tasks with robot manipulators, it is important to understand the human strategy of object grasping and manipulation. In this study, we have examined how a human being decides the grasping force necessary to manipulate an unknown object in order to apply human object-grasping strategy for robotic systems. Experiments have been performed with several kinds of objects under several kinds of conditions to investigate how much grasping force human subjects generate. Adjustment strategy of human grasping force when the object is manipulated or in contact with an environment is also examined. Neural networks (the desired grasping force planner) that generate the humanlike desired grasping force are then designed for robotic systems. The effectiveness of the proposed desired grasping force planner is evaluated via experiments.