基于深度卷积网络的多目标动态三维抓取位姿检测方法

在非结构化环境机器人抓取任务中,获取稳定可靠目标物体抓取位姿至关重要。本文提出了一种基于深度卷积网络的多目标动态三维抓取位姿检测方法。首先采用Faster R-CNN进行多目标动态检测,并提出稳定检测滤波器,抑制噪声与实时检测时的抖动;然后在提出深度目标适配器的基础上采用GG-CNN模型估算二维抓取位姿;进而融合目标检测结果、二维抓取位姿以及物体深度信息,重建目标物体点云,并计算三维抓取位姿;最后搭建机器人抓取平台,实验统计抓取成功率达到95.6%,验证了所提方法的可行性及有效性,克服了二维抓取位姿固定且单一的缺陷。     

基于 Keypoint RCNN 改进模型的物体抓取检测算法

机器人抓取在工业中的应用有两个难点:如何准确地检测可抓取物体,以及如何从检测出的多个物体中选择最优抓取目标。本文在Keypoint RCNN模型中引入同方差不确定性学习各损失的权重,并在特征提取器中加入注意力模块,构成了Keypoint RCNN改进模型。基于改进模型提出了两阶段物体抓取检测算法,第一阶段用模型预测物体掩码和关键点,第二阶段用掩码和关键点计算物体的抓取描述和重合度,重合度表示抓取时的碰撞程度,根据重合度可以从多个可抓取物体中选择最优抓取目标。对照实验证明,相较原模型,Keypoint RCNN改进模型在目标检测、实例分割、关键点检测上的性能均有提高,在自建数据集上的平均精度分别为85.15%、79.66%、86.63%,机器人抓取实验证明抓取检测算法能够准确计算物体的抓取描述、选择最优抓取,引导机器人无碰撞地抓取目标。     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

家庭服务机器人手眼协调系统设计

针对目前智能家庭场景下,家居服务机器人对不同物品位姿的识别准确度与操作性差等问题,进行机器人手眼协调识别技术与物品灵巧操作规划方法的研究,提出了视觉前馈目标定位与视觉反馈位姿匹配相结合的识别与多位姿抓取方法。首先,基于SSD深度神经网络模型识别待抓取物品,并进行三维测定,以得到物品粗略坐标位置;其次,根据所得三维坐标预设深度相机与物品的相对位姿,采集物品与障碍物的深度信息,并基于Linemod算法与内置三维模型进行位姿匹配,完成对物品精确位姿的测定;最后,依据所得物品与障碍物的位置与姿态,规范臂手系统的抓取位姿,实现灵巧抓取物品。由以上原理,设计手眼协调测试实验进行不同桌面高度的物品抓取成功率与抓取误差测试,实验抓取总成功率高,且误差满足实际精度要求;该研究有利于提高家居服务机器人物品操作的灵巧性与适应性,对于家居服务机器人产业的发展具有重要意义。     

基于单视图关键点投票的机器人抓取方法

针对传统机器人抓取算法成本高、位姿估计准确率低、在极端场景中鲁棒性差等问题，提出一种基于单视图关键点投票的机器人抓取方法。该方法基于单个RGB图像，采用投票推理2D关键点的方式，再结合3D关键点的位置，利用多组点对映射关系(E-Perspective-n-Point, EPnP),算法计算物体的6D位姿，并将其转换为最优的机器人抓取姿势，实现机器人抓取。实验表明，即使在遮挡、截断、杂乱场景中，也能体现较好的估计结果。所提方法抓取成功率达到了94%,能引导机器人实现准确抓取。     

基于深度学习的机器人最优抓取姿态检测方法

服务型机器人在抓取任务中面临的是非结构化的场景。由于物体放置方式的不固定以及其形状的不规则,难以准确计算出机器人的抓取姿态。针对此问题,提出一种双网络架构的机器人最优抓取姿态检测算法。首先,改进了YOLO V3目标检测模型,提升了模型的检测速度与小目标物体的识别性能;其次,利用卷积神经网络设计了多目标抓取检测网络,生成图像中目标物体的抓取区域。为了计算机器人的最优抓取姿态,建立了IOU区域评估算法,筛选出目标物体的最优抓取区域。实验结果表明,改进后的YOLO V3目标检测精度达到91%,多目标抓取检测精度达到86%,机器人最优抓取姿态检测精度达到90%以上。综上所述,所提方法能够高效、精确地计算出目标物体的最优抓取区域,满足抓取任务的要求。     

位置不确定下移动机器人自主抓取方法

往返取物递送移动机器人在入位定点抓取物体时,自身重复定位的不确定性将影响抓取准确性。为此提出一种克服位置不确定性的移动机器人物体抓取新方法。通过机器人体外定点位置深度视觉传感器与机器人手臂系统的关系标定,基于机器人本体激光传感器数据采用迭代最近点算法补偿机器人位置偏差,基于顶抓策略简化描述抓取位姿。通过待抓物识别与定位、确定抓取姿态以及机械臂运动规划等过程,实现了对平整支撑面上形状规则物体的自主抓取。在移动机器人往返取物作业场景下,实验验证了该方法可以显著提升物体抓取的成功率。     

一种球形移动机器人传感系统设计

文章为了解决球形机器人自主控制的问题,根据球形机器人结构和运动的特殊性,设计了一种球形机器人的传感系统。建立了无滑动条件下球形机器人运动模型,根据运动模型由惯性测量系统和光电码盘数据组合得到机器人位姿。利用激光测距传感器获取周围障碍物信息。通过全局CCD视觉传感器跟踪识别目标物体,使用手眼CCD视觉传感器和超声传感器定位目标物体并协调机械臂实现对操作目标准确快速的抓取、放置。     

基于单目视觉的移动机械臂抓取作业方法研究

针对移动机械臂自主抓取作业过程中目标识别慢、作业精度低的问题,对基于单目视觉的目标识别与定位算法以及机器人作业精度提高方法展开了研究。以全向移动平台、工业机器人和单目相机等硬件为基础构建了一套移动机械臂抓取作业系统;对单目视觉模板匹配法进行了归纳,采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位;完成了相机内参数标定和机器人手眼位姿标定,分析了手眼位姿与抓取位姿的关系,提出了一种修正手眼位姿的抓取误差补偿方法,减小手眼标定误差对抓取误差的影响,最后进行了移动机械臂的抓取/放置实验。研究结果表明:采用上述方法能够快速准确识别目标,有效减小作业误差,并达到较高的作业精度。     

基于双目视觉的机械手识别、定位、抓取系统研究

针对多类堆叠工件分类和提取三维位姿困难的问题,对随机摆放规则物体的机器识别、三维定位和自动抓取等方面进行了研究,采用一种基于MLP分类器的视觉算法实现了工件识别。利用识别结果选取合适的透视可变形模板匹配将堆叠工件与背景分离,结合双目视觉中的立体匹配、深度计算和坐标变换完成了三维位姿估计,通过Halcon和Visual Studio联合编程的方式,进行了工件识别定位抓取实验系统的软件开发,设计了实验平台,对矩形工件和圆柱体对象进行了位姿提取和抓取实验。实验结果表明:该系统具有较好的分类效果和较高的识别定位精度,可以满足机器人对工件的在线抓取需求。     

不规则金属物料的抓取位姿实时检测方法研究

为解决机器人抓取不规则金属物料时存在的抓取位姿难以准确判断的问题,在图像处理算法的基础上,提出一种基于轮廓和形心特征的抓取位姿判断方法.该方法将金属物料分为两种类型,一种是形心落在轮廓范围以外,另一种是形心落在轮廓范围以内.对于第一种物料,采用直线求交法确定抓取位姿,对于另外一种提出射线求交法确定抓取位姿.两种方法均是...     

一种面向工业机器人智能抓取的视觉引导技术研究

为实现工业机器人自主识别并抓取指定的目标,提出了一种基于计算机视觉引导的解决方法.该方法利用指定目标的3D数据模型,以及由两台或者多台CCD摄像机从工作场景中不同角度获取到的数字图像,经过目标姿态估算、投影计算并生成投影图像,再利用投影图像与目标真实图像进行比较,实现了目标的识别与位姿获取.实验结果表明该方法可以在较复杂的环境下识别指定目标,并获得目标的姿态信息,从而为工业机器人抓取目标提供引导.     

基于滑模控制的空间机器人软硬性抓取

采用滑模控制对空间机器人捕获漂浮目标的软硬性抓取进行研究。空间机器人捕获漂浮目标时,由于机械臂与基体的动力学耦合、抓取时的碰撞激振等非线性特性使得抓取控制变得复杂而重要。建立空间机器人及漂浮目标的动力学模型,而后引入末端装置抓取目标时的碰撞模型,并引入动态抓取域用于机械臂抓取目标时的控制,随后应用滑模控制及基体姿态控制,以减小抓取碰撞冲击对系统的冲击干扰。滑模面参数表征了机械臂保持及跟踪状态的抗冲击能力,可通过其灵活改变机械臂刚性以获取不同抓取性态,包括接触式硬抓取及碰撞式软抓取。仿真表明,空间机器人捕获漂浮目标过程中,硬抓取能保持机械臂刚性,且关节变化小,末端抓取为持续接触;而软抓取时,机械臂受冲击而随动耗能,关节变化大,但对目标位置及基体姿态的冲击小,均约为硬抓取的50%。抓取性态的研究对空间机器人的捕获操作有着重要的理论及工程价值。     

近似度加权平均插值的机器人精度补偿方法研究

为实现物流包装的身份和受潮信息双重检测,设计了一种新型的低成本无芯片RFID湿度传感器,使用电耦合LC谐振器(ELC谐振器)作为湿度传感器监测目标环境相对湿度、U型环谐振器作为无芯片编码结构识别目标身份。通过射频仿真软件HFSS研究谐振器结构参数与谐振频率的关系,获得相应拟合公式,为结构参数设计提供理论依据,并在此基础上设计了8位编码结构;系统研究不同质量分数的聚乙烯醇(PVA)溶液对湿度传感器感湿灵敏度和感湿范围的影响,研制出8位无芯片RFID湿度传感器。根据散射参量提取法获得了U型环谐振器的有效电磁参数,表明其具有超材料属性。所研究的湿度传感器具有感湿灵敏度高、编码容量大、结构简单等优点,有望在智能包装领域得到应用。     

基于 Stereo RCNN 的锚引导 3D 目标检测算法

针对当前基于锚的双目 3D 目标检测算法存在的锚点数量选取较多,从而影响在线计算速度的问题,提出了一种基于 Stereo RCNN 的锚引导 3D 目标检测算法 FGAS RCNN。 在第 1 阶段中,输入左右图像分别生成相应的概率图以生成稀疏锚点及 稀疏锚框,再通过将左右锚作为一个整体生成 2D 预选框。 第 2 阶段的关键点生成网络利用稀疏锚点信息生成关键点热图,并 结合立体回归器融合生成 3D 预选框。 针对原始图像在卷积后会出现像素级信息丢失的问题,通过 Mask Branch 生成的实例分 割掩模结合实例级视差估计进行像素级优化。 实验表明,在没有任何深度和位置先验信息输入的情况下,此方法依旧可以在减 少计算量的同时保持较高的召回率。 具体来说,此方法在以 0. 7 为阈值的 3D 目标检测上平均精度为 44. 07% 。 相比于 Stereo RCNN,本文方法在平均精度上提高了 4. 5% 。 与此同时,此方法的整体运行时间较 Stereo RCNN 缩短了 0. 09 s。     

FORCE FEEDBACK MODEL OF ELECTRO-HYDRAULIC SERVO TELE-OPERATION ROBOT BASED ON VELOCITY CONTROL

The tele-operation robotic system which consists of an excavator as the construction robot, and two joysticks for operating the robot from a safe place are useful for performing restoration in damaged areas. In order to accomplish a precise task, the operator needs to feel a realistic sense of task force brought about from a feedback force between the fork glove of slave robot and unfamiliar environment. A novel force feedback model is proposed based on velocity control of cylinder to determine environment force acting on fork glove. Namely, the feedback force is formed by the error of displacement of joystick with velocity and driving force of piston, and the gain is calculated by the driving force and threshold of driving force of hydraulic cylinder. Moreover, the variable gain improved algorithm is developed to overcome the defect for grasping soft object. Experimental results for fork glove freedom of robotic system are provided to demonstrate the developed algorithm is available for grasping soft object.     

利用超体素中心点连线可见性的图像分割算法

当图像中存在阴影、低对比度边缘和模糊区域时,传统算法利用纹理、颜色等信息难以准确分割物体。以点云图为研究对象,依据盒状、柱状物体在三维空间中的几何形状,提出一种基于超体素中心点连线可见性的图像物体分割算法。该算法首先对点云图进行过分割,得到具有相邻关系的超体素,接着依据其中心点法向量平行准则以及中心点连线可见性准则共同判断相邻超体素是否融合,然后过滤噪声,并利用遮挡关系进一步考察同一物体平面超体素的融合情况。实验结果表明:在OSD-v0.2公开数据集上,文章提出的算法误识别率为6.9%,漏识别率为4.6%,比单一结合法向量的凹凸性判断方法更好,整体误差更小。利用本算法对物体进行分割,更容易计算物体的抓取位姿,有助于机器人执行抓取任务。     

融合深度学习与粒子滤波的移动机器人重定位方法

为有效解决移动机器人重定位问题,提出一种融合深度学习和粒子滤波的机器人重定位方法。首先,提出了3自由度移动机器人重定位方法架构,主要包含重定位模型构建和机器人在线重定位两个递进阶段;其次,在PoseNet基础上提出并构建了针对3自由度移动机器人的重定位网络模型G_PoseNet,并将由G_PoseNet预测的位姿结果作为粒子滤波定位算法的初始化状态,支撑后续重定位过程;然后,提出了一种基于数据模型的机器人绑架状态判定方法,以确定是否启动重定位过程;最后,在公开数据集上与实际环境中做了大量实验验证了此方法,结果表明:G_PoseNet模型能够保证一定的位置预测精度并提升了姿态角预测精度,机器人重定位成功率达到87%。