虚拟手自然抓取动作生成研究

在虚拟抓取规划中,生成稳定的抓取姿态非常重要,但是只考虑稳定性往往会导致抓取姿态不符合自然的人手抓取习惯.为了生成既满足物理约束又符合人手抓取习惯的自然抓取姿态,提出一种基于抓取分类理论的虚拟手自然抓取规划算法.首先根据人类抓取分类理论,基于人类行为构建物体形状与人手抓取姿态之间的映射关系,然后在动作规划中加入人手抓取姿态的引导,最终在虚拟手的位姿空间中找到一组自然的抓取姿态.对于复杂的多部件物体,先将其分割成可抓的部件,再对可抓部件进行自然抓取动作的生成.实验中展示了以人类抓取分类理论中的5种人手抓取姿态为指导,对常见的三维物体生成自然抓取姿态的结果,经用户评估,所提算法生成的抓取动作相比其他算法更符合人手抓取习惯.     

基于区域姿态解算的五指机械手抓取系统设计与实现

针对五指机械手抓取成功率低和抓取任务相对简单的问题，基于区域姿态解算方法设计并实现了一种满足不同复杂任务的五指抓取系统。首先，设计了一种气动五指软爪，该软爪使用多种不同刚度的材料制成，由1根主气管和5根支气管驱动，控制复杂度较低，机械性能和抓取性能良好，适用不同的抓取策略。进一步结合软爪的特点提出了基于区域姿态解算的抓取策略。通过预测人手抓取物体时在物体上的接触区域，求解接触区域与软爪指尖在空间上的姿态解，计算软爪的抓取姿态和关节弯曲角度，该策略能够生成高鲁棒性的抓取姿态。然后，设计了包含大量物体的接触数据集。对数据集中的物体标注人手在抓取操作中指尖的接触区域，并尽可能地去除场景信息，提高了数据集的通用性，可用作基准数据集测试算法性能。最后，设计了一系列实验来验证软爪和抓取策略在复杂场景下的抓取性能，实验结果表明了所设计的五指软爪抓取系统在复杂场景下的有效性和可靠性。     

基于级联卷积神经网络的机器人平面抓取位姿快速检测

针对任意姿态的未知不规则物体,提出一种基于级联卷积神经网络的机器人平面抓取位姿快速检测方法．建立了一种位置-姿态由粗到细的级联式两阶段卷积神经网络模型,利用迁移学习机制在小规模数据集上训练模型,以R-FCN（基于区域的全卷积网络）模型为基础提取抓取位置候选框进行筛选及角度粗估计,并针对以往方法在姿态检测上的精度不足,提出一种Angle-Net模型来精细估计抓取角度．在Cornell数据集上的测试及机器人在线抓取实验结果表明,该方法能够对任意姿态、不同形状的不规则物体快速计算最优抓取点及姿态,其识别准确性和快速性相比以往方法有所提高,鲁棒性和稳定性强,且能够泛化适应未训练过的新物体．     

三维立体视觉机械臂智能抓取分类系统的开发

采用工业相机、工业投影机、普通摄像头、计算机和机械臂开发了一套具有三维立体视觉的机械臂智能抓取分类系统。该系统采用自编软件实现了对工业相机、工业投影机的自动控制和同步，通过前期研究提出的双波长条纹投影三维形貌测量法获取了物体的高度信息，结合opencv技术和普通摄像头获取的物体二维平行面信息，实现了物体的自动识别和分类；利用串口通信协议，将上述处理后的数据传送至机械臂，系统进行几何姿态解算，实现了智能抓取，并能根据抓手上压力反馈自动调节抓手张合程度，实现自适应抓取。经实验证明该系统能通过自带的快速三维形貌获取装置实现准确、快速的抓取工作范围内的任意形状的物体并实现智能分类。     

面向平面放置物体的姿态调整与抓取方法

针对机械臂抓取过程中物体平面放置时可抓取边大于手爪宽度而无法直接进行抓取的问题，提出了一种通过其他物体协助的姿态调整方法，通过对目标物体的姿态调整以满足机械臂抓取的要求，最后通过抓取姿态的生成和选择实现机械臂对平面放置物体和空间物体的抓取。通过抓取实验表明，所提出的方法可以对平面放置的不可抓取的物体进行姿态调整后再进行抓取，实现对空间物体93%的抓取成功率，对于平面放置轻量物体95%的姿态调整成功率。     

基于深度学习的三维目标检测算法综述

随着自动驾驶行业的快速发展,基于深度学习的三维目标检测技术也得到了快速发展,目前自动驾驶汽车主要依赖图像与激光雷达点云进行环境感知。基于这两种数据的三维目标检测技术可提取出物体的空间结构信息,包括物体的姿态、尺寸、运动方向、形状等,因此该技术不仅可用于自动驾驶的感知,还可用于工业机器人对物体的识别与抓取,以及仓储机器人的视觉导航等。近年来,计算能力的提升、数据集的公开、深度学习的发展,为三维目标检测算法带来了巨大的变革。     

基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

机器人抓取检测技术的研究现状

作为机器人在工厂、家居等环境中最常用的基础动作,机器人自主抓取有着广泛的应用前景,近十年来研究人员对其给予了较高的关注,然而,在非结构环境下任意物体任意姿态的准确抓取仍然是一项具有挑战性和复杂性的研究.机器人抓取涉及3个主要方面:检测、规划和控制.作为第1步,检测物体并生成抓取位姿是成功抓取的前提,有助于后续抓取路径的规划和整个抓取动作的实现.鉴于此,以检测为主进行文献综述,从分析法和经验法两大方面介绍抓取检测技术,从是否具有抓取物体先验知识的角度出发,将经验法分成已知物体和未知物体的抓取,并详细描述未知物体抓取中每种分类所包含的典型抓取检测方法及其相关特点.最后展望机器人抓取检测技术的发展方向,为相关研究提供一定的参考.     

基于视觉感知和触觉先验知识学习的机器人稳定抓取

针对机器人抓取过程中需要实时评估抓取质量以动态调整抓取构型的问题,提出了基于触觉先验知识的机器人稳定抓取方法.首先,根据抓取过程中物体抵抗外界扰动的能力,提出了一种基于触觉信息的抓取质量评估方法.在此基础上,建立了视触觉联合数据集并学习触觉先验知识.其次,提出了融合视觉图像和触觉先验知识的稳定抓取构型生成方法.最后,在搭建的机器人抓取系统中对10种目标物体进行了实验验证.结果表明,相比传统的视觉方法,该方法的抓取稳定性提高了55％;针对已知物体和未知物体,稳定抓取成功率分别为86％和79％,体现了较好的泛化效果.     

面向任务的三指手机器人抓取规划研究

本文给出了一种面向任务的三指手爪抓取规划的思路及研究方法，首先根据人手抓取姿态的分类，总结出典型的机器人抓取姿态，并以三指手爪来完成抓取，然后综合考虑任务要求、对象物体的几何物理特性及环境信息，经任务分析，推理出抓取姿态，并通过寻找特征平衡，确定出抓取平面，再在抓取现上进一步规划出３个抓取点，最终完成抓取规划过程。     

适应物体形状的虚拟手抓取

目的 虚拟手抓取是虚拟交互中的核心技术之一,直接影响沉浸感。已有的虚拟手抓取规则基于接触点法矢夹角和接触点与体心连线的夹角,但在部分形状上不能正确抓取。为此提出一种适应物体形状的抓取规则。方法 针对长方体、球、圆柱这些构成物体的基本几何体,利用形状特征和手指抓握的接触关系制定抓取规则：1）长方体的规则是至少有3个不共线的接触点,并且一对接触点法矢夹角超过90°;2）球的规则要对接触点和球心的空间关系进行计算;3）圆柱的规则根据接触点是否在曲面上,使用长方体规则,或是仿照球的规则判断。对于需要使用多个几何体描述外形的复杂物体,先按照这3种基本几何体分解、单独计算,然后筛选出其中不稳定状态的几何体,把整体的接触点位置、法矢信息集中在这些不稳定状态几何体上,用单一几何体的抓取规则计算整体的抓取。同时加入力矩平衡可能性的计算,抓取规则和力矩平衡二者都满足才判定抓取成功,进一步减少了错误判断的发生。结果 使用unity3d构建虚拟场景,并用neuron的数据手套采集人体、手指数据,进行虚拟交互的仿真。该方法可以正确处理类似水杯这样的多几何体组合物体的抓取判断。结论 本文提出了基于物体形状的抓取规则,和用简单基本形状分解复杂物体的计算方法,准确计算抓取,符合直观感受。     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。     

基于多层级特征的机械臂单阶段抓取位姿检测

针对机械臂对尺寸变换、形状各异、任意位姿的未知物体抓取,提出一种基于多层级特征的单阶段抓取位姿检测算法,将物体抓取位姿检测问题视为抓取角度分类和抓取位置回归进行处理,对抓取角度和抓取位置执行单次预测.首先,利用深度数据替换RGB图像的B通道,生成RGD图像,采用轻量型特征提取器VGG16作为主干网络;其次,针对VGG16特征提取能力较弱的问题,利用Inception模块设计一种特征提取能力更强的网络模型;再次,在不同层级的特征图上,利用先验框的方法进行抓取位置采样,通过浅层特征与深层特征的混合使用提高模型对尺寸多变的物体的适应能力;最后,输出置信度最高的检测结果作为最优抓取位姿.在image-wise数据集和object-wise数据集上,所提出算法的评估结果分别为$95.71$%和$94.01$%,检测速度为58.8FPS,与现有方法相比,在精度和速度上均有明显的提升.     

基于非结构基本组成分析的自主抓取方法

针对现实生活中的非结构化抓取环境,提出一种基于非规则物体基本形体组成的自主抓取方法.机器人自主抓取的关键不仅仅在于对物体类型的识别,更大一部分在于对物体形状(例如形状基元的组成)判断后的良好抓取.将不规则的复杂物体简化为一些简单物体的组合,利用基于特征点和核心提取的网格分割(MFC)算法将被抓取物体3D数据点分割为主体和分支部分,依据最优拟合算法将各部分拟合为球体、椭球体、圆柱体、平行六面体中的一种,并依据简化结果对抓取位姿进行约束,再对简化后物体进行抓取训练,获取最优抓取框,从而实现对未知物体的自主抓取.本文方法最终在Baxter机器人上实现了93.3%的抓取准确率.实验结果表明,该方法可应用于不同形状、不同位姿的未知非规则物体,鲁棒性较强.     

基于RGB-D融合的密集遮挡抓取检测

针对当前抓取检测模型对密集遮挡物体的检测效果差以及人工数据标注工作量大的问题,提出基于RGB-D图像融合的目标检测与抓取检测分步骤进行的改进方案.新方案支持将单物体图像训练的抓取检测模型直接应用于密集遮挡的多物体图像场景中.首先,考虑到密集遮挡场景下抓取物具有多尺度的特点,提出子阶段路径聚合(SPA)的多尺度特征融合模块,用于丰富RGB-D特征级别融合的目标检测模型SPA-YOLO-Fusion的高维语义特征信息,以便于检测模型定位所有的抓取物;其次,使用基于RGB-D像素级别融合的GR-ConvNet抓取检测模型估计每个物体的抓取点,并提出背景填充的图像预处理算法来降低密集遮挡物体的相互影响;最后,使用机械臂对目标点进行抓取.在LineMOD数据集上对目标检测模型进行测试,实验结果表明SPA-YOLO-Fusion的mAP比YOLOv3-tiny与YOLOv4-tiny分别提高了10%与7%.从实际场景中采集图像制作YODO_Grasp抓取检测数据集并进行测试,结果表明增加背景填充预处理算法的GR-ConvNet的抓取检测精度比原模型提高了23%.     

共圆滑杆直线平夹自适应机器人手的研制

在平夹模式下,传统机器人手指末端的运动轨迹为圆弧,工作空间小,不适合抓取工作台上的薄板物体.为此,本文提出了一种共圆滑杆直线机构,分析了该机构的工作原理、运动特性和工作空间,并基于该直线机构设计了一种新型的直线平夹自适应机器人手.设计的机器人手包含2根手指,共4个自由度,仅采用2根电机驱动,结构简单.每个手指由基座、电机、簧件、L型连杆和2个指段等组成.该装置具备直线平夹和自适应包络两种抓取模式,捏持精度高,无需借助额外的传感和控制系统即可适应不同位置、姿态和形状的物体.针对设计的机器人手进行了不同抓取模式分析、运动分析和受力分析,研究了不同参数对抓取力的影响,为机器人手的设计和优化提供依据.并且研制了原理样机,开展了抓取实验,结果表明:机器人手的设计和分析合理,该装置可以实现直线平夹和自适应抓取功能,既能直线平夹物体,也能稳定包络抓取形状、大小各异的物体.     

基于多传感器信息融合的人类抓握特征学习及物体识别

基于柔性可穿戴传感器及多模态信息融合,研究人类的抓握特征学习及抓取物体识别,探索人类在抓取行为中所依赖的感知信息的使用．利用10个可拉伸传感器、14个温度传感器及78个压力传感器构建了数据手套并穿戴于人手,分别测量人类在抓取行为中手指关节的弯曲角度、抓取物体的温度及压力分布信息,并在时间及空间序列上建立了跨模态信息表征,同时使用深度卷积神经网络对此多模态信息进行融合,构建人类抓握特征学习模型,实现抓取物体的精准识别．分别针对关节角度特征、温度特征及压力信息特征进行了融合实验及有效性分析,结果表明了基于多传感器的多模态信息融合能够实现18种物品的精准识别．     

基于骨骼特征和手部关联物体特征的人的姿态识别

在计算机视觉中,人的姿态识别是人的行为识别的重要组成部分。通常,人的行为是动态的过程,姿态是人的行为中的具体的某个静态动作。在人的姿态或行为识别研究中,多借助人体姿态特征,而忽略了与人体相互关联的物体信息。当借助骨骼信息描述人体姿态时,人体被简化为人体骨骼,不同的姿态可能会出现相同的骨骼形态。为了更好地识别姿态,提取人的姿态的骨骼信息特征和手部关联物体的深度信息特征,再使用支持向量机进行分类。最后借助公共数据库验证了方法的有效性。     

基于深度传感器的篮球飞行过程抓取系统

为实现对篮球飞行过程的准确抓取,提出基于深度传感器的篮球飞行过程抓取系统设计。采用深度传感器进行篮球飞行过程的动态视觉信息采样,通过A/D芯片实现对采集信息的信号转换,并建立机器视觉图像处理模式下的篮球飞行过程抓取动态参数识别模型;通过深度学习和图像处理技术,进行篮球飞行过程数据图像抓取后的姿态特征分析和轨迹预测;基于Tx2核心板的嵌入式平台,建立篮球飞行过程抓取系统的核心控制器,采用ZigBee的物联网组网技术进行篮球飞行过程抓取系统的网络设计;设置状态寄存器(Status)进行篮球飞行过程抓取系统的数据缓存管理,在嵌入式的云平台下,实现篮球飞行过程抓取的数据存储和云计算。测试结果表明,采用该方法进行篮球飞行过程抓取的实时性较好,视觉动态跟踪能力较强。     

基于仿人机械手的五指力封闭抓取算法

手是人类在长期进化过程中形成的最完美的工具,能够灵活、精细的进行抓取物体等操作。机械手设计初衷是取代人手完成工作,是机器人系统的重要组成部分,因此抓取物体等操作一直是仿人机械手的研究重点。传统的抓取方法是利用机械手三指形成力封闭完成任务。但由于机械手本身结构复杂等原因,易出现控制信号偏差或某自由度未达到要求水平,使得抓取过程中目标物体脱落等问题。为了使机械手达到稳定抓取的效果,本文提出了一种效仿人手抓取的五指力封闭抓取算法,其本质是利用冗余机制解决传统三指抓取过程中可能出现的抓取不平稳或脱落的问题。首先,基于三指力平衡算法的思想上提出了满足五指力封闭抓取算法的条件。然后,对五指力封闭抓取算法进行了充分性和必要性的证明。最后,通过仿真环境下的实验抓取不同目标物体,验证了五指力封闭算法的可行性及必要性。