基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

基于视觉感知和触觉先验知识学习的机器人稳定抓取

针对机器人抓取过程中需要实时评估抓取质量以动态调整抓取构型的问题,提出了基于触觉先验知识的机器人稳定抓取方法.首先,根据抓取过程中物体抵抗外界扰动的能力,提出了一种基于触觉信息的抓取质量评估方法.在此基础上,建立了视触觉联合数据集并学习触觉先验知识.其次,提出了融合视觉图像和触觉先验知识的稳定抓取构型生成方法.最后,在搭建的机器人抓取系统中对10种目标物体进行了实验验证.结果表明,相比传统的视觉方法,该方法的抓取稳定性提高了55％;针对已知物体和未知物体,稳定抓取成功率分别为86％和79％,体现了较好的泛化效果.     

基于点云采样权重估计的未知物体抓取位姿生成方法

针对机械臂在非结构环境中对未知物体抓取位姿生成困难及抓取稳定性差的问题,提出一种基于点云采样权重估计的抓取位姿生成方法.首先通过移动深度相机的方式拼接得到较完整的物体点云信息,并对物体的几何特性进行分析,有效避开物体不宜抓取的位置进行抓取位姿样本生成;然后结合几何约束条件实现抓取位姿搜索,并利用力封闭条件对样本稳定性进行评估;最后为了对实际的抓取位姿进行评价,根据其稳定性、夹取深度、夹取角度等设定抓取可行性指标,据此在工作空间输出最佳抓取位姿并完成指定的抓取任务.实验结果表明,采用所提方法能够高效生成大量且稳定的抓取位姿,并在仿真环境中有效实现机械臂对单个或多个随机摆放的未知物体的抓取任务.     

基于未知物体三维点云特征的机器人六自由度抓取

针对非结构化环境中任意位姿的未知物体,提出了一种基于点云特征的机器人六自由度抓取位姿检测方法,以解决直接从点云中获取目标抓取位姿的难题.首先,根据点云的基本几何信息生成抓取候选,并通过力平衡等方法优化这些候选;然后,利用可直接处理点云的卷积神经网络ConvPoint评估样本,得分最高的抓取将被执行,其中抓取位姿采样和评估网络都是以原始点云作为输入;最后,利用仿真和实际抓取实验进行测试.结果表明,该方法在常用对象上实现了88.33%的抓取成功率,并可以有效地拓展到抓取其他形状的未知物体.     

基于非结构基本组成分析的自主抓取方法

针对现实生活中的非结构化抓取环境,提出一种基于非规则物体基本形体组成的自主抓取方法.机器人自主抓取的关键不仅仅在于对物体类型的识别,更大一部分在于对物体形状(例如形状基元的组成)判断后的良好抓取.将不规则的复杂物体简化为一些简单物体的组合,利用基于特征点和核心提取的网格分割(MFC)算法将被抓取物体3D数据点分割为主体和分支部分,依据最优拟合算法将各部分拟合为球体、椭球体、圆柱体、平行六面体中的一种,并依据简化结果对抓取位姿进行约束,再对简化后物体进行抓取训练,获取最优抓取框,从而实现对未知物体的自主抓取.本文方法最终在Baxter机器人上实现了93.3%的抓取准确率.实验结果表明,该方法可应用于不同形状、不同位姿的未知非规则物体,鲁棒性较强.     

室内智能移动机器人规则物体识别与抓取

规则物体的识别与抓取往往比非规则物体的识别与抓取更加有规律性,因此本文以规则的圆形、长方形物体为例,对圆提出圆形度这种度量方法,对长方形基于角点检测,提出计算各个角点之间夹角,结合HSV模型对图像进行分割,提高物体识别度。为了使单目机器人更准确的抓取物体,需要比较准确的知道目标物体相对于机器人的位置信息,结合地平面约束测距模型算法计算圆形物体的具体世界坐标。在Visual Studio2010,Pioneer3-AT机器人平台上实验表明,基于圆形度的物体识别方法能够比较快速准确的识别圆形物体,进而准确抓取。     

结合增量学习的物体抓取检测框架

为了解决未知类别物体的抓取问题，提出了一种结合增量学习的物体抓取检测框架，该框架分为抓取学习和增量学习两个阶段.在第1阶段，对已知的物体使用密集注意力网络进行训练，该网络利用注意力机制对特征通道和密集残差连接之间的关系进行建模.在第2阶段，引入了聚类优先样本选择策略，该策略会挑选出那些与其聚类质心距离相近的样本，用这些新样本替换掉示例集中的部分旧样本进行训练.此外在未知类别物体上训练网络时，还引入了蒸馏损失，以保留之前在已知类中学到的知识.通过在Jacquard数据集和UR10e机器人上进行的实验，表明了该方法在抓取未知类别物体方面有一定的可行性和有效性，克服了机器人在抓取未知类别物体上的缺陷.     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

协作机器人智能视觉系统设计与实现

伴随着科技的发展,人工智能技术得到了飞速发展。协作机器人和机械臂在各大领域的应用变得越来越重要。传统的机械臂只能按照已规划好的路径进行物体的抓取,当物体不在或挪动位置时,抓取便无法正常完成,还需要重新规划路径,严重影响了工作效率。为了能够使机械臂自主获取外界信息,拥有自我感知周围环境的能力,基于视觉的协作机器人得到了快速发展。文中首先对基于视觉的协作机器人技术进行了简要介绍,随后对智能视觉系统进行了相关设计,接着介绍了智能视觉目标检测和识别模块,最后在周围环境以及外界信息未知的情况下,利用智能视觉系统实现了协作机器人对具体目标的识别定位和抓取。实验结果表明,该系统可以投用到实际的工程应用中,具有良好的使用价值。     

一种基于物体的视觉注意计算模型

为解决基于空间的视觉注意计算模型存在的注意目标不完整、容易转移到无意义区域等问题,提出一种结合空间显著性的基于物体的视觉注意计算模型。检测图像的边缘信息,根据空间视觉显著性度量结果,提取显著值高的封闭边缘,得到感知物体的轮廓。根据各感知物体的大小、位置和显著程度计算其注意度。注意焦点按照注意度递减的顺序在各感知物体之间进行转移。在多幅自然图像上进行实验验证,实验结果表明该模型具有和人类视觉特性相符合的注意效果。     

基于多感知的空间机械手爪控制研究

对融合了视觉、滑觉、角位移等多种传感器的欠驱动空间机械手爪,研究其对不同形状、质地的物体实现自适应抓取控制。通过传感器反馈控制机械手运动、抓取力,提高机械手的自主能力。在抓取模式选择中,采用基于专家系统的抓取规划,根据物体不同的形状、尺寸选择不同的抓取模式;在抓取力控制中,通过由PVDF制作的滑觉传感器反馈,采用基于滑觉信号的模糊控制方法,对不同质地的物体选择不同的控制参数。通过实验研究验证基于多感知的控制方法对各种物体可以进行可靠的抓取。     

杂乱场景下小物体抓取检测研究

目的 杂乱场景下的物体抓取姿态检测是智能机器人的一项基本技能。尽管六自由度抓取学习取得了进展,但先前的方法在采样和学习中忽略了物体尺寸差异,导致在小物体上抓取表现较差。方法 提出了一种物体掩码辅助采样方法,在所有物体上采样相同的点以平衡抓取分布,解决了采样点分布不均匀问题。此外,学习时采用多尺度学习策略,在物体部分点云上使用多尺度圆柱分组以提升局部几何表示能力,解决了由物体尺度差异导致的学习抓取操作参数困难问题。通过设计一个端到端的抓取网络,嵌入了提出的采样和学习方法,能够有效提升物体抓取检测性能。结果 在大型基准数据集GraspNet-1Billion上进行评估,本文方法取得对比方法中的最优性能,其中在小物体上的抓取指标平均提升了7%,大量的真实机器人实验也表明该方法具有抓取未知物体的良好泛化性能。结论 本文聚焦于小物体上的抓取,提出了一种掩码辅助采样方法嵌入到提出的端到端学习网络中,并引入了多尺度分组学习策略提高物体的局部几何表示,能够有效提升在小尺寸物体上的抓取质量,并在所有物体上的抓取评估结果都超过了对比方法。     

基于RP-ResNet网络的抓取检测方法

针对目前机器人抓取中实时性差和小目标物体抓取效果不理想的问题,提出基于RP-ResNet网络的抓取检测方法。该方法以模型ResNet-50为基础,引入Region Proposal Network(RPN)网络与改进型空间金字塔结构,使用SENet机构增强通道注意力,充分提取不同深度语义信息,加强对高低层信息的利用,增加了抓取点检测的准确性。在Cornell数据集上进行实验验证,结果表明,RP-ResNet网络结构达到实验要求,能够提高物体检测的准确度与检测效率。     

基于神经网络的工业机器人视觉抓取系统设计

针对机器人示教编程方法导致的工件位置固定、抓取效率低下的问题,研究神经网络在机器人视觉识别与抓取规划中的应用,建立了视觉引导方案,通过YOLOV5神经网络模型开发视觉识别系统,识别物体的种类,同时获取待抓取物体定位点坐标。提出了机器人六点手眼标定原理并进行标定实验,提出了针对俯视图为圆形或长方形物体的定位方法。最后针对3种物体进行了180次的抓取实验,实验的综合平均抓取成功率约为92.8%,验证了视觉识别和抓取机器人系统具备实际应用的可能性,有效提高了抓取效率。     

增强现实系统中基于视觉感知的抓取识别

增强现实系统采用单目光学透视式头盔时必然会使虚拟物体呈现在真实物体之前,使用户无法得知应该在何处抓取虚拟物体,并且系统所得到的抓取数据也会受硬件本身、人和环境等因素影响而产生偏差.从人的视觉感知习惯入手,利用机器人学和光线几何理论实现基于视觉感知的碰撞检测;通过分析抓取过程,得出3条抓取知识规则,并将其与模糊理论结合应用于证据推理.实验结果表明,采用文中方法,用户能轻松地实现抓取,整个交互过程相当自然.     

基于局部指纹曲面片的点云三维物体识别

提出一种新的基于局部描述符的点云物体识别算法。算法根据点云的位置信息提取出邻域以及曲率信息,进而得到形状索引信息。根据形状索引提取到特征点,在每个特征点根据样条拟合原理得到测地距离和矢量夹角分割曲面得到曲面片集。每个曲面片的等距测地线构成了曲面片指纹,通过矢量和半径的变化描述,可以把每个模型物体得到的曲面片集描述存入数据库。对于给定的一个物体,根据上面步骤同样得到其曲面片集描述,通过和数据库中模型物体曲面片集的比对,得到初始识别结果。对每对初始识别结果进行对应滤波后,通过最近点迭代方法得到最终的识别结果。最后通过具体的实验说明了算法的有效性和高效性。     

基于双目视觉的机器人目标定位与机械臂控制

为了更好地与复杂多变的非结构化环境进行交互,完成对目标物体的识别和抓取,提出了一种应用于服务机器人平台的基于双目视觉的仿人机械臂控制方法.文中首先用D-H方法对机械臂进行建模,并对这个模型做了改进,给出了一种更加简便的3+1自由度仿人机械臂的逆解算法,采用基于双目视觉与颜色分割的目标识别方法;然后根据识别出的目标三维坐标信息控制机械臂完成抓取任务;最后,本方法在家庭服务机器人上得到了验证,机器人能够完成对目标物体的识别和抓取动作.     

基于深度学习的三维目标检测算法综述

随着自动驾驶行业的快速发展,基于深度学习的三维目标检测技术也得到了快速发展,目前自动驾驶汽车主要依赖图像与激光雷达点云进行环境感知。基于这两种数据的三维目标检测技术可提取出物体的空间结构信息,包括物体的姿态、尺寸、运动方向、形状等,因此该技术不仅可用于自动驾驶的感知,还可用于工业机器人对物体的识别与抓取,以及仓储机器人的视觉导航等。近年来,计算能力的提升、数据集的公开、深度学习的发展,为三维目标检测算法带来了巨大的变革。     

基于视觉与RFID的机器人自定位抓取算法

为实现机器人灵活的自定位,并使其准确地抓取物体,提出一种基于视觉与无线射频识别(RFID)技术的机器人自定位抓取算法。构建网格化环境,利用RFID技术确定机器人的初始位置、行进路线和方向,使用视觉系统获取物体的空间坐标,将其转换到手臂坐标系,采用改进的D-H模型对手臂进行建模,并给出机械臂逆解抓取算法。实验结果表明,该算法使得机器人定位的成功率达到76.7%,抓取成功率高达90%。     

基于级联卷积神经网络的机器人平面抓取位姿快速检测

针对任意姿态的未知不规则物体,提出一种基于级联卷积神经网络的机器人平面抓取位姿快速检测方法．建立了一种位置-姿态由粗到细的级联式两阶段卷积神经网络模型,利用迁移学习机制在小规模数据集上训练模型,以R-FCN（基于区域的全卷积网络）模型为基础提取抓取位置候选框进行筛选及角度粗估计,并针对以往方法在姿态检测上的精度不足,提出一种Angle-Net模型来精细估计抓取角度．在Cornell数据集上的测试及机器人在线抓取实验结果表明,该方法能够对任意姿态、不同形状的不规则物体快速计算最优抓取点及姿态,其识别准确性和快速性相比以往方法有所提高,鲁棒性和稳定性强,且能够泛化适应未训练过的新物体．