基于深度学习的抓取目标姿态检测与定位

机器人对抓取目标进行高准确的姿态检测与定位依然是一个开放性的难题.本文提出了一种基于卷积神经网络对抓取目标快速姿态检测与精确定位的方法.该方法采用Faster R-CNN Inception-V2网络模型,在网络中将抓取目标的姿态角度采用分类标签方式输出,位置坐标采用回归方法,对Cornell公开数据集重新标注并训练端到端模型.模型在实例检测和对象检测测试集上分别取得96.18%和96.32%的准确率,对于每一幅图像的处理时间小于0.06 s.实验结果表明模型能够实时地对图像中单个或多个抓取目标进行快速地姿态检测与定位,准确度高并具有很强的鲁棒性和稳定性.     

基于三级卷积神经网络的物体抓取检测

借鉴人类抓取物体的特点,提出一种三级串联卷积神经网络用于物体抓取框的检测,实现了对未知物体的高准确度抓取．在所提出的三级串联卷积神经网络中：第1级用于物体的初步定位,为下一级卷积神经网络搜索抓取框确定位置;第2级用于获取预选抓取框,以较小的网络获取较少的特征,从而快速地找出物体的可用抓取框,剔除不可用的抓取框;第3级用于重新评判预选抓取框,以较大的网络获取较多的特征,从而准确地评估每个预选抓取框,获取最佳抓取框．测试结果表明,与单一卷积神经网络相比,三级网络获得抓取框的正确率提高了6.1%,最终在实际Youbot机器人上实现了高准确度的抓取操作．     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

人手抓取物体的三维数据集的建立及应用

真实人手抓取数据在人类抓取行为分析和机器人类人抓取等研究中起到至关重要的作用。抓取数据集中应包含复杂形状的三维物体信息、抓取点的信息以及手的姿态和形状,然而目前普遍方法是采集视频图像并从中估计人的抓取行为,导致不能准确记录手部各个关节的自由度信息。利用虚拟现实技术建立虚拟环境,利用数据手套直接捕捉在虚拟环境中三维物体和手部姿态信息作为抓取数据。提出的数据集包含生活中常见的49类物体中的91个不同形状的物体（每个有108个姿态）以及共52 173人次的抓取记录,规模和丰富性都远远超过了已有的用于研究人类的抓取行为和研究以人为核心的抓取技术的数据集。此外,使用采集的数据集进行抓取显著性分析和类人抓取计算,实验结果验证了数据集的应用价值。     

基于深度神经网络的多指灵巧手抓取手势优化

基于深度神经网络模型,提出了一种适用于多指灵巧手的抓取手势优化方法。首先,在仿真环境下构建了一个抓取数据集,并在此基础上训练了一个卷积神经网络,依据目标物体单目视觉信息和多指灵巧手抓取位形来预测抓取质量函数,由此可以将多指灵巧手的抓取规划问题转化为使抓取质量最大化的优化问题,进一步,基于深度神经网络中的反向传播和梯度上升算法实现多指灵巧手抓取手势的迭代与优化。在仿真环境中,比较该网络和仿真平台对同一抓取位形的抓取质量评估结果,再利用所提出的优化方法对随机搜索到的初始手势进行优化,比较优化前后手势的力封闭指标。最后,在实际机器人平台上验证本文方法的优化效果,结果表明,本文方法对未知物体的抓取成功率在80%以上,对于失败的抓取,优化后成功的比例达到90%。     

一种采用迭代优化的移动抓取规划方法

提出了一种无需对目标物体进行预建模的迭代优化移动抓取规划方法.该方法通过点云相机在线对目标物体进行立体模型测量和建模,通过深度卷积神经网络对目标点云生成的多个候选抓取位置的抓取成功率进行评价.然后,对机器人底盘和手爪的位置和姿态进行迭代优化,直到抓取目标物体时机器人达到一个最优的位形.再用A*算法规划一条从机器人当前位置到目标位置的运动路径.最后,在路径的基础上,用一种启发式随机路径逼近算法规划手臂的运动,实现边走边抓的效果.本文的深度学习抓取成功率评估算法在康奈尔数据集上取得了83.3%的精确度.所提运动规划算法能得到更平滑、更短且更有利于后续运动的路径.     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。     

基于神经网络的工业机器人视觉抓取系统设计

针对机器人示教编程方法导致的工件位置固定、抓取效率低下的问题,研究神经网络在机器人视觉识别与抓取规划中的应用,建立了视觉引导方案,通过YOLOV5神经网络模型开发视觉识别系统,识别物体的种类,同时获取待抓取物体定位点坐标。提出了机器人六点手眼标定原理并进行标定实验,提出了针对俯视图为圆形或长方形物体的定位方法。最后针对3种物体进行了180次的抓取实验,实验的综合平均抓取成功率约为92.8%,验证了视觉识别和抓取机器人系统具备实际应用的可能性,有效提高了抓取效率。     

基于区域姿态解算的五指机械手抓取系统设计与实现

针对五指机械手抓取成功率低和抓取任务相对简单的问题，基于区域姿态解算方法设计并实现了一种满足不同复杂任务的五指抓取系统。首先，设计了一种气动五指软爪，该软爪使用多种不同刚度的材料制成，由1根主气管和5根支气管驱动，控制复杂度较低，机械性能和抓取性能良好，适用不同的抓取策略。进一步结合软爪的特点提出了基于区域姿态解算的抓取策略。通过预测人手抓取物体时在物体上的接触区域，求解接触区域与软爪指尖在空间上的姿态解，计算软爪的抓取姿态和关节弯曲角度，该策略能够生成高鲁棒性的抓取姿态。然后，设计了包含大量物体的接触数据集。对数据集中的物体标注人手在抓取操作中指尖的接触区域，并尽可能地去除场景信息，提高了数据集的通用性，可用作基准数据集测试算法性能。最后，设计了一系列实验来验证软爪和抓取策略在复杂场景下的抓取性能，实验结果表明了所设计的五指软爪抓取系统在复杂场景下的有效性和可靠性。     

基于未知物体三维点云特征的机器人六自由度抓取

针对非结构化环境中任意位姿的未知物体,提出了一种基于点云特征的机器人六自由度抓取位姿检测方法,以解决直接从点云中获取目标抓取位姿的难题.首先,根据点云的基本几何信息生成抓取候选,并通过力平衡等方法优化这些候选;然后,利用可直接处理点云的卷积神经网络ConvPoint评估样本,得分最高的抓取将被执行,其中抓取位姿采样和评估网络都是以原始点云作为输入;最后,利用仿真和实际抓取实验进行测试.结果表明,该方法在常用对象上实现了88.33%的抓取成功率,并可以有效地拓展到抓取其他形状的未知物体.     

轻量级卷积神经网络的机器人抓取检测研究

卷积神经网络在基于视觉的机器人抓取检测任务上取得了较好的检测效果,但是大多数方法都有太多的计算参数,不适合资源有限的系统。针对这个问题,基于SqueezeNet轻量级神经网络,结合DenseNet多旁路连接加强特征复用的思想,提出了轻量级抓取检测回归模型SqueezeNet-RM（SqueezeNet Regression Model）,并使用SqueezeNet-RM从RGB-D图像中提取多模态特征,预测二指机器人夹持器的最佳抓取位姿。在标准的康奈尔抓取数据集上,提出的轻量级抓取检测网络与经典的抓取检测方法相比,在保证检测准确率不降低的情况下,模型占用更少的存储空间,表现出更快的检测速度和更高的泛化性能,所提出的模型占用的存储空间比AlexNet模型减少86.97%,平均检测速度快3倍,适用于FPGA（Field Programmable Gate Array）或者资源受限的移动机器人抓取检测系统。     

一种先验知识引导的基于二阶段渐进网络的自主抓取策略

针对未知不规则物体在堆叠场景下的抓取任务,提出一种基于二阶段渐进网络（two-stage progressive network,TSPN）的自主抓取方法．首先利用端对端策略获取全局可抓性分布,然后基于采样评估策略确定最优抓取配置．将以上2种策略融合,使得TSPN的结构更加精简,显著减少了需评估样本的数量,能够在保证泛化能力的同时提升抓取效率．为了加快抓取模型学习进程,引入一种先验知识引导的自监督学习策略,并利用220种不规则物体进行抓取学习．在仿真和真实环境下分别进行实验,结果表明该抓取模型适用于多物体、堆叠物体、未知不规则物体、物体位姿随机等多种抓取场景,其抓取准确率和探测速度较其他基准方法有明显提升．整个学习过程历时10天,结果表明使用先验知识引导的学习策略能显著加快学习进程．     

基于多尺度特征融合的抓取位姿估计

抓取目标多样性、位姿随机性严重制约了机器人抓取的任务适应性,为提高机器人抓取成功率,提出一种融合多尺度特征的机器人抓取位姿估计方法.该方法以RGD信息为输入,采用ResNet-50主干网络,融合FPN(feature pyramid networks)获得多尺度特征作为抓取生成网络的输入,以生成抓取候选框;并将抓取方向...     

基于多特征融合卷积神经网络的显著性检测

随着深度学习技术的发展以及卷积神经网络在众多计算机视觉任务中的突出表现,基于卷积神经网络的深度显著性检测方法成为显著性检测领域的主流方法.但是,卷积神经网络受卷积核尺寸的限制,在网络底层只能在较小范围内提取特征,不能很好地检测区域内不显著但全局显著的对象;其次,卷积神经网络通过堆叠卷积层的方式可获得图像的全局信息,但在...     

融入注意力机制的多模特征机械臂抓取位姿检测

针对机械臂抓取检测任务中对未知物体抓取位姿检测精度低、耗时长等问题,提出一种融入注意力机制多模特征抓取位姿检测网络.首先,设计多模态特征融合模块,在融合多模态特征同时对其赋权加强;然后,针对较浅层残差网络提取重点特征能力较弱的问题,引入卷积注意力模块,进一步提升网络特征提取能力;最后,通过全连接层对提取特征直接进行回归拟合,得到最优抓取检测位姿.实验结果表明,在Cornell公开抓取数据集上,所提出算法的图像拆分检测精度为98.9%,对象拆分检测精度为98.7%,检测速度为51FPS,对10类物体的100次真实抓取实验中,成功率为95%.     

基于多层级特征的机械臂单阶段抓取位姿检测

针对机械臂对尺寸变换、形状各异、任意位姿的未知物体抓取,提出一种基于多层级特征的单阶段抓取位姿检测算法,将物体抓取位姿检测问题视为抓取角度分类和抓取位置回归进行处理,对抓取角度和抓取位置执行单次预测.首先,利用深度数据替换RGB图像的B通道,生成RGD图像,采用轻量型特征提取器VGG16作为主干网络;其次,针对VGG16特征提取能力较弱的问题,利用Inception模块设计一种特征提取能力更强的网络模型;再次,在不同层级的特征图上,利用先验框的方法进行抓取位置采样,通过浅层特征与深层特征的混合使用提高模型对尺寸多变的物体的适应能力;最后,输出置信度最高的检测结果作为最优抓取位姿.在image-wise数据集和object-wise数据集上,所提出算法的评估结果分别为$95.71$%和$94.01$%,检测速度为58.8FPS,与现有方法相比,在精度和速度上均有明显的提升.     

基于单个卷积神经网络的面部多特征点定位

深度学习在面部特征点定位领域取得了比较显著的效果。然而,由于姿态、光照、表情和遮挡等因素引起的面部图像的复杂多样性,数目较多的面部特征点定位仍然是一个具有挑战性的问题。现有的用于面部特征点定位的深度学习方法是基于级联网络或基于任务约束的深度卷积网络,其不仅复杂,且训练非常困难。为了解决这些问题,提出了一种新的基于单个卷积神经网络的面部多特征点定位方法。与级联网络不同,该网络包含了3组堆叠层,每组由两个卷积层和最大池化层组成。这种网络结构可以提取更多的全局高级特征,能更精确地表达面部特征点。大量的实验表明,所提方法在姿态、光照、表情和遮挡等变化复杂的条件下优于现有的方法。     

多层卷积特征的真实场景下行人检测研究

针对真实场景下的行人检测方法存在漏检、误检率高,以及小尺寸目标检测精度低等问题,提出了一种基于改进SSD网络的行人检测模型（PDIS）。PDIS通过引出更底层的输出特征图改进了原始SSD网络模型,并采用卷积神经网络不同层输出的抽象特征对行人目标分别做检测,融合多层检测结果,提升了小目标行人的检测性能。此外,针对数据集样本多样性能有效地提升检测算法的泛化能力,本文采集了不同光照、姿态、遮挡等复杂场景下的行人图像,对背景比较复杂的INRIA行人数据集进行了扩充,在扩增的行人数据集上训练的PDIS模型,提高了在真实场景下的行人检测精度。实验表明:PDIS在INRIA测试集上测试结果达到93.8%的准确率,漏检率低至7.4%。