基于深度学习的多物体抓取检测技术研究

针对非结构化的抓取场景,提出一种并列式架构的卷积神经网络检测模型。该模型使用单物体抓取数据集训练,可以对多物体进行抓取检测。基于机器人操作系统（Robot Operating System,ROS）平台进行抓取仿真试验,验证抓取检测结果的有效性。试验结果表明,该方法针对密集多物体的仿真抓取成功率达到80.8%。     

基于深度学习的协作机械臂目标定位与抓取研究

针对协作机械臂在工业应用场景中目标定位困难、抓取精度不高等问题,提出一种基于ROS (Robot Operating System)和深度学习的协作机械臂目标定位与抓取方法。首先搭建了一种视触觉融合的机械臂智能抓取实验平台,该平台由Kinect v2视觉系统、Moveit控制系统及AUBO i5机械臂执行系统组成;以Kinect v2视觉系统为基础设计了一种改进YOLOv8轻量化模型的目标检测识别定位方法实现目标定位;采用GSConv和VoV-GSCSP网络结构改进特征融合Neck端解决了参数量大、算力要求高的问题;控制系统订阅tf广播的目标物体坐标信息实现抓取任务。实验结果表明,模型改进后的计算量GSConv和VoV-GSCSP减少6.9%,GFLOPs减少7.3 (9.8%),且提高了检测精度;螺丝和螺母两种目标物抓取的成功率分别为99%和97%。     

基于RGB图像的机械臂目标抓取位姿估计算法

针对抓取过程中目标物体部分被遮挡的问题,设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点,并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练,经过验证,使用合成数据训练的网络也能在真实场景中有效工作。最后,搭建了一个基于机器人操作系统的UR5机械臂抓取平台,将训练好的模型部署到该平台上进行抓取实验,结果表明所提方法能够估计出目标物体的位姿,并在实际场景中抓取位姿未知的物体。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于深度卷积网络的多目标动态三维抓取位姿检测方法

在非结构化环境机器人抓取任务中,获取稳定可靠目标物体抓取位姿至关重要。本文提出了一种基于深度卷积网络的多目标动态三维抓取位姿检测方法。首先采用Faster R-CNN进行多目标动态检测,并提出稳定检测滤波器,抑制噪声与实时检测时的抖动;然后在提出深度目标适配器的基础上采用GG-CNN模型估算二维抓取位姿;进而融合目标检测结果、二维抓取位姿以及物体深度信息,重建目标物体点云,并计算三维抓取位姿;最后搭建机器人抓取平台,实验统计抓取成功率达到95.6%,验证了所提方法的可行性及有效性,克服了二维抓取位姿固定且单一的缺陷。     

基于深度学习的道路表面裂缝检测研究

针对目前道路表面裂缝缺陷检测方法普遍存在识别率低、实时性差以及多尺度特征下检测效果不好等问题,提出一种改进的YOLOv5s算法模型。该算法引入Sim AM三维带权注意力机制且不引入额外参数,在模型中融入加权双向特征金字塔进行多尺度特征融合;同时改进预测框损失函数,使得损失函数收敛更快。经过对比实验,改进后模型的裂缝检测均值平均精度提高了2.2%,准确率为90.5%,表明了模型的有效性。     

基于深度学习的电器目标检测

针对传统目标检测算法无法自适应提取目标相应特征并完成识别的现象,提出一种基于快速区域卷积神经网络(Faster R-CNN)模型的电器识别方法,其优势在于可以自适应获取不同场景下目标的特征,避免由于人为设计目标的特征而带来的主观因素影响,具有良好的鲁棒性与准确性。FasterR-CNN中首先通过建立区域建议网络RPN(Region Proposal Network)代替Fast R-CNN中的Selective Search方法,得到建议位置后再进行检测。为了解决训练过程当中正负样本失衡问题,在Faster R-CNN中引入了难负样本挖掘策略,增强了模型的判别能力,提高检测的精度。     

目标搜索与识别的视觉注意网络与学习方法

提出一种循环视觉注意网络来同时进行目标搜索和识别。该网络能够从图像中自动选择一个局部观测序列,通过融合局部详细表观和粗略上下文视觉信息,实现视觉目标的高精度定位与识别,比传统的滑动窗口和全图卷积的方法具有更高的目标搜索效率。此外,提出了一种混合损失函数来对网络参数进行端到端的多任务学习,特别在视觉注视点序列损失函数中引入随机性和目标启发的组合策略,可以有效地挖掘更丰富的上下文信息,保证注意点快速接近视觉目标。建立了一个真实场景数据集来验证该模型在感兴趣目标和小目标搜索与识别的性能。试验结果表明,该方法通过几个注视点转移,就能够在一幅图像上预测一个视觉目标的准确边框,并在大图像上获得比较高的搜索速度。开放源代码用于该方法验证与比较分析。     

视觉机器人的零件识别与抓取方法研究

为了满足视觉机器人能够精准抓取平面零件的需求,提出一种加入深度学习算法的零件识别与定位方法。首先,利用YOLOv4-tiny目标检测算法对目标物体进行识别,并提取出感兴趣区域（Region of Interest,ROI）送入PSPnet语义分割网络中进一步提取ROI。然后,将ROI区域进行亚像素级的模板匹配,并计算目标物体的深度信息。在目标物体中心坐标求解中,以ROI区域的最大内接圆的圆心作为目标物体的中心。最后,利用D-H法对机器人进行运动学解算,并进行抓取试验。实验结果表明：该方法的深度误差率大约为0.72%,视觉机器人抓取零件成功率达到91%,具有较高的定位精度和抓取成功率,可以满足实际工业分拣搬运需求。     

基于深度学习的实时集装箱箱号识别算法

集装箱站场装卸作业时,主要依靠起重机司机手工录入集装箱箱号,自动化程度低.站场的多样化环境容易造成识别模型的复杂度较高,导致计算耗时较长;同时由于集装箱表面纹理复杂、磨损腐蚀严重、箱号字体及排列方式多样等问题使得其字符特征难以提取且识别精度不高,现有的算法往往无法同时满足准确性和实时性两个要求,难以在实际场景中应用.因...     

基于双目视觉的绳驱动飞行机械臂目标识别与抓取

为提高面向飞行机械臂平台的目标姿态估计的精度,为飞行机械臂配备双目视觉系统,对绳驱动机械臂和双目相机进行系统建模,利用Camshift算法对目标进行实时追踪,结合目标的几何特征提出一种轻量化的目标姿态估计算法,可用于飞行平台的实时目标追踪与姿态估计并进行飞行机械臂抓取实验。实验证明：该姿态估计算法对于目标追踪和姿态估计具有较好精度,可以实现抓取作业。     

基于深度学习的路面不平度等级识别研究

准确的路面激励信息对汽车行驶安全性和乘坐舒适性有重要影响.针对目前路面不平度等级识别算法存在复杂和准确率低等问题,提出了一种注意力门控循环单元(BiGRU-Attention)网络和车辆振动响应的路面不平度等级识别算法.首先,通过滤波白噪声法建立随机输入路面模型,1/4车辆振动模型平顺性仿真实验获取车辆振动响应信号,选择滑动窗口为1 s截取样本构造数据集;然后,通过BiGRU网络学习样本信号的深层次信息,Attention机制优化时刻特征对辨识结果的贡献率比重,快速准确地识别出路面不平度等级;最后通过消融实验实现算法的验证.实验结果表明,基于BiGRU-Attention路面不平度等级识别算法的准确率可达96.9％,相比基础模型有1％～3％的提升.该算法能够准确识别路面不平度等级,为车辆动力学控制提供有力的理论依据.     

基于深度卷积神经网络的目标检测研究综述

作为计算机视觉中的基本视觉识别问题,目标检测在过去的几十年中得到了广泛地研究。目标检测旨在给定图像中找到具有准确定位的特定对象,并为每个对象分配一个对应的标签。近年来,深度卷积神经网络DCNN(Deep Convolutional Neural Networks)凭借其特征学习和迁移学习的强大能力在图像分类方面取得了一系列突破,在目标检测方面,它越来越受到人们的重视。因此,如何将CNN应用于目标检测并获得更好的性能是一项重要的研究。首先回顾和介绍了几类经典的目标检测算法;然后将深度学习算法的产生过程作为切入点,以系统的方式全面概述了各种目标检测方法;最后针对目标检测和深度学习算法面临的重大挑战,讨论了一些未来的方向,以促进深度学习对目标检测的研究。     

改进深度学习框架Faster-RCNN的苹果目标检测

苹果图像的目标检测是研究苹果采摘机器人的关键技术。本研究以自然光源下的苹果图像为研究对象。首先,针对原始RPN结构的3×3单一小滑动窗口摄取特征信息有限问题,设置不同面积、不同尺寸的9个候选框,同时增加1个滑动窗口,以提高感受野的面积与强度,改进深度学习目标检测框架Faster-RCNN,进而搭建深度学习模型。然后,对图像标注目标的实际位置和类别标签,以苹果的测试集作为输出期望,经过训练得到模型的有效权值。实验结果表明,模型迭代3 000次后,改进模型的目标检测准确率为97.6%,而原始模型为95.3%。另外,改进的模型相对原始模型定位精度更高。     

基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

目标检测在链条标准件动态抓取中的应用研究

为提升链条装配车间的自动化和智能化水平,满足对于生产线传送带上链条标准件的准确分类、定位和抓取,使用基于深度学习的机器视觉目标检测技术,提出了一种具备通用性且满足工业实时性要求的动态抓取方法,由视觉系统与抓取系统组成。视觉系统采用深度学习目标检测模型YOLOE对采集的图像进行处结果显示目标检测和分类准确率90%以上,传送带8mm/s速度下抓取成功率为100%,能够高效、准确、平稳的实现机器人对动态目标的准确快速抓取。     

基于深度学习的汽车车牌识别算法研究

随着我国汽车的保有量逐渐增加,车牌识别在智慧车辆管理系统中起着重要作用.现有的车号识别算法识别速度慢、准确度不高,容易受光线及车牌位置角度与摄像机相对固定位置的影响而造成误识别.基于深度学习的Faster-RCNN进行车牌定位,生成车牌提取框提取车牌;使用VGG16网络模型识别字符,最终完成汽车车牌的识别.在大量的数据集中进行训练、测试,仿真结果表明在复杂环境下采用Faster-RCNN与VGG16结合的网络模型对车牌的识别准确率高达99.2％,识别准确率优于其他算法.     

基于深度学习的汽车车牌识别算法研究

随着我国汽车的保有量逐渐增加,车牌识别在智慧车辆管理系统中起着重要作用.现有的车号识别算法识别速度慢、准确度不高,容易受光线及车牌位置角度与摄像机相对固定位置的影响而造成误识别.基于深度学习的Faster-RCNN进行车牌定位,生成车牌提取框提取车牌;使用VGG16网络模型识别字符,最终完成汽车车牌的识别.在大量的数据集中进行训练、测试,仿真结果表明在复杂环境下采用Faster-RCNN与VGG16结合的网络模型对车牌的识别准确率高达99.2％,识别准确率优于其他算法.