基于YOLOv5的角度优化抓取检测算法研究

针对目前机器人抓取检测方法抓取角度预测过于离散,抓取过程可能产生较大偏角,降低抓取检测精度,甚至导致抓取失败的问题,提出了一种基于YOLOv5神经网络模型改进的机器人实时抓取检测方法。以单阶段目标检测模型YOLOv5为基础,提取抓取框坐标及抓取角度。对抓取角度进行更细致的划分,同时引入环形平滑标签以适应角度的周期性,建立相邻角度之间的联系,将YOLOv5检测头进行解耦,并对损失函数进行优化,提高检测精度。在Cornell数据集上进行实验验证。实验结果表明,与经典的抓取检测方法相比,所提算法能够更好地预测抓取角度,提升抓取检测精度;在Cornell数据集上,此模型达到了97.5%的准确率以及71 FPS的检测速度。     

基于深度学习的抓取目标姿态检测与定位

机器人对抓取目标进行高准确的姿态检测与定位依然是一个开放性的难题.本文提出了一种基于卷积神经网络对抓取目标快速姿态检测与精确定位的方法.该方法采用Faster R-CNN Inception-V2网络模型,在网络中将抓取目标的姿态角度采用分类标签方式输出,位置坐标采用回归方法,对Cornell公开数据集重新标注并训练端到端模型.模型在实例检测和对象检测测试集上分别取得96.18%和96.32%的准确率,对于每一幅图像的处理时间小于0.06 s.实验结果表明模型能够实时地对图像中单个或多个抓取目标进行快速地姿态检测与定位,准确度高并具有很强的鲁棒性和稳定性.     

基于改进单次多框检测算法的机器人抓取系统

针对汽车零部件回收工厂在实际复杂工况下的零件检测效果不佳导致不能实现精准抓取从而影响生产效率的问题,提出了一种基于改进单次多框检测（SSD）算法的机器人抓取系统,可实现零件检测、分类、定位及抓取任务。首先,通过改进SSD模型检测目标零件,得到零件位置和类别信息;其次,通过Kinect相机标定与手眼标定将像素坐标系转换到机器人世界坐标系,实现零件在机器人空间坐标系下的定位;然后,通过机器人正逆运动学建模与轨迹规划,完成目标零件抓取任务;最后,对整个集成抓取系统进行了零件识别分类、定位到抓取验证实验。实验结果表明：复杂工况下,所提系统的零件抓取平均成功率达到95%,满足零件抓取的实际生产需求。     

基于注意力机制的实时性抓取检测算法

针对在工业环境中,机器人的抓取精准度受到物体不同的姿态和角度等影响的问题,提出一种基于注意力机制的实时性逐像素网络抓取检测方法.首先,以轻量级网络—全卷积网络(FCN)模型为基础进行逐像素提取抓取框位置及抓取角度;其次,提出了一种新型的注意力机制—DAM,将其整合到轻量级网络中,自动学习输入图像的显著特征以减少局部信息...     

基于机器视觉的目标定位与机器人规划系统研究

为完成机械臂在非特定复杂背景环境下的自主抓取,通过设计RGB-D相机对场景内的物体进行实时检测,采用基于深度学习的目标检测定位方法,并对相机-机械臂-目标物体的三维标定模型进行研究。将物体的三维坐标信息通过ROS话题机制发送给机械臂,并通过moveIT编程规划抓取规划。 通过设计一套基于ROS的视觉检测和机械臂抓取系统,将计算机视觉检测技术以及机械臂运动规划抓取应用在机器人操作系统ROS平台上。实验结果表明,该系统可以实时高效地操作机器人来完成指定的控制作业,提高了系统对环境的适应能力,该系统具有抓取准确、物体识别准确率高的特点,解决了传统机械臂操控中的不足。     

一种基于双目视觉传感器的遮挡目标期望抓取点识别与定位方法

在不确定性较高的室内复杂场景中,机器人常需识别遮挡物体并对其抓取.遮挡问题会导致抓取点预估位置脱离目标,产生位置漂移.针对该问题,本文提出一种基于双目视觉的遮挡目标抓取点识别与定位策略.采用基于期望位置模型的方法估计,以特征检测进行遮挡目标识别,并进行轮廓还原;根据期望抓取点模型,采集目标的期望抓取位置,构建位置模型库.将待检测目标与模型库匹配,提取双目视野中未遮挡区域的期望抓取点.实验表明本方法在复杂环境下具有较高的鲁棒性,抗干扰能力强,对遮挡目标具有较高的定位精度.     

改进RetinaNet的轻量化工件检测算法研究

针对传统目标检测模型参数量巨大,制约算法部署与模型推理实时性的问题,提出一种基于改进RetinaNet检测模型的轻量化实时目标检测网络。使用MobileNet-V2代替RetinaNet模型中的ResNet骨干网络,降低整体模型的参数量;设计锚框引导采样机制,基于特征金字塔输出特征层生成感兴趣区域掩码,减少背景区域冗余锚框,降低后处理过程中的计算复杂度;引入GFocalLossV2损失函数统计预测边框分布特征,优化预测边框质量以及提升分类准确度。该模型在自制多类别工件数据集WP和Pascal VOC公开数据集上进行验证实验,改进模型的检测准确率分别达到99.5%、80.5%,检测速度分别达到39.8 FPS、38.3 FPS。实验结果表明,该轻量级目标检测模型能够实现实时检测,同时保证了检测精度。     

基于三级卷积神经网络的物体抓取检测

借鉴人类抓取物体的特点,提出一种三级串联卷积神经网络用于物体抓取框的检测,实现了对未知物体的高准确度抓取．在所提出的三级串联卷积神经网络中：第1级用于物体的初步定位,为下一级卷积神经网络搜索抓取框确定位置;第2级用于获取预选抓取框,以较小的网络获取较少的特征,从而快速地找出物体的可用抓取框,剔除不可用的抓取框;第3级用于重新评判预选抓取框,以较大的网络获取较多的特征,从而准确地评估每个预选抓取框,获取最佳抓取框．测试结果表明,与单一卷积神经网络相比,三级网络获得抓取框的正确率提高了6.1%,最终在实际Youbot机器人上实现了高准确度的抓取操作．     

弱光环境下仓库搬运机器人抓取控制方法

为精准、稳定、可重复地完成抓取动作,研究了弱光环境下基于稳定轻量级网络的仓库搬运机器人抓取控制方法。首先,针对搬运环境弱光图像,基于稳定轻量级编/解码网络提取抓取区域弱光特征并进行融合处理,获得正常光抓取区域特征;其次,在深度分离融合提取层中,通过处理正常光抓取区域特征,重构深层特征,从而恢复特征提取时丢失的细节信息;再次,在网络输出层内输入重构特征,输出仓库搬运机器人手爪的抓取位姿参数;最后,通过手眼标定得到的搬运目标图像,采集相机坐标系与机器人坐标系的坐标转换关系,将抓取位姿参数转换成仓库搬运机器人抓取控制量,完成对仓库搬运机器人的抓取控制。实验证明,该方法可有效提取搬运目标抓取区域特征,并可有效预测仓库搬运机器人抓取位姿,能完成仓库搬运机器人抓取控制,且抓取精度较高。     

轻量级卷积神经网络的机器人抓取检测研究

卷积神经网络在基于视觉的机器人抓取检测任务上取得了较好的检测效果,但是大多数方法都有太多的计算参数,不适合资源有限的系统。针对这个问题,基于SqueezeNet轻量级神经网络,结合DenseNet多旁路连接加强特征复用的思想,提出了轻量级抓取检测回归模型SqueezeNet-RM（SqueezeNet Regression Model）,并使用SqueezeNet-RM从RGB-D图像中提取多模态特征,预测二指机器人夹持器的最佳抓取位姿。在标准的康奈尔抓取数据集上,提出的轻量级抓取检测网络与经典的抓取检测方法相比,在保证检测准确率不降低的情况下,模型占用更少的存储空间,表现出更快的检测速度和更高的泛化性能,所提出的模型占用的存储空间比AlexNet模型减少86.97%,平均检测速度快3倍,适用于FPGA（Field Programmable Gate Array）或者资源受限的移动机器人抓取检测系统。     

基于物联网的分拣机器人故障检测系统设计

目前研究的分拣机器人故障检测系统检测准确性较低,导致检测结果误差较大、实时性较差;为此,基于物联网设计一种新的分拣机器人故障检测系统;选用滑轮式机器人载体设定分拣机器人,硬件部分采用Zigbee压力传感器采集机器人故障信息,利用XBEE模块负责数据传输,协调分拣中控机接收各个传感器采集的信息,通过STMP3550芯片实现控制器设计;通过信息标定、信息采集、特征提取、故障识别实现软件工作流程,应用非极大值最大类间方差法来筛选出最优的高低阈值解,得到连续但含有假边缘的故障信息图像边缘;将提取到的图像特征向量映射到类型空间之中,确定故障原因,完成故障识别;实验结果表明,所设计分拣机器人故障检测系统在6次检验中都准确地检测出故障原因,故障检测耗时平均值为3.27 min,能够有效提高检测准确性,加强检测结果的实时性.     

基于神经网络技术的机器人并发故障自动诊断方法

为了提高柔性负载抓握机器人的故障检测能力,提出基于神经网络技术的机器人并发故障自动诊断方法.运用高分辨的智能传感器信息识别技术,结合刚度和强度等机械结构特征分析,构建柔性负载抓握机器人的故障信息采集模型,采用变刚度原理,提取柔性负载抓握机器人的振荡信息特征,通过谱特征检测和动态信息融合进行柔性负载抓握机器人的故障信息的...     

基于人脸识别与光流追踪的移动机器人视觉导航方法

针对移动机器人视觉导航中跟踪目标丢失的问题,提出了基于人脸识别与稀疏光流算法(KLT)结合的移动机器人视觉导航方法(FR-KLT视觉导航方法)。采用OpenCV库中的Haar特征提取人脸识别算法实时检测识别目标人脸,通过Harris角点检测获取目标人体特征点,对目标人体进行精准定位;KLT光流追踪法测算目标移动趋势,并预测目标下一刻大致位置。目标人体位置变动时移动机器人对目标进行实时追踪导航。通过Pioneer-LX机器人在真实环境下试验,验证了该方法准确识别并跟踪目标的实时性和有效性。     

基于多尺度特征融合的抓取位姿估计

抓取目标多样性、位姿随机性严重制约了机器人抓取的任务适应性,为提高机器人抓取成功率,提出一种融合多尺度特征的机器人抓取位姿估计方法.该方法以RGD信息为输入,采用ResNet-50主干网络,融合FPN(feature pyramid networks)获得多尺度特征作为抓取生成网络的输入,以生成抓取候选框;并将抓取方向...     

YOLOv5目标检测的轻量化研究

现有目标检测算法通常存在体积较大、结构复杂等问题,致使室内机器人作业过程中识别速率与精度较差。针对这一问题,以室内目标检测为基础,提出了一种改进的YOLOv5s轻量化检测方法。该方法主要是在YOLOv5s网络的基础上引入ShuffleNet v2特征提取机制来实现网络的轻量化,同时采用加权双向特征金字塔BiFPN和边框回归损失EIOU获取特征信息更为丰富的特征图,来提升目标检测精度,从而得到一种新的室内目标检测模型。研究结果表明,改进后的模型参数量明显减少,模型复杂度减少了46%,平均精确率均值mAP提升到63.9%,实现了轻量化和检测准确率的平衡,该研究为目标轻量化研究提供了参考。     

一种基于卷积神经网络的疲劳驾驶检测方法

疲劳驾驶检测具有重要的警示作用,对检测方法的准确性和实时性均有较高要求。为此,提出了一种基于卷积神经网络的疲劳驾驶检测方法。首先,针对车内特定使用环境,对MTCNN算法进行了加速优化,在保证高准确率的同时检测速度提升高达27倍。其次,在实现人脸特征点精确定位基础上,提出了一种基于稀少特征点快速准确提取目标区域图像的ERFP（extracting images based on rare feature points）方法。再次,利用构建的眼、嘴数据集EMSD（eye and mouth state date sets）完成了眼、嘴部状态分类模型的训练。最终,利用训练得到的模型,结合相应的判定算法,实现了疲劳驾驶的检测判定。实验结果表明,该方法在实车环境下对瞌睡和哈欠行为的判定准确率均达到了96%以上,且每秒可完成约50帧图像的检测,具备良好的实时性。     

基于关键点估计的抓取检测算法

抓取是机器人在服务与工业领域中进行人机协调的重要能力,得到一个准确的抓取检测结果是机械臂能否完成抓取任务的关键.为了提高抓取检测的准确率以及实时性,提出了一种由CenterNet改进的基于关键点估计的抓取检测算法.在网络的特征提取层使用了特征融合方法融合不同的特征图,减少特征的丢失;增加了角度预测分支用来预测抓取角度;...     

面向软面料自主抓取的机器人视觉检测与定位

服装软面料容易发生毛刺、褶皱、折叠和模糊等现象,给服装机器人自主上下料系统的视觉边缘检测与定位的准确性带来了较大的挑战。为了克服上述问题,本文提出了一种基于双重滤波的自适应边缘定位方法,可用于引导服装机器人实现软面料的自主抓取操作。首先采用高斯滤波、形态学滤波对图像进行平滑处理,然后基于边缘梯度信息计算Canny算子自适应阈值完成边缘检测,最后对提取到的边缘特征坐标进行定位。实验结果显示：方法在服装软面料构成的真实数据集上测试时,表现出良好的有效性(准确率≥96%)和鲁棒性。该方法对服装机器人的自主上下料操作具有良好的应用价值,对智能服装工厂的构建具有积极意义。     

基于巡逻机器人的实时跑动检测系统

文章提出了一种基于巡逻机器人系统的快速运动人体目标检测方法,采用卷积神经网络作为运动人体目标检测器,在不同摄像头视角和背景条件下,采集了不同姿态的跑动目标正负样本图像,完成了卷积神经网络的训练.为区分前景目标的运动和机器人造成的背景运动,采用了光流特征来描述目标的运动情况并提取出感兴趣区域;为提高跑动目标的检测准确率,将跑动人物的表面特征和运动特征结合起来形成双流数据通道,并输入到卷积神经网络中进行识别.实验结果表明,该系统在室外环境下能够实现85％的跑动人体目标检测准确率,并达到20帧/秒检测速度.     

基于强化底层特征的无人机航拍图像小目标检测算法

针对无人机航拍图像小目标检测整体精度低、漏检误检的问题,提出了一种新的基于强化底层特征的多尺度小目标检测方法。该方法以Faster R-CNN-ResNet-50-FPN为基础模型,首先,设计提出了新的DetNet-59特征提取网络;其次,设计了扁平的Flat-FPN特征融合网络来提高强化底层特征;最后通过引入soft-NMS解决小目标重叠问题。所提出的算法在VOC2007和VisDrone2019数据集上进行仿真实验测试,在时间消耗提升不大于2%的情况下,mAP较基础模型提高了约11%,并且检测精度也优于现阶段的常用算法。实验结果表明,该算法在保证实时性的同时可以有效提高小目标检测精度。