基于EAIDK的智能煤矸分拣系统设计

现有基于图像识别的煤矸石分拣方法实时性较差且整体分拣准确率不高,而基于密度的分拣方法适用于井下初选,成本较高。针对上述问题,设计实现了一种基于EAIDK的智能煤矸分拣系统。采用嵌入式人工智能开发平台EAIDK构建矸石识别和分拣控制硬件平台,在嵌入式深度学习框架Tengine下利用深度学习算法搭建卷积神经网络,建立端到端可训练图像检测模型,并利用智能摄像机获取的图像数据训练模型;通过手眼标定获得摄像机坐标系与机械臂坐标系之间的关系,控制机械臂进行矸石追踪和分拣。实验结果表明,该系统矸石识别准确率稳定保持在95%以上,机械臂跟踪时间小于30 ms,执行误差为1 mm左右,可以满足煤矸分拣工艺要求。     

可回收物智能分拣系统的设计与实现

针对当前城市生活垃圾存在的处理设备速度较低和成本过高不能满足市场需求的问题,设计一套不同于机械臂的流水线拨杆式可回收物智能分拣系统。该系统包括硬件系统、控制系统以及图像识别部分,控制系统中采用实时操作系统Free RTOS(free real time operating system),研究多步进电机多任务同步控制算法,保证分拣任务的及时性和有效性;图像识别系统基于50层的残差网络(residual network 50,Res Net50),引入伽玛(Gamma)校正图像预处理算法,对Softmax函数进行改进,有效降低物品分类的误检率。搭建实物平台实验,其结果表明,改进的分拣系统能有效进行分拣操作,较其它可回收物分拣系统有一定提高,系统鲁棒性较好。     

基于深度学习的智能垃圾分拣车系统

针对生活垃圾的高效分类及搬运处理,设计了一款以边缘嵌入式AI设备Jetson Nano为控制器的光电智能小车系统,该系统设计以YOLOv5为目标检测算法,以Pytorch1.8.1为深度学习框架.使智能小车从指定区域出发,通过自身的光电传感器在指定范围内搜寻垃圾,利用六轴机械臂对垃圾进行分拣并送到指定分类地点.对采集到...     

采用Kinect的多臂协调操作系统

为完成基于Kinect的多臂协调精细操作的任务,搭建了一套双机械臂操作系统,利用Kinect作为视觉传感器对场景进行实时检测,并利用基于工作空间的RRT算法对其中一台七自由度机械臂末端进行路径规划完成目标的自主抓取。根据手眼协调控制技术,利用另外一台六自由度机械臂末端的摄像机采集的图像误差控制机械臂的运动,并利用粒子滤波算法对目标进行实时跟踪。通过设计一套双臂协作完成物体交接的实验系统,完成了多臂协同操作的任务,并验证了实验方法的可靠性。     

一种改进的轻量级垃圾目标检测算法

垃圾分类问题的解决方法目前主要依靠垃圾处理厂人工分拣,其工作环境较差且自动化程度不高.为了提高垃圾分拣的速度与精度,以及为自动垃圾分拣设备提供算法解决参考方案,文章提出一种面向低功耗设备的轻量级垃圾目标检测算法Ghost-YOLO,该算法在保证轻量化的同时具有较高的垃圾检测精度.Ghost-YOLO算法是基于YOLOv...     

智能移动垃圾分拣机器人设计与实现

随着我国人口红利逐渐减弱,以及计算机、工业自动化水平的提高,迫切要求通过自动化设备代替传统人工进行工作。本作品研究基于视觉识别技术的智能移动垃圾分拣机器人,能够进行路径规划遍历清扫区域,扫描识别垃圾并抓取垃圾。作品由导航单元、目标识别单元以及分拣控制单元三部分组成。导航单元基于ROS分布式框架,利用激光雷达采集清扫区域环境信息,实现基于扫描匹配算法的SLAM功能,并通过最优路径算法进行路径规划遍历清扫区域。机器人遍历过程中,由目标识别单元通过SSD_MobileNet_V2深度学习算法对摄像头获取的图像进行目标检测以及目标分类,获取目标的坐标及其角度信息作为分拣控制单元的输入信息,控制分拣控制单元执行垃圾抓取任务。     

不规则多物品无序分拣机器人研究

针对多种不规则物品混乱摆放的抓取问题，一直是机器人领域研究的热点和难点，对其研究在家庭生活服务机器人等领域有很高的应用价值。为实现这一功能，基于双目相机和协作机械臂搭建一套物品分拣机器人系统。系统中基于YOLOv5算法和PSMNet网络建立起目标检测和双目立体匹配算法，利用ROS系统的MoveIt模块进行机械臂控制。经过实验验证，该机器人能够有效识别、定位和分拣形状不规则、表面纹理丰富、摆放混乱的物品，对经过训练的物品识别成功率达到100%，分拣成功率达到93.3%。     

基于改进YOLOv3行人检测研究

行人的检测与跟踪在智能交通、自动驾驶领域中均有广泛的应用。针对图像中小目标检测率低问题,提出了一种YOLOv3的改进方法,并将其应用于小目标的检测。由于小目标所占的像素少、特征不明显,为了获取更多的小目标特征信息,在YOLOv3网络结构的基础上添加三层SPP网络,通过SPP模块实现了局部特征和全局特征,SPP模块中最大的池化核大小要尽可能地接近或者等于需要池化的特征图的大小,特征图经过局部特征与全局特征相融合后,丰富了特征图的表达能力,有利于待检测图像中目标大小差异较大的情况。用改进的YOLOv3算法和原YOLOv3算法在数据集上进行对比实验,结果表明改进后的YOLOv3算法能有效的检测小目标,对小目标的平均准确率有明显的提升。     

空基红外小目标检测与跟踪系统

近些年,红外成像技术快速发展,红外图像具有背景复杂、信杂比低、目标尺寸小等特点,为多运动目标的实时检测跟踪带来了挑战。该空基红外小目标检测与跟踪系统的构建包含三个部分：数据集制作、小目标检测和多目标跟踪。首先使用条件对抗生成网络和图像融合算法生成的仿真数据与真实数据相结合,搭建了红外小目标数据集;其次,小目标检测方面,采用了基于YOLOv3-tiny检测器进行红外小目标检测;多目标跟踪方面,采用了基于卡尔曼滤波算法和匈牙利算法的多目标跟踪方法;最终,在满足实时性的要求下,系统取得了较好的效果。     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。     

基于机械臂的化学物品定位与分类

针对化学实验场景下深度相机难以探测试管等透明物体距离,继而引起机械臂难以获取化学试管在空间中的三维坐标的问题,提出通过改进的深度学习算法YOLOv3 Tiny检测试管上的贴纸标签以获取透明化学试管的三维空间坐标;针对不同化学试管无法分类的问题,提出通过深度学习算法CTPN+BLSTM+CTC Loss识别标签上的文字信息对试管进行分类。本文采用深度相机、单目相机与搭载ROS系统的六轴机械臂为实验平台,在TensorFlow上训练化学标签检测模型与文字检测识别模型。通过在机械臂搭载的树莓派上的ROS系统进行Python编程对贴有不同的化学标签的化学试管进行抓取实验,结果显示该方法对贴有标签的透明试管具有较高的识别率及定位准确率,可以实现机械臂抓取装有不同物质的化学试管。     

YOLO-wLU：考虑定位不确定性的目标检测算法

YOLOv3目标检测算法在检测目标时没有考虑边界框坐标定位存在的不确定性,因此有时不能得出正确的检测结果。针对此问题,提出YOLO-wLU（YOLO with Localization Uncertainty）算法。该算法借鉴深度学习中的不确定性思想,使用高斯分布函数建立边界框坐标的概率分布模型以考虑边界框坐标定位不确定性;设计新的边界框损失函数,在检测过程中移除定位不确定性较大的检测结果;通过融合周围边界框坐标信息提高了边界框坐标辨识结果的准确性。实验结果表明,该算法可有效减少误报率,提高检测精度;COCO数据集上测试结果显示,相比YOLOv3算法,该算法的mAP最高可提升4.1个百分点。     

基于改进YOLOv4的轻量化目标检测算法

针对当前YOLOv4目标检测网络结构复杂、参数多、训练所需的配置高以及实时检测每秒传输帧数（FPS）低的问题,提出一种基于YOLOv4的轻量化目标检测算法ML-YOLO。首先,用MobileNetv3结构替换YOLOv4的主干特征提取网络,从而通过MobileNetv3中的深度可分离卷积大幅减少主干网络的参数量;然后,用简化的加权双向特征金字塔网络（Bi-FPN）结构替换YOLOv4的特征融合网络,从而用Bi-FPN中的注意力机制提高目标检测精度;最后,通过YOLOv4的解码算法来生成最终的预测框,并实现目标检测。在VOC2007数据集上的实验结果表明,ML-YOLO算法的平均准确率均值（mAP）达到80.22%,与YOLOv4算法相比降低了3.42个百分点,与YOLOv5m算法相比提升了2.82个百分点;而ML-YOLO算法的模型大小仅为44.75 MB,与YOLOv4算法相比减小了199.54 MB,与YOLOv5m算法相比,只高了2.85 MB。实验结果表明,所提的ML-YOLO模型,一方面较YOLOv4模型大幅减小了模型大小,另一方面保持了较高的检测精度,表明该算法可以满足移动端或者嵌入式设备进行目标检测的轻量化和准确性需求。     

低光照下的无人机异物检测与定位

为解决无人机在低光照环境下的巡检过程中, 不能对场景中的异物进行识别与定位, 导致后续智能算法无法获得环境语义信息的问题. 本文提出一种将ORB-SLAM2算法与适用于低光照目标检测改进的YOLOv5模型进行信息融合的方法. 首先, 通过RGB-D相机自采集低光照数据集进行深度学习训练及融合算法验证. 然后, 结合关键帧信息、目标检测模块的输出结果以及相机的固有信息完成目标像素坐标提取. 最后, 通过关键帧信息和像素坐标完成目标物体相对世界坐标系的位置解算. 本文实现了低光照环境下目标物体较为准确的识别和目标物体在世界坐标系中分米级的定位, 为低光照环境下无人机智能巡检提供了一种有效的解决方案.     

多模态深度神经网络的固废对象分割

目的 对城市发展过程中产生的建筑固废进行处理,并将之转换为资源和能源,是极佳的保护环境的经济发展模式。然而人工分拣处理存在效率低、污染严重、对人身危害大等问题。目前工业界在探索一种有效的基于机械臂自动抓取的建筑固废自动分拣系统,其中图像分割技术是非常必要的一个环节。但是工业现场的环境因素造成固废对象的颜色严重退化,会影响最终的固废对象分割。本文针对建筑固废图像分割难度大的现状,提出一种基于多模态深度神经网络的方法来解决固废对象分割问题。方法 首先, 在颜色退化严重的场景下,把RGB图像和深度图一起作为深度卷积神经网络的输入,利用深度卷积神经网络进行高维特征学习,通过softmax分类器获得每个像素的标签分配概率。其次,基于新的能量函数建立全连接条件随机场,通过最小化能量函数寻找全局最优解来分割图像,从而为每一类固废对象产生一个独立的分割块。最后,利用局部轮廓信息计算深度梯度,实现同一类别的不同实例的固废对象精确分割。结果 在固废图像测试集上,该方法取得了90.02%均像素精度和89.03%均交并比（MIOU）。此外,与目前一些优秀的语义分割算法相比,也表现出了优越性。结论 本文方法能够对每一个固废对象同时进行有效的分割和分类,为建筑垃圾自动分拣系统提供准确的固废对象轮廓和类别信息,从而方便实现机械臂的自动抓取。     

基于改进YOLOv3的多尺度目标检测算法

为了进一步提高多尺度目标检测的速度和精度,解决小目标检测易造成的漏检、错检以及重复检测等问题,提出一种基于改进YOLOv3的目标检测算法实现多尺度目标的自动检测。首先,在特征提取网络中对网络结构进行改进,在残差模块的空间维度中引入注意力机制,对小目标进行关注;然后,利用密集连接网络（DenseNet）充分融合网络浅层信息,并用深度可分离卷积替换主干网络中的普通卷积,减少模型的参数量,提升检测速率。在特征融合网络中,通过双向金字塔结构实现深浅层特征的双向融合,并将3尺度预测变为4尺度预测,提高了多尺度特征的学习能力;在损失函数方面,选取GIoU（Generalized Intersection over Union）作为损失函数,提高目标识别的精度,降低目标漏检率。实验结果表明,基于改进YOLOv3（You Only Look Once v3）的目标检测算法在Pascal VOC测试集上的平均准确率均值（mAP）达到83.26%,与原YOLOv3算法相比提升了5.89个百分点,检测速度达22.0 frame/s;在COCO数据集上,与原YOLOv3算法相比,基于改进YOLOv3的目标检测算法在mAP上提升了3.28个百分点;同时,在进行多尺度的目标检测中,算法的mAP有所提升,验证了基于改进YOLOv3的目标检测算法的有效性。     

基于改进 YOLOv4 和图像处理的蔬菜田杂草检测

以蔬菜苗田内幼苗期 7 种常见蔬菜和田间杂草为研究对象,针对田间杂草种类多和分布复杂导致检测方法效率低、精度差和鲁棒性不足等问题,逆向将杂草检测转换为作物检测,提出一种基于优化 YOLOv4和图像处理的蔬菜苗田杂草检测算法。在 YOLOv4 目标检测算法基础上,主干特征提取网络嵌入 SA 模块增强特征提取能力,引入 Transformer 模块构建特征图长距离全局语义信息,改进检测头和损失函数提高检测定位精度。改进模型单幅图像平均识别时间为 0.261 s,平均识别精确率为 97.49%。在相同训练样本以及系统环境设置条件下,将改进方法与主流目标检测算法 Faster RCNN,SSD 和 YOLOv4 算法对比,结果表明改进 YOLOv4模型在蔬菜苗期的多种蔬菜检测具有明显优势。采用改进 YOLOv4 目标检测算法检测作物,作物区域外的植被为杂草,超绿特征结合 OTSU 阈值分割算法获取杂草前景,最后标记杂草前景连通域输出杂草质心坐标和检测框位置,可以较好解决蔬菜苗田杂草检测问题。     

面向巡检机器人的电力设备状态检测算法研究

为更高效利用变电站巡检机器人开展电力巡检工作,满足电力行业发展对智能化巡检的需求,研究了面向电力巡检机器人的电力设备状态检测算法。首先,根据深度网络部署硬件芯片应用情况与性能对比,选择海思Hi3559A芯片作为算法移植的嵌入式平台。然后综合考虑各种检测算法的精度与速度,选用YOLOv3算法作为设备状态检测的基本判别模型。为了提升检测算法速度并减少模型体积,开展模型压缩算法及轻量型YOLOv3模型设计研究,分别提出了改进的小型化YOLOv3模型和基于通道剪枝与层剪枝结合的模型压缩方法,提高模型上下层的语义信息及剪枝后模型的精度保持。根据测试结果选择最优的模型在机器人前端部署,提出的轻量化YOLOv3模型很好地保持了设备目标与异物检测的精度,检测速度提升了4倍。     

面向遥感图像小目标检测的改进YOLOv3算法

针对YOLOv3目标检测算法在遥感图像小目标检测方面精度较低的缺点,提出了一种改进的YOLOv3目标检测算法--YOLOv3-CS。根据对backbone中不同尺度特征重要性的分析重构了backbone,即增加具有丰富位置信息的浅层特征对应的卷积层深度,以此增强backbone对小目标特征的提取能力,引入RFB结构增大浅层特征图的感受野来提升小目标检测精度,优化了anchor boxes及其分配原则。在RSOD数据集的实验结果表明,YOLOv3-CS算法与YOLOv3相比,mAP提高6.49%,F1提高4.85%,所需存储空间降低12.58%,其中backbone的改进和RFB的引入对小目标检测的精度提升较为明显,说明提出的目标检测算法在遥感图像小目标检测方面有较高的优势。