融合改进YOLOv5及Mediapipe的手势识别研究

针对现有手势识别算法计算量大、鲁棒性差等问题,提出一种基于IYOLOv5-Med(improved YOLOv5 Mediapipe)算法的手势识别方法。该算法将改进的YOLOv5算法和Mediapipe方法结合,包括手势检测和手势分析两部分,算法有效降低了训练的时间成本,增加了识别的鲁棒性。手势检测部分,改进了传统YOLOv5算法,利用FastNet重构C3模块,将CBS模块替换为GhostNet中GhostConv模块,在Backbone网络末端加入SE注意力机制模块,改进后的算法,模型体积更小,更适用于资源有限的边缘设备。手势分析部分,提出了一种基于Mediapipe的方法,对手势检测部分定位到的手势区域进行手部关键点检测,并提取相关特征,然后通过朴素贝叶斯分类器进行识别。实验结果证实了提出的IYOLOv5-Med算法的有效性,与传统YOLOv5算法相比,参数量下降34.5%,计算量减少34.9%,模型权重降低33.2%,最终平均识别率达到0.997,且实现方法相对简单,有较好的应用前景。     

LPD-YOLO:轻量级遮挡行人检测模型

在驾驶场景中，针对行人间的遮挡和尺度多变现象导致的检测精度较低、模型参数量过大和难以部署到移动端等问题，提出了一种基于YOLOv5s模型的轻量级实时行人检测模型LPD-YOLO。首先，在特征提取部分采用MES Net替换原主干网络，并在主干网络中嵌入注意力模块SA,增强网络特征提取能力；其次，在特征融合部分采用DS-ASFF结构改进原PANet,使其充分融合不同尺寸的特征图；然后，采用GS卷积代替特征融合网络中的部分标准卷积，在不影响精度的条件下，进一步减少模型参数量和计算量；最后，在预测部分使用OTA标签分配策略结合α-IOU改进原损失函数，加速模型收敛。实验结果表明，该模型相较于YOLOv5s,参数量减少了81.2%,浮点运算量降低了46.3%,模型大小减小了75.8%,检测精度提高了3.3%。单幅图像检测速度达到了13.2 ms,更好地满足了驾驶场景下密集行人的实时检测要求。     

基于改进YOLOv5算法和边缘设备的电动车违规载人检测

严禁电动车违规载人是新交通法规中的重要内容，针对目前缺乏有效的检测电动车违规载人算法的现状，设计了一种基于改进的YOLOv5目标检测算法与边缘设备相结合的电动车违规载人检测系统。首先构建电动车行驶数据集；其次以YOLOv5网络模型为基础，引入轻量化网络Mobilenetv3、ECA-Net注意力机制、Slim-Neck结构和SPPFCSPC空间金字塔池化结构，提升针对电动车违规载人的检测精度，并且与原算法做消融实验；最后将改进后的算法部署在边缘设备Jetson Nano上进行实时推理。通过分析实验数据，改进后算法的参数量下降为原YOLOv5n的18%，在Jetson Nano上其推理速度提升了62%，最快推理速度可以达到17 FPS。改进后的算法在Jetson Nano上可以在提升检测精度的同时大幅提高推理速度，满足在不同场景下进行边缘部署的需求。     

改进YOLOv5的瓷砖表面缺陷检测

现有瓷砖表面缺陷检测存在识别微小目标缺陷能力不足、检测速度有待提升的问题, 为此本文提出了基于改进YOLOv5的瓷砖表面缺陷检测方法. 首先, 由于瓷砖表面缺陷尺寸偏小的特性, 对比分析YOLOv5s的3个目标检测头分支的检测能力, 发现删除大目标检测头, 只保留中目标检测头和小目标检测头的模型检测效果最佳. 其次, 为了进一步实现模型轻量化, 使用ghost convolution和C3Ghost模块替换YOLOv5s在Backbone网络中的普通卷积和C3模块, 减少模型参数量和计算量. 最后, 在YOLOv5s的Backbone和Neck网络末端添加coordinate attention注意力机制模块, 解决原模型无注意力偏好的问题. 该方法在天池瓷砖瑕疵检测数据集上进行实验, 实验结果表明: 改进后的检测模型的平均精度均值达66%, 相比于原YOLOv5s模型提升了1.8%; 且模型大小只有10.14 MB, 参数量相比于原模型减少了48.7%, 计算量减少了38.7%.     

CC-YOLOv5：改进的YOLOv5用于无人机航拍图像目标检测

由于无人机航拍图像的背景较为复杂，小尺寸目标较多，不同目标的尺度差异较大，且算法部署于资源有限的边缘设备上，难以同时兼顾检测的准确性和实时性。一方面，传统的单阶段检测算法可能会使特征图的融合不充分，造成目标特征信息的丢失，导致检测精度不高。另一方面，复杂度较高的两阶段检测算法在边缘设备上又难以满足实时性的要求。针对以上问题，基于YOLOv5框架提出了一种改进的CC-YOLOv5算法。首先，在Backbone部分集成CBAM模块，丰富网络获取的目标特征信息，降低网络的复杂度；其次，通过改进YOLOv5的FPN层，使其能够更好地进行特征融合，提升检测性能。最后，实验结果表明，在VisDrone2019数据集上，mAP达到了33.5%，比YOLOv5m提高了3.3个百分点；在边缘计算设备Nvidia Jetson Nano上，针对640×480图像的平均检测时间为0.095 s，满足了实时性要求。     

面向无人机作战的复杂光照环境下小目标检测方法研究

针对复杂光照环境下无人机作战的小目标难以检测问题,以引入注意力机制的YOLOv5s-Se模型为基础,设计了基于Ghost模块与形状损失函数的YOLOv5s-Se_Point改进模型。该模型首先引入形状特征损失函数,提高对小目标形状特征的提取能力。然后,使用Ghost模块替换网络Backbone中的卷积模块,以提高识别速度,降低模型尺寸。通过设置模拟作战场景进行实验,结果表明YOLOv5s-Se_Point相对于YOLOv5s和YOLOv5s-Se模型,在准确率和检测速度上具有一定优势,可以有效地改善复杂光照环境下传统算法的缺陷,提高算法的鲁棒性,实现对复杂光照环境下小目标的有效识别。     

基于通道注意力YOLOV5s的驾驶行为识别研究

设计了一种集成通道注意力机制的YOLOV5s检测网络的驾驶行为识别方法，用以实时检测并识别驾驶员在驾驶室内的驾驶行为，从而有利于纠正驾驶员的不良驾驶行为，减少交通事故发生的概率。建立了驾驶室内驾驶员手部动作的图像数据集；在YOLOv5s网络结构中引入通道注意力机制，通过对比实验、消融实验研究了通道注意力模块嵌入YOLOv5s中的较佳作用位置、配置数量的影响及其检测识别性能效果；论证了带通道注意力的改进YOLOV5s可保留信息量大的特征、抑制不相关的特征，模型参数量和复杂度降低，从而加快检测速度。测试结果显示，较原YOLOV5s网络，改进的YOLOV5s在平均精确度和召回率上相当，而检测速度提升了26.08%，该方法能够较好地满足驾驶员手部动作的实时监控需求。     

基于改进轻量化YOLOv7的变电站数显仪表检测

针对在实际工业生产环境下,当前通用检测模型算法参数体量大、检测精度低,同时巡检机器人上部署困难等问题,提出一种基于改进YOLOv7轻量化模型的数显仪表检测方法。为减少计算量,在YOLOv7网络中引入Ghost Net作为主干网络模块,并且将SPPCSPC替换为了RFB,在降低模型参数量的同时有效提升了检测精度。实验结果证明,本文算法相较于原YOLOv7算法,模型大小压缩了40MB,参数量减少了57.5%,同时检测精度m AP从原来的98.9%提高达到了99.3%,有效验证了本文算法的有效性。     

轻量化的YOLOv4目标检测算法

YOLOv4目标检测算法主干网络庞大且参数量和计算量过多,难以部署在算力和存储资源有限的移动端嵌入式设备上。提出一种改进的YOLOv4目标检测算法,使用轻量化的ShuffleNet V2网络作为主干特征提取网络,更换模型激活函数及扩大卷积核,同时将YOLOv4网络中的普通卷积替换为深度可分离卷积,降低算法参数量、计算量和模型占用空间。在ShuffleNet V2网络结构的改进过程中分析并剪裁其基本组件,利用2个3 × 3卷积核级联的方式增强网络感受野,并使用Mish激活函数进一步提升网络检测精度和模型推理速度。在GPU平台和VisDrone 2020数据集上的实验结果表明,与YOLOv4算法相比,改进的YOLOv4算法在牺牲1.8个百分点的检测精度情况下,提高了27%的检测速度,压缩了23.7%的模型容量,并且能够充分发挥ZYNQ平台并行高速数据处理及低功耗的优势。     

基于改进YOLOv5s的焦炉烟火识别算法

针对炼焦厂烟火排放全天候环保监测的要求,提出了基于改进YOLOv5s的焦炉烟火识别算法;该算法以YOLOv5s为基础网络,在主干网络Backbone中添加CBAM注意力机制模块,使网络更加关注重要的特征,提升目标检测的准确率;新增FReLU激活函数代替SiLU激活函数,提高激活空间的灵敏度,改善烟火图像视觉任务;在自建数据集中烟、火样本标签基础上,增加灯光标签来解决强灯光对火焰识别的干扰,并通过分流训练、检测的方式来解决昼夜场景的烟火检测问题;在自建数据集上做对比实验,更换激活函数后,联合CBAM模块的YOLOv5s模型效果最佳;实验结果显示,与原始YOLOv5s模型相比,在白天场景下的烟火识别mAP值提升了6.7%,在夜间场景下的烟火识别mAP值高达97.4%。     

改进YOLOv5s的交通标志识别算法

为了准确且实时地检测到交通标志指示牌, 减少交通事故的发生和推动智慧交通的发展, 针对现有的道路交通标志检测模型存在的精度不足、权重文件大、检测速度慢的问题, 设计了一种基于计算机视觉技术的改进YOLOv5s检测算法YOLOv5s-GC. 首先, 使用copy-paste进行数据增强后再送入网络进行训练, 加强对小目标的检测能力; 然后, 引入Ghost来构建网络, 削减原网络的参数和计算量, 实现轻量化模型; 最后, 将坐标注意力机制(coordinate attention)融合到骨干网络里, 增强对待测目标的表示和定位能力, 提高识别精度. 实验结果表明, YOLOv5s-GC模型相比于原YOLOv5s模型, 参数数目减少了12%, 检测速度提高了22%, 平均精度达到了94.2%, 易于部署且能满足实际自动驾驶场景中对识别交通标志的速度和准确度要求.     

基于改进YOLOv4算法的轻量化网络设计与实现

在嵌入式设备上进行目标检测时易受能耗和功耗等限制,使得传统目标检测算法效果不佳。为此,对YOLOv4算法进行优化,设计YOLOv4-Mini网络结构,将其特征提取网络由CSPDarkNet53改为MobileNetv3-large并进行INT8量化处理,其中网络结构利用PW和DW卷积操作代替传统卷积操作以大幅减少计算量。采用SE模块为通道施加注意力机制,激活函数层运用h-swish非线性激活函数,在保证精度的情况下降低网络计算量。同时,通过量化感知训练将权重转为INT8类型,以实现模型轻量化,进一步降低网络参数量和计算量,从而在嵌入式设备上完成无人机数据集的目标检测任务。在NVIDIA Jetson Xavier NX设备上进行测试,结果显示,YOLOv4-MobileNetv3网络的mAP为34.3%,FPS为30,YOLOv4-Mini网络的mAP为32.5%,FPS为73,表明YOLOv4-Mini网络能够在低功耗、低能耗的嵌入式设备上完成目标实时检测任务。     

面向边缘端的施工人员实时检测方法

施工人员检测在施工管理工作中有重要的应用价值。施工现场图像背景复杂且视角多样,给施工人员检测任务带来难度,同时施工现场大多基础配套设施不完善,并且网络条件较差,不适合在大型GPU工作站上进行模型部署。针对以上问题,以YOLOv3检测网络为基础,加入特征金字塔池化模块,增加多尺度特征融合并改进候选框,提升检测精度,同时采用通道剪枝算法对检测网络进行轻量化处理以适应边缘端设备算力,提出一种面向边缘端的施工人员实时检测方法。该方法在自制的施工人员数据集上平均准确率可达到88.23%,较YOLOv3检测方法提升4.89个百分点,且将模型大小压缩至原来的1/13,检测速度提升一倍,在嵌入式设备Jetson Xavier NX上检测速度可达到69.08帧/s,满足在施工现场进行实时边缘端检测的要求。     

基于树莓派和YOLOv5的PCB瑕疵检测

针对PCB瑕疵检测问题，提出了基于YOLOv5s的轻量化PCB瑕疵检测算法，并基于树莓派平台搭建了一套PCB瑕疵自动检测系统。首先，在Backbone阶段使用改进的空间金字塔池化代替原有的C3网络；其次，在Backbone与Neck中引入残差结构，并在小目标检测层面加入CBAM注意力机制；最后，将所提轻量化算法部署到树莓派上，并使用NCS2套件进行辅助加速，通过摄像头进行自动检测。通过测试，所提算法检测PCB瑕疵mAP达到99.1%,与原YOLOv5s模型相比，Params为其23%,FLOPs为其21%,PCB瑕疵检测系统运行速度达到7 fps,满足自动检测要求。     

改进YOLO v4的火焰图像实时检测

为解决火焰图像检测易被周围环境干扰、火焰特征复杂等问题,提出改进型YOLOv4火焰图像实时检测模型。改进模型的激活函数;通过K-Means聚类针对火焰图像的特征调整先验框的维度;通过改进损失函数,减少模型中不必要特征的学习;引入注意力机制(通道注意力(CAB)模块和空间注意力(SAB)模块),增强模型在通道和空间的感知力。实验结果表明,改进的YOLOv4目标检测算法的FPS可达76.7,较原来提升了1.1;检测精度和召回率为82.8%、0.78,分别比原算法提高了36.56%、0.36;损失值为0.7758,比原算法降低了1.2942。     

改进YOLOv5s的车辆目标检测算法研究与实现

针对在实际交通场景中对车辆目标检测算法有占用资源小、保证实时性和准确率高的要求,提出了一种基于改进YOLOv5s的车辆目标检测算法。首先,引入GhostNet改进YOLOv5s的Backbone,降低了网络的计算量,提高了检测速度;其次,融合CBAM注意力机制,改善在各种天气、光照情况下难以被准确检测的问题;然后,使用Soft-NMS代替NMS,减少了交通拥堵等情况造成的漏检问题;最后,对改进后的算法进行了对比消融实验,验证其性能,再部署到嵌入式设备端测试。根据实验结果,改进算法在保证较高的平均精度的情况下,模型资源占用降低了34.76%,在嵌入式平台上的帧率可以达到29 frame/s,可以达到实际应用的要求。     

基于改进YOLOv5s的人脸疼痛表情识别

针对目前疼痛表情识别模型结构复杂、计算量大、检测速度慢、不易移植等问题,提出一种针对移动端设备的轻量化人脸疼痛表情识别算法。首先引入GhostNet网络结构中的Ghost模块卷积,压缩模型的参数量,减小计算开销;之后用改进的FReLu激活函数替换SiLu激活函数,提升识别精度与检测效率;最后引入CA注意力机制,对人脸疼痛表情特征区域增加关注度,提升算法对疼痛表情模型的识别精度。实验结果表明,改进后的模型对疼痛表情识别精度达到96.9%;每张图片检测时间为53 ms,相比YOLOv5s模型用时缩短18%;模型大小相比YOLOv5s下降41.3%。适用于移动端设备的实时疼痛表情识别。     

基于改进YOLOv4的小目标行人检测算法

行人检测在无人驾驶环境感知领域具有重要应用。现有行人检测算法多数只关注普通大小的行人目标,忽略了小目标行人特征信息过少的问题,从而造成检测精度低、应用于嵌入式设备中实时性不高等情况。针对该问题,提出一种小目标行人检测算法YOLOv4-DBF。引用深度可分离卷积代替YOLOv4算法中的传统卷积,以降低模型的参数量和计算量,提升检测速度和算法实时性。在YOLOv4骨干网络中的特征融合部分引入scSE注意力模块,对输入行人特征图的重要通道和空间特征进行增强,促使网络学习更有意义的特征信息。对YOLOv4颈部中特征金字塔网络的特征融合部分进行改进,在增加少量计算量的情况下增强对图像中行人目标的多尺度特征学习,从而提高检测精度。在VOC07+12+COCO数据集上进行训练和验证,结果表明,相比原YOLOv4算法,YOLOv4-DBF算法的AP值提高4.16个百分点,速度提升27%,将该算法加速部署在无人车中的TX2设备上进行实时测试,其检测速度达到23FPS,能够有效提高小目标行人检测的精度及实时性。     

基于改进YOLOv5的电厂人员吸烟检测

发电厂厂区内违规吸烟易导致火灾、爆炸等事故,会带来巨大损失;针对电厂内人员违规吸烟行为检测精度不高的问题,提出一种基于改进YOLOv5s(You Only Look Once v5s)的电厂内人员违规吸烟检测方法;该方法以YOLOv5s网络为基础,将YOLOv5s网络C3模块Bottleneck中的3×3卷积替换为多头自注意力层以提高算法的学习能力;接着在网络中添加ECA(Efficient Channel Attention)注意力模块,让网络更加关注待检测目标;同时将YOLOv5s网络的损失函数替换为SIoU(Scylla Intersection over Union),进一步提高算法的检测精度;最后采用加权双向特征金字塔网络(BiFPN,Bidirectional Feature Pyramid Network)代替原先YOLOv5s的特征金字塔网络,快速进行多尺度特征融合;实验结果表明,改进后算法吸烟行为的检测精度为89.3%,与改进前算法相比平均精度均值(mAP,mean Average Precision)提高了2.2%,检测效果显著提升,具有较高应用价值。     

基于改进YOLOv5s的车载人员安全带行为检测

车载人员佩戴安全带行为的检测对于人的生命安全保障具有重要作用。针对目前车内复杂环境下车载人员佩戴安全带检测精度不高的问题,提出一种基于改进的YOLOv5s(You Only Look Once v5s)车载人员佩戴安全带的检测方法。该检测方法将YOLOv5s作为基础网络,在此基础上进行改进。为改善深度模型对特征信息的提取能力,采用RFB(Receptive Field Block)模块增大网络的感受野,并利用RFB模块多分支结构获得混合的感受野;加入ECA(Efficient Channel Attention)注意力通道模块,使得整个网络更加专注特征信息的提取;将原YOLOv5s的损失函数替换为EIOU,进一步提高网络对安全带的检测精度。经过实验结果表面,改进后网络与原YOLOv5s网络相比,其平均精度均值(mAP,mean Average Precision)提高了2.2%,查准率(Precision)提升了5.1%。改进后的网络具有良好的提升效果,表明了该方法的有效性。