基于2D CNN和Transformer的人体动作识别

人体动作识别是计算机视觉领域的研究热点之一,在人机交互、视频监控等方面具有深远的理论研究意义。为了解决2D CNN无法有效获取时间关系等问题,利用Transformer在建模长期依赖关系上的优势,引入Transformer架构并将其与2D CNN相结合用于人体动作识别,以更好地捕获上下文时间信息。首先使用融合通道-空间注意力模块的2D CNN提取强化的帧内空间特征,其次利用Transformer捕捉帧间的时间特征,最后应用MLP Head进行动作分类。实验结果表明在HMDB-51数据集和UCF-101数据集上分别达到了69.4%和95.5%的识别准确度。     

基于Transformer与增强信息融合的双源情感识别

为解决当前多模态情感识别效果不佳的问题,提出了一种基于Transformer与增强信息融合的双源情感识别模型,模型由音视频编码分支网络和双源增强特征融合模块组成。其中,视频编码分支利用MobileViTv2提取每帧视频的空间特征,并通过在Transformer编码器结构中内嵌残差结构,强化各帧短期关联语义信息的提取能力。在音频特征提取部分构建了维度匹配器,避免了潜在异构鸿沟,提高了模型训练的鲁棒性。在音视频特征融合处引入低参数量跨模态注意力机制,从两个角度同时增强特征融合能力。通过对比和消融实验证明了方法在多模态情感识别任务中的有效性。     

注意力增强的视觉Transformer图像检索算法

基于深度哈希的图像检索方法往往利用卷积和池化技术去提取图像局部信息,并且需要不断加深网络层次来获得全局长依赖关系,这些方法一般具有较高的复杂度和计算量。本文提出了一种注意力增强的视觉Transformer图像检索算法,算法使用预训练的视觉Transformer作为基准模型,提升模型收敛速度,通过对骨干网络的改进和哈希函数的设计,实现了高效的图像检索。一方面,本文设计了一个注意力增强模块,来捕获输入特征图的局部显著信息和视觉细节,学习相应的权重以突出重要特征,并增强输入到Transformer编码器的图像特征的表征力。另一方面,为了提高图像检索的效率,设计了一种对比哈希损失函数,生成具有判别力的二进制哈希码,从而降低了内存需求与计算复杂度。在CIFAR-10和NUS-WIDE数据集上的实验结果表明,本文提出的方法,在两个不同数据集上使用不同哈希码长度的平均精度均值达到了96.8%和86.8%,性能超过多种经典的深度哈希算法和其他两种基于Transformer架构的图像检索算法。     

基于改进YOLOv5的输电线路鸟巢检测方法研究

输电线路上的鸟巢会对电力设备的安全运行构成威胁,甚至影响整个电力系统的稳定性。针对复杂场景下输电线路鸟巢检测方法适用性较差的问题,提出一种基于改进YOLOv5的输电线路鸟巢检测方法。该方法结合通道注意机制和空间注意机制设计特征平衡网络,以通道权值和空间权值作为引导,实现检测网络不同层次特征之间语义信息和空间信息的平衡。同时,为了避免因网络层数增加导致特征信息不断被弱化的问题,设计特征增强模块以捕获与鸟巢相关的通道关系和位置信息。最后,利用输电线路无人机巡检图像建立鸟巢数据集进行训练和测试。实验结果表明,所提出的输电线路鸟巢检测方法具有较强的泛化能力和适用性,同时也为电力图像缺陷检测提供技术参考。     

基于改进的Transformer细粒度图像识别算法研究

针对细粒度图像识别存在类间差异小、难以区分等问题,本文通过提升网络对图像细节特征的表达能力,来改善这一问题。为此,设计了一种基于改进的Transformer细粒度识别算法。首先,可变形卷积令牌嵌入通过自适应调整采样点的位置,来改变卷积操作范围及其卷积核的形状,从而增强网络模型对空间信息的感知能力,以获取更为精准的空间信息;其次,高效相关通道注意力机制通过对通道的自动选择,将通道注意力的计算从通道相邻转换成语义相似,来捕获语义相似的通道信息。而精准的空间信息和语义相似的通道信息将有效提升网络模型局部特征感知能力。实验结果表明,与基线算法相比,本文方法在CUB-200-2011、Stanford Cars和Stanford Dogs三个数据集上的识别结果分别提升了1.5%、2.4%、1.5%。结果表明,本文提出的方法通过提升细粒度图像细节特征的表达能力,从而有效提高了细粒度图像识别的有效性。     

基于改进YOLOv5算法的鸟巢检测方法

深度学习技术的快速发展推动了电力智能安防的自动化进程.电力场景中用于高压电力塔和接触网搭建的复杂钢结构往往成为铁路沿线鸟类筑巢之所,给电力系统安全运行带来了隐患.因此,使用深度学习技术及时发现并清理鸟巢具有重要的实际意义.提出了一种基于改进YOLOv5的鸟巢检测方法,该方法在YOLOv5基础上考虑了鸟巢本身所独有的黑色属性和错综复杂的纹理特性,采用注意力机制强化鸟巢检测过程中对上述特征的学习.同时,根据电力场景中采集的实际鸟巢数据对该方法开展的验证性实验取得了良好的检测效果,算法检测性能达到88.6％,相比其他经典检测算法高1.5％以上.     

基于图像识别的变电站鸟巢检测技术综述

随着生态环境不断改善,变电站鸟类筑巢缺陷频发,严重影响电力系统的安全运行。基于图像识别的变电站鸟巢检测技术具有巡检效率高、检测周期短的优点。对当前基于图像识别的鸟巢检测技术研究进行了综述。首先,详细介绍了鸟巢图像识别的预处理、特征提取和目标检测算法等关键技术;然后,结合苏州供电公司试验和运行结果,分析并探讨了变电站鸟巢检测技术在实际应用中的难点与痛点;最后,提出了技术和管理上的改进措施。     

基于Transformer改进YOLOv5的山火检测方法研究

构建智慧生态林业中核心环节为对森林火灾的监测及防范,为了第一时间扑灭火源防止火势蔓延并将可能发生的山火隐患于第一时间消除,提出了两种适用于无人机高空巡检的森林火灾检测模型YOLO_MC与YOLO_MCLite。其中YOLO_MC可对标准图像中的明火及烟雾进行检测,并基于YOLO_MC模型进行轻量化设计,提出适用于热图像中高温区域的检测模型YOLO_MCLite。在网络结构的设计中,首先在常规的卷积神经网络中融合加入了Transformer模型,提升了主干网络对于全局特征信息的感知能力;同时对Transformer模型进行轻量化设计,首先在网络结构上通过分组计算的形式减少tokens数量以降低计算量,其次通过通道注意力机制对特征块的通道数进行去冗余并提权来减少tokens的维度参数以降低计算复杂度,并且采用蒸馏算法从所设计的网络中提取出超轻量化网络应用于无人机红外影像的森林高温点检测,以预防森林火灾的发生。经过实验得出以下数据：所设计的两个检测模型中,其中适用于标准图像中对于明火及烟雾的检测准确率可达948%,适用于热图像对高温点的检测准确率可达972%,并且在英伟达JETSON TX2嵌入式设备上测试两个模型的帧率分别达到了225以及324。实验结果表明本文所设计网络能够对森林火灾进行有效检测并可以通过检测高温点及时预防火灾发生。     

基于改进SqueezeNet的棒状物表面缺陷识别

高速流水线生产的棒状物极易产生各种表面缺陷,但基于传统图像处理的缺陷识别方法易受环境影响、可靠性低,而基于深度学习的缺陷识别方法存在模型过大、识别准确率受制于样本数量等问题。因此,本文提出了一种基于改进SqueezeNet的棒状物表面缺陷识别系统。设计了可获取圆周对称小体积棒状物全表面图像的采集装置,并在轻量级卷积神经网络SqueezeNet中引入注意力模块以改善模型的特征提取效果,利用数据平衡方法提升数据集内少数类样本的识别准确率,利用迁移学习的方法进行深度学习训练,减轻数据集样本不足对训练效果的影响。以生产线上的卷烟烟支为研究对象,采集其圆周表面图像进行实验,结果表明,改进方法在少样本条件下的分类准确率达到了94.49%,其中对于少数类样本的F1分数提高了31.19%,单张图像检测时间约1.66 ms,模型轻量化,可满足工业生产线中棒状物实时缺陷识别的需求。     

融合 CNN 和 Transformer 的机器人室内场景识别

为了提高机器人在复杂的室内环境中场景识别的准确率,本文提出一种融合卷积神经网络(convolutional neural network, CNN)和视觉Transformer结构的机器人室内场景识别模型。本文模型利用CNN提取场景局部特征,然后使用视觉Transformer结构捕捉特征中远距离依赖关系,其中提出的视觉Transformer结构包括3个部分,分别是特征编码结构(Attention Embedding)、Encoder结构和一个将高层语义特征转化成像素级特征的结构(Attention Project)。本文研究的机器人场景识别模型利用CNN提高视觉Transformer局部细节特征的描述能力,同时通过视觉Transformer帮助CNN构建远距离特征的依赖关系,从而能够有效的表征和利用机器人工作场景图像的视觉特征。最后,通过机器人在实际工作环境中采集的数据集和开源的COLD数据集进行实验,验证了本文研究模型的有效性,场景识别精度更高。     

用于骨架行为识别的时空卷积Transformer网络

针对基于图卷积的骨架行为识别方法在建模关节特征时严重依赖手工设计图形拓扑,缺乏建模全局关节间依赖关系的缺点,设计了一种时空卷积Transformer实现对空间和时间关节特征的建模。空间关节特征建模中,提出一种动态分组解耦Transformer,通过将输入骨架序列在通道维度进行分组并为每个组动态生成不同的注意力矩阵,允许建模关节之间的全局空间依赖关系,无需事先知道人体拓扑结构。时间关节特征建模中,通过多尺度时间卷积实现对不同时间尺度行为特征的提取。最后,提出一种时空-通道联合注意力模块,进一步对所提取到的时空特征进行修正。在NTU-RGB+D和NTU-RGB+D 120数据集的跨主体评估标准上达到了92.5%和89.3%的Top1识别准确率,实验结果表明了所提方法的有效性。     

基于Transformer的车道线分割算法研究

车道线检测任务包含道路磨损、阴影遮挡和弯道等困难样本,这些样本中线条信息均有不同程度的缺失,使检测结果出现漏检或误检现象。基于深度学习的检测方案通过卷积操作提取特征信息。卷积操作摒弃人工设计滤波器等一系列传统图像处理的繁琐操作,得益于权重共享和归纳偏置大大减少了特征提取的工作量。该操作在缩小图像分辨率的同时获取长距离的信息,导致小分辨率的特征图损失区域边缘等细节,影响检测结果的质量。深度学习中分割模型比检测模型处理的信息更细致,本文在分割模型的基础上引入Transformer改进采样方式,改善卷积操作在获取全局信息上的不足。模型改进后在Tusimple上测试准确率提高0.4%,像素精准度提高0.3,乘法累加运算量增加36.09 G。结果表明Transformer特有的采样方式可以改善卷积操作采样的不足,改善语义分割网络对车道线困难样本识别漏检的情况。     

基于改进YOLOX-tiny算法的交警手势识别

为了在城市中实现无人驾驶,需要能够高效检测交警的现场指挥手势。针对现有手势识别算法识别精度低、检测速度慢、难以应对复杂道路环境等问题,提出一种改进的YOLOX tiny交警手势识别算法。首先,使用改进后的GhostNet网络替换原主干网络,并且插入坐标注意力机制,全面提取输入图像特征,提高了网络的检测精度,同时提升了对中小型目标的检测效果;其次,改进解耦头部分,设计了SCDE Head结构,在减少计算量的同时过滤冗余信息,使得解耦头更有效率,并且解耦头融合了多尺度的特征,提升了目标检测准确率;最后,将SIoU应用到定位损失中,加快网络收敛的速度,提升回归精度。在自制的交警指挥手势数据集上进行测试,实验结果表明,与YOLOX-tiny模型对比,改进后算法参数量减少了27.97%,模型计算量减少了33.31%,且平均检测精度提高了2.31%,检测速度提升了45%,更适合汽车无人驾驶以及硬件部署方面的实际需求。     

基于改进YOLOv5算法的交警手势识别

为了解决交警手势在光照不均匀、背景复杂的环境下识别精准度低以及实时性差等问题,以YOLOv5网络模型为基础,针对标准卷积层感受野范围有限的问题,将部分卷积层替换为自校准卷积,增大感受野范围;引入置换注意力模块,提高算法的特征提取能力;针对交警所处环境复杂多变的问题,将焦点损失函数替换为广义焦点损失函数,提高算法在复杂环境下目标框的表示能力。实验结果表明,改进后的算法在满足实时性的基础上对于交警手势的检测平均精度高达98.54%,相比于未改进的算法平均精度提高了3.39%,且损失函数的损失值更小。     

基于深度学习的改进型YOLOv4输电线路鸟巢检测与识别

针对输电线路无人机巡视图像经典鸟巢检测算法权重参数范围大、识别效率低、识别精度低的缺点,提出了一种改进型YOLOv4输电线路鸟巢检测与识别方法。首先,选取Mosaic图像增强技术对图片集进行多种变换,变相增加图片集中的小目标数量。其次,在骨干特征提取网络中,通过引入深度可分离卷积来提高检测网络的速度;在YOLO头中,基于K-means++算法改进锚框的大小和比例,基于最小凸集建立回归损失函数。最后,在PANet和YOLO头之间增加2个SPP模块,进一步增强特征融合能力,提高小目标检测能力。利用某供电局无人机巡检图像制作数据集,将提出的算法与其他目标检测算法进行对比实验研究。实验结果表明,改进后的算法有更高的鸟巢检测准确度和更低的运算开销。     

基于YOLOv5算法的交通标志识别技术研究

针对传统方式识别交通标志算法存在的检测精度较低的问题,提出了一种改进YOLOv5算法的交通标志识别方法.首先改进YOLOv5算法的损失函数,使用EIOU损失函数代替YOLOv5算法所使用的GIOU损失函数来优化训练模型,提高算法的精度,实现对目标更快速的识别;然后使用加权Cluster非极大值抑制(NMS)改进YOLO...     

改进 YOLO v7 算法下的监控水域环境人员识别研究

基于水域监控系统智能化的发展需求,提出了一种监控水域环境下人员识别算法。在水域场景数据采集、数据清洗与标记后,自主构建了一套监控水域场景下的人员类别数据集YZ-Water4,共8 092张图片和24 011个标签。基于目标检测算法YOLO v7的性能基础,针对水域场景特点,提出了适用于水域环境的目标检测算法YOLO-WA(you only look once-water area)。首先,使用更适合视觉任务的FReLU激活函数取代YOLO v7算法中激活函数;其次将注意力机制融合到算法网络骨架中,提升算法的特征提取能力;最后,选择SIOU损失函数替换YOLO v7算法中的CIOU损失函数以优化算法训练过程。实验结果表明,YOLO-WA与原算法相比,在水域人员类别数据集上识别精确率由82.3%提升到86.9%,召回率由92.0%提升到92.8%,平均精度从88.4%提高到90.6%,检测速度达到了85 fps,满足实时运行的精度与速度要求。     

基于改进YOLOv5的输电线路鸟巢缺陷检测方法

鸟巢侵占是输电线路经常发生的一个故障情况。鸟类在铁塔上筑巢将会影响铁塔的绝缘性能，造成跳闸事故的发生。传统的输电线路鸟巢识别方法效率低且安全性不足。为此，本文提出了一种改进YOLOv5模型的输电线路鸟巢检测算法。通过在主干网络中加入CBAM注意力模块，以较小的计算代价提升主干网络的特征提取能力。在颈部网络中引入自适应特征融合模块替换原始结构，加强多尺度特征融合效果。使用更加稳定和平滑的Mish激活函数作为激活函数，以提升分类精度和泛化能力。实验结果表明，相较于原始YOLOv5s模型，改进方法在召回率以及平均精度均值方面分别提升4.4%和2.3%。对于遮挡目标以及远近距离目标均表现出良好的性能，验证了改进方法的有效性。     

基于改进YOLOv5与CRNN的电表示数识别

为了提高电表示数检测和识别的准确率，基于轻量高效的YOLOv5s网络提出了改进的目标检测网络。首先，在特征提取阶段添加CBAM注意力机制对图像的重要特征进行自主学习，并设计了一种特征融合网络D-BiFPN加强了对深层特征的提取；其次，引入CIOU损失函数，使目标框的回归更加稳定。对CRNN文本识别算法的主干网络进行改进，模型保持轻量化的特点，在移动端部署上有良好的前景。最后，在电表数据集上测试得出：相比于YOLOv5算法，所提出的算法精度均值提升了5.13%;相比于CRNN算法，所提出的文本识别算法准确率提升了7.4%。实验结果表明，改进后的文本检测算法对电表示数的检测精度较高，文本识别算法准确率和速度较高，满足电表示数检测识别的实际应用需求。