基于改进YOLOv4的道路交通标志识别

针对复杂场景中交通标志尺度变化大导致识别精度低的问题,提出了一种改进的YOLOv4算法。首先,设计了一个注意力驱动的尺度感知特征提取模块,通过构建类似残差结构的分层连接方式,增加每层的感受野范围,以获得更具细粒度的多尺度特征,并在注意力驱动下生成一对具有方向感知与位置敏感的注意力图,使网络能聚焦于更具鉴别力的关键区域;然后,构建一个特征对齐的金字塔卷积特征融合模块,即通过卷积计算相邻尺度特征图间的特征偏移量进行特征对齐;最后,通过金字塔卷积的方式使网络自适应学习最优的特征融合模式,并构建特征金字塔用于识别不同尺度的交通标志。实验结果表明,在TT100K数据集上改进算法比原YOLOv4算法的识别精度提高了5.4%,且优于其他对比识别算法,FPS达到33.17,可满足道路交通标志识别的精确性、实时性等要求。     

基于时空张量融合的人体骨架行为自适应识别方法

针对人体行为的空间复杂性和时间差异性问题,提出了一种基于时空张量融合的人体骨架行为自适应识别方法。 首先 充分利用人体行为骨架序列的帧内空间关系和帧间时间关系,构建相邻帧时空特征张量;其次通过计算相邻帧时空特征张量的 差异性获取关键相邻帧时空特征张量并组成行为时空特征张量;之后利用行为时空特征张量的空间特征差异和多尺度时间卷 积构建行为时空特征张量自适应注意力机制,完成行为时空特征融合;最后,使用深度随机配置网络根据行为时空特征融合张 量识别人体行为。 使用 NTU RGB-D 数据集进行实验仿真,识别准确率达到 84. 57% ,并且设计相应的系统进行实际应用验证, 结果表明本文所提方法是一种适合应对人体行为空间复杂性和时间差异性问题的人体行为识别方法。     

结合改进ConvNeXt网络与知识蒸馏的天气识别

为提升复杂交通场景下天气识别准确率的同时实现网络轻量化,提出了一种结合改进ConvNeXt网络与知识蒸馏的天气识别方法。首先,在ConvNeXt网络的每组Block特征提取块后加入SimAm注意力机制,构建ConvNeXt＿F网络,利用SimAm注意力机制对Block块提取的深层特征进行鉴权并校正权重,有效强化对天气判别性特征的捕获能力;其次,在网络训练过程中将Equalized Focal Loss(EFL)与Mutual-Channel Loss(MCL)采用平均占比的方式进行累加作为总损失函数,一方面利用EFL消除数据不均衡造成的影响,另一方面利用MCL减小同类天气下局部细节特征差异;最后,采用知识蒸馏技术将天气分类知识从ConvNeXt＿F网络迁移到轻量级MobileNetV3网络,虽然精度略微损失但网络参数量大幅减少。实验结果表明,与其他算法相比,所提方法在本文构建的宁夏高速公路场景下的天气数据集weather-traffic和公开的自然天气数据集RSCM2017上准确率分别达到96.22%,84.8%,FPS分别达到157.6 Hz,137.6 Hz,FLOPs和Param...     

基于四元数时空卷积神经网络的人体行为识别

传统卷积神经网络(CNN)只适用于灰度图像或彩色图像分通道的特征提取,忽视了通道间的空间依赖性,破坏了真实环境的颜色特征,从而影响人体行为识别的准确率。为了解决上述问题,提出一种基于四元数时空卷积神经网络(QST-CNN)的人体行为识别方法。首先,采用码本算法预处理样本集所有图像,提取图像中人体运动的关键区域;然后将彩色图像的四元数矩阵形式作为网络的输入,并将CNN的空间卷积层扩展为四元数空间卷积层,将彩色图像的红、绿、蓝通道看作一个整体进行动作空间特征的提取,并在时间卷积层提取相邻帧的动态信息;最后,比较QST-CNN、灰度单通道CNN(Gray-CNN)和RGB 3通道CNN(3Channel-CNN)3种方法的识别率。实验结果表明,所提方法优于其他流行方法,在Weizmann和UCF sports数据集分别取得了85.34%和80.2%的识别率。     

基于图卷积网络的数字孪生车间生产行为识别方法

车间人员行为的智能识别对规范生产过程、保障安全生产、实现车间生产行为数字孪生模型的快速构建具有重要的现实意义.提出一种融合注意力机制的图卷积网络的生产行为识别方法,对数字孪生车间生产行为进行数字化描述和快速识别.构建了一种基于拓扑图结构的人员数字孪生体特征,以及一种基于图卷积网络的注意力图卷积网络模型,将数字孪生体特征...     

结合残差收缩和时空上下文的行为检测网络

针对R-C3D行为检测网络特征提取冗余度高及边界定位不准确的问题,结合残差收缩结构和时空上下文,提出一种改进的行为检测网络（RS-STCBD）。首先,将收缩结构和软阈值化操作融入到3D-ResNet的残差模块中,设计通道自适应阈值的残差收缩单元（3D-RSST）,并级联多个3D-RSST单元构建特征提取网络以消除行为特征中的噪声、背景等冗余信息;然后,在时序候选子网中嵌入多层卷积替代一次卷积,以增加时序侯选片段的时序维度感受野;最后,在行为分类子网引入非局部注意力机制,通过捕获优质行为时序片段间的远程依赖以获取动作时空上下文信息。在THUMOS14和ActivityNet1.2数据集上的实验结果表明：改进网络的mAP@0.5分别达到36.9%和41.6%,比R-C3D方法提升了8.0%和14.8%。基于改进网络的行为检测方法提高了动作边界定位精度和行为分类准确率,有利于改善自然场景下的人机交互质量。     

基于改进3D卷积神经网络的行为识别

鉴于基于视频的人体行为识别中的视频流数据过于庞大,3D卷积核参数设置过多,存在训练时间较长,调参困难等问题,以3D卷积神经网络为基础,提出一种将3D卷积核拆分成空间域和时间域两种卷积核的神经网络结构。两种卷积核分别形成两个数据流进行交互,同时引入残差网络以优化网络结构,减少参数设置。将所提方法应用于两个行为识别数据集KTH和UCF101上进行训练验证,其行为识别准确率分别为96.2%和90.7%。结果表明,较改进前的神经网络框架,所提方法在保证动作识别准确度的前提下,训练速度提高了7.5%～7.8%。该方法可以有效降低深度学习进行行为识别的硬件要求,提高模型训练效率,并可以广泛应用于智能机器人领域。     

结合限制密集轨迹与时空共生特征的行为识别

针对传统密集轨迹方法应用到真实场景后过多无效轨迹耗费存储与计算资源且严重影响有效特征提取的不足,提出一种新的人体行为识别算法。首先,检测视频帧中存在的人体目标并对获得的包含人体的矩形框进行扩展,利用扩展后的矩形框对传统密集采样特征点的范围进行筛选限制;然后,对筛选限制后的特征点在光流场中跟踪一定帧数获取限制密集轨迹,并在以限制密集轨迹为中心的时空体内构建一组包含轨迹的空间位置、时空上下文信息的特征描述子;最后在视觉词袋模型框架下,采用SVM对特征向量进行编码分类。结果显示:在KTH、YouTube和HMDB51 3个行为数据库上的识别准确率分别达到98.1%、89.7%和66.9%。证明本算法对复杂真实场景中的人体行为具有较高的识别能力。     

基于工件注意力的车间作业行为在线识别方法

车间作业人员的行为在线监测对于提高车间数字化管理的能力至关重要.传统的识别方法仅通过人的行为信息作判断,忽略了工件对行为识别的辅助作用.鉴于车间中常出现的错乱工序和违规操作大多能通过工件的使用来体现,提出一种基于工件注意力的车间行为在线识别模型.该模型以门控循环单元(GRU)为基础模型对从监控视频中提取的人体关节序列进...     

基于改进 EfficientNet 的红外图像光伏组件故障识别研究

光伏组件的故障会影响光伏阵列的输出性能,从而降低电站的发电效率,严重时甚至会危害电站的安全运行。 传统的 方法无法满足目前光伏组件故障检测快速性和正确率需求。 因此,本文提出了一种基于改进 EfficientNet 的光伏组件故障识别 方法。 首先,利用采集到的光伏组件红外图像建立故障数据集,并利用图像分割和数据增强对数据集进行预处理;其次,基于 EfficientNet 网络构建故障识别模型,同时在模型中引入双通道注意力模块(CBAM),该模块能够抑制不必要特征的识别,增强 模型对空间特征信息的提取能力,进而提高模型的识别准确率;最后,通过对比仿真实验证明模型的有效性和先进性。 实验结 果表明,该模型的故障识别准确率达到了 90. 83% ,相较于原始的 EfficientNet 模型提高了 2. 83% ,且模型大小仅为 20. 3 M,具有 良好的实用性,能够满足光伏电站实际应用的需求。     

多尺度超图卷积骨架动作识别网络

动作识别是计算机视觉基础任务之一,骨架序列包含了大部分的动作信息,因此基于骨架的动作识别算法受到很多学者关注。人体骨架在数学上是一个天然的图,所以图卷积被广泛应用于动作识别。但普通的图卷积只聚合两两节点间的低阶信息,不能建模多节点间的高阶复杂关系。针对此问题,本文提出一种多尺度超图卷积网络,在空间和时间两个维度聚合更丰富的信息,提高动作识别准确度。多尺度超图卷积网络采用编解码结构,编码器使用超图卷积模块聚合超边中多个节点间的相关信息,解码器使用超图融合模块恢复原始骨架结构,另外基于空洞卷积设计了多尺度时间图卷积模块以更好地聚合时间维度运动信息。NTURGB+D和Kinetics数据集上的实验结果验证了算法的有效性。     

一种用于动作识别的双分支网络

动作识别是计算机视觉领域的一项重要任务,主要有基于RGB视频和人体骨架两种数据模态的领域,主流方法分别是3D卷积神经网络和图卷积神经网络。针对视频和人体骨架两种数据模态的不同特点,设计了双分支网络分别对两种数据模态进行建模。对于人体骨架数据,基于自注意力机制设计了图卷积神经网络,该算法能在基于骨架的动作识别任务中达到先进的性能。对于视频数据,采用3D卷积网络进行特征提取。同时,利用深监督方法对两种数据模态的中间特征进行监督,提高两种数据特征的耦合度,进一步提高网络效率。这种算法的网络结构简单,在NTU-RGBD60(CS)数据集上仅用3.37×10⁷的参数量可达到95.6%的精度。     

构建多尺度深度卷积神经网络行为识别模型

为了减化传统人体行为识别方法中的特征提取过程,提高所提取特征的泛化性能,本文提出了一种基于深度卷积神经网络和多尺度信息的人体行为识别方法。该方法以深度视频为研究对象,通过构建基于卷积神经网络的深度结构,并融合粗粒度的全局行为模式与细粒度的局部手部动作等多尺度信息来研究人体行为的识别。MSRDailyActivity3D数据集上的实验得出该数据集上第11~16种行为的平均识别准确率为98%,所有行为的平均识别准确率为60.625%。结果表明,本方法能对人体行为进行有效识别,基本能准确识别运动较为明显的人体行为,对仅有手部局部运动的行为的识别准确率有所下降。     

利用几何特征和时序注意递归网络的动作识别

为提高基于人体骨架(Skeleton-based)的动作识别准确度,提出一种利用骨架几何特征与时序注意递归网络的动作识别方法。首先,利用旋转矩阵的向量化形式描述身体部件对之间的相对几何关系,并与关节坐标、关节距离两种特征融合后作为骨架的特征表示;然后,提出一种时序注意方法,通过与之前帧加权平均对比来判定当前帧包含的有价值的信息量,采用一个多层感知机实现权值的生成;最后,将骨架的特征表示乘以对应权值后输入一个LSTM网络进行动作识别。在MSR-Action3D和UWA3D Multiview Activity II数据集上该方法分别取得了96.93%和80.50%的识别结果。实验结果表明该方法能对人体动作进行有效地识别且对视角变化具有较高的适应性。     

多阶段边界参考网络的动作分割

针对现有动作分割算法中过分割问题导致预测错误、造成分割质量下降的现象,提出一种可调视频动作边界信息作为参考的多阶段参考网络,在基于多阶段时间卷积网络的主干网络中,为每个阶段独立引入视频动作边界信息作为参考.各阶段使用相同的边界信息会使模型固化,为使主干网络能够调整参与各阶段输出计算的边界值,对不同样本区分处理,提出多层...     

基于计算机视觉的车道线检测与识别

该文基于计算机视觉基础,设计了一种车道线的检测与识别技术,通过汽车搭载的前置摄像头获取道路前方包含车道线等信息的实时画面,并对画面进行预处理、形态学运算、Canny边缘检测、累计概率Hough变换等一系列转换,得到正确的车道线信息。实验结果表明,该方法可以有效快速地检测和识别出正确车道线,满足了汽车无人驾驶系统的响应时间需求,在汽车无人驾驶的开发过程中有一定的现实研究意义。     

基于长短时记忆和卷积神经网络的手势肌电识别研究

用表面肌电进行手势识别具有细节信息可选择性和抗外界干扰能力强的优势,但现有方法的适应性和识别准确性还不足.通过在卷积神经网络的基础上增加长短时记忆网络处理层,构筑手势识别模型,它能捕获手势动作过程的肌电时序特征,一定程度上减少了过拟合的现象.利用手势肌电丰富的时频域信息,提取手势肌电的小波包特征图像,并与手势肌电图像一...