基于分割注意力的特征融合 CNN-Bi-LSTM 人体行为识别算法

针对传统人体行为识别算法不能有效抑制空间背景信息,网络间缺乏信息交互,以及无法对全局时间相关性进行建模的问题,提出一种基于分割注意力的特征融合卷积神经网络-双向长短时记忆网络(CNN-Bi-LSTM)人体行为识别算法。首先以一定采样率采样30帧图像,通过分割注意力网络提取图像的深度特征,并引入特征融合机制增强不同卷积层间的信息交互;然后将深度特征输入到Bi-LSTM网络对人体动作的长时时间信息建模,最后使用Softmax分类器对识别结果进行分类。相较于传统双流卷积网络,该算法在UCF101和HMDB51数据集上的准确率分别提高了6.6%和10.2%,有效提高了识别准确率。     

多模型融合动作识别研究

提出了一种多模型结融合的动作识别方法,目的是利用大数据时代下数据形态的多样性并结合已有模型,以提高识别准确率。该方法使用视频或图像序列与骨架序列对整个模型进行训练。对于骨架序列提取其关键帧,然后使用长短时记忆（LSTM）编码器对骨架序列进行特征提取得到骨架特征。接着使用卷积神经网络得到RGB视频或者图像序列的特征,进一步经过循环神经网络提取特征,得到RGB特征。网络的损失函数方程组由分类误差与上述两种特征的L2范数组成。使用混合最速下降进行网络优化。该方法使用关键帧训练LSTM编码器,大大缩短了训练时间。结合手工提取的关键帧与非监督方式获取的卷积特征,提高识别准确率。在Florence和MSR3D数据集上的实验结果表明,该方法对动作识别具有良好的分类效果。     

基于深度学习的电力监控视频超分辨率重建

针对电力监控视频有时分辨率不高问题,提出了一种基于深度学习的电力监控视频超分辨率重建方法。该方法首先采用卷积神经网络对输入视频帧进行特征提取,从输入视频帧序列两端按时间顺序将所有支持帧逐帧对齐到目标帧,并采用时间与空间自注意力机制将支持帧特征逐帧融合到目标帧。然后引入多尺度特征学习机制,对特征融合后的目标帧使用多分支特征选择重建网络进行超分辨率重建。最后采用公共数据集和电力视频数据集对该方法进行了训练。测试结果表明,所提方法的峰值信噪比与结构相似性指标均值分别达27.08和0.819,能有效提高电力监控视频的分辨率和视觉效果。     

基于改进LRCN的人体运动识别方法

针对人体运动识别中数据特征提取不充分和识别准确率不高的问题，提出了一种改进长期循环卷积网络的人体运动识别模型。首先构建出一种由多层卷积神经网络和门控循环单元组成的LRCN模型。在此基础上构建内部和外部循环层，内部循环层作用是得到所选取时间窗内部时间特征和空间特征，外部循环层作用是从子序列数据中获取其所表征状态信息之间的特征相关性和时间相关性。提出的模型在3种公开数据集上验证，准确率均高于传统的LRCN模型，然后在自建数据集上进行测试验证，识别准确率为99.7%。实验结果表明该模型在识别准确率上高于原始模型，验证了该模型的可行性。     

基于优化 CBAM 改进 ResNet50 的异常 行为识别方法

在自动视频监控应用中,准确地识别出人类的异常行为是非常困难的任务。为了解决监测系统中异常人类活动的高 效识别问题,提出了一种加强局部以及全局特征信息融合的异常行为识别模型 ICBAM-ResNet50 。在 UTI 和 CASIA 两个数 据集上进行实验,结果表明该研究比ResNet50 模型准确率分别提高了7%和8%。ICBAM 模块引入一维卷积替换了原始 CBAM 中通道注意力的 MLP 操作,将局部的时间特征整合到通道描述符中,缓解了通道维度由于全局处理产生的忽略信息 交互的问题;其次引入时空注意力机制替换 CBAM 中的单一空间注意力机制,来提高模型的时空表征能力。最后,将优化的 CBAM 模块嵌入到 ResNet50 中,通过在 ImageNet 上对其进行预训练,在两个基准数据集上该模型分别达到了98.8%和97.9%的准确率。使用相同的数据集,将实验结果与原始识别方法进行了比较,结果表明该模型优于所比较的其他方法。     

深度嵌套注意力下的SlowFast信息融合动作识别网络

视频动作识别在视频监控、自动驾驶等多个领域都有着广泛的应用。SlowFast网络是视频动作识别领域经常使用的网络。目前SlowFast相关网络中使用注意力进行相关信息增强,注意力机制与网络的结合方式是将注意力机制嵌套到网络的各个卷积块之间,如果将注意力机制深层嵌套到卷积块的具体卷积层中,SlowFast网络的信息提取能力将更进一步。首先提出了一种深度嵌套注意力机制,该深度嵌套机制内部包含一种可以提取时空与通道信息的注意力SCTM,使SlowFast网络的3种信息提取能力得到了进一步加强。此外,目前多流网络融合的信息并没有充分的交互与处理。提出了一种基于交叉注意力与ConvLSTM的多流时空信息融合网络,使多流网络中每个流的信息充分交互。改进后的SlowFast网络在UCF101数据集上的Top-1准确率已达到98.5%,在HMDB51数据集中的准确率达到了80.1%。均优于目前已有的模型,比原始SlowFast网络提高了2.64%,且鉴于上述数据,深度嵌套注意力的 SlowFast 时空信息融合网络在信息提取与融合方面具有优越性能。     

基于改进的YOLOv5网络的异常行为检测算法研究

各行各业安全问题尤为重要,对人员的异常行为须及时检测并采取相应的措施才能有效预防安全事故的发生。因此本文提出基于改进的YOLOv5网络的异常行为识别算法,通过实时处理视频监控中人员的异常行为,从而保证企业的安全运行。首先,对输入数据集进行特征提取处理,本文使用YOLOv5的backbone特征提取网络提取视频特征,能够在不同图像细粒度上聚合并形成图像特征;其次,送入到时间注意块,因为不同时刻特征的贡献值并不相同,因此加入此模块赋予特征不同的贡献值;最后,送入特征预测网络,该网络由LSTM搭建,对历史特征序列进行解码,以预测当前的特征。以玩手机和吸烟为例对所提出的网络进行验证,训练集准确率高达96.42%,测试集准确率高达95.21%。     

基于IA-Net的人体行为识别方法

针对遮挡环境下人体行为信息的不完整性,导致行为识别准确率低的问题,提出了一种改进的注意模型(IA-Net)。为减少参数剧增,降低计算消耗,采用自适应卷积(adaptive convolution)层代替压缩提取模块(SE-block)中的全连接(FC)层。同时为防止SE-block产生神经原失活的问题,在激活层(sigmoid)之前加批标准化(BN)层对数据进行标准化处理,使得输入给sigmoid激活函数之前数据处于该函数的非饱和区,提出改进的注意力模块(ISE-block)。将ISE-block嵌入到残差网络ResNet50中,形成ISE-ResNet50网络,用于提取人体行为特征,提升重要特征权重同时抑制非重要特征权重。考虑复杂行为需长时间序列表示其前后动作依赖关系并突出主要特征,将ISE-ResNet50网络的输出送给具有注意力机制的长短期模块(ATT-LSTM),最终形成IA-Net模型,实现端到端的行为识别。在HMDB51、UCF101两个数据集上进行实验,提出的IA-Net模型分别获得86.32%和97.78%的识别精度。与时空残差网络ST-ResNet在HMDB51数据集...     

基于时空自适应图卷积网络的跌倒检测算法

针对现有图卷积网络(GCN)需要预先定义人体骨架拓扑图和模型较大的问题，提出了基于时空自适应图卷积网络(ST-AGCN)的跌倒检测算法。该网络包括3个部分：利用HRNet姿态估计算法从视频中提取人体骨架点序列，并预处理成四维张量；引入归一化嵌入式高斯函数通过学习(无需人工预定义)得到人体拓扑图，利用空间自适应图卷积获取人体关联特征；利用多尺度卷积提取时间运动特征，提高模型获取动态信息的能力。在公开数据集和自建数据集上分别进行仿真，准确率分别达95.45%和99.55%。结果表明，该算法优于目前GCN方法，参数量只有后者的1/4甚至更少。本文算法还可以适用于不同的数据集。     

基于3D-Attention与多尺度的矿井人员行为识别算法

为了解决现有行为识别模型在矿井环境下识别率低，对矿井下环境的适应性较弱，不具备适用性的问题，提出基于3D-Attention与多尺度(CSAD)的矿井人员行为识别算法。针对国内外现有矿工行为数据集较为匮乏的问题，自建矿工行为数据集；其次，针对煤矿井下视频动态变化的问题，提出3D多尺度卷积模块，通过学习不同尺度的特征，提升模型的泛化性，增强模型对不同煤矿环境的适应性；考虑到模型在煤矿井下环境中识别率较低的问题，提出改进的A3D-Net注意力模块，使模型更加专注于识别区域的特征提取，进而提升模型的准确率。实验结果表明，在公共数据集UCF101、KTH上进行实验，提出的CSAD模型准确率分别达到89.9%、92.7%,在自建矿工行为数据集上进行试验，模型准确率达到74.98%,在使用视频增强预处理后，准确率达到了76.42%。     

用于骨架行为识别的时空卷积Transformer网络

针对基于图卷积的骨架行为识别方法在建模关节特征时严重依赖手工设计图形拓扑,缺乏建模全局关节间依赖关系的缺点,设计了一种时空卷积Transformer实现对空间和时间关节特征的建模。空间关节特征建模中,提出一种动态分组解耦Transformer,通过将输入骨架序列在通道维度进行分组并为每个组动态生成不同的注意力矩阵,允许建模关节之间的全局空间依赖关系,无需事先知道人体拓扑结构。时间关节特征建模中,通过多尺度时间卷积实现对不同时间尺度行为特征的提取。最后,提出一种时空-通道联合注意力模块,进一步对所提取到的时空特征进行修正。在NTU-RGB+D和NTU-RGB+D 120数据集的跨主体评估标准上达到了92.5%和89.3%的Top1识别准确率,实验结果表明了所提方法的有效性。     

基于2D CNN和Transformer的人体动作识别

人体动作识别是计算机视觉领域的研究热点之一,在人机交互、视频监控等方面具有深远的理论研究意义。为了解决2D CNN无法有效获取时间关系等问题,利用Transformer在建模长期依赖关系上的优势,引入Transformer架构并将其与2D CNN相结合用于人体动作识别,以更好地捕获上下文时间信息。首先使用融合通道-空间注意力模块的2D CNN提取强化的帧内空间特征,其次利用Transformer捕捉帧间的时间特征,最后应用MLP Head进行动作分类。实验结果表明在HMDB-51数据集和UCF-101数据集上分别达到了69.4%和95.5%的识别准确度。     

An Efficient Violence Detection Method Based on Temporal Attention Mechanism

Violence detection is very important for public safety. However, violence detection is not an easy task. Because recognizing violence in surveillance video requires not only spatial information but also sufficient temporal information. In order to highlight the time information, we propose an efficient deep learning architecture for violence detection based on temporal attention mechanism, which utilizes pre-trained MobileNetV3, convolu-tional LSTM and temporal attention block Temporal Adaptive (TA). TA block can focus on further refining temporal information from spatial information extracted from backbone. Experimental results show the pro-posed model is validated on three publicly datasets: Hockey Fight, Movies, and RWF-2000 datasets.     

基于残差融合双流图卷积网络的手势识别方法

针对传统图卷积网络易忽略空间特征与时间特征之间关联的问题,设计了一种基于残差结构和图卷积网络相融合的双流网络模型。首先网络包括空间流和时间流两个通道,将手势骨骼数据构建成空间图和时序图作为两通道的输入,通过分离时间维度和空间维度极大地提高了训练速度。然后为了增加网络深度,避免梯度消失等问题,嵌入残差结构并对其进行改进,更加有效利用时间特征,保证了特征的多样性。最后将两通道输出的空间点集序列和时间边集序列串联转化,输入Softmax分类器进行分类,得到识别结果。将新提出的方法在CSL和DEVISIGN-L手势数据集上进行实验,结果表明在两个数据集上识别精度分别达到了96.2%和69.3%,证明该方法具有一定的先进性。     

基于图卷积网络改进的人体动作识别模型

针对双流自适应图卷积动作识别网络2S-AGCN模型忽略了人体动作识别中特征的长距离信息以及通道之间的依赖的缺点，设计了一种双重注意力机制对2S-AGCN模型的图卷积模块进行改进，实现精度的提升。双重注意力机制包含了空间注意力机制以及通道注意力机制，其中空间注意力机制有选择性地聚集上下文，通道注意力机制分为两个并行的模块，第1部分提高了特征的可辨性，第2部分在捕获特征远程依赖的同时，保留了精准的位置信息。结果表明，以双流自适应图卷积动作识别网络2S-AGCN模型为基础网络，融入了双重注意力机制模块的模型在Kinetics数据集上的Top-1和Top-5分别提升了0.6%和1.3%,在NTURGB+D120数据集的CS和CV上的Top-1分别提升了1.2%和0.5%,在NTURGB+D数据集的CS和CV上的Top-1分别提了0.2%和0.1%。     

基于神经网络的密集人群视频异常检测

人群场景分析是当今智能监控技术研究领域关注的一个热点,尤其在拥挤的环境中,行人间严重的遮挡、光照分布不均以及人群分布的多样性,使其具有很大的挑战性.本文针对视频的特点,提出了两种描述人群运动信息的、适用于卷积神经网络的输入特征图,用于检测密集人群场景中的异常事件.首先,以提取的光流场为基础,分别构建出堆叠光流图和脉线图.其次,将不同类型的输入特征图作为训练样本分别送入卷积神经网络进行训练.接着,将训练出的模型作为异常检测器来判断相应类型特征图的测试样本的正异常情况.最后,通过实验比较分析不同类型特征图的优劣,并且证明了该方法可以有效的检测异常事件.     

基于图注意力和时间卷积网络的风电齿轮箱故障预警方法

针对风电齿轮箱故障预警中数据信息挖掘不充分问题,提出一种基于图注意力和时间卷积网络的风电齿轮箱故障预警 方法。 分别从时间与空间尺度建立各特征点的物理联系,拓宽特征维度以提升故障预警精度。 图注意力网络构建不同数据测 点间的空间拓扑结构,遍历每个节点的相邻节点进行加权求和达到聚合信息的目的;时间卷积网络使用特殊的因果膨胀卷积和 残差网络,扩大感受野,提升时间特征捕捉能力。 以华北某风电场实际数据为例进行验证,结果表明,提出方法能够在故障发生 前 122 h 监测到风电齿轮箱的异常状态并发出预警信号;与其他方法进行对比,提出方法预警时间提前 52~ 63 h,模型预测误差 减小 1. 05% ~ 3. 76%;使用 t-SNE 和概率密度曲线提升结果可解释性。     

基于多域信息融合的脑电情感识别研究

脑电信号识别方法较少将空间、时间和频率信息相融合,为了充分挖掘脑电信号包含的丰富信息,本文提出一种多域信息融合的脑电情感识别方法。该方法利用二维卷积神经网络和一维卷积神经网络相结合的并行卷积神经网络(PCNN)模型学习脑电信号的空间、时间和频率特征,来对人类情感状态进行分类。其中,2D-CNN用于挖掘相邻EEG通道间的空间和频率信息,1D-CNN用于挖掘EEG的时间和频率信息。最后,将两个并行卷积模块提取的信息融合进行情感识别。在数据集SEED上的情感三分类实验结果表明,融合空间、时间、频率特征的PCNN整体分类准确率达到了98.04%,与只提取空频信息的2D-CNN和提取时频信息的1D-CNN相比,准确率分别提高了1.97%和0.60%。并于最近的类似工作相比,本文提出的方法对于脑电情感分类具有一定的优越性。