基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。     

基于深度学习的视频异常行为识别算法

针对传统的异常行为检测算法仅使用RGB图像作为网络的输入,而未考虑到视频序列中隐藏运动信息的问题,文中提出一种基于双流卷积神经网络的视频异常行为检测算法。该算法分别使用RGB图像与视频帧间的光流信息作为两个网络分支的输入来学习空间维信息与时间维信息,并使用长短时神经网络来建模长时视频帧间的依赖关系,从而得到最终的行为分类结果。仿真测试结果表明,所提出的方法在UCSD Ped1、Shanghai Tech和Pedestrian 2数据集上均能取得较好的识别效果,且使用帧间运动信息能够显著提升异常行为检测性能。     

融合快照集成与知识迁移的人体行为识别算法

用卷积网络进行人体行为识别是毫米波雷达的一个热门研究方向。由于卷积网络结构的缺陷性,而且目前用于人体行为识别公开的雷达领域数据样本量过少,传统深度学习算法对雷达微多普勒图像的识别率不高,且在训练过程中容易出现过拟合的现象。针对上述问题,本文提出一种融合快照集成与迁移学习的雷达人体行为识别算法。首先,针对深度卷积网络无法提取图像全局特征的问题,该算法通过搭建Vision Transformer(VIT)模型引入注意力机制。其次,通过VIT模型在公开自然数据集上进行任务迁移和特征空间的迁移,解决微多普勒图像的识别过拟合的问题。最后,利用基于快照集成的投票机制算法,提升模型对复杂雷达微多普勒图像的识别能力。试验结果表明,在目标任务数据集样本量少、背景复杂的情况下,该算法能在不增加训练成本的前提下提升微多普勒图像的识别准确率,在VIT模型下该算法识别准确率达到了89.25%,优于经典卷积神经网络。     

基于网络流量的用户网络行为被害性分析模型

网络行为被害性分析对于电信网络诈骗犯罪的防控具有深远意义。通过研究用户与网站交互产生的网络流量,提出一种基于网络流量分析的电信网络诈骗犯罪用户网络行为被害性识别模型,分析不同网络行为特征之间的关联规则,重构网络行为序列特征,同时结合随机森林算法评估网络行为的被害性。在被害人网络行为数据集基础上进行实验,证明模型能够有效提升网络行为被害性识别准确率。     

结合LSTM的双流卷积人体行为识别

为了更好地获取视频中连续帧之间的时间信息,提出一种新颖的双流卷积网络结构用于视频的人体行为识别。该网络在不改变双流卷积中空间流结构的情况下,在时间流的卷积模型中加入长短时记忆(LSTM)网络,并且时间流的训练相较于以往的双流卷积架构采用端对端的训练方式。同时在新的网络结构上尝试使用组合误差函数来获得更好的光流信息。在KTH和UCF101两个通用人体行为视频数据集上进行实验,实验结果证明,提出的使用组合误差函数结合LSTM的双流卷积与普通的双流卷积、使用以往误差函数结合LSTM的双流卷积相比,识别率有明显的提高。     

3D多支路聚合轻量网络视频行为识别算法研究

为构建拥有2D神经网络速度同时保持3D神经网络性能的视频行为识别模型,提出3D多支路聚合轻量网络行为识别算法.首先,利用分组卷积将神经网络分割成多个支路;其次,为促进支路间信息流动,加入具有信息聚合功能的多路复用模块;最后,引入自适应注意力机制,对通道与时空信息进行重定向.实验表明,本算法在UCF101数据集上的计算成本为11.5GFlops,准确率为96.2%;在HMDB51数据集上的计算成本为11.5GFlops,准确率为74.7%.与其他行为识别算法相比,提高了视频识别网络的效率,体现出一定识别速度和准确率优势.     

融合CNN与时空分离ViT的人体行为识别算法研究

目前在计算机视觉领域,视频行为识别技术已经取得了一定的发展,但仍有一定改进的空间。为解决当下行为识别领域的识别精度问题,提出一种融合CNN与时空分离ViT的网络模型,来提高行为分类识别的准确率。该模型主要将传统ViT模型的编码器结构演变为时间编码器和空间编码器,将时间和空间编码器串联提取视频特征后与CNN卷积所提取的特征进行融合来提高识别效果。实验的结果表明,融合CNN与时空分离ViT的网络模型在识别效果上具有一定的优越性,为人体行为识别算法设计提供了新思路。     

基于时序注意力机制的红外弱小目标智能检测识别算法框架

针对资源受限、高动态复杂场景下的红外弱小目标检测识别问题,基于时序注意力机制提出了一种轻量化的智能检测识别通用算法框架,使其具备自动提取和学习目标时序变化信息的能力。所提出的算法框架主要在基于卷积神经网络模型的单帧检测识别算法基础上,结合了基于循环神经网络相关模型构造的时序注意力模块,从而使对应算法模型具有自动关联多帧之间目标特征信息变化的功能。在相关红外弱小目标图像数据集上,通过对算法框架与其他方法进行对比,结果表明所提出算法框架显著提升了对红外弱小目标的检测识别准确率。     

结合时序动态图和双流卷积网络的人体行为识别

为了更好地对人体动作的长时时域信息进行建模,提出了一种结合时序动态图和双流卷积网络的人体行为识别算法.首先,利用双向顺序池化算法来构建时序动态图,实现视频从三维空间到二维空间的映射,用来提取动作的表观和长时时序信息;然后提出了基于inceptionV3的双流卷积网络,包含表观及长时运动流和短时运动流,分别以时序动态图和...     

基于深度学习的人体行为识别方法研究

为提高多目标人体行为识别的准确度,本研究借鉴了ST-GCN作者的思路,提出并改进一种基于深度学习的行为识别方法,该方法首先通过YOLOv5算法对视频序列的人体进行识别定位,其次利用改进的DeepSort跟踪算法对定位到的目标进行跟踪,并为每个目标分配不同的ID,再利用OpenPose提取目标人体的骨骼关节点,最后通过改进的ST-GCN算法实现人体行为的识别,从而解决多目标情况下人体行为识别错乱的问题。实验表明,相比原始未改进的算法模型,本研究改进的模型在识别准确率上提升了10%,证明了该方法的有效性。     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案.首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影...     

基于异构多流网络的多模态人体动作识别

人体动作识别在人机交互、视频内容检索等领域有众多应用,是多媒体信息处理的重要研究方向。现有的大多数基于双流网络进行动作识别的方法都是在双流上使用相同的卷积网络去处理RGB与光流数据,缺乏对多模态信息的利用,容易造成网络冗余和相似性动作误判问题。近年来,深度视频也越来越多地用于动作识别,但是大多数方法只关注了深度视频中动作的空间信息,没有利用时间信息。为了解决这些问题,本文提出一种基于异构多流网络的多模态动作识别方法。该方法首先从深度视频中获取动作的时间特征表示,即深度光流数据,然后选择合适的异构网络来进行动作的时空特征提取与分类,最后对RGB数据、RGB中提取的光流、深度视频和深度光流识别结果进行多模态融合。通过在国际通用的大型动作识别数据集NTU RGB+D上进行的实验表明,所提方法的识别性能要优于现有较先进方法的性能。      

基于3D骨架和RGB图片的时空动作识别

基于3D骨架的动作识别技术现已成为人机交互的重要手段。为了提高3D动作识别的精度,文中提出一种将3D骨架特征和2D图片特征进行融合的双流神经网络。其中一个网络处理3D骨架序列,另一个网络处理2D图片。最后再将二者的特征进行融合,以提高识别精度。相较于单独使用3D骨架的动作识别,文中所使用的方法在NTU_RGBD数据集以及SYSU数据集上都有了很大的精度提升。     

Augmented two stream network for robust action recognition adaptive to various action videos

In video-based action recognition, using videos with different frame numbers to train a two-stream network can result in data skew problems. Moreover, extracting the key frames from a video is crucial for improving the training and recognition efficiency of action recognition systems. However, previous works suffer from problems of information loss and optical-flow interference when handling videos with different frame numbers. In this paper, an augmented two-stream network (ATSNet) is proposed to achieve robust action recognition. A frame-number-unified strategy is first incorporated into the temporal stream network to unify the frame numbers of videos. Subsequently, the grayscale statistics of the optical-flow images are extracted to filter out any invalid optical-flow images and produce the dynamic fusion weights for the two branch networks to adapt to different action videos. Experiments conducted on the UCF101 dataset demonstrate that ATSNet outperforms previously defined methods, improving the recognition accuracy by 1.13%.     

TVBN-ResNeXt:解决视频分类的端到端时空双流融合网络

针对如何利用视频中空域C3D与光流2D网络的互补性、光流高效计算与存储问题,提出基于端到端时空双流卷积网络融合的视频分类算法(TV BN-Inception network and ResNeXt-101 TVBN-ResNeXt),可融合C3D与自学习端到端光流卷积网络的优点。针对空间流,首先基于C3D 的ResNeXt-101残差网络进行空域视频分类;然后另一支路使用端到端时间流网络,由TVnet网络实时进行光流学习,其次针对堆叠光流特征数据利用BN-Inception网络进行视频分类;最后将双流支路的视频分类结果进行加权融合形成最后判决。在UCF-101和HMDB-51数据集上的实验分别达到94.6%和70.4%的准确率。结果表明,本文提出的TVBN-ResNeXt双流互补网络融合方法不但可解决光流自学习问题,提高网络的运行效率,还可有效提高视频分类的性能      

基于多尺度整体嵌套池化语义的装甲目标检测

针对现有目标检测网络很难适应复杂战场环境下的超视距、遮挡、多视角变化等干扰的影响,提出了一种基于多金字塔池化模型的整体嵌套卷积网络,该网络通过引入空洞卷积思想,在保证卷积特征分辨率不变的基础上提高弱小目标的检测精度;同时,本文所提的模型也将通过多孔空间金字塔池化将多尺度上下文特征进行融合,然后在整体嵌套卷积基础上利用装...     

基于多模态特征融合监督的RGB-D图像显著性检测

RGB-D图像显著性检测是在一组成对的RGB和Depth图中识别出视觉上最显著突出的目标区域。已有的双流网络,同等对待多模态的RGB和Depth图像数据,在提取特征方面几乎一致。然而,低层的Depth特征存在较大噪声,不能很好地表征图像特征。因此,该文提出一种多模态特征融合监督的RGB-D图像显著性检测网络,通过两个独立流分别学习RGB和Depth数据,使用双流侧边监督模块分别获取网络各层基于RGB和Depth特征的显著图,然后采用多模态特征融合模块来融合后3层RGB和Depth高维信息生成高层显著预测结果。网络从第1层至第5层逐步生成RGB和Depth各模态特征,然后从第5层到第3层,利用高层指导低层的方式产生多模态融合特征,接着从第2层到第1层,利用第3层产生的融合特征去逐步地优化前两层的RGB特征,最终输出既包含RGB低层信息又融合RGB-D高层多模态信息的显著图。在3个公开数据集上的实验表明,该文所提网络因为使用了双流侧边监督模块和多模态特征融合模块,其性能优于目前主流的RGB-D显著性检测模型,具有较强的鲁棒性。