结合时序动态图和双流卷积网络的人体行为识别

为了更好地对人体动作的长时时域信息进行建模,提出了一种结合时序动态图和双流卷积网络的人体行为识别算法.首先,利用双向顺序池化算法来构建时序动态图,实现视频从三维空间到二维空间的映射,用来提取动作的表观和长时时序信息;然后提出了基于inceptionV3的双流卷积网络,包含表观及长时运动流和短时运动流,分别以时序动态图和...     

改进通道注意力机制下的人体行为识别网络

针对现有通道注意力机制对各通道信息直接全局平均池化而忽略其局部空间信息的问题,该文结合人体行为识别研究提出了两种改进通道注意力模块,即矩阵操作的时空(ST)交互模块和深度可分离卷积(DS)模块。ST模块通过卷积和维度转换操作提取各通道时空加权信息数列,经卷积得到各通道的注意权重;DS模块首先利用深度可分离卷积获取各通道局部空间信息,然后压缩通道尺寸使其具有全局的感受野,接着通过卷积操作得到各通道注意权重,进而完成通道注意力机制下的特征重标定。将改进后的注意力模块插入基础网络并在常见的人体行为识别数据集UCF101和HDBM51上进行实验分析,实现了准确率的提升。     

融合多尺度特征信息的图像雨滴去除方法

针对雨滴使雨天图像背景特征模糊失真的问题,提出一种融合多尺度特征信息的图像雨滴去除算法。首先,搭建了一个编码-解码神经网络来学习图像特征映射,考虑到雨滴的物理形状特征,采用雨滴形状驱动注意力模块来捕捉雨滴位置。然后,引入空间与通道协调注意力机制,加强图像重要空间和通道特征权重。接着,利用空洞卷积、非对称卷积和金字塔结构设计了新型空洞空间卷积池化金字塔模块,以捕获图像的多尺度特征。最后,在同尺度的编码-解码卷积层间加入跳跃连接,将特征信息馈送到网络深处,达到去除图像中雨滴的目的。实验结果表明：本文算法在公开数据集Qian上的PSNR达到30.75,SSIM达到0.925 7;在自制雨天数据集上也可以有效去除图像中的雨滴。     

基于通道融合的调制信号识别方法

针对现有调制方式识别存在的计算量大、网络模型复杂、识别准确率低等问题,文中提出一种基于通道融合的新型调制方式识别方法。该方法由双流卷积神经网络模块和GRU神经网络模块构成,其中双流卷积神经网络为两条并联的深度可分离卷积子网络,分别提取信号不同尺度下的空间特征,同时添加短路连接来增加特征传递与重用。将两通道提取到的特征在通道维度上进行融合,进而形成更为丰富的融合特征。将融合特征输入至GRU神经网络模块中提取信号的时序特征,提取的互补信息可使网络学习到更加全面的信号特征,从而提高调制方式识别的精度。在数据集RadioML2016.10a上进行实验,实验结果表明,所提方法的网络性能优于其他神经网络算法,信噪比在0 dB以上时识别率可达到90.8%,能够有效提高自动调制识别的准确率。     

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。     

残差膨胀卷积结构下的多模态特征调制方式识别

自动调制方式识别技术在通信领域有着不可或缺的作用,针对传统的卷积神经网络在信号分类问题中特征提取能力不足的问题,本文研究了一种利用多维度特征的端到端双流膨胀卷积神经网络来对调制信号进行分类的方法。该方法不仅利用原始采样信号,还利用输入信号的瞬时幅度和相位信息;原始IQ(In-phase and Quadrature, IQ)数据输入进神经网络后,网络首先通过内置的数据预处理模块对输入的IQ信号进行预处理,提取原始信号的幅度和相位信息,再将原始IQ信号和幅度相位两种特征信息分别通过两个并行的卷积神经网络结构分别进行特征提取;本文所设计的双流卷积神经网络模型中的膨胀残差网络分支利用卷积核的膨胀卷积特性,将膨胀卷积与残差网络结构相结合,在网络参数不变的情况下使得卷积核具有更大的感受野,同时也能够更好地结合上下文信息,另一个网络分支是将卷积神经网络与长短期记忆神经网络相串联,然后将两个并行卷积神经网络的输出特征向量进行矩阵相乘达到两种特征信息融合的目的。整个识别过程是基于端到端的,数据预处理模块内嵌到神经网络内部,由神经网络完成对数据的预处理,只需将原始的IQ数据直接送入神经网络即可;仿真实验...     

基于语义特征立方体切片的人体动作识别

基于深度学习的人体动作识别近几年取得了良好的识别效果,尤其是二维卷积神经网络可以较充分的学习人体动作的空间特征,但在捕获长时间的运动信息上仍存在问题。针对此问题,提出了基于语义特征立方体切片的人体动作识别模型来联合地学习动作的表观和运动特征。该模型在时序分割网络(Temporal Segment Networks,TSN)的基础上,选取InceptionV4作为骨干网络提取人体动作的表观特征,将得到的三维特征图立方体分为二维的空间上和时间上的特征图切片。另外设计一个时空特征融合模块协同的学习多维度切片的权重分配,从而得到人体动作的时空特征,由此实现了网络的端到端训练。与TSN模型相比,该模型在UCF101和 HMDB51数据集上的准确率均有所提升。实验结果表明,该模型在不显著增加网络参数量的前提下,能够捕获更丰富的运动信息,使人体动作的识别结果提高。      

结合LSTM的双流卷积人体行为识别

为了更好地获取视频中连续帧之间的时间信息,提出一种新颖的双流卷积网络结构用于视频的人体行为识别。该网络在不改变双流卷积中空间流结构的情况下,在时间流的卷积模型中加入长短时记忆(LSTM)网络,并且时间流的训练相较于以往的双流卷积架构采用端对端的训练方式。同时在新的网络结构上尝试使用组合误差函数来获得更好的光流信息。在KTH和UCF101两个通用人体行为视频数据集上进行实验,实验结果证明,提出的使用组合误差函数结合LSTM的双流卷积与普通的双流卷积、使用以往误差函数结合LSTM的双流卷积相比,识别率有明显的提高。     

基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.     

基于全局双线性注意力的红外视频行为识别

针对红外视频缺少纹理细节特征以致在人体行为识别中难以兼顾计算复杂度与识别准确率的问题,提出一种基于全局双线性注意力的红外视频行为识别方法。为高效计算红外视频中的人体行为,设计基于两级检测网络的关节点提取模块来获得人体关节点信息,创新性地将所形成的关节点三维热图作为红外视频人体行为识别网络的输入特征;为了在轻量化计算的基础上进一步提升识别准确率,提出一种全局双线性注意力的三维卷积网络,从空间和通道两个维度提升注意力的建模能力,捕获全局结构信息。在InfAR和IITR-IAR数据集上的实验结果表明,该方法在红外视频行为识别中的有效性。     

基于时序时空双流卷积的异常行为识别

针对地铁站特定场合下,人体异常行为识别无法有效利用帧间运动时间维度信息,导致人体异常行为识别准确率不高的问题,提出一种深层次残差长短期双流网络结构。将RGB帧和连续光流帧作为双流网络的输入,分别利用ResNet34提取低层特征信息,空间流网络提取运动外观特征信息,时间流网络提取光流运动信息,然后将特征信息输入长短期记忆（LSTM）网络,有效学习空间外观和光流运动的帧间关联时间信息,并且通过多种加权融合策略加强模型识别效果。最后在地铁站异常行为数据集上验证提出的网络结构,并与原双流网络进行对比,改进后的网络识别准确率提高了4.7%,融合后的模型准确率提高了12.9%。实验结果表明,所提方法能够充分利用时间维度信息,可有效提高异常行为识别准确率,在昏暗环境下仍有较好的识别效果。     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案。首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影响,构建自适应图卷积网络;最后,将自适应图卷积网络作为基本框架,并嵌入时空注意力模块,与关节信息、骨骼信息以及各自的运动信息构建双流融合模型。该算法在NTU RGB+D数据集的两种评价标准下分别达到了90.2%和96.2%的准确率,在大规模的数据集Kinetics上体现出模型的通用性,验证了该算法在提取时空特征和捕捉全局上下文信息上的优越性。      

基于Kinect和金字塔特征的行为识别算法

提出了一种基于Kinect和金字塔特征的行为识别算法。在算法中,Kinect不仅能够获得RGB信息,还能获得与RGB信息对应的深度信息;而金字塔特征不仅描述了人体行为的全局形状和局部细节信息,而且还描述了人体行为的空间信息。通过不同核函数的支持向量机(SVM)分类器在具有挑战性的DHA数据集的试验结果表明,金字塔特征在RGB和深度图上都能获得令人满意的性能,且当深度特征和RGB特征融合时,其性能获得了进一步的提高,识别率达到96.2%,远高于一些具有代表性的行为描述子。     

基于RDA-Net模型的遥感影像云与云阴影检测方法

针对目前大多数云与云阴影检测方法容易产生误检、边缘细节丢失严重以及检测不够精确的问题,提出一种基于双注意力卷积神经网络模型(RDA Net)的遥感影像云与云阴影检测方法.模型中引入双注意力模块可以有效捕获全局特征的依赖关系,使用递归残差模块可以避免深层网络出现退化,改进空洞空间金字塔池化模块在不改变特征图尺寸的前提下可以提取图像的多尺度特征.首先对遥感影像数据集进行预处理并制作对应的标签,然后利用高分一号WFV遥感影像数据集进行训练和测试.实验结果表明,所提方法有效提高云与云阴影的检测精度,在复杂条件下仍能获得较好的云与云阴影的边缘细节.     

基于低分辨率红外传感器的深度学习动作识别方法

近年来动作识别成为计算机视觉领域的研究热点,不同于针对视频图像进行的研究,本文针对低分辨率红外传感器采集到的温度数据,提出了一种基于此类红外传感器的双流卷积神经网络动作识别方法.空间和时间数据分别以原始温度值的形式同时输入改进的双流卷积神经网络中,最终将空间流网络和时间流网络的概率矢量进行加权融合,得到最终的动作类别....     

基于稀疏编码的卷积神经网络在语音识别中的应用

在语音识别研究中,为了消除特征之间的相关性,将稀疏表示引入到模式识别中;针对深度神经网络忽略了输入数据空间位置信息的缺点,将卷积神经网络引入到模式识别中,构建了基于稀疏表示的卷积神经网络。由于经过稀疏编码后的特征互不相关,可以更有效地表示样本数据,而卷积神经网络能有效利用空间信息。因此,基于稀疏表示的卷积神经网络能大幅提升系统识别性能。该研究通过对稀疏编码和卷积神经网络现状的研究,对两种方法进行了总结。     

基于通道注意力机制的视频人体行为识别

本文针对人体行为识别模型中鉴别能力有限的问题,同时避免双流中计算光流的较大时间成本,提出基于通道注意力机制和三维卷积时空注意力模型的行为识别方法。首先,该卷积网络模型使用ResNeXt残差模块,利用三维卷积核有效地提取视频帧时空特征。然后,在此基础上给每个残差模块增加通道注意力机制学习不同特征图的权重,进而形成基于通道域的注意力权重,增强网络结构对人体行为的表征能力。最后,在UCF-101和HMDB-51数据集上,通过交叉熵损失函数训练不同网络深度的行为分类模型。实验结果表明,该模型可以有效提取视频中的时空特征,并在人体行为识别任务中有着较高效率和优秀的准确度。     

基于时空图卷积网络的学生在线课堂行为识别

为了有效地识别学生在线课堂行为,提出了一种融合全局注意力机制和时空图卷积 网络的人体骨架行为识别模型。首先在时空图卷积网络的空间图卷积网络和时间卷积网络之 间加入全局注意力模块,空间图卷积网络输出的空间特征图作为注意力模块的输入。其次引 入按时间维度的平均池化和最大池化操作,以增加模型学习全局特征信息的能力。最后用三 个加入注意力机制的时空图卷积神经网络和类激活图(class activation map,CAM),构造对遮挡数据识别能力更强 的丰富激活图卷积网络(RA-GCNv2-A)模型,并通过迁移学习实现学生在线课堂行为识别功 能。 在NTU-RGB+D和NTU-RGB+D120数据集上进行实验验证,与RA-GCNv2模型相比,在NTU-RGB +D 和NTU-RGB+D120数据集上的识别准确率分别提高了(cross-subject,CS)1.3%、(cross-view,CV)1.2%和(cross-subject,CSub)1.6%、 (cross-setup,CSet)1.4%。实验结果表明,提出的方法是一种有效的学生在线课堂 行为识别方法。     

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道-空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。     

基于双路残差连接Transformer的图像去模糊研究

针对现有图像去模糊算法提取特征多样性不足，细节恢复能力有限的问题，提出双路残差图像去模糊模型DTCM。首先，设计了双路残差连接网络，以增加特征信息的丰富度；其次，引入Swin Transformer作为集成推理模块，用于突出主要特征、减少信息冗余，并在此基础上与卷积神经网络相结合，提出改进的SWT-C层，增强模型捕获长期依赖关系的能力；最后，引入金字塔卷积神经网络重建图像。实验结果表明，所提模型在多种运动模糊场景下均取得了较好的恢复结果。