基于视频时空特征的行为识别方法

针对双流网络提取运动信息需要预先计算光流图,从而无法实现端到端的识别以及三维卷积网络参数量巨大的问题,提出了一种基于视频时空特征的行为识别方法。该方法能够高效提取视频中的时空信息,且无需添加任何光流计算和三维卷积操作。首先,利用基于注意力机制的运动信息提取模块捕获相邻两帧之间的运动位移信息,从而模拟双流网络中光流图的作用;其次,提出了一种解耦的时空信息提取模块代替三维卷积,从而实现时空信息的编码;最后,在将两个模块嵌入二维的残差网络中后,完成端到端的行为识别。将所提方法在几个主流的行为识别数据集上进行实验,结果表明在仅使用RGB视频帧作为输入的情况下,在UCF101、HMDB51、Something-Something-V1数据集上的识别准确率分别为96.5%、73.1%和46.6%,与使用双流结构的时间分段网络（TSN）方法相比,在UCF101数据集上的识别准确率提高了2.5个百分点。可见,所提方法能够高效提取视频中的时空特征。     

基于注意力的双流CNN的行为识别

针对现今网络不能充分融合视频的时空信息,提出一种基于注意力的双流CNN与DU-DLSTM的识别模型。采用Opencv提取视频帧和相应的光流特征图,空间流网络解码相应的光流特征图得到空间注意力增强向量,解码图像序列得到原始图像时间维的特征向量,作为时间流网络的输入。将两个网络的输出特征加权融合后输入DU-DLSTM (单双向结构的长短时记忆网络)模块,利用Softmax最大似然函数完成行为识别任务。提出方法具有很好的鲁棒性,在KTH数据集上达到98.9%的识别精度。     

基于双流非局部残差网络的行为识别方法

针对传统卷积神经网络（CNN）对人体行为动作仅能提取局部特征易导致相似行为动作识别准确率不高的问题,提出了一种基于双流非局部残差网络（NL-ResNet）的行为识别方法。首先提取视频的RGB帧和密集光流图,分别作为空间流和时间流网络的输入,并通过角落裁剪和多尺度相结合的预处理方法进行数据增强;其次分别利用残差网络的残差块提取视频的局部表观特征和运动特征,再通过在残差块之后接入的非局部CNN模块提取视频的全局信息,实现网络局部特征和全局特征的交叉提取;最后将两个分支网络分别通过A-softmax损失函数进行更精细的分类,并输出加权融合后的识别结果。该方法能充分利用局部和全局特征提高模型的表征能力。在UCF101数据集上,NL-ResNet取得了93.5%的识别精度,与原始双流网络相比提高了5.5个百分点。实验结果表明,所提模型能更好地提取行为特征,有效提高行为识别的准确率。     

基于时空信息融合的人体行为识别研究

在视频理解任务中,人体行为识别是一个重要的研究内容,但视频序列中存在时空信息融合困难、准确率低等问题。针对这些问题,提出一种基于时空信息融合的双流时空残差卷积网络模型。将视频分段采样提取RGB图像和光流图像,并将其输入到双流时空残差网络,通过设计的时空残差模块提取视频的深度时空特征,将每个视频片段的类别结果加权融合得到行为类别。提出的双流时空残差模块引入了少量的三维卷积和混合注意力机制,能够同时获取不同尺度的时空信息并且抑制无效信息,可以有效平衡时空信息的捕捉和计算量问题,并且提升了精度。实验基于TSN网络模型,在UCF101数据集上进行验证,实验结果表明提出的模型比原TSN网络模型的精准度提高了0.9个百分点,有效地提高了网络的时空信息捕获效率。     

基于变换匹配层融合的双模态生物特征识别方法

自新冠疫情发生以来，戴口罩预防疾病可能会成为大众的常态化行为。若大部分面部特征被遮挡会影响人脸识别方法的精度，同时距离也会对面部识别造成一定影响。然而，步态作为一种可远距离并且难以伪装的生物特征，容易受身体遮挡、角度等外部条件变化的影响。提出一种基于变换匹配层的识别方法，以融合步态和面部特征。通过步态特征提取网络提取人体轮廓图中具有区分度的时空生物特征，以解决单模态人脸识别技术难以在远距离条件下对带口罩目标进行识别的问题，采用面部特征提取网络提取脸部的细粒度特征，以增强网络对于目标主体轮廓被遮挡的鲁棒性。在匹配层将面部特征与步态特征进行归一化后再将信息融合，以达到特征互补的效果。此外，构建相关联的全局-局部时空特征提取模块。通过局部特征提取模块提取细粒度的步态特征，并采用基于互补掩码的多尺度随机带状分割策略增强各个局部特征之间的关联关系。全局特征提取模块提取全局步态信息，与局部细粒度信息形成互补，从而提高步态特征提取网络对于遮挡、视角变化的鲁棒性。实验结果表明，该方法的识别准确率达到99.16%，相较于步态、面部特征提取网络分别提高6.56和0.45个百分点，并且在远距离且戴口罩的真实...     

基于双流步态网络的跨视角步态识别

通过增强样本数据和网络特征,提出双流步态网络,增强模型对携带物、衣物变化影响的鲁棒性.首先构造双流步态网络,分别提取步态视频数据中的全局特征和协变量影响范围外的局部判别信息.再将两组网络的特征信息相加融合后,得到步态的双流特征表达.提出的限制随机遮挡策略增广用于训练样本的难度和多样性,提高网络对局部特征的学习能力,减弱协变量的不利影响.另外,改进三元组损失采样方法,加速网络模型的训练收敛速度.在大型步态数据集CASIA-B和OU-MVLP上的实验表明,在携带背包和穿着不同衣物的行走状态下,双流步态网络步态识别准确率较高.     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

基于非对称双路识别网络的步态识别方法

步态作为一种人体躯干、关节、上下肢及各肌群的周期性行为模式,是可用于身份识别过程的一种重要生物特征.针对现有的步态识别方法大都是基于步态轮廓图或者步态能量图提取的全局特征,而忽视了对细粒度步态信息的有效利用的问题,提出了一种包括全局通路和局部通路的非对称双路识别网络.其中全局通路采用三元组损失函数,用于提取步态的全局时...     

一种基于时空分析的步态识别方法

提出一种基于侧影的非模型步态识别方法,从图像序列中提取特征进行识别.首先,采用背景减除技术检测跟踪人的侧影,提取出相应的侧影形状轮廓.然后,用新的轮廓形状描述和分析方法对轮廓形状进行时空分析,并运用离散傅立叶变换进一步提取最终用于识别的步态特征.该描述和分析方法兼顾步态的空间和时间信息,能在较低的代价下表达步态运动的时空变化模式.最后,运用标准的模式分类器对步态序列进行训练和识别.在常用数据库上所做测试的结果表明,本方法行之有效.     

全局时空特征耦合的多景深三维形貌重建

针对现有三维形貌重建模型无法有效融合全局时空信息的问题，设计深度聚焦体积（DFV）模块保留聚焦和离焦的过渡信息，并在此基础上提出全局时空特征耦合（GSTFC）模型提取多景深图像序列的局部与全局的时空特征信息。首先，在收缩路径中穿插3D-ConvNeXt模块和3D卷积层，捕捉多尺度局部时空特征，同时，在瓶颈模块中添加3D-SwinTransformer模块捕捉多景深图像序列局部时序特征的全局关联关系；然后，通过自适应参数层将局部时空特征和全局关联关系融合为全局时空特征，并输入扩张路径引导生成聚焦体积；最后，聚焦体积通过DFV提取序列权重信息，并保留聚焦与离焦的过渡信息，得到最终深度图。实验结果表明，GSTFC在FoD500数据集上的均方根误差（RMSE）相较于最先进的全聚焦深度网络（AiFDepthNet）下降了12.5%，并且比传统的鲁棒聚焦体积正则化的聚焦形貌恢复（RFVR-SFF）模型保留了更多的景深过渡关系。     

基于双流网络与支持向量机融合的人体行为识别

传统的双流卷积神经网络存在难以理解长动作信息的问题,并且当长时间流信息损失时,模型泛化能力降低.针对此问题,文中提出基于双流网络与支持向量机融合的人体行为识别方法.首先,提取视频中每帧RGB图像及其对应垂直方向的稠密光流序列图,得到视频中动作的空间信息和时间信息,分别输入空间域和时间域网络进行预训练,预训练完成后进行特征提取.然后,针对双流网络提取的维度相同的特征向量执行并联融合策略,提高特征向量的表征能力.最后,将融合后的特征向量输入线性支持向量机中进行训练及分类处理.在KTH、UCF sports数据集上的实验表明文中方法具有较好的分类效果.     

基于双流对称特征融合网络模型的海洋船舶目标识别

海洋船舶目标识别在民用和军事领域有着重要的战略意义, 本文针对可见光图像和红外图像提出了一种 基于注意力机制的双流对称特征融合网络模型, 以提升复杂感知环境下船舶目标综合识别性能. 该模型利用双流对 称网络并行提取可见光和红外图像特征, 通过构建基于级联平均融合的多级融合层, 有效地利用可见光和红外两种 模态的互补信息获取更加全面的船舶特征描述. 同时将空间注意力机制引入特征融合模块, 增强融合特征图中关 键区域的响应, 进一步提升模型整体识别性能. 在VAIS实际数据集上进行系列实验证明了该模型的有效性, 其识别 精确度能达到87.24%, 综合性能显著优于现有方法.     

基于空间特征提取和注意力机制的双路径语义分割

针对现阶段语义分割网络存在的空间和通道特征不匹配、小目标物体像素丢失等问题,设计了一种基于空间特征提取和注意力机制的双路径语义分割算法。空间信息路径利用四倍下采样来保留高分辨率特征,并引入空间特征提取模块融合多尺度空间信息,加强网络对小目标物体的识别能力;采用一条结合双阶通道注意力的语义上下文路径提取判别特征,使深层特征能够指导浅层特征捕捉更精确的语义信息,从而降低精度损失。在CamVid和Aeroscapes数据集上验证该算法,平均交并比分别可达70.5%和51.8%,相比于当前主流的双路径语义分割模型有所提升,结果验证了所提算法的有效性。     

T-STAM:基于双流时空注意力机制的端到端的动作识别模型

针对双流法进行视频动作识别时忽略特征通道间的相互联系、特征存在大量冗余的时空信息等问题,提出一种基于双流时空注意力机制的端到端的动作识别模型T-STAM,实现了对视频关键时空信息的充分利用。首先,将通道注意力机制引入到双流基础网络中,通过对特征通道间的依赖关系进行建模来校准通道信息,提高特征的表达能力。其次,提出一种基于CNN的时间注意力模型,使用较少的参数学习每帧的注意力得分,重点关注运动幅度明显的帧。同时提出一种多空间注意力模型,从不同角度计算每帧中各个位置的注意力得分,提取多个运动显著区域,并且对时空特征进行融合进一步增强视频的特征表示。最后,将融合后的特征输入到分类网络,按不同权重融合两流输出得到动作识别结果。在数据集HMDB51和UCF101上的实验结果表明T-STAM能有效地识别视频中的动作。     

结合特征图切分的图像语义分割

目的 基于全卷积神经网络的图像语义分割研究已成为该领域的主流研究方向。然而,在该网络框架中由于特征图的多次下采样使得图像分辨率逐渐下降,致使小目标丢失,边缘粗糙,语义分割结果较差。为解决或缓解该问题,提出一种基于特征图切分的图像语义分割方法。方法 本文方法主要包含中间层特征图切分与相对应的特征提取两部分操作。特征图切分模块主要针对中间层特征图,将其切分成若干等份,同时将每一份上采样至原特征图大小,使每个切分区域的分辨率增大;然后,各个切分特征图通过参数共享的特征提取模块,该模块中的多尺度卷积与注意力机制,有效利用各切块的上下文信息与判别信息,使其更关注局部区域的小目标物体,提高小目标物体的判别力。进一步,再将提取的特征与网络原输出相融合,从而能够更高效地进行中间层特征复用,对小目标识别定位、分割边缘精细化以及网络语义判别力有明显改善。结果 在两个城市道路数据集CamVid以及GATECH上进行验证实验,论证本文方法的有效性。在CamVid数据集上平均交并比达到66.3%,在GATECH上平均交并比达到52.6%。结论 基于特征图切分的图像分割方法,更好地利用了图像的空间区域分布信息,增强了网络对于不同空间位置的语义类别判定能力以及小目标物体的关注度,提供更有效的上下文信息和全局信息,提高了网络对于小目标物体的判别能力,改善了网络整体分割性能。     

双分支特征融合网络的步态识别算法

目的 在步态识别算法中,基于外观的方法准确率高且易于实施,但对外观变化敏感;基于模型的方法对外观变化更加鲁棒,但建模困难且准确率较低。为了使步态识别算法在获得高准确率的同时对外观变化具有更好的鲁棒性,提出了一种双分支网络融合外观特征和姿态特征,以结合两种方法的优点。方法 双分支网络模型包含外观和姿态两条分支,外观分支采用Gait Set网络从轮廓图像中提取外观特征;姿态分支采用5层卷积网络从姿态骨架中提取姿态特征。在此基础上构建特征融合模块,融合外观特征和姿态特征,并引入通道注意力机制实现任意尺寸的特征融合,设计的模块结构使其能够在融合过程中抑制特征中的噪声。最后将融合后的步态特征应用于识别行人身份。结果 实验在CASIA-B(Institute of Automation, Chinese Academy of Sciences, Gait Dataset B)数据集上通过跨视角和不同行走状态两种实验设置与目前主流的步态识别算法进行对比,并以Rank-1准确率作为评价指标。在跨视角实验设置的MT(medium-sample training)划分中,该算法在3种行走状态下的准确率分别...     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.