基于骨骼及表观特征融合的动作识别方法

针对传统动作识别算法不易区分相似动作的问题,提出一种基于深度关节与手工表观特征融合的动作识别方法.首先将关节空域位置及约束输入具有时空注意力机制的长短期记忆(LSTM)模型中,获取时空加权且高可分的深度关节特征;然后引入热图定位关键帧及关节,手工提取关键关节周围表观特征以作为深度关节特征有效补充;最后基于双流网络逐帧融...     

基于骨架动作识别的协作卷积Transformer网络

近年来,基于骨架的人体动作识别任务因骨架数据的鲁棒性和泛化能力而受到了广泛关注。其中,将人体骨骼建模为时空图的图卷积网络取得了显著的性能。然而图卷积主要通过一系列3D卷积来学习长期交互联系,这种联系偏向于局部并且受到卷积核大小的限制,无法有效地捕获远程依赖关系。该文提出一种协作卷积Transformer网络(Co-ConvT),通过引入Transformer中的自注意力机制建立远程依赖关系,并将其与图卷积神经网络(GCNs)相结合进行动作识别,使模型既能通过图卷积神经网络提取局部信息,也能通过Transformer捕获丰富的远程依赖项。另外,Transformer的自注意力机制在像素级进行计算,因此产生了极大的计算代价,该模型通过将整个网络分为两个阶段,第1阶段使用纯卷积来提取浅层空间特征,第2阶段使用所提出的ConvT块捕获高层语义信息,降低了计算复杂度。此外,原始Transformer中的线性嵌入被替换为卷积嵌入,获得局部空间信息增强,并由此去除了原始模型中的位置编码,使模型更轻量。在两个大规模权威数据集NTU-RGB+D和Kinetics-Skeleton上进行实验验证,该模型分别达到了88.1%和36.6%的Top-1精度。实验结果表明,该模型的性能有了很大的提高。     

基于ConvGRU和注意力特征融合的人体动作识别

在动作识别任务中,如何充分学习和利用视频的空间特征和时序特征的相关性,对最终识别结果尤为重要。针对传统动作识别方法忽略时空特征相关性及细小特征,导致识别精度下降的问题,本文提出了一种基于卷积门控循环单元(convolutional GRU, ConvGRU)和注意力特征融合(attentional feature fusion,AFF) 的人体动作识别方法。首先,使用Xception网络获取视频帧的空间特征提取网络,并引入时空激励(spatial-temporal excitation,STE) 模块和通道激励(channel excitation,CE) 模块,获取空间特征的同时加强时序动作的建模能力。此外,将传统的长短时记忆网络(long short term memory, LSTM)网络替换为ConvGRU网络,在提取时序特征的同时,利用卷积进一步挖掘视频帧的空间特征。最后,对输出分类器进行改进,引入基于改进的多尺度通道注意力的特征融合(MCAM-AFF)模块,加强对细小特征的识别能力,提升模型的准确率。实验结果表明:在UCF101数据集和HMDB51数据集上分别达到了95.66%和69.82%的识别准确率。该算法获取了更加完整的时空特征,与当前主流模型相比更具优越性。     

基于小波分析的Arima-Transformer组合模型的比特币价格预测

金融商品价格作为一种经典的时间序列,其变化通常表现为非线性、非平稳性及高波动性,使用单一的模型较难实现对金融商品价格的准确预测。文章基于小波分析建立ARIMA-Transformer组合模型,从不同维度分析时间序列的随机波动、循环变化、周期变化等变化规律,对比特币的价格进行时间窗口滚动式预测,预测结果与实际的比特币价格走势大致相同,表明该模型可作为交易者的参考投资模型。     

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合.针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多...     

基于3D骨架和RGB图片的时空动作识别

基于3D骨架的动作识别技术现已成为人机交互的重要手段。为了提高3D动作识别的精度,文中提出一种将3D骨架特征和2D图片特征进行融合的双流神经网络。其中一个网络处理3D骨架序列,另一个网络处理2D图片。最后再将二者的特征进行融合,以提高识别精度。相较于单独使用3D骨架的动作识别,文中所使用的方法在NTU_RGBD数据集以及SYSU数据集上都有了很大的精度提升。     

基于时空上下文信息的POI推荐模型研究

随着基于位置的社交网络(LBSN)技术的快速发展,为移动用户提供个性化服务的兴趣点(POI)推荐成为关注重点。由于POI推荐面临着数据稀疏、影响因素多和用户偏好复杂的挑战,因此传统的POI推荐往往只考虑签到频率以及签到时间和地点对用户的影响,而忽略了签到序列中用户前后行为的关联影响。为了解决上述问题,该文通过序列的表示考虑签到数据的时间影响和空间影响,建立了时空上下文信息的POI推荐模型(STCPR),为POI推荐提供了更精准的个性化偏好。该模型基于序列到序列的框架下,将用户信息、POI信息、类别信息和时空上下文信息进行向量化后嵌入GRU网络中,同时利用了时间注意力机制、全局和局部的空间注意力机制来综合考虑用户偏好与变化趋势,从而向用户推荐感兴趣的Top-N的POI。该文通过在两个真实的数据集上实验来验证模型的性能。实验的结果表明,该文所提出的方法在召回率(Recall)和归一化折损累计增益(NDCG)方面优于几种现有的方法。     

基于深度学习的动作识别研究

用循环神经网络构建的人体动作识别模型存在以下两方面的问题：一方面存在计算上的顺序依赖,另一方面难以对数据中存在的全局信息进行建模。针对以上问题,提出了一种结合门控注意力单元和卷积神经网络的人体动作识别模型。通过对骨架序列中存在的时空信息进行建模分析来预测骨架所对应人体的动作状态,既降低了数据中噪声对结果的干扰,同时对数据中存在的时空域全局信息进行建模分析。通过在UTKinect-Action3D和MSR 3D动作数据集上的实验证实了所提方法具备一定的可行性,且相较于循环神经网络的方法有一定的优势。     

基于三通道CNN⁃GSAM⁃LSTFEM网络的雷达人体切向动作识别

为了提高干涉雷达对人体切向动作的识别性能,本文提出一种基于三通道CNN?GSAM?LSTFEM网络的人体切向动作识别方法。首先利用一发二收的调频连续波（FMCW）雷达搭建干涉雷达平台采集人体切向动作回波数据,之后对每个接收通道的回波数据进行预处理,得到每个接收通道的多普勒时频图（DTFM）和双通道的干涉时频图（ITFM）,然后将这3种时频图分别送入到3个并行的CNN?GSAM?LSTFEM网络进行训练,利用全局空间注意力模块（GSAM）和长短时特征提取模块（LSTFEM）增强卷积神经网络（CNN）的特征提取能力,最后将三通道提取的特征进行融合实现人体切向动作识别。实验结果表明,所提方法可有效提高人体切向动作的识别准确率,平均准确率高达98.77%。     

基于多级特征补偿的遥感图像时空融合方法

在许多地球科学应用中要用到大量的高时空分辨力的地球观测数据。时空图像融合方法为产生高时空分辨力的数据提供了一种可行且经济的解决方案。然而,现有的一些基于学习的方法对于图像深层特征提取能力较弱,对于高分辨力图像细节特征利用度不够。针对这些问题,提出一种基于多级特征补偿的遥感图像时空融合方法。该方法使用2个分支进行多层级的特征补偿,并提出了融合通道注意力机制的残差模块作为网络的基本组成单元,可以将高分辨力输入图像的深层特征更为详尽地提取利用。提出一种基于拉普拉斯算子的边缘损失,在节省预训练计算开销的同时取得了很好的融合效果。使用从山东和广东2个地区采集的Landsat和中分辨力成像光谱仪(MODIS)卫星图像对所提出的方法进行实验评估。实验结果表明,提出的方法在视觉外观和客观指标方面都具有更高质量。     

基于时空特征增强图卷积网络的骨架行为识别

针对骨架行为识别不能充分挖掘时空特征的问题,该文提出一种基于时空特征增强的图卷积行为识别模型(STFE-GCN)。首先,介绍表征人体拓扑结构邻接矩阵的定义及双流自适应图卷积网络模型的结构,其次,采用空域上的图注意力机制,根据邻居节点的重要性程度分配不同的权重系数,生成可充分挖掘空域结构特征的注意力系数矩阵,并结合非局部网络生成的全局邻接矩阵,提出一种新的空域自适应邻接矩阵,以期增强对人体空域结构特征的提取;然后,时域上采用混合池化模型以提取时域关键动作特征和全局上下文特征,并结合时域卷积提取的特征,以期增强对行为信息中时域特征的提取。再者,在模型中引入改进通道注意力网络(ECA-Net)进行通道注意力增强,更有利于模型提取样本的时空特征,同时结合空域特征增强、时域特征增强和通道注意力,构建时空特征增强图卷积网络模型在多流网络下实现端到端的训练,以期实现时空特征的充分挖掘。最后,在NTU-RGB+D和NTU-RGB+D120两个大型数据集上开展骨架行为识别研究,实验结果表明该模型具有优秀的识别准确率和泛化能力,也进一步验证了该模型充分挖掘时空特征的有效性。     

基于软邻接时空图卷积神经网络的动作识别算法

动作识别被广泛应用于诸多领域,如智能监控、人机交互、智能医疗、机器人技术等。近年来,随着智慧城市建设的不断发展,人类动作识别的相关研究越来越受到学术界的关注。然而目前的基于神经网络的动作识别算法普遍存在着准确率低,鲁棒性差等问题。虽然这种传统的方法取得了良好的效果,但这种方法的效果与实际应用之间依然存在差距。为了进一步解决这些问题,设计了一个更有效的动作识别模型,即基于软邻接的时空图卷积神经网络的动作识别算法（spatial temporal soft adjacency graph convolution network, STS-GCN）。首先,将图卷积网络扩展到时间域,并在骨架节点之间引入潜在的相邻关系,从而可以自动学习空间时间维度上的隐藏动作信息;其次,模型引入了一种简易的空间注意机制,使其具有鉴别具有判别力的空间区域的能力,从而获得更好的识别效果;最后对该模型在NTU-RGB+D数据集上进行了实验。实验结果表明,与其他几个现有模型的结果相比,模型测试的识别准确率有所提高。这说明了引入软邻接矩阵的时空图卷积神经网络有利于模型提高动作识别算法的效果。     

基于语义特征立方体切片的人体动作识别

基于深度学习的人体动作识别近几年取得了良好的识别效果,尤其是二维卷积神经网络可以较充分的学习人体动作的空间特征,但在捕获长时间的运动信息上仍存在问题。针对此问题,提出了基于语义特征立方体切片的人体动作识别模型来联合地学习动作的表观和运动特征。该模型在时序分割网络(Temporal Segment Networks,TSN)的基础上,选取InceptionV4作为骨干网络提取人体动作的表观特征,将得到的三维特征图立方体分为二维的空间上和时间上的特征图切片。另外设计一个时空特征融合模块协同的学习多维度切片的权重分配,从而得到人体动作的时空特征,由此实现了网络的端到端训练。与TSN模型相比,该模型在UCF101和 HMDB51数据集上的准确率均有所提升。实验结果表明,该模型在不显著增加网络参数量的前提下,能够捕获更丰富的运动信息,使人体动作的识别结果提高。      

动作识别算法的评估策略探讨

以时空兴趣点特征和支持向量机(SVM)分类器识别方法为基本算法,在广泛使用的公开动作数据集KTH上,从不同角度考察评估策略对动作识别算法性能的影响。实验表明,当采用不同的交叉实验方法时,算法性能的波动最大达到10.5%,而不同数据集划分方法对算法性能的影响则达到11.87%。因此,通过量化分析得出的结论,可以充分地比较现有算法的真实差异,并为设计合理的评估策略提供参考。     

基于CNN-win Transformer的分布式超宽带雷达人体动作识别

针对传统雷达人体动作识别方法中特征提取能力不足和上下文建模困难的问题,提出了一种结合卷积神经网络(Convolutional Neural Network,CNN)和Swin Transformer的网络模型,用于有效识别分布式脉冲超宽带雷达数据中的人体动作。通过多分支的CNN对多个雷达的多个谱图、雷达数据的幅度和相位等特征进行提取和融合,利用Swin Transformer模块的多层自注意力机制对生成的特征映射进行上下文建模,提取具有高级语义信息的特征。采用代尔夫特理工大学（Technische Universiteit Delft）公开的数据集进行5折交叉验证,结果表明所提方法能够有效识别9类连续人体动作,识别准确率达到98.2%。     

基于注意力时空解耦3D卷积LSTM的视频预测

为高效提取视频时空特征以提高视频预测准确性,提出了注意力时空解耦3D卷积LSTM算法.首先,将卷积LSTM内部单元的传统2D卷积运算改为3D卷积,额外提取视频帧间短期空间运动信息;并借助注意力机制自动捕捉视频帧间长期动态信息的相关性.其次,由于卷积LSTM网络中特征信息在所有层的Z型传递方式会导致梯度消失,为此在网络结构中加入层间高速通道优化不同层间LSTM单元视频信息流的传递过程.同时,时间特征和空间特征在网络中会彼此干扰学习冗余功能,造成特征信息的低效获取以及网络预测质量的降低,为此在损失函数中加入时空解耦运算分离时间特征和空间特征的学习.最后,针对训练编码阶段和预测解码阶段的数据输入过程,提出数据输入重采样,在模型训练和预测阶段使用相近相反的数据输入策略减少编码器和解码器的差异.在合成数据集以及人体动作数据库上的实验结果表明,该算法模型在时空特征提取上有更好的性能.     

基于HOG特征协方差矩阵的动作识别算法

为了提高HOG在动作识别应用中的识别率,提出一种基于HOG特征协方差矩阵的动作识别算法。算法以HOG特征为样本计算协方差矩阵,再通过矩阵对数运算,将协方差矩阵从黎曼流形映射到线性空间;然后从协方差矩阵中提取描述子,基于不同的核函数使用支持向量机进行分类。在公开的三个数据库Weizmann,KTH和UCF Sports上分别进行实验,实验结果表明,文中提出的算法具有很好的识别性能。     

基于Transformer编码器的金融文本情感分析方法

目前针对文本情感分析的研究大多集中在商品评论和微博的情感分析领域,对金融文本的情感分析研究较少。针对该问题,文中提出一种基于Transformer编码器的金融文本情感分析方法。Transformer编码器是一种基于自注意力机制的特征抽取单元,在处理文本序列信息时可以把句中任意两个单词联系起来不受距离限制,克服了长程依赖问题。文中所提方法使用Transformer编码器构建情感分析网络。Transformer编码器采用多头注意力机制,对同一句子进行多次计算以捕获更多的隐含在上下文中的语义特征。文中在以金融新闻为基础构建的平衡语料数据集上进行实验,并与以卷积神经网络和循环神经网络为基础构建的模型进行对比。实验结果表明,文中提出的基于Transformer编码器的方法在金融文本情感分析领域效果最好。