首页 | 本学科首页   官方微博 | 高级检索  
     

特征采样运动信息增强的动作识别方法
引用本文:罗会兰,包中生.特征采样运动信息增强的动作识别方法[J].计算机应用研究,2023,40(12).
作者姓名:罗会兰  包中生
作者单位:江西理工大学 信息工程学院,江西理工大学 信息工程学院
基金项目:国家自然科学基金资助项目(61862031);江西省主要学科技术带头人领军人才计划资助项目(20213BCJ22004);江西省学位与研究生教育教学改革研究重点项目(JXYJG-2020-120)
摘    要:基于深度模型的视频动作识别通常先对输入视频进行采样,然后对获得的视频帧进行特征表达,输出动作类别,因此视频帧采样方法对动作识别的效果有直接的影响。为了在采样到关键有效的特征同时,并增强视频运动信息,提出了一种基于特征级采样策略的局部—全局运动信息增强的动作识别网络(local-global motion enhancement network,LGMeNet)。首先,利用特征级采样模块对输入数据进行相同运动信息间隔均匀取帧;其次,局部运动特征提取模块使用相似性函数计算单帧短期运动特征;最后,全局运动特征提取模块利用LSTM网络计算多尺度长期运动特征。通过实验评估,LGMeNet在UCF101和Something-SomethingV1数据集上分别取得了97.7%和56.9%的精确度。结果表明,采用LGMeNet能够有效提升动作识别的效果,对进一步改进相关领域的研究具有重要意义。

关 键 词:深度学习    动作识别    视频采样    时间建模
收稿时间:2023/5/26 0:00:00
修稿时间:2023/11/10 0:00:00

Action recognition method with feature sampling and motion information enhancement
Affiliation:School of Information Engineering, Jiangxi University of Technology,
Abstract:Based on deep models, video action recognition typically involves sampling the input video and then extracting features from the obtained video frames to classify actions. Therefore, the video frame sampling method directly affects the effectiveness of action recognition. Aiming to sample key and effective features while enhanced the motion information in videos, this paper proposed a LGMeNet based on a feature-level sampling strategy. Firstly, it used a feature-level sampling module to uniformly select frames with the same motion information from the input data. Secondly, it employed a local motion feature extraction module to compute short-term motion features using a similarity function. Finally, it utilized an LSTM network in the global motion feature extraction module to calculate multi-scale long-term motion features. Experimental evaluations show that LGMeNet achieves accuracies of 97.7% and 56.9% on the UCF101 and Something-SomethingV1 datasets, respectively. The results of this study demonstrate the effectiveness of LGMeNet in enhancing action recognition and highlight its significance for further advancements in related research areas.
Keywords:deep learning  action recognition  video sampling  temporal modeling
点击此处可从《计算机应用研究》浏览原始摘要信息
点击此处可从《计算机应用研究》下载全文
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号