基于多模态融合的动态手势识别研究 |
| |
引用本文: | 胡宗承,段晓威,周亚同,何昊.基于多模态融合的动态手势识别研究[J].计算机工程与科学,2023(4):665-673. |
| |
作者姓名: | 胡宗承 段晓威 周亚同 何昊 |
| |
作者单位: | 1. 河北工业大学电子信息工程学院;2. 中国电子科技集团公司第二十九研究所 |
| |
摘 要: | 针对复杂环境中动态手势识别精度低且鲁棒性不强的问题,提出一种基于多模态融合的动态手势识别算法TF-MG。TF-MG结合深度信息和三维手部骨架信息,利用2种不同网络分别提取对应特征信息,然后将提取的特征融合输入分类网络,实现动态手势识别。针对深度信息运用运动历史图像方法,将运动轨迹压缩到单帧图像,使用MobileNetV2提取特征。针对三维手部骨架信息采用门控循环神经单元组成的DeepGRU对手部骨架信息进行特征提取。实验结果表明,在DHG-14/28数据集上,对14类手势识别精度达到93.29%,对28类手势识别精度达到92.25%。相对其他对比算法实现了更高的识别精度。
|
关 键 词: | 多模态 动态手势识别 门控循环神经单元 卷积神经网络 |
|
|