多模深度卷积神经网络应用于视频表情识别 |
| |
引用本文: | 潘仙张,张石清,郭文平.多模深度卷积神经网络应用于视频表情识别[J].光学精密工程,2019,27(4). |
| |
作者姓名: | 潘仙张 张石清 郭文平 |
| |
作者单位: | 台州学院智能信息处理研究所,浙江台州,318000;台州学院智能信息处理研究所,浙江台州,318000;台州学院智能信息处理研究所,浙江台州,318000 |
| |
基金项目: | 浙江省公益技术研究计划基金资助项目;浙江省自然科学基金资助项目;国家自然科学基金资助项目 |
| |
摘 要: | 由于视频中的手工特征和主观情感之间的直接相关性很小,识别视频序列中的面部表情是一项很有挑战性的任务,为了克服这个缺陷,有效提高视频中的人脸表情识别性能。本方法采用两个深度卷积神经网络,即空间卷积神经网络和时间卷积神经网络,用于视频中的时空表情特征学习。其中,空间卷积神经网络用于提取视频中每一帧静态的表情图像的空间信息特征,而时间卷积神经网络用于从视频中多帧表情图像的光流信息中提取动态信息特征。然后,将这两个深度卷积神经网络学习到的时空特征进行基于深度信念网络(DBN)的特征层融合,输入到支持向量机实现视频中的人脸表情分类任务。在公共的RML和BAUM-1s视频情感数据集的测试结果表明,该方法分别取得了71.06%和52.18%的正确识别率,明显优于现有文献报导的结果。多模深度卷积神经网络的人脸表情识别方法能提高视频中人脸表情的识别性能。
|
关 键 词: | 深度卷积神经网络 多模深度学习 表情识别 时空特征 深度信念神经网络 |
本文献已被 CNKI 万方数据 等数据库收录! |
|