| 融合表情和BVP生理信号的双模态视频情感识别 |
| |
| 引用本文： | 任福继,于曼丽,胡敏,李艳秋.融合表情和BVP生理信号的双模态视频情感识别[J].中国图象图形学报,2018,23(5):688-697. |
| |
| 作者姓名： | 任福继 于曼丽 胡敏 李艳秋 |
| |
| 作者单位： | 合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室, 合肥 230009;德岛大学先端技术科学教育部, 德岛 7708502, 日本,合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室, 合肥 230009,合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室, 合肥 230009,合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室, 合肥 230009 |
| |
| 基金项目： | 国家自然科学基金项目（61672202，61432004，61502141）；国家自然科学基金-深圳联合基金重点项目（U1613217） |
| |
| 摘 要： | 目的 针对当前视频情感判别方法大多仅依赖面部表情、而忽略了面部视频中潜藏的生理信号所包含的情感信息，本文提出一种基于面部表情和血容量脉冲（BVP）生理信号的双模态视频情感识别方法。方法 首先对视频进行预处理获取面部视频；然后对面部视频分别提取LBP-TOP和HOG-TOP两种时空表情特征，并利用视频颜色放大技术获取BVP生理信号，进而提取生理信号情感特征；接着将两种特征分别送入BP分类器训练分类模型；最后利用模糊积分进行决策层融合，得出情感识别结果。结果 在实验室自建面部视频情感库上进行实验，表情单模态和生理信号单模态的平均识别率分别为80%和63.75%，而融合后的情感识别结果为83.33%，高于融合前单一模态的情感识别精度，说明了本文融合双模态进行情感识别的有效性。结论 本文提出的双模态时空特征融合的情感识别方法更能充分地利用视频中的情感信息，有效增强了视频情感的分类性能，与类似的视频情感识别算法对比实验验证了本文方法的优越性。另外，基于模糊积分的决策层融合算法有效地降低了不可靠决策信息对融合的干扰，最终获得更优的识别精度。
|
| 关 键 词： | 表情 生理信号 视频颜色放大 模糊积分 双模态 |
| 收稿时间： | 2017/7/21 0:00:00 |
| 修稿时间： | 2017/11/30 0:00:00 |
Dual-modality video emotion recognition based on facial expression and BVP physiological signal |
| |
| Ren Fuji,Yu Manli,Hu Min and Li Yanqiu.Dual-modality video emotion recognition based on facial expression and BVP physiological signal[J].Journal of Image and Graphics,2018,23(5):688-697. |
| |
| Authors: | Ren Fuji Yu Manli Hu Min and Li Yanqiu |
| |
| Affiliation: | School of Computer and Information of Hefei University of Technology, Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine, Hefei 230009, China;University of Tokushima, Graduate School of Advanced Technology & Science, Tokushima 7708502, Japan,School of Computer and Information of Hefei University of Technology, Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine, Hefei 230009, China,School of Computer and Information of Hefei University of Technology, Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine, Hefei 230009, China and School of Computer and Information of Hefei University of Technology, Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine, Hefei 230009, China |
| |
| Abstract: | |
| |
| Keywords: | facial expression physiological signal video color amplification technology fuzzy integral dual-modality |
|
| 点击此处可从《中国图象图形学报》浏览原始摘要信息 |
|
点击此处可从《中国图象图形学报》下载免费的PDF全文 |
|
