| 结合滑动窗口动态时间规整和CNN的视频人脸表情识别 |
| |
| 引用本文： | 胡敏,张柯柯,王晓华,任福继. 结合滑动窗口动态时间规整和CNN的视频人脸表情识别[J]. 中国图象图形学报, 2018, 23(8): 1144-1153 |
| |
| 作者姓名： | 胡敏 张柯柯 王晓华 任福继 |
| |
| 作者单位： | 合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室, 合肥 230009,合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室, 合肥 230009,合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室, 合肥 230009,合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室, 合肥 230009;德岛大学先端技术科学教育部, 德岛 7708502, 日本 |
| |
| 基金项目： | 国家自然科学基金项目（61672202，61432004，61502141）；国家自然科学基金—深圳联合基金重点项目（U1613217）；安徽高校省级自然科学研究重点项目（KJ2017A368） |
| |
| 摘 要： | 目的 相比静态表情图片，视频序列中蕴含更多的情感信息，视频序列中的具有明显表情的序列在特征提取与识别中具有关键作用，但是视频中同时存在的中性表情也可能会对模型参数的训练造成干扰，影响最终的判别。为了减少这种干扰带来的误差，本文对动态时间规整算法进行改进，提出一种滑动窗口动态时间规整算法（SWDTW）来自动选取视频中表情表现明显的图片序列；同时，为了解决人脸图像受环境光照因素影响较大和传统特征提取过程中存在过多人为干预的问题，构建一种基于深度卷积神经网络的人脸视频序列处理方法。方法 首先截取表情视频中人脸正面帧，用梯度方向直方图特征计算代价矩阵，并在代价矩阵上增加滑动窗口机制，计算所有滑动窗口的平均距离；然后通过平均距离最小值选取全局最优表情序列；最后采用深度卷积神经网络对规整后的人脸表情图像序列进行无监督学习和面部表情分类，统计视频序列图像分类概率和，进而得出视频序列的表情类别。结果 在CK+与MMI数据库上进行5次交叉实验，分别取得了92.54%和74.67%的平均识别率，与随机选取视频序列相比，分别提高了19.86%和22.24%；此外，与目前一些优秀的视频表情识别方法相比，也表现出了优越性。结论 本文提出的SWDTW不仅有效地实现了表情序列的选取，而且增强了卷积神经网络在视频面部表情分类中的鲁棒性，提高了视频人脸表情分析的自适应性度和识别率。
|
| 关 键 词： | 人脸表情识别 视频序列选取 滑动窗口动态时间规整 特征提取 卷积神经网络 |
| 收稿时间： | 2017-08-15 |
| 修稿时间： | 2018-03-07 |
Video facial expression recognition combined with sliding window dynamic time warping and CNN |
| |
| Hu Min,Zhang Keke,Wang Xiaohua and Ren Fuji. Video facial expression recognition combined with sliding window dynamic time warping and CNN[J]. Journal of Image and Graphics, 2018, 23(8): 1144-1153 |
| |
| Authors: | Hu Min Zhang Keke Wang Xiaohua Ren Fuji |
| |
| Affiliation: | Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine, School of Computer and Information, Hefei University of Technology, Hefei 230009, China,Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine, School of Computer and Information, Hefei University of Technology, Hefei 230009, China,Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine, School of Computer and Information, Hefei University of Technology, Hefei 230009, China and Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine, School of Computer and Information, Hefei University of Technology, Hefei 230009, China;Graduate School of Advanced Technology & Science, University of Tokushima, Tokushima 7708502, Japan |
| |
| Abstract: | |
| |
| Keywords: | facial expression recognition video sequence selection sliding window dynamic time regularization feature extraction convolution neural network |
|
| 点击此处可从《中国图象图形学报》浏览原始摘要信息 |
|
点击此处可从《中国图象图形学报》下载免费的PDF全文 |
|
