| 基于多操作网络的图式多域语音情感识别研究 |
| |
| 引用本文： | 张会云,黄鹤鸣. 基于多操作网络的图式多域语音情感识别研究[J]. 计算机工程, 2022, 48(7): 59-65. DOI: 10.19678/j.issn.1000-3428.0061981 |
| |
| 作者姓名： | 张会云 黄鹤鸣 |
| |
| 作者单位： | 青海师范大学计算机学院,西宁810008;藏语智能信息处理及应用国家重点实验室,西宁810008;藏文信息处理教育部重点实验室,西宁810008;青海省藏文信息处理与机器翻译重点实验室,西宁810008 |
| |
| 基金项目： | 国家自然科学基金（62066039）； |
| |
| 摘 要： | 多域语音情感识别研究在语料标注方法、录制场景以及交互方式等方面存在差异性，使得构建多域语音情感识别系统变得较为复杂。设计一种基于多操作网络的多域语音情感识别模型，通过组合CASIA、EMODB、SAVEE 3个单域数据库，构建Hybrid-CE、Hybrid-ES、Hybrid-CS、Hybrid-CES 4种多域语音情感数据库及层级多操作网络（HMN）。HMN网络由2个异构并行分支组成，左分支由2个同构并行的一维卷积层构成，卷积层的神经元数量均为128，右分支由并行的Bi-GRU层和Bi-LSTM层构成，GRU和LSTM的记忆单元数量均为64。将原始数据投影到不同的变换空间进行计算，从而更准确地表征语音的情感信息。通过分层的Concate、Add和Multiply多操作运算，将左右分支提取的不同特征进行多重融合。在此基础上，计算梅尔频率倒谱系数、色谱图、谱对比度等低级描述符特征的高级统计函数，得到219维特征作为模型HMN的输入。实验结果表明，该模型在4种多域数据库上的F1-score分别达到82.22%、65.02%、70.59%、73.47%，具有较好的鲁棒性和泛化性。
|
| 关 键 词： | 语音情感识别 韵律特征 谱特征 多特征融合 多操作网络 |
| 收稿时间： | 2021-07-05 |
| 修稿时间： | 2021-08-25 |
Research on Schema Multi-Domain Speech Emotion Recognition Based on Multi-Operation Network |
| |
| ZHANG Huiyun,HUANG Heming. Research on Schema Multi-Domain Speech Emotion Recognition Based on Multi-Operation Network[J]. Computer Engineering, 2022, 48(7): 59-65. DOI: 10.19678/j.issn.1000-3428.0061981 |
| |
| Authors: | ZHANG Huiyun HUANG Heming |
| |
| Affiliation: | 1. School of Computer Science, Qinghai Normal University, Xining 810008, China;2. The State Key Laboratory of Tibetan Intelligent Information Processing and Application, Xining 810008, China;3. Key Laboratory of Tibetan Information Processing, Ministry of Education, Xining 810008, China;4. Tibetan Information Processing and Machine Translation Key Laboratory of Qinghai Province, Xining 810008, China |
| |
| Abstract: | |
| |
| Keywords: | Speech Emotion Recognition(SER) prosodic feature spectral feature multi-feature fusion multi-operation network |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《计算机工程》浏览原始摘要信息 |
|
点击此处可从《计算机工程》下载全文 |
