基于卷积神经网络的标准课堂教学语音情感优化的方法研究

在人工智能时代下,深度学习技术逐渐融入教育研究领域的各个方面。教师教学语言是课堂教学的主要方式,教学情感作为教学评价的主要评估方式,深刻影响着教师的教学效果。本文基于卷积神经网络模型对教师语音情感进行识别,以语音情感描述模型和情感教学理论作为理论基础,按照“数据库建立—模型搭建—实践应用”的研究路径开展教师标准课堂教学语音情感的研究,建立教师课堂语音数据库,构建教师语音情感评价量表,还原真实课堂的精准采集、助力教师评价的高效开展,以此优化教师教学语音情感,赋能教学改进。     

离散标签与维度空间结合的语音数据库设计

建立了一个将离散情感标签与维度情感空间结合起来的汉语情感语音数据库。该数据库由16名母语为汉语的说话人对情感语音进行表演型录制。语音样本是根据中性、愉悦、高兴、沮丧、愤怒、哀伤,以及悲伤等七种离散的情感标签采集而得,每名说话人有336条语音样本。随后由三名标注人在维度空间上对每条语音样本进行标注。最后,根据标注所得的数据来研究这七种情感在维度空间的分布情况,并分析了情感在一致性、集中性和差异性方面的性能。除此以外,还计算了这七种情感的情感识别率。结果显示,三名标注人对该数据库标注的一致性都达到了80%以上,情感之间的可区分度较高,并且七种情感的情感识别率均高于基线水平。因此,该数据库具有较好的情感质量,能够为离散情感标签到维度情感空间的转化提供重要的研究依据。     

耳语音情感数据库的设计与建立

为了研究耳语音情感识别,制定了耳语音情感数据库的制作流程和制作规范,设计并建立了一个包含4000个单词、5000条语句和600个段落的耳语音情感数据库。利用模糊数学中的隶属度函数和层次分析法对语句的有效性进行了检验,得到一个满足研究要求的耳语音情感数据库。利用库中的语料进行初步的耳语音情感识别,得知正常音语音情感识别所用的音长、能量等参数,在耳语音中仍然可以使用;而正常音的其它涉及基音的一些参数,不适用于耳语音,需要进行改进或者提取新的特征参数。     

全卷积循环神经网络的语音情感识别

语音情感识别是人机交互的热门研究领域之一。然而,由于缺乏对语音中时频相关信息的研究,导致情感信息挖掘深度不够。为了更好地挖掘语音中的时频相关信息,提出了一种全卷积循环神经网络模型,采用并行多输入的方式组合不同模型,同时从两个模块中提取不同功能的特征。利用全卷积神经网络（Fully Convolutional Network,FCN）学习语音谱图特征中的时频相关信息,同时,利用长短期记忆（Long Short-Term Memory,LSTM）神经网络来学习语音的帧级特征,以补充模型在FCN学习过程中缺失的时间相关信息,最后,将特征融合后使用分类器进行分类,在两个公开的情感数据集上的测试验证了所提算法的优越性。     

基于情感交互的智能家居产品语音交互设计

目的 研究智能家居产品语音助手的不同情感交互模式对产品感知拟人化程度和用户满意度的影响,以此对未来智能家居产品的语音交互及情感交互设计提供参照。方法 通过实验测试、问卷调查及数据分析,总结出智能家居产品的情感交互模式和智能语音助手的性别对产品感知拟人化程度的影响,进而研究拟人化程度与用户满意度之间的关系。结论 情感交互程度越高,产品感知拟人化程度越高,且同等条件下,女性形象的智能语音助手较男性形象的智能语音助手拟人化程度更高,产品感知拟人化程度与用户满意度符合线性回归模型,即在一定程度上,随着拟人化程度的增加,用户满意度也会相应增加。用户希望智能家居助手能够主动发起对话,并适当记录用户习惯和基本信息,以实现多轮对话和持续交互。     

支持向量机应用于语音情感识别的研究

为了有效识别包含在语音信号中情感信息的类型,提出一种将支持向量机应用于语音情感识别的新方法。利用支持向量机把提取的韵律情感特征数据映射到高维空间,从而构建最优分类超平面实现对汉语普通话中生气、高兴、悲伤、惊奇4种主要情感类型的识别。计算机仿真实验结果表明,与已有的多种语音情感识别方法相比,支持向量机对情感识别取得的识别效果优于其他方法。     

卷积神经网络在语音情感识别中的应用研究

随着人工智能发展,语音情感识别技术的应用范围越来越广。该文以语音情感识别为出发点,介绍了语音信号特征提取方法和语音情感分类模型训练过程中中权值和参数更新的算法,并在tensorflow框架中进行试验设计和试验,通过试验分析激活函数、中间层层数、训练轮次对模型训练结果的影响。试验结果表明,当训练轮次为1 000轮、中间层层数为6个且激活函数选择elu时判定准确率较高。     

语音交互技术在传统艺术文创产品设计中的应用 ——以《清明上河图》AVG游戏设计为例

在中国传统艺术的数字化保护与传承、传播的现实需求,和传统艺术文创产品设计创新的背景下,探索语音交互在传统艺术文创产品中的运用。语音交互技术通过语音交互的自然化形式实现游戏操控,目前在功能产品、游戏产品中的运用已有成功案例,因此运用语音交互技术进行传统艺术文创产品设计具有较大的应用前景。本文以《清明上河图》AVG游戏设计为例,以《清明上河图》为剧情背景,遵循《清明上河图》绘画风格进行游戏素材及界面设计;调用百度语音包数据库,将语音识别技术与GUI技术进行整合,实现语音交互推动《清明上河图》AVG游戏剧情的核心功能。这一设计实践,对基于传统艺术的文创产品设计具有较高的参考价值。基于语音交互的《清明上河图》AVG游戏,将中国传统艺术与语音解谜游戏结合起来,寓教于乐,有助于提升中国传统艺术的审美影响力,既是一种文创产品的设计创新,也是全球化语境下传统艺术的数字化保护、传承、传播,是提升民族文化自信的有益尝试。     

基于注意力机制的LSTM语音情感主要特征选择

传统的语音情感识别方式采用的语音特征具有数据量大且无关特征多的特点,因此选择出与情感相关的语音特征具有重要意义。通过提出将注意力机制结合长短时记忆网络(Long Short Term Memory, LSTM),根据注意力权重进行特征选择,在两个数据集上进行了实验。结果发现:(1)基于注意力机制的LSTM相比于单独的LSTM模型,识别率提高了5.4%,可见此算法有效提高了模型的识别效果;(2)注意力机制是一种有效的特征选择方法。采用注意力机制选择出了具有实际物理意义的声学特征子集,此特征集相比于原有公用特征集在降低了维数的情况下,提高了识别准确率;(3)根据选择结果对声学特征进行分析,发现有声片段长度特征、无声片段长度特征、梅尔倒谱系数(Mel-Frequency Cepstral Coefficient, MFCC)、F0基频等特征与情感识别具有较大相关性。     

学龄前儿童益智游戏中的情感体验研究

目的设计更符合学龄前儿童特点的建构玩具,使得学龄前儿童在投入积木建构游戏中得到更好的情感体验,达到更好的学习效果。方法采用实验观察法、个别测查法,邀请了61名4~6岁幼儿参加积木建构游戏测试。全程录像15 min,记录幼儿的情绪体验评分、情绪变化的原因、情绪平均值、搭建技能水平、游戏时间、遇到的问题等。根据情绪体验编码绘制曲线图,将幼儿游戏情绪分为3种典型类型,采用统计分析法发现专注型幼儿搭建技能显著高于其他类型,将游戏中儿童主观情绪变化的原因进行编码及提炼,归纳出建构类益智游戏情感体验的6个设计原则及其影响的有效性,并通过正在进行的概念智能积木玩具设计案例进行验证。结论从设计心理学视域对学龄前儿童游戏中的情感体验进行量化分析与设计研究,提炼出3种典型的游戏情感体验类型,并考察游戏搭建水平与情感体验类型的关联性,最终提出儿童建构类益智游戏的情感体验设计原则,将符合儿童情感体验机制的玩具注入到游戏的设计中,加速儿童的沉浸式游戏体验。     

融合人脸表情的手语到汉藏双语情感语音转换

针对聋哑人与正常人之间存在的交流障碍问题,提出了一种融合人脸表情的手语到汉藏双语情感语音转换的方法。首先使用深度置信网络模型得到手势图像的特征信息,并通过深度神经网络模型得到人脸信息的表情特征。其次采用支持向量机对手势特征和人脸表情特征分别进行相应模型的训练及分类,根据识别出的手势信息和人脸表情信息分别获得手势文本及相应的情感标签。同时,利用普通话情感训练语料,采用说话人自适应训练方法,实现了一个基于隐Markov模型的情感语音合成系统。最后,利用识别获得的手势文本和情感标签,将手势及人脸表情转换为普通话或藏语的情感语音。客观评测表明,静态手势的识别率为92.8%,在扩充的Cohn-Kanade数据库和日本女性面部表情(Japanese Female Facial Expression,JAFFE)数据库上的人脸表情识别率为94.6%及80.3%。主观评测表明,转换获得的情感语音平均情感主观评定得分4.0分,利用三维情绪模型(Pleasure-Arousal-Dominance,PAD)分别评测人脸表情和合成的情感语音的PAD值,两者具有很高的相似度,表明合成的情感语音能够表达人脸表情的情感。     

Speech signal-based emotion recognition and its application to entertainment robots

By recognizing sensory information, through touch, vision, or voice sensory modalities, a robot can interact with people in a more intelligent manner. In human–robot interaction (HRI), emotion recognition has been a popular research topic in recent years. This paper proposes a method for emotion recognition, using a speech signal to recognize several basic human emotional states, for application in an entertainment robot. The proposed method uses voice signal processing and classification. Firstly, end-point detection and frame setting are accomplished in the pre-processing stage. Then, the statistical features of the energy contour are computed. Fisher’s linear discriminant analysis (FLDA) is used to enhance the recognition rate. In the final stage, a support vector machine (SVM) is used to complete the emotional state classification. In order to determine the effectiveness of emotional HRI, an embedded system was constructed and integrated with a self-built entertainment robot. The experimental results for the entertainment robot show that the robot interacts with a person in a responsive manner. The average recognition rate for five emotional states is 73.8% using the database constructed in the authors’ lab.     

Mental Illness Disorder Diagnosis Using Emotion Variation Detection from Continuous English Speech

Automatic recognition of human emotions in a continuous dialog model remains challenging where a speaker’s utterance includes several sentences that may not always carry a single emotion. Limited work with standalone speech emotion recognition (SER) systems proposed for continuous speech only has been reported. In the recent decade, various effective SER systems have been proposed for discrete speech, i.e., short speech phrases. It would be more helpful if these systems could also recognize emotions from continuous speech. However, if these systems are applied directly to test emotions from continuous speech, emotion recognition performance would not be similar to that achieved for discrete speech due to the mismatch between training data (from training speech) and testing data (from continuous speech). The problem may possibly be resolved if an existing SER system for discrete speech is enhanced. Thus, in this work the author’s existing effective SER system for multilingual and mixed-lingual discrete speech is enhanced by enriching the cepstral speech feature set with bi-spectral speech features and a unique functional set of Mel frequency cepstral coefficient features derived from a sine filter bank. Data augmentation is applied to combat skewness of the SER system toward certain emotions. Classification using random forest is performed. This enhanced SER system is used to predict emotions from continuous speech with a uniform segmentation method. Due to data scarcity, several audio samples of discrete speech from the SAVEE database that has recordings in a universal language, i.e., English, are concatenated resulting in multi-emotional speech samples. Anger, fear, sad, and neutral emotions, which are vital during the initial investigation of mentally disordered individuals, are selected to build six categories of multi-emotional samples. Experimental results demonstrate the suitability of the proposed method for recognizing emotions from continuous speech as well as from discrete speech.     

情感语音特征对语料库依赖性的统计分析

简述线性预测倒谱系数（LPCC）、Teager能量算子（TEO）、梅尔频率倒谱系数（MFCC）和过零峰值幅度（ZCPA）特征提取方法,并将这四种方法应用于情感识别。设计两种实验,第一种是使用TYUT和Berlin语料库的单语言实验,这种实验证明,以上四种特征在单一的语料库单一语言条件下均能够有效地表征语音的情感特征,其中MFCC特征对情感的识别率最高。第二种实验是混合语料库的单一语言实验。之前大多数关于情感特征的研究都是基于某一种语料库中某种特定语言的,但在实际中,说话人的背景环境总是多种多样。因此,对特征的混合语料库研究是有现实意义的。第二种实验证明这四种特征都是语料库依赖性的,其中 ZCPA特征的识别率下降最少。     

基于栈式自编码神经网络的脑电信号情绪识别

针对维度情感模型生理信号情绪识别准确率较低的问题,本文基于DEAP维度情绪生理数据集,利用AR模型功率谱估计方法,提取脑电θ,α,β,γ节律的功率谱密度;采用小波包分解提取脑电小波包系数和能量占比时频特征;通过非线性分析提取脑电样本熵和小波包熵特征.然后,设计栈式自编码神经网络算法对脑电组合特征在效价和唤醒度两个情感维...