基于机器学习的语音情感识别技术研究

针对快速发展的语音情感识别技术,归纳总结了机器学习算法在语音情感识别领域的发展过程并预测语音情感识别技术的发展方向.首先针对语音情感的离散描述模型,总结语音情感识别模型训练和识别算法的一般过程;然后,根据机器学习算法的发展阶段,分别对比分析传统机器学习算法,深度神经网络、卷积神经网络、循环神经网络等深度学习算法与语音情...     

语音信号的情感特征分析与识别研究综述

语音情感的分析与识别是近年来新兴研究课题之一，本文介绍了近几年来国内外语音情感识别的状况，阐述了各种人类情感分类的方法，归纳了各种语音特征参数的提取方法以及各特征参数对情感识别的意义，在此基础上综述了国内外在情感识别领域的研究进展与主要识别建模方法，同时总结了各种识别建模方法的利弊。最后概括了语音情感识别领域的发展趋势，并进行了展望。     

基于声门波和声道特征的语音情感识别

语音情感识别是实现自然人机交互不可缺失的部分,是人工智能的重要组成部分。发音器官的调控引起情感语音声学特征的差异,从而被感知到不同的情感。传统的语音情感识别只是针对语音信号中的声学特征或听觉特征进行情感分类,忽略了声门波和声道等发音特征对情感感知的重要作用。在我们前期工作中,理论分析了声门波和声道形状对感知情感的重要影响,但未将声门波与声道特征用于语音情感识别。因此,本文从语音生成的角度重新探讨了声门波与声道特征对语音情感识别的可能性,提出一种基于源-滤波器模型的声门波和声道特征语音情感识别方法。首先,利用Liljencrants-Fant和Auto-Regressive eXogenous(ARX-LF)模型从语音信号中分离出情感语音的声门波和声道特征;然后,将分离出的声门波和声道特征送入双向门控循环单元（BiGRU）进行情感识别分类任务。在公开的情感数据集IEMOCAP上进行了情感识别验证,实验结果证明了声门波和声道特征可以有效的区分情感,且情感识别性能优于一些传统特征。本文从发音相关的声门波与声道研究语音情感识别,为语音情感识别技术提供了一种新思路。     

语音情感识别的发展与展望

对语音情感识别的起源及主要研究内容作了介绍,对国内外语音情感识别的研究现状作了归纳总结;对语音情感特征的提取、情感分类器的建模算法作了重点分析介绍,最后对情感识别未来发展方向进行了展望.     

语音情感识别的研究进展

情感在人类的感知、决策等过程扮演着重要角色.长期以来情感智能研究只存在于心理学和认知科学领域,近年来随着人工智能的发展,情感智能跟计算机技术结合产生了情感计算这一研究课题,这将大大的促进计算机技术的发展.情感自动识别是通向情感计算的第一步.语音作为人类最重要的交流媒介,携带着丰富的情感信息.如何从语音中自动识别说话者的情感状态近年来受到各领域研究者的广泛关注.本文从语音情感识别所涉及的几个重要问题出发,包括情感理论及情感分类、情感语音数据库、语音中的情感特征和语音情感识别算法等,介绍了当前的研究进展,并讨论了今后研究的几个关键问题.     

情感语音数据库综述

情感语音数据库是语音情感识别研究的数据基础,为语音情感识别模型的建立提供训练和测试数据。近年来,国内外研究者们以各自的科研任务为背景,建立了若干面向语音情感识别研究的数据库。然而,由于情感的复杂性以及缺乏统一的数据库建立标准,只有少数的高质量的数据库得到了大多数研究者们的认可。通过文献调查与分析,对当前领域内极具代表性的一些情感语音数据库进行了综述,目的是为相关研究者们的数据库建立和选择工作提供可靠的对比和参考依据。     

语音情感转换技术综述

随着情感信息处理的研究不断深入,语音信号中的情感转换越来越受到人们的重视。与传统的信息处理技术不同,语音的情感转换是用机器来实现理解和认识。本文首先探讨了情感的分类;接着,将语音情感转换系统分为：特征提取、参数转换和语音合成,并从特征提取和参数转换两方面进行了阐述,分析了相关的理论及算法,对各方法的优缺点进行了比较。最后,对语音情感转换研究方向进行了讨论。     

基于多特征融合的藏语语音情感识别

藏语语音情感识别是语音情感识别在少数民族语音处理上的应用,语音情感识别是人机交互的重要研究方向,提取最能表征语音情感的特征并构建具有较强鲁棒性和泛化性的声学模型是语音情感识别的重要研究内容。基于此,为了构建具有高效性和针对性的藏语语音情感识别模型,文中构建了一种藏语语音情感数据集（TBSEC001）,并提出一种适合于藏语的手工语音情感特征集（TPEFS）,该特征集是在藏语与其他语言的共性和特性的基础上手工提取得到的,TPEFS特征集在支持向量机（SVM）、多层感知机（MLP）、卷积神经网络（CNN）、长短时记忆网络（LSTM）这些经典网络中都取得了不错的效果。所提出的方法在藏语语音数据集（TBSEC001）上取得了88.4%的识别结果,以及在EMODB、RAVDESS、CASIA数据库上分别取得了84.1%、74.3%以及82.5%的识别结果。实验结果表明,该特征集在保证识别率的情况下,对藏语语音情感识别具有一定针对性。     

基于语音PZCPA时频域特征融合的语音情感识别方法

从人类自然语言中提取和准确分类语音中的情感状态一直是人机交互的一个难点,同时相关研究在人工智能领域发挥着至关重要的作用.为了使语音情感识别系统有更好的鲁棒性,本文提出新的语音情感识别算法结构,主要包括PZCPA特征的提取方法,并且使用该特征进行基于深度学习的时域和频域特征融合,最后使用KNN进行语音情感识别.该算法在德...     

声学参数和听觉参数结合的语音情感交叉识别

语音情感识别中,情感特征信息的提取和选择、情感识别模型的选择是2个重要部分.结合语音信号的声学特征参数和听觉特征参数进行情感识别,针对两类不同情感之间的差别选择最优的特征集,并设计了一个基于神经网络的情感交叉识别,与听觉特征参数结合,经过分类器得到识别情感,达到平均92%识别率.     

基于语音的抑郁检测研究综述

抑郁症作为一种常见的心理健康问题,严重影响人们的日常生活甚至是生命安全,对抑郁症及抑郁情绪的检测具有重要意义。抑郁检测的常用模态包括脑电、图像、文本和语音等,其中语音信号具有易获取和使用限制少的优势,基于语音的抑郁检测研究也因此成为当前的研究热点。本文对近几年基于语音的抑郁检测的最新进展进行综述。首先介绍了目前研究中所常用的抑郁语音数据集,对其中数据不平衡问题的处理方法进行了概括分析。然后对抑郁检测中常用的韵律特征、音质特征、基于谱的特征等语音特征进行了概述,并对特征的特点展开分析。另一方面,针对抑郁检测研究中所遇到的数据量少的问题,从数据增强、度量学习、元学习和迁移学习四个方面,简述了目前主流的小样本学习方法。考虑到抑郁语音数据的隐私性问题,介绍了基于联邦学习的语音抑郁检测研究,从数据安全性和边缘设备部署两方面做了具体陈述。最后,针对基于语音的抑郁检测研究现状和难点问题进行了总结与展望。     

AI语音关键技术与业务实践研究

研究了AI语音技术在业务领域的实践应用,梳理归纳了AI语音三大关键技术:语音识别、语音合成、自然语言处理的技术原理与技术演进路线;描述了构建在三大技术之上的AI语音产品的架构、功能特色和应用场景;详细说明了AI坐席产品、AI质检产品与云呼叫中心对接方案,并通过对比的方法给出各方案的优势劣势;最后对AI语音技术与产品进行...     

语音信号中情感特征的分析和识别

随着信息技术的发展，对人机交互能力的要求不断提高，情感信息处理已成为提高人机交互能力的一个重要课题。文中介绍了近年来国内外在语音信号中的情感特征分析和识别的研究概况，讨论了存在的一些问题和今后需要进一步研究的课题。     

情感识别中的迁移学习问题综述

情感识别是实现自然人机交互的必要过程。然而,情感数据高昂的采集和标注成本成为了限制情感识别研究发展的一大瓶颈。在无标注或有限标注的场景下,利用知识的跨领域或跨任务迁移提升情感识别效果的问题值得探索。本文对情感识别中的迁移学习问题进行了梳理和分析。首先,将迁移学习问题划分为针对领域差异和针对任务差异的两大部分,并进一步将每部分问题细分为多种不同的情况。随后,基于情感识别领域的研究现状,分别总结不同情况下的现有工作。在目标领域训练资源匮乏的情况下,可以利用其他带标注的数据集作为源领域训练模型,并对齐不同领域下的特征分布,或将特征映射到域间共享的空间。考虑到情感标签所提供的监督信息往往较为有限,为了进一步提升模型的识别效果,可以引入其他相关任务进行联合训练,或将预训练模型、外部知识库提供的先验语义知识迁移到情感识别任务中。最后,讨论了情感识别领域中未来需要得到更多关注和探索的迁移学习问题,旨在为研究者带来新的启发。     

基于CM-OMEMD和小波散射网络的语音情感识别

语音情感识别（Speech Emotion Recognition,SER）是人机交互的重要组成部分,具有广泛的研究和应用价值。针对当前SER中仍然存在着缺乏大规模语音情感数据集和语音情感特征的低鲁棒性而导致的语音情感识别准确率低等问题,提出了一种基于改进的经验模态分解方法（Empirical Mode Decomposition,EMD）和小波散射网络（Wavelet Scattering Network,WSN）的语音情感识别方法。首先,针对用于语音信号时频分析的EMD及其改进算法中存在的模态混叠问题（Mode Mixing）和噪声残余问题,提出了基于常数Q变换（Constant-Q Transform,CQT）和海洋捕食者算法（Marine Predator Algorithm,MPA）的优化掩模经验模态分解方法（Optimized Masking EMD based on CQT and MPA,CM-OMEMD）。采用CM-OMEMD算法对情感语音信号进行分解,得到固有模态函数（Intrinsic Mode Functions,IMFs）,并从IMFs中提取了可以表征情感的时频特征作为第一个特征集。然后采用WSN提取了具有平移不变性和形变稳定性的散射系数特征作为第二个特征集。最后将两个特征集进行融合,采用支持向量机（Support Vector Machine,SVM）分类器进行分类。通过在含有七种情感状态的TESS数据集中的对比实验,证明了本文提出的系统的有效性。其中CM-OMEMD减小了模态混叠,提升了对情感语音信号时频分析的准确性,同时提出的SER系统显著提高了情绪识别的性能。      

说话人分割聚类研究进展

说话人分割聚类是近几年新兴起的语音信号处理研究方向,它主要研究如何确定连续语流中多说话人起止时间的位置,并标出每个语音段对应的说话人。这项研究对自动语音识别、多说话人识别和基于内容的音频分析等都具有重要的意义。根据说话人分割和聚类实现过程不同,本文从异步策略和同步策略的角度回顾了十年来国内外研究的主流算法、技术和代表系统,对比了不同代表系统在近几年NIST富信息转写评测的结果,最后讨论了目前还存在的问题,并对未来的发展进行了展望。      

用于跨库语音情感识别的DBN特征融合方法

跨数据库语音情感识别中,将不同尺度上提取的情感特征进行融合是目前的技术难点。本文利用深度学习领域的深度信念模型,提出了基于深度信念网络的特征层融合方法。将语音频谱图中隐含的情感信息作为图像特征,与传统情感特征融合。研究解决了跨数据库语音情感识别中,将不同尺度上提取的情感特征进行融合的技术难点。利用STB/Itti模型对语谱图进行分析,从颜色、亮度、方向三个角度出发,提取了新的语谱图特征;然后研究改进的DBN网络模型并对传统声学特征与新提取的语谱图特征进行了特征层融合,增强了特征子集的尺度,提升了情感表征能力。通过在ABC数据库和多个中文数据库上的实验验证,特征融合后的新特征子集相比传统的语音情感特征,其跨数据库识别结果获得了明显提升。      

Human emotion recognition by optimally fusing facial expression and speech feature

Emotion recognition is a hot research in modern intelligent systems. The technique is pervasively used in autonomous vehicles, remote medical service, and human–computer interaction (HCI). Traditional speech emotion recognition algorithms cannot be effectively generalized since both training and testing data are from the same domain, which have the same data distribution. In practice, however, speech data is acquired from different devices and recording environments. Thus, the data may differ significantly in terms of language, emotional types and tags. To solve such problem, in this work, we propose a bimodal fusion algorithm to realize speech emotion recognition, where both facial expression and speech information are optimally fused. We first combine the CNN and RNN to achieve facial emotion recognition. Subsequently, we leverage the MFCC to convert speech signal to images. Therefore, we can leverage the LSTM and CNN to recognize speech emotion. Finally, we utilize the weighted decision fusion method to fuse facial expression and speech signal to achieve speech emotion recognition. Comprehensive experimental results have demonstrated that, compared with the uni-modal emotion recognition, bimodal features-based emotion recognition achieves a better performance.