利用卷积回声状态网络实现脑电情感识别

针对多通道脑电(EEG)的情感识别,提出了一种卷积回声状态网络(CESN)模型。首先构造EEG信号的特征矩阵序列;然后通过卷积操作提取各个样本的高层抽象特征,形成一维特征向量序列;利用具有自反馈功能的蓄水池结构,捕获向量序列的动态时序信息;最后用岭回归来实现情感识别。在情感分析专用生理信号数据集上进行实验的结果表明,EEG信号的动态时序性蕴含着与情感状态相关的区分性信息,所提的CESN模型能够有效地挖掘这种信息,并用于情感分类,解决了卷积神经网络中因使用反向传播算法而导致的局部最优和训练时间过长的问题。     

融合音素串编辑距离的随机段模型解码算法

解码时声学特性最优的路径蕴含了揭示当前路径是否正确的重要参考信息,为此提出了一种随机段模型系统的解码优化方法。训练能够准确地衡量当前路径与声学最优路径相似性程度的上下文相关音素串编辑距离模型,在N-Best重打分的过程中将音素串编辑距离加入到路径总得分中。在“863-test”测试集上进行的连续语音识别实验显示汉语字的相对错误率下降了8.1%。实验结果表明了将音素串编辑距离应用到随机段模型的可行性。     

Improved vocal effort modeling by exploiting echo state network and radial basis function network

The independent hypothesis between frames in vocal effect(VE) recognition makes it difficult for frame based spectral features to describe the intrinsic temporal correlation and dynamic change information in speech phenomena. A novel VE detection method based on echo state network(ESN) is proposed. The input sequences are mapped into a fixed-dimensionality vector in high dimensional coding space by reservoir of the ESN. Then, radial basis function(RBF) networks are employed to fit the probability density function(pdf) of each VE mode by using the vectors in the high dimensional coding space. Finally, the minimum error rate Bayesian decision is employed to judge the VE mode. The experiments which are conducted on isolated words test set achieve 79.5% average recognition accuracy, and the results show that the proposed method can overcome the defect of the independent hypothesis between frames effectively.     

基于最大似然线性回归的随机段模型说话人自适应研究

提出了一种随机段模型系统的说话人自适应方法。根据随机段模型的模型特性,将最大似然线性回归方法引入到随机段模型系统中。在“863 test”测试集上进行的汉语连续语音识别实验显示,在不同的解码速度下,说话人自适应后汉字错误率均有明显的下降。实验结果表明,最大似然线性回归方法在随机段模型系统中同样能取得较好的效果。     

基于模型自适应的声效鲁棒性语音识别算法

针对声音效果变化引起的语音声学特性的改变,提出基于声学模型自适应的方法。分析了正常模式下训练的声学模型在识别其他声效模式下语音的表现;根据随机段模型的模型特性,将最大似然线性回归方法引入到随机段模型系统中,并利用自适应后的声学模型来识别对应的声效模式下的语音。在“863-test”测试集上进行的汉语连续语音识别实验显示,正常模式下训练的声学模型识别其他四种声效模式下的语音时,识别精度均有较大程度的下降;而自适应后的系统在识别对应的声效模式的语音时,识别精度有了明显的改观。表明了基于声学模型自适应的方法在解决语音识别中声音效果变化问题上的有效性。     

基于SDAE与RELM的EEG情感识别方法

针对情感识别中堆叠式自动编码器存在反向传播方法收敛速度慢和容易陷入局部最优的问题,提出一种基于堆叠式降噪自动编码器（SDAE）和正则化极限学习机（RELM）的情感状态识别方法。从脑电信号的时域、频域和时频域中提取表征情感状态的初始特征,使用SDAE进行无监督特征学习,提取初始特征的高层抽象表示。在网络的回归层,使用RELM进行情感分类。在DEAP数据集上的实验结果表明,与SDAE以及DT、KNN等传统基于机器学习的方法相比,该方法在实时性、准确性和泛化性能等方面均有明显提升。     

EEG情感识别中基于集成深度学习模型的多分析域特征融合

提出一种基于集成深度学习模型的情感状态检测方法.首先从脑电信号的时域、频域和时频域中提取4种表征情绪状态显著信息的初始特征;然后使用胶质细胞链改进的深度信念网络分别提取这些特征的高层抽象表示;最后利用判别式受限玻尔兹曼机对高层抽象特征进行融合,进行情感状态预测.在DEAP数据集上进行的实验显示,胶质链能够挖掘和利用EEG不同通道之间的相关性信息,而集成深度学习模型能够有效集成EEG信号在时域、频域和时频域蕴含的情感状态相关的显著性信息.     

语音识别中声效模式的分析及检测

针对声效相关的语音识别鲁棒性问题,在分析了声效变化情况下声强、时长、帧能量分布以及频谱倾斜能方面特性的基础上,建立了基于GMM的声效检测器。同时,还研究了声效变化对语音识别精度的影响,并提出了基于多模型框架的语音识别算法。汉语孤立词语音识别实验显示,除正常模式的语音识别精度略有下降外,其它四种声效模式的识别精度均有大幅度的提高。实验结果表明语音信号的声强、时长、帧能量分布以及频谱倾斜等信息能够用于识别声效模式,而多模型框架是解决声效相关的语音识别鲁棒性问题的有效方法。     

汉语语音识别中声学界标点引导的随机段模型解码算法

提出了一种随机段模型的解码优化算法.检测出具有语音学意义的界标点,根据这些界标点分析临近语音段的边界信息和声韵母类别信息,最后将这些边界信息和类别信息用于指导随机段模型的搜索过程.实验中,两种类型的界标点能较为准确地被检测出来,并用于指导随机段模型的解码,在“863-test”测试集上进行的汉语连续语音识别实验显示,在正确率只有轻微下降的同时,解码时间下降了12.92％,这表明了将语音学知识引入语音识别系统的有效性.     

多策略MRFO算法的卷积神经网络超参数优化

卷积神经网络的性能与超参数配置密切相关,然而最优超参数的选择耗时耗力. 为了提高超参数选择的效率,提出了一种基于多策略的蝠鲼觅食优化算法,一方面采用半数均匀初始化策略提升种群的多样性;另一方面,融合新权重因子更新策略和分裂策略,提升收敛速度和拟合精度. 根据实数编码策略将所提算法用于卷积神经网络的超参数优化研究中,用3种觅食方式进行迭代,以得到最优的超参数配置. 为了评估超参数优化的有效性,与卷积神经网络超参数优化算法在手写数字和CIFAR-10数据集上进行了对比实验,实验结果表明,所提算法可消耗较少的资源,并获得更高的准确率.