K子空间和时延自相关器的英汉音素识别

提出了用于音素识别的K子空间和时延自相关器神经网络结构,用将时延设计加入线性自相关器,以扩展音素滤波神经网络的方法,产生p维子空间,并采用迭代过程修改划分,以便捕获语音信号中的时间序列信息。这种带不分类训练过程的体系结构提供了一种高识别性能的方法,没有大多数常规语音识别神经网络所常有的网络输出值不表示候选者似然性的缺陷。通过英语音素和汉语音素的初步试验,识别正确率为84.38%,比音素滤波神经网络方法好。     

利用汉语语音音素帧间相关性的唇形特征识别

为了进一步提高针对汉语语音的唇形特征识别效果,分析实际汉语语音发音过程中声母韵母之间音素的变换规律,以及连读等发音习惯而造成的口形变化,利用唇形特征所对应的音素帧间的相关性,采用二阶隐马尔可夫模型来对唇形特征参数序列进行学习和识别,从而分析汉语唇形识别效果.基于独立汉字发音的实验表明,在针对特定人的识别条件下,在最优的加权因子(m∶n=1.5∶1)特征组合条件下,针对同一组融合得到的特征向量,考虑了音素帧间的相关性后,识别率提高了1.2%.可见汉语音节中音素帧间的相关性与唇形特征的变化规律相对应,有利于提高唇形识别的效果.     

一种基于RBM的深层神经网络音素识别方法

为提高连续语音识别中的音素识别准确率,采用深可信网络提取语音音素后验概率进行音素识别.首先利用受限玻尔兹曼机的学习原理,对深可信网络进行逐层的预训练;然后通过增加一个“软最大化（softmax）”输出层,得到用于音素状态后验概率检测的深层神经网络,并采用后向传播算法进行网络权值的精细调整;最后以后验概率为HMM发射概率,使用Viterbi解码器进行音素识别.针对TIMIT语料库的实验结果表明,该系统的音素识别率优于GMM/HMM,MLP/HMM和TANDEM系统性能.     

基于神经网络的汉语孤立词语音识别

研究了基于神经网络的中文孤立词语音识别技术;将时间规整算法与神经网络相结合,组成一个混合级联神经网络语音识别系统. 在这个模型中,第一级是时间规整神经网络. 其作用是完成时间规整功能,从输入不等长的语音信号特征矢量序列中提取固定长度的特征矢量;然后将这组特征矢量馈入后一级BP网络完成语音识别. 利用该方法对小词表汉语孤立词进行语音识别实验,获得了98.25%的正确识别率. 实验结果表明,该系统不仅利用神经网络解决了语音识别中的时间规整难题,而且识别性能明显得到改善,识别率和训练速度均优于采用线性时间规整的神经网络语音识别方法.     

基于音素混淆模型的集外词查询项扩展方法

为了提高语音查询项检索系统中集外词检索的性能,在加权有限状态转换器（weightedfinite-state transducer,WFST）框架下提出了一种基于音素混淆模型的集外词查询项扩展技术,将查询项扩展成多发音序列来解决集外词问题.首先由G2P（grapheme-to-phoneme）模型生成查询项的发音序列,然后利用音素混淆模型将发音序列扩展成N-best发音,以补偿识别错误造成Lattice建立的索引与查询项发音序列之间音素表示差异带来的影响,从而有效降低漏警率.实验结果表明,加入音素混淆模型之后,系统集外词检索性能有明显提升.     

基于后验概率特征的改进无监督语音样例检测

针对现有无监督语音样例检测精度不高的现状,提出一种基于后验概率特征和主成分分析的方法。该方法首先利用无标注语料训练GMM,得到训练数据频谱参数的高斯混元后验概率特征向量序列;采用层次聚类算法检测其边界信息得到声学分段,利用K means算法对所有声学分段聚类并添加标签,通过声学分段和标签训练基于后验概率的声学分段模型(ASMs);ASMs将查询项与检索文档的高斯混元后验概率转换为新的后验概率,利用主成分分析方法对其优化处理,保持概率向量维数不变,去除噪声信息,提高后验概率特征向量鲁棒性与区分性;最后通过分段动态时间规整算法检索查询项。实验证明该方法的检索精度较现有方法有显著提升。     

基于卷积神经网络视觉融合的动态手势识别

为了提高多帧视频序列中动态手势的识别效果,结合计算机视觉分析,提出了基于卷积神经网络视觉融合的动态手势识别方法.采用模糊数据多频谱方法进行多帧视频序列中动态手势视觉图像采集,对采集的图像用Harris角点检测和多传感识别方法进行多模状态分层特征点标定,用卷积神经网络视觉融合方法提取多帧视频序列中动态手势动作的边界轮廓特征点信息,分析多帧视频序列中动态手势的层次化分割特征,用图像分割和边缘信息增强方法,提高动态手势图像的分辨能力,结合角点优化检测技术,用视觉动态跟踪分析实现对手势动作特征点的自动化标定,根据动态手势的帧点分布规则实现多帧视频序列中动态手势动作图像的自适应特征检测和识别.仿真结果表明,采用该方法进行多帧视频序列中动态手势识别的准确性较高、实时性较好.     

深度学习下盲人避撞路径导航方法研究

传统导航方法只能检测出路径上存在的静止障碍物,无法检测出运动障碍物,为此提出基于深度学习的盲人避撞路径导航方法.收集语音信号,利用语音识别模型获取语音特征参数,根据语音特征参数识别出盲人输入的语音序列内容,确定盲人所要到达的目的地.构建障碍物检测模型,检测盲人所在位置与其目的地路径上障碍物的形状特征及其运动方向、速度,...     

引入内容特性分析的包层语音质量评价模型

为了实现对网络语音质量的实时监控,提出一种包层语音质量评价模型.该模型无需介入数据包的载荷部分,只利用数据包的头信息评价语音质量.首先通过分析包头信息区分出语音段和静音段,获取语音段的编码参数和丢包参数,然后根据语音段的编码参数预测编码失真,在此基础上利用语音段的丢包参数评价丢包引起的失真,从而得到语音流的总质量.实验结果表明,相比于国际标准G.107中的E-model,提出的模型得到的语音质量评分与PESQ算法评分的皮尔森相关系数平均提高0.041 2,均方根误差平均降低0.045 1.     

基于动态贝叶斯网络的大词汇量连续语音识别和音素切分研究

提出一个新颖的单流多状态动态贝叶斯网络(Single stream Multi-states Dynamic Bayesian Network, SM-DBN)模型,以实现大词汇量连续语音识别和音素切分.该模型在Bil m es等人提出的单流动态贝叶斯网络(Single stream Dynamic Bayesian Network, Phone-sh ared,SS-DBN-P)模型(识别基元为词)基础上,增加了一个隐含的状态节点层,每个词由它的对 应音素组成,而音素采用固定个数的状态描述,状态和观测向量直接连接.它的识别基元为音 素,描述了音素的动态发音变化过程.大词汇量语音识别的实验结果表明:在纯净语音环境下 ,SM-DBN模型的识别率比HMM和SS-DBN-P模型的识别率分别提高了13.01%和35.2%,而 音频流的音素切分正确率则分别提高了10%和44%.     

基于VQ的高效汉语语音识别方法的比较性研究

介绍了一种基于VQ的小词汇量特定人快速语音识别方法,并对该方法中的关键参数进行了比较性研究. 这一方法尤其适用于汉语特定人小词汇量语音识别. 与典型的HMM和NN识别算法相比,该方法复杂度低、系统资源消耗少而识别率高,在对汉语11个数字的大规模识别测试中误识率仅为3.86%. 因此,该方法适合于在手机、PDA等资源有限的系统中实现语音数字拨号、人名拨号及查询等语音控制功能.     

语音情感信息可视化建模研究与探析

语音情感识别是情感计算领域的一个重要分支,研究者们尝试从多种角度对其展开不懈研究。本文从可视化的角度出发,提出了基于信息可视化的情感识别方法,原始语音情感特征经过图表示映射为包含内部数据结构信息的新型情感图特征,在一定程度上促进了语音情感识别系统的性能提高。另外,还将信息可视化技术应用到情感识别结果的表达上,实现情感信息的生动描述和高效表达。在信息可视化技术和语音情感识别研究充分融合的基础上,构建了一个完整的语音情感信息可视化模型,作为系统实现的基础。     

MFCC特征加权应力影响下的变异语音识别

为了提高语音识别系统的顽健性，在对应力影响下语音数据分析的基础上，提出一种新的基于MF－CC系数加权的变异语音识别方法。它首先通过正常语音和应力影响下变异语音的差异求得一个变异影响因子，然后对该因子的倒数进行规正作为MFCC特征不同维的权值，从而减弱受变异影响较大的特征对识别性能的影响。对航空模拟飞行器中采集的特定话者小词表孤立词的实验表明，与传统的多重风格训练方法相比，该方法的识别率提高了10.9%；将其和倒谱平均减方法相结合，可进一步将识别率提高5.4%。     

双模型语音识别中的听视觉合成和模型同步异步性实验研究

研究了双模型语音识别系统中前合成和后合成两种听觉视觉合成方法；同时在后合成方法中引入了考虑听觉和视觉同步异步特点的复合模型。仿真实验证明了在声学噪音环境下，后合成方法能够带来比较理想的识别效果；考虑听觉和视觉同步异步性的模型可以有效地提高识别率。     

基于HMM的声调语音模型研究

针对声韵母相同但声调不同的近音字识别问题和声韵母及声调都相同的同音字识别问题,提出在语音模型和语言模型中分别引入声调和字转移概率,以提高近音字和同音字的识别率。首先将声调划分为5种表现形式添加到汉语音节的最后一个音素中构成新音素,使用高斯混合隐马尔科夫模型建模新音素。然后通过统计方法计算特定语境下的字间转移概率。最后使用HTK工具包实现了带声调的语音模型和有字转移概率的语言模型。实验结果证明添加声调可以提高近音字的识别率,使用特定语境下字间转移概率可以提高同音字的识别率。     

Linear Discriminant Analysis and Kernel Vector Quantization for Mandarin Digits Recognition

Linear discriminant analysis and kernel vector quantization are integrated into vector quantization based speech recognition system for improving the recognition accuracy of Mandarin digits. These techniques increase the class separability and optimize the clustering procedure. Speaker-dependent (SD) and speaker-independent (SI) experiments are performed to evaluate the performance of the proposed method. The experiment results show that the proposed method is capable of reaching the word error rate of 3.76 % in SD case and 6.60 % in SI case. Such a system can be suitable for being embedded in personal digital assistant(PDA), mobile phone and so on to perform voice controlling such as digit dialing, calculating, etc.     

噪声环境下智能机器人语音控制特征提取方法

针对机器人的应用场合通常存在各种噪声干扰的问题,提出了一种基于稀疏编码的语音特征提取方法.利用稀疏编码能稀疏表示语音的特性,在梅尔频域对语音增强后提取特征,将稀疏去噪与语音特征提取相融合,实现了混噪语音的有效补偿.在预设场景中的实验结果表明,与现有特征提取方法相比,所提出的语音特征提取方法能有效降低噪声对语音特征的影响,提高机器人语音控制的性能.     

Novel acoustic features for speech emotion recognition

This paper focuses on acoustic features that effectively improve the recognition of emotion in human speech. The novel features in this paper are based on spectral-based entropy parameters such as fast Fourier transform (FFT) spectral entropy, delta FFT spectral entropy, Mel-frequency filter bank (MFB) spectral entropy, and Delta MFB spectral entropy. Spectral-based entropy features are simple. They reflect frequency characteristic and changing characteristic in frequency of speech. We implement an emotion rejection module using the probability distribution of recognized-scores and rejected-scores. This reduces the false recognition rate to improve overall performance. Recognized-scores and rejected-scores refer to probabilities of recognized and rejected emotion recognition results, respectively. These scores are first obtained from a pattern recognition procedure. The pattern recognition phase uses the Gaussian mixture model (GMM). We classify the four emotional states as anger, sadness, happiness and neutrality. The proposed method is evaluated using 45 sentences in each emotion for 30 subjects, 15 males and 15 females. Experimental results show that the proposed method is superior to the existing emotion recognition methods based on GMM using energy, Zero Crossing Rate (ZCR), linear prediction coefficient (LPC), and pitch parameters. We demonstrate the effectiveness of the proposed approach. One of the proposed features, combined MFB and delta MFB spectral entropy improves performance approximately 10% compared to the existing feature parameters for speech emotion recognition methods. We demonstrate a 4% performance improvement in the applied emotion rejection with low confidence score. Supported by MIC, Korea under ITRC IITA-2009-(C1090-0902-0046) and the Korea Science and Engineering Foundation (KOSEF) funded by the Korea government (MEST) (Grant No. 20090058909)