基于互补子词单元词图融合的集外词识别*

混合模型在进行集外词识别时,采用不同类型的子词单元通常具有性能上的互补性.基于此种情况,文中提出互补子词单元词图融合的集外词识别方法.首先分别采用音节和字母音素对搭建2套具有性能差异性的混合模型系统.然后获得这2套系统的识别词图,并合并处理词图中的子词单元.最后分别采用基于词图并集和基于词图交集的融合策略融合处理后的词图,得到更好的集外词识别结果.实验表明文中方法性能优于单系统及ROVER方法.     

基于多任务学习的多语言语音情感识别方法

由于人类情感的表达受文化和社会的影响,不同语言语音情感的特征差异较大,导致单一语言语音情感识别模型泛化能力不足。针对该问题,提出了一种基于多任务注意力的多语言语音情感识别方法。通过引入语言种类识别辅助任务,模型在学习不同语言共享情感特征的同时也能学习各语言独有的情感特性,从而提升多语言情感识别模型的多语言情感泛化能力。在两种语言的维度情感语料库上的实验表明,所提方法相比于基准方法在Valence和Arousal任务上的相对UAR均值分别提升了3.66%~5.58%和1.27%~6.51%;在四种语言的离散情感语料库上的实验表明,所提方法的相对UAR均值相比于基准方法提升了13.43%~15.75%。因此,提出的方法可以有效地抽取语言相关的情感特征并提升多语言情感识别的性能。     

基于融合模型的人体行为识别方法

可穿戴设备的人体行为识别研究通常是提取传感器数据的特征值,然后结合分类算法识别人体行为动作.针对特征提取与分类器问题,提出一种融合模型的人体行为识别方法(HBRM).首先将加速度传感器采集的数据转换为二维张量格式,然后结合卷积神经网络(CNN)提取张量的特征,同时考虑到人体行为动作在时间序列上前后具有较强的关联性,提出...     

一种基于互补声学模型的多系统融合语音关键词检测方法

采用一种基于互补声学模型的多系统融合方法来获得高性能的语音关键词检测系统: 1)在基线系统的基础上, 使用不同的音素集进行声学建模, 并引入基于神经网络的声学建模方法, 获得另外两套具有建模差异性的声学系统; 2)在多套关键词检测系统的基础上, 通过选择有效的系统融合准则, 将多个系统的输出进行整合, 获得更好的语音关键词检测结果. 该方法充分利用了差异性声学建模系统之间的互补性, 在不增加训练数据的情况下, 显著地提升了最终系统的性能. 和基线系统相比, 该方法在2005年国家863电话语音关键词检测技术评测集上, 在等错误率(Equal error rate, EER)指标下, 获得相对21.6%的显著性能提升.     

基于神经网络融合的语音人脸身份识别方法

传统的身份识别系统利用单一的生物特征作为依据,在复杂背景下,系统性能往往会大幅下降。基于数据融合的多生物特征身份识别技术可以提高生物识别系统的准确率等性能。该文利用特征脸和矢量量化方法建立人脸识别和语音识别两个子系统,在决策层用神经网络融合子系统的输出来进行身份识别。实验证明该方法比单个子系统识别率高,在噪音环境下,优势明显。     

基于CNN-LSTM混合模型的动态手势识别方法

动态手势识别是手势交互的关键技术,针对动态手势数据的时序性和空间不确定性造成识别困难问题,提出一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的动态手势序列识别方法.实验采用数据手套采集动态手势数据,对定义的8种动态手势进行测试,平均识别率达到了92.5％.实验表明,与单纯使用LSTM模型或CNN模型对比,所提模型识别率较高,在虚拟现实界面交互任务中用户体验更好.     

融合上下文信息的深度推荐模型

目前,在基于文档信息的推荐任务中,传统基于文档的混合推荐算法仍依赖于浅层的线性模型,当评分数据变得庞大且复杂时,其推荐性能往往不太理想。针对此问题,提出一种深度融合模型(DeepFM),该模型能够在完全捕获文本信息的同时也能很好地处理复杂且稀疏的评分数据。DeepFM由两个并行的神经网络组成,其中一路神经网络使用多层感知器提取评分矩阵的行向量信息从而获得用户的潜在特征向量,另一路则使用MLP和卷积神经网络(CNN)共同建模从而提取额外有关项目的文本信息得到项目潜在特征向量。最后,通过构建融合层将用户特征向量和项目特征向量进行融合得出预测评分。实验结果表明,DeepFM在MovieLens数据集和亚马逊数据集上的性能优于主流的推荐模型。     

分布式检索系统中基于混合模型的多站点融合

为提高检索性能,提出将基于高斯分布－指数分布混合模型的融合方法应用于分布式检索系统的多站点融合。该方法利用高斯密度函数和指数密度函数分别描述站点检索结果集合的相关文档和非相关文档的相关分值分布,并用基于混合模型的方法对相关分值进行规范化处理,然后对规范化处理后的相关分值进行合并。该融合方法考虑到了相关文档和非相关文档在分值分布上的差异,使计算出的相关分值更加准确,而且可以为性能比较好的站点分配更高的权重值,以提高整个系统的平均查准率。实验结果表明该方法优于其它融合方法。     

基于GMM和ANN混合模型的语音转换方法

为了克服利用高斯混合模型(GMM)进行语音转换的过程中出现的过平滑现象,考虑到GMM模型参数的均值能够表征转换特征的频谱包络形状,本文提出一种基于GMM与ANN混合模型的语音转换,利用ANN对GMM模型参数的均值进行转换;为了获取连续的转换频谱,采用静态和动态频谱特征相结合来逼近转换频谱序列;鉴于基频对语音转换的重要性,在频谱转换的基础上,对基频也进行了分析和转换。最后,通过主观和客观实验对提出的混合模型的语音转换方法的性能进行测试,实验结果表明,与传统的基于GMM模型的语音转换方法相比,本文提出的方法能够获得更好的转换语音。     

基于高斯混合模型的乐器识别方法

传统的乐器识别方法采用的是树型分类方法,这种方法分类过程比较繁琐。而且精度不高。该文把话者识别的方法应用到乐器识别之中,采用模式识别的方法实现对乐器的识别。采用MFCC系数和它的一阶导数作为音品的声学特征,分别对6种管弦乐器建立高斯混合模型。在识别过程中,首先假设各乐器的先验概率相同。根据高斯混合模型得出的后验概率确定待识别乐器所属的种类。实验表明这种识别方法十分有效,取得了较高的识别精度。     

基于多模态组合模型的语音情感识别

语音情感识别在人机交互、人工智能(AI)、自然语言处理(NLP)、5G技术等方面扮演着重要的角色。为了克服单模态模型语音情感识别率低和手工调参的缺点,本文首先在Gaurav Sahu的基础模型上增加KNN、CNB和Adaboost单模态模型,提出多模态组合模型C3;然后应用排列组合方法通过计算机实现自动组合,克服GauravSahu手工组合存在的不足;最后用超参数优化方法和交叉验证方法对网络模型进行训练和测试,解决手工调参存在的不足。在IEMOCAP数据集上对本文提出的C3进行实验,实验结果表明,C3比Gaurav Sahu提出的多模态组合模型E2的语音情感识别性能提升1.56%。     

基于混合模型CHMM和MLP的数码语音识别系统

针对传统的CHMM应用于语音识别系统存在的缺点,提出了一种由CHMM和MLP网构成的混合模型。该混合模型将MLP网引入到CHMM中来计算每个状态的输出概率,通过MLP网的非线性预测能力代替CHMM中的似然估计值对输出概率进行分析、分类,从而加强和提高CHMM的语音识别能力。实验结果表明,将该混合模型应用到语音识别系统中,其识别效果明显优于基于传统的CHMM的识别系统。     

基于语言模型的调度语音智能识别研究

针对调度语音识别过程中单遍解码词图生成算法所生成词图精度较差的问题,研究基于语言模型的调度语音智能识别方法。构建由训练过程和识别过程组成的调度语音智能识别模型,训练过程中该模型提取语音数据的语音向量序列构建声学子模型,利用语言子模型训练文本数据构建语音词图,识别过程中对声学子模型、语音词图以及发音词典实施语音解码与搜索获取最优词序列,基于最优词序列完成调度语音智能识别。测试结果显示研究方法所生成的词图精度较高,可准确识别调度语音。     

基于RNN-RBM语言模型的语音识别研究

近年来深度学习兴起,其在语言模型领域有着不错的成效,如受限玻尔兹曼机(restricted Boltz-mann machine, RBM)语言模型等.不同于N-gram语言模型,这些根植于神经网络的语言模型可以将词序列映射到连续空间来评估下一词出现的概率,以解决数据稀疏的问题.此外,也有学者使用递归神经网络来建构语言模型,期望由递归的方式充分利用所有上文信息来预测下一词,进而有效处理长距离语言约束.根据递归受限玻尔兹曼机神经网络(recurrent neural network-restricted Boltzmann machine, RNN-RBM)的基础来捕捉长距离信息;另外,也探讨了根据语言中语句的特性来动态地调整语言模型.实验结果显示,使用RNN-RBM语言模型对于大词汇连续语音识别的效能有相当程度的提升.     

基于子带GMM-UBM的广播语音多语种识别

提出了一种基于概率统计模型的与语言内容无关的语种识别方法,它不需要掌握各语种的专业语言学知识就可以实现几十种语言的语种识别;并针对广播语音噪声干扰大的特点,采用GMM-UBM模型作为语种模型,提高了系统的噪声鲁棒性;由于广播语音的背景噪声不是简单的全频带加性白噪声,因此本文构建了一种基于子带GMM-UBM模型的多子系统结构的语种识别系统,后端采用神经网络进行系统级融合。本文通过对37种语言及方言的识别实验,证明了子带GMM-UBM方法的有效性。     

基于层级策略的连续数字串识别的研究

在分析汉语数字串语音特点的基础上,设计出了基于层级策略的连续数字串识别系统。该系统先对连续数字串进行确定性的预分割,再用LevelBuilding算法对每个分割段进行基于模板模糊分组的识别,在该识别结果的基础上利用加权矩阵识别算法进一步区分易混淆语音对。该系统在计算时间减少到原来的35.2%的同时识别率提高到94.08%。     

ANN／HMM混合模型在语音识别中的应用

结合HMM较强的处理时间序列的能力以及ANN的学习能力强、识别速度快等特点提出了一种ANN／HMM混合模型,该模型具有较强的处理时问序列的能力。本文主要介绍了该模型的结构以及模型的训练算法。在此基础上将其应用于语音识别的建模,并通过相应实验验证了该模型的可行性。     

基于组合方法的人脸识别算法研究

该文试探一种加权融合流形学习的方法进行人脸识别,该算法通过Haar小波和局部线性嵌入（LLE）加权融合的方式来进行人脸识别。首先通过Haar小波变换对人脸图像进行一级分解,得到四个子图;然后利用LLE算法对四个子图降维处理,并加权融合;最后利用支持向量机（SVM）进行分类判决。通过在ORL库中进行实验,结果表明,该文提出的Haar＋LLE识别效率比单独使用主成分分析（PCA）和LLE更高效。     

基于Speech SDK的数字语音识别系统研究

为了较好地实现数字语音识别,运用隐式马尔科夫理论研究数字语音识别系统,通过软件编程研究其在语音识别系统中的应用。在VC++6.0环境下,该系统实现了汉语数字语音的识别。实验结果表明,其达到了较高的识别率。     

基于中文语音识别技术的舰艇指挥训练系统的研究

针对舰艇指挥训练系统的特点,提出了一种利用语音识别技术提高其训练效率的方法;首先分析了舰艇指挥指令的语言特点,然后研究了基于Sphinx平台的汉语连续语音识别的相关问题,包括声学模型的训练、语言模型的训练及语音识别引擎等;最后设计并实现了一个非特定人,中等专用词汇量的连续汉语语音识别系统;实验采用了一定数量的数字和专用词汇进行验证,结果表明,经过声学模型训练后,该系统的识别率有较大提高;该方法对提高舰艇指挥训练系统的自动化水平具有一定的指导意义。