鉴别性最大后验概率声学模型自适应

为了更加准确地估计最小音素错误最大后验概率(MPE-MAP)自适应算法中的先验分布中心,使自适应后的声学模型参数更为准确,从而提高系统的识别性能,分别采用最大互信息最大后验概率(MMI-MAP)自适应和基于最大互信息准则与最大似然准则相结合的H-criterion最大后验概率(H-MAP)自适应估计先验分布中心,提出了基于最大互信息最大后验概率先验的最小音素错误最大后验概率(MPE-MMI-MAP)和基于H-criterion最大后验概率先验的最小音素错误最大后验概率(MPE-H-MAP)算法。任务自适应实验结果表明,MPE-MMI-MAP和MPE-H-MAP算法的自适应性能均优于MPE-MAP、MMI-MAP和最大后验概率(MAP)自适应方法,分别比MPE-MAP相对提高3.4%和2.7%。     

鉴别性最大后验概率声学模型自适应

为了更加准确地估计最小音素错误最大后验概率(MPE-MAP)自适应算法中的先验分布中心,使自适应后的声学模型参数更为准确,从而提高系统的识别性能,分别采用最大互信息最大后验概率(MMI-MAP)自适应和基于最大互信息准则与最大似然准则相结合的H-criterion最大后验概率(H-MAP)自适应估计先验分布中心,提出了基于最大互信息最大后验概率先验的最小音素错误最大后验概率(MPE-MMI-MAP)和基于H-criterion最大后验概率先验的最小音素错误最大后验概率(MPE-H-MAP)算法。任务自适应实验结果表明,MPE-MMI-MAP和MPE-H-MAP算法的自适应性能均优于MPE-MAP、MMI-MAP和最大后验概率(MAP)自适应方法,分别比MPE-MAP相对提高3.4%和2.7%。     

自由表述口语语音评测后验概率估计改进方法

该文研究了两种用于改善深度神经网络声学建模框架下自由表述口语语音评测任务后验概率估计的方法: 1)使用RNN语言模型对一遍解码N-best候选做语言模型得分重估计来获得更准确的识别结果以重新估计后验概率;2)借鉴多语种神经网络训练框架,提出将方言数据聚类状态加入解码神经网络输出节点,在后验概率估计中引入方言似然度得分以评估方言程度的新方法。实验表明,这两种方法估计出的后验概率与人工分相关度分别绝对提升了3.5%和1.0%,两种方法融合后相关度绝对提升4.9%;对于一个真实的评测任务,结合该文改进的后验概率评分特征,总体评分相关度绝对提升2.2%。     

声学模型区分性训练中的动态加权数据选取方法

提出了一种基于动态加权的数据选取方法, 并应用到连续语音识别的声学模型区分性训练中. 该方法联合后验概率和音素准确率选取数据, 首先, 采用后验概率的Beam算法裁剪词图, 在此基础上依据候选词所在候选路径的错误率, 基于后验概率动态的赋予候选词不同的权值; 其次, 通过统计音素对之间的混淆程度, 给易混淆音素对动态地加以不同的惩罚权重, 计算音素准确率; 最后, 在估计得到弧段期望准确率分布的基础上, 采用高斯函数形式对所有竞争弧段的期望音素准确率软加权.实验结果表明, 与最小音素错误准则相比, 该动态加权方法识别准确率提高了0.61%, 可有效减少训练时间.     

基于音位属性和边界信息的音素识别

在检测出音位属性的基础上,提出了一种基于音位属性后验概率的音素边界检测算法,并将音位属性与边界信息应用于基于条件随机场的音素识别.该方法首先计算得出相邻帧音位属性后验概率向量间的夹角,然后将夹角的极大值点所在的帧选为侯选边界,最后通过约束条件去除极值点中的错误边界.本文将音素边界与音位属性信息进行组合,作为基于条件随机场模型的识别系统的观测特征,实验结果表明,增加边界信息后,音素正确识别率有了显著提升.     

基于SGMM和DNN结合提高音素识别率的研究

为降低声学特征在语音识别系统中的音素识别错误率,提高系统性能,提出一种子空间高斯混合模型和深度神经网络结合提取特征的方法,分析了子空间高斯混合模型的参数规模并在减少计算复杂度后将其与深度神经网络串联进一步提高音素识别率。把经过非线性特征变换的语音数据输入模型,找到深度神经网络结构的最佳配置,建立学习与训练更可靠的网络模型进行特征提取,通过比较音素识别错误率来判断系统性能。实验仿真结果证明,基于该系统提取的特征明显优于传统声学模型。     

基于语言学知识的发音质量评价算法改进

随着普通话推广工作的深入,采用计算机进行普通话的辅助测试和学习的需求日益迫切。本文针对普通话发音特点,提出了一种改进的基于音素的自动发音质量评价算法。新算法在隐马尔科夫模型的对数后验概率算法基础上,引入普通话发音的语言学知识。与改进前相比,新算法不仅降低了运算量,而且在普通话水平测试的 303 人现场录音库上,使得机器打分与国家级评测员打分之间的相关度从0. 704 提升到0. 795 。     

普通话发音检错系统中TANDEM方法的研究与实现

语音识别中常用的HMM/GMM框架由于训练准则和算法的限制,对模式的辨识能力较差;另一种HMM/ANN框架虽具有极强的模式分类能力,但缺乏成熟有效的优化手段.将一种综合两者优点的TANDEM方法应用到普通话发音检错系统中,通过使用区分性训练的神经网络去估计音素级后验概率,经过一系列后续处理将原始MFCC特征转化为TANDEM特征,作为基于HMM统计模型的发音检错系统的输入,进而完成评测过程.实验结果证明,TANDEM方法使系统的检错性能有了较大的提升,结合MLLR等自适应方法的使用效果会更为明显.     

基于长时性特征的音位属性检测方法

提出一种基于长时性信息的音位属性检测方法,该方法通过高、低两层时间延迟神经网络(TDNN)进行实现,低层TDNN在短时特征上进行音位属性的检测,高层TDNN在低层检测结果的基础上,对更长时段上的信息进行融合。实验结果表明,引入长时性特征使得音位属性检测率提升约3%,将音位属性后验概率作为音素识别系统的观测特征,使用长时性特征的识别结果提升约1.7%。     

应用MAP方差估计的话者自适应训练方法

近年来话者自适应训练(SAT)方法日益受到重视。然而在实际中此方法通常因为部分方差的估计失误而导致识别性能下降。该文提出了一种应用最大后验概率(MAP)估计方差的全新SAT方法，它能够根据后验概率动态地调整模型的方差，从而解决上述问题。在Switchboard数据库上的实验显示，新方法能够显著地提高识别性能，并且有效地提升系统的稳定性。     

融合后验概率校准训练的文本分类算法

用于文本表示的预训练语言模型在各种文本分类任务上实现了较高的准确率,但仍然存在以下问题：一方面,预训练语言模型在计算出所有类别的后验概率后选择后验概率最大的类别作为其最终分类结果,然而在很多场景下,后验概率的质量能比分类结果提供更多的可靠信息;另一方面,预训练语言模型的分类器在为语义相似的文本分配不同标签时会出现性能下降的情况。针对上述两个问题,提出一种后验概率校准结合负例监督的模型PosCal-negative。该模型端到端地在训练过程中动态地对预测概率和经验后验概率之间的差异进行惩罚,并在训练过程中利用带有不同标签的文本来实现对编码器的负例监督,从而为每个类别生成不同的特征向量表示。实验结果表明：PosCal-negative模型在两个中文母婴护理文本分类数据集MATINF-C-AGE和MATINF-C-TOPIC的分类准确率分别达到了91.55%和69.19%,相比ERNIE模型分别提高了1.13个百分点和2.53个百分点。     

Tighter estimates for the posteriors of imprecise prior andconditional probabilities

White (1986) and Snow (1991) have presented approximate characterizations for the posterior probabilities when the priors and conditionals are specified through linear constraint systems. This paper extends their results by developing alternative linear inequality approximations for posterior probabilities, with a particular focus on partial information expressed in terms of (i) bounds on the components of probability vectors and (ii) bounds on ratios of probabilities     

基于纠错输出编码的多类概率建模

目前模式识别领域中缺乏有效的多类概率建模方法,对此提出利用纠错输出编码作为多类概率建模框架,将二元纠错输出编码研究的概率输出问题转化为线性超定方程的求解问题,通过线性最小二乘法来求解并获取多类后验概率的结果;而对于三元纠错输出编码的等价非线性超定方程组,提出一种迭代法则来求解多类概率输出.实验中通过与3种经典方法相比较可以发现,新方法求取的概率输出具有更好的分布形态,并且该方法具有较好的分类性能.     

On the impact of disproportional samples in credit scoring models: An application to a Brazilian bank data

Statistical methods have been widely employed to assess the capabilities of credit scoring classification models in order to reduce the risk of wrong decisions when granting credit facilities to clients. The predictive quality of a classification model can be evaluated based on measures such as sensitivity, specificity, predictive values, accuracy, correlation coefficients and information theoretical measures, such as relative entropy and mutual information. In this paper we analyze the performance of a naive logistic regression model (Hosmer & Lemeshow, 1989) and a logistic regression with state-dependent sample selection model (Cramer, 2004) applied to simulated data. Also, as a case study, the methodology is illustrated on a data set extracted from a Brazilian bank portfolio. Our simulation results so far revealed that there is no statistically significant difference in terms of predictive capacity between the naive logistic regression models and the logistic regression with state-dependent sample selection models. However, there is strong difference between the distributions of the estimated default probabilities from these two statistical modeling techniques, with the naive logistic regression models always underestimating such probabilities, particularly in the presence of balanced samples.     

多预测子融合实时连续语音识别输出词正误判别

本文在采用堆栈译码词网重估输出作为识别最终输出的连续语音识别实时解码条件下,利用决策树方法将多个预测子融合,对识别输出词进行正确和错误的判别。本文首先构造了词后验概率、词长、相邻词的后验概率、词的声学和语言得分等共13 个预测子,然后利用决策树方法,通过选择不同的预测子组合方式和适当的决策树建树参数,筛选出预测子的最佳组合,建立优化的决策树进行输出词的正误判别。实验结果表明:利用局域词图计算的词后验概率与词长、相邻词的后验概率等几种实时预测子融合后,对识别输出词的正误判别能力得到提高,并且在实时性和分类效果两个方面优于n - best 输出的相应结果,相对于基线系统, 则分类错误率下降41. 4 %。实验结果也表明本文提出的相邻词的后验概率是相对重要的预测子。     

Default Bayesian model determination methods for generalised linear mixed models

A default strategy for fully Bayesian model determination for generalised linear mixed models (GLMMs) is considered which addresses the two key issues of default prior specification and computation. In particular, the concept of unit-information priors is extended to the parameters of a GLMM. A combination of Markov chain Monte Carlo (MCMC) and Laplace approximations is used to compute approximations to the posterior model probabilities to find a subset of models with high posterior model probability. Bridge sampling is then used on the models in this subset to approximate the posterior model probabilities more accurately. The strategy is applied to four examples.     

Decoding design based on posterior probabilities in Ternary Error-Correcting Output Codes

Ternary Error-Correcting Output Codes (ECOC), which can unify most of the state-of-the-art decomposition frameworks such as one-versus-one, one-versus-all, sparse coding, dense coding, etc., is considered more flexible to model multiclass classification problems than Binary ECOC. Meanwhile, there are many corresponding decoding strategies that have been proposed for Ternary ECOC in earlier literatures. Note that there is few working by posterior probabilities, which can be considered as a Bayes decision rule and hence obtain a better performance in usual. Passerini et al. (2004) [16] have recently proposed a decoding strategy based on posterior probabilities. However, according to the analyses of this paper, Passerini et al.'s (2004) [16] method suffers some defects and result in bias. To overcome that, we proposed a variation of it by refining the decomposition process of probability to get smoother estimates. Our bias–variance analysis shows that the decrease in error by our variant is due to a decrease in variance. Besides, we extended an efficient method of obtaining posterior probabilities based on the linear rule for decoding process in Binary ECOC to Ternary ECOC. On ten benchmark datasets, we observe that the two decoding strategies based on posterior probabilities in this paper obtain better performance than other ones in earlier references.     

Error rate estimation on the basis of posterior probabilities

The so-called posterior probability estimator, e, formed by averaging the minimum of the posterior probabilities over a set of initial or additional observations (which need not be classified) is considered in the context of estimating the overall actual error rate for the linear discriminant function appropriate for two multivariate normal populations with a common covariance matrix. The bias of e is examined by deriving asymptotic approximations under three different models, the normal, logistic, and mixture models. The properties of e are investigated further by a series of simulation experiments for the logistic and mixture models for which there are few other available estimators.     

基于HMM的汉语文本识别后处理研究

本文用HMM(Hidden Markov Model)描述汉语文本识别后处理,将汉语语言和单字识别这两个概率模型结合起来,以充分利用单字识别器提供的信息。语言模型的参数由语料库统计得到;单字识别模型的参数为条件概率,经理论分析,它可转化为后验概率来求解。在分析训练样本集单字识别结果的基础上,提出一种统计方法估计候选字的后验概率。HMM在脱机手写体汉语文本识别中的实验表明,后处理性能除取决于语言模型外,还取决于后验概率的精确估计。     

基于Monte Carlo方法的自适应多模型诊断

多模型混合系统的模型切换服从有限状态的Markov链,其转移概率通常假定是已知的.当模型转移概率未知的时候,本文基于Monte Carlo粒子滤波器给出了混合系统状态估计的一种自适应算法.该算法假定未知的转移概率先验分布为Dirichlet分布,首先通过采样得到一组模型序列的随机样本,利用其中状态的转移次数计算先验转移概率,使用量测信息对样本更新选择后,获得模型转移概率的一种迭代的后验估计值,同时由粒子滤波器得到系统状态和模型概率的后验估计.将该方法用于混合系统的状态监测和故障诊断,仿真结果表明了算法的有效性.