N—gram语言模型的数据平滑技术

本文主要描述了Ｎ－ｇｒａｍ统计语言模型的几种主要的数据平滑技术,并对各种数据平滑方法进行了经验性对比。讨论了影响这些数据平滑方法性能的有关因素订规模和Ｎ－ｇｒａｍ模型的阶数。     

中文问答系统中基于SLM的信息检索及其平滑技术研究

为适应中文问答系统中汉语语言的特点,本文对信息检索模块进行了深入分析,相对于传统的主流信息检索模型,找到了一种更有效的检索方法——基于SLM的语言模型的信息检索技术(SLM-IR)。同时,研究了N-gram模型的参数N选取及其几种主要的数据平滑技术,并通过对各种数据平滑方法的实验对比,讨论了影响这些数据平滑方法性能的有关因素,如训练集规模等,最终给出了在不同情况下的最优选择方案。     

一种指数平滑预测的参数优化方法及实现

时间序列预测法在各种基于时态数据库的计算中有着广泛的应用前景。文中介绍了时间序列预测法中的单指数平滑、双指数平滑和三指数平滑三种指数平滑预测方法，不同的预测方法适合于对不同时间特性的数据、平稳性数据、趋势性数据或季节波动性数据进行预测，使用相应的预测方法均达到很好的平滑效果。同时还介绍了如何应用IGS算法对指数平滑的参数进行优化，从而得到更好的平滑效果和预测结果，使之在社会实际当中发挥更好的作用。     

一种指数平滑预测的参数优化方法及实现

时间序列预测法在各种基于时态数据库的计算中有着广泛的应用前景.文中介绍了时间序列预测法中的单指数平滑、双指数平滑和三指数平滑三种指数平滑预测方法,不同的预测方法适合于对不同时间特性的数据、平稳性数据、趋势性数据或季节波动性数据进行预测,使用相应的预测方法均达到很好的平滑效果.同时还介绍了如何应用1Gs算法对指数平滑的多数进行优化,从而得到更好的平滑效果和预测结果,使之在社会实际当中发挥更好的作用.     

N-gram模型综述

N-gram模型是自然语言处理中最常用的语言模型之一,广泛应用于语音识别、手写识别、拼写纠错、机器翻译和搜索引擎等众多任务.但是N-gram模型在训练和应用时经常会出现零概率问题,导致无法获得良好的语言模型,因此出现了拉普拉斯平滑、卡茨回退和Kneser-Ney平滑等平滑方法.在介绍了这些平滑方法的基本原理后,使用困惑度作为度量标准去比较了基于这几种平滑方法所训练出的语言模型.     

N—gram语言模型的Katz平滑技术

N－gram语言模型是自然语言处理领域目前最常用的统计语言模型。数据平滑技术是语言建模的核心技术，Katz平滑方法是应用广泛的方法之一。本文详述了Katz平滑方法技术，并给出了一些实现的参考。     

用平滑方法改进多关系朴素贝叶斯分类

为消除朴素贝叶斯分类时的零概率以及过度拟合问题,分析了各种概率平滑方法,给出了基于M估计的多关系朴素贝叶斯分类方法（MRNBC-M）和基于Laplace估计的多关系朴素贝叶斯分类方法（MRNBC-L）,分析探讨了M平滑和Laplace平滑方法对多关系分类的影响情况,为进一步优化分类,方法基于扩展互信息标准对数据进行属性过滤。多关系标准数据集上的实验显示,MRNBC-M可以有效改进分类性能。     

特定领域的汉语语言模型平滑算法比较研究

为了完成特定领域的语音识别任务,利用有限的语料建立高性能的语言模型成为提高系统性能的关键。针对此问题,对特定领域的语言模型进行了研究。提出了利用高频新词来加强模型的领域特征的方法,采取了两种方案:一种是将高频新词直接加入原有字典,并在训练过程中增加这些新词的权重,使模型更能表达与领域相关的特征;一种是基于高频新词统计出一个和领域相关的小词表,并对这两种方案进行了比较研究。通过实验研究了适合汉语语言的平滑策略。最后,实验结果表明,对于特定领域问题,语言模型平滑算法对模型性能影响较大;采用适合汉语的Witten-Bell插值平滑,可以使识别率达到88.4%,比通用模型性能相对提高了18.18%。     

头驱动句法分析中的直接插值平滑算法

在头驱动句法分析模型下,基于经典插值平滑算法,提出了以统计空间中平均事件数为基础的直接插值平滑建模原则,并应用经典的误差理论分析了该原则的合理性.基于该原则并借鉴语言模型中其他插值平滑算法对模型的零点进行假设的方法,在头驱动句法分析模型下,重新构造了4种平滑算法.实验数据显示,新平滑算法在高于经典平滑算法性能的同时,显著降低了自由参数的扰动程度,从实验的角度证明了该平滑建模原则的有效性.     

汉语声调识别中的基音平滑新方法

汉语普通话是一种带声调的语言。声调可以用基音的轮廓信息进行描述。传统基音的平滑方法:线性平滑、中值平滑和一般的线性插值方法都不能很好地处理连续的基音频率有随机错误点的情况。本文提出了一种通过搜索来得到更精确的基音轮廓的新的基音平滑方法。这种方法具有简单可靠,快速高效的特点。实验表明这种方法比传统的方法识别错误率降低约40%。     

Random forests and the data sparseness problem in language modeling

Language modeling is the problem of predicting words based on histories containing words already hypothesized. Two key aspects of language modeling are effective history equivalence classification and robust probability estimation. The solution of these aspects is hindered by the data sparseness problem.Application of random forests (RFs) to language modeling deals with the two aspects simultaneously. We develop a new smoothing technique based on randomly grown decision trees (DTs) and apply the resulting RF language models to automatic speech recognition. This new method is complementary to many existing ones dealing with the data sparseness problem. We study our RF approach in the context of n-gram type language modeling in which n − 1 words are present in a history. Unlike regular n-gram language models, RF language models have the potential to generalize well to unseen data, even when histories are longer than four words. We show that our RF language models are superior to the best known smoothing technique, the interpolated Kneser–Ney smoothing, in reducing both the perplexity (PPL) and word error rate (WER) in large vocabulary state-of-the-art speech recognition systems. In particular, we will show statistically significant improvements in a contemporary conversational telephony speech recognition system by applying the RF approach only to one of its many language models.     

历史文献识别中图像预处理方法的研究

历史文献因长期存放会出现黄斑、阴影,为了能有效识别需要对扫描输入后的数字图像进行预处理,文中提出了一种改进的最大均匀性平滑算法,并结合图像边缘特征进行二值化处理的预处理方法。在不影响平滑效果的前提下,能较好地保留图像细节,提高运算效率。实验结果表明,采用文中给出的方法能使效果有所改善。     

改进的单尺度Retinex及其在人脸识别中的应用*

为了提高在光照条件变化下的人脸识别率,提出一种改进的单尺度Retinex算法并用于人脸识别的光照预处理中.该算法通过非线性全局对比度增强对原图像增强,并利用Mean-Shift平滑滤波代替传统单尺度Retinex中的高斯滤波对光照估计,能够明显地消除单尺度Retinex算法中不能解决的光晕现象.在人脸库的实验表明,该算法不仅比直方图均衡化、Gamma校正、单尺度Retinex、多尺度Retinex算法具有更好的光照预处理效果,而且能够有效提高人脸识别率.     

面向法向域网格建模的非线性引导滤波

网格建模是数字几何处理领域的基础性研究问题.为了提高网格建模的简便性和鲁棒性,首先提出了一种非线性的引导滤波算法.滤波过程在法向域进行,滤波后的法向是引导网格法向的局部二次变换;然后,应用上述算法研究了建模方面的2个重要问题:网格去噪和网格平滑,其中的难点在于如何构造合适的引导网格.针对去噪问题,每次迭代时利用双边法向滤波得到引导网格;针对平滑问题,引导网格以高斯滤波结果作为初始值,进而结合原始网格不断进行更新;最后,在形状复杂或特征丰富的网格模型上进行了去噪、平滑等实验,结果表明,该算法简单实用、鲁棒,去噪时能够有效地去除强噪声,保持模型的几何特征;平滑时能够提取出中小尺度的特征,保留大尺度的特征.     

Scaling Smoothed Language Models

In Continuous Speech Recognition (CSR) systems a Language Model (LM) is required to represent the syntactic constraints of the language. Then a smoothing technique needs to be applied to avoid null LM probabilities. Each smoothing technique leads to a different LM probability distribution. Test set perplexity is usually used to evaluate smoothing techniques but the relationship with acoustic models is not taken into account. In fact, it is well-known that to obtain optimum CSR performances a scaling exponential parameter must be applied over LMs in the Bayes’ rule. This scaling factor implies a new redistribution of smoothed LM probabilities. The shape of the final probability distribution is due to both the smoothing technique used when designing the language model and the scaling factor required to get the optimum system performance when integrating the LM into the CSR system. The main object of this work is to study the relationship between the two factors, which result in dependent effects. Experimental evaluation is carried out over two Spanish speech application tasks. Classical smoothing techniques representing very different degrees of smoothing are compared. A new proposal, Delimited discounting, is also considered. The results of the experiments showed a strong dependence between the amount of smoothing given by the smoothing technique and the way that the LM probabilities need to be scaled to get the best system performance, which is perplexity independent in many cases. This relationship is not independent of the task and available training data.     

数字图像的平滑技术

一幅原始图像在获取和传输过程中会受到各种噪声的干扰,使图像质量下降.退化会引起图像模糊,特征淹没,对分析图像不利.为了抑制噪声改善图像质量进行的处理称为图像平滑或去噪.主要分析图像在空间域平滑处理方法,相关方法的适用场合.