浅谈HMM在词性标注中的应用

隐马尔可夫模型(Hidden Markov Model,HMM)在自然语言处理、语音识别、模式识别等领域都得到了广泛的应用,特别是在词性标注中起到了很好的效果.词性标注在信息处理范畴内起着重要的基础性作用,词性标注的好坏直接影响着基于标注结果的各种信息处理的准确度.基于HMM分别实现了中文词性标注与英文词性标注,并对两...     

一种新的基于隐马尔可夫模型的股票价格时间序列预测方法

针对传统的基于隐马尔可夫模型HMM(Hidden Markov model)的股票价格序列预测方法的不足,提出一种新的基于HMM的股票价格预测的方法.采用一种CBIC(Clustering and BIC)算法自动确定HMM隐状态数,在预测过程中当预测误差大于一定阈值时,采用模型自动更新方法建立新的模型.通过对股票价格序列的转换,建立相应的HMM,进行单步值预测.单步值预测与Hassan等人的HMM fusion model方法、ARIMA方法进行了比较,实验结果表明所提出的预测算法在股票价格预测中,比现有的不更新模型的方法能得到更好的结果.     

基于完全二阶隐马尔可夫模型的汉语词性标注

该文基于隐马尔可夫理论,提出了一种三元词汇概率和词性概率相结合的汉语词性标注模型,并对传统的Viterbi算法进行了扩展。对统计模型中出现的数据稀疏问题,给出了基于线性插值法的平滑算法,实验表明,完全二阶隐马尔可夫模型比标准的二元,三元模型有更高的词性标注正确率和消歧率。     

基于HMM的频率敏感聚类方法PIFS-HMM

隐马尔可夫模型(Hidden Markov Model,HMM)被广泛地应用于信号处理和模式识别中.当将其应用于聚类时,HMM的训练是一个非常重要的问题.特别是对数据不均衡的数据集,传统的模型训练方法存在使某些类为空类,类中数据偏少等缺点.针对这一特殊问题,提出了基于频率敏感的聚类方法PIFS-HMM,其目的在于提高模型训练的有效性,使聚类结果均衡.实验结果证实了提出方法的有效性.     

基于改进HMM的文本信息抽取模型

提出一种基于改进隐马尔可夫模型(HMM)的文本信息抽取模型。给出一个新假设,使用绝对平滑算法对模型参数进行平滑,利用Viterbi算法对观察值序列进行正序和逆序解码,基于N-Gram模型对2次解码结果进行对比消歧,得到较准确的状态序列。实验结果表 明,该信息抽取模型能提高信息抽取的准确率。     

基于禁止搜索的离散隐马尔可夫模型优化

隐马尔可夫模型(HMM,Hdden Markov Model)是语音识别中广泛采用的鲁棒性统计方法.本文采用禁止搜索(TS,Tabu Search)算法训练HMM参数,提出了基于禁止搜索的隐马尔可夫模型(TS-HMM)算法.该算法可以使搜索最优模型参数的过程达到全局优化.仿真结果表明与传统的前向-后向算法相比,TS-HMM算法具有更好的性能,且能够达到全局优化.     

基于HMM建模技术的语音识别改进算法

本文在隐马尔可夫模型(Hidden Markov Model,简称HMM)的基础上,提出了一种帧相关模型的改进算法,它与现行HMM方法中的前后帧相关模型比,算法简化,计算量明显减小,与传统HMM方法比,提高了识别率     

基于MATLAB的隐马尔可夫模型识别CpG岛

随着多数生物基因组测序工作的完成,基因识别就显得尤为重要.CpG岛在基因组中有着重要的生物学意义,而识别CpG岛将有助于基因的识别.因此构建了识别DNA序列中CpG岛的隐马尔可夫模型HMM(Hidden Markov Model),并利用网上人类基因CpG岛数据库中随机选取的94条基因序列数据对该模型进行训练与检测,得到了很高的预测准确率,结果表明HMM用于CpG岛的识别是快速有效的.     

基于上下文的二阶隐马尔可夫模型

为体现上下文信息对当前词汇词性的影响,在传统隐马尔可夫模型的基础上提出一种基于上下文的二阶隐马尔可夫模型,并应用于中文词性标注中。针对改进后的统计模型中由于训练数据过少而出现的数据稀疏问题,给出基于指数线性插值改进平滑算法,对参数进行有效平滑。实验表明,基于上下文的二阶隐马尔可夫模型比传统的隐马尔可夫模型具有更高的词性标注正确率和消歧率。     

基于改进隐马尔可夫模型的系统调用异常检测

针对隐马尔可夫模型计算开销过高的问题,提出了一种新的基于隐马尔可夫模型(Hidden Markov model,HMM)的异常检测方法,利用系统调用执行迹具有的局部规律性,用改进的HMM(Improved HMM,IHMM)学习算法来构建程序正常行为模型.在检测时,首先对待测系统调用数据用滑动窗口划分,并通过正常行为模型来判定异常,根据异常短序列占所有短序列的百分比来判断该进程是否行为异常.实验结果显示该方法训练耗时仅为传统方法的1%.当阈值在一个较大范围内变化时,模型的检测性能始终保持稳定.表明本文方法通过避免对大量相同短序列的重复计算,显著减少了训练时间和计算开销,在实际应用中具有良好的可操作性.     

本体与条件随机场结合的涉农商品名称抽取与类别标注

传统的基于条件随机场（CRF）的信息抽取方法在进行涉农商品名称抽取与类别标注时,需要大量的训练语料,标注工作量大,且抽取精度不高。为解决该问题,提出了一种基于农业本体与CRF相结合的涉农商品名称抽取与类别标注方法,将涉农商品名称的自动抽取与分类看作序列标注的任务。首先是原始数据的分词处理和词、词性、地理属性、本体概念特征选择;然后,采用改进的拟牛顿算法训练CRF模型参数,用维特比算法实现解码,共完成4组对比实验,识别出7种类别,并将CRF和隐马尔可夫模型（HMM）、最大熵马尔可夫模型（MEMM）通过实验进行比较;最后,将CRF应用于农产品供求趋势分析。结合合适的特征模板,本体概念的加入使CRF开放测试的总体准确率提高10.20%,召回率提高59.78%,F值提高37.17%,证明了本体与CRF结合方法在涉农商品名称和类别抽取中的可行性和有效性,可以促进农产品供求对接。     

隐马尔可夫模型在步态识别中的应用研究

提出了基于高斯混合输出的连续隐马尔可夫模型的步态识别方法。首先,利用k-均值聚类法对步态序列建立初始的高斯混合模型,然后采用Baum-Welch算法对初始连续隐马尔可夫模型参数不断训练求精,在训练过程中对所存在的问题做适当的改进,解决了算法的溢出问题,最后用最前向算法进行识别;利用CASIA数据库对该算法进行验证,取得了较高的识别率,并对视角变化有一定的鲁棒性。     

Maximum entropy direct models for speech recognition

Traditional statistical models for speech recognition have mostly been based on a Bayesian framework using generative models such as hidden Markov models (HMMs). This paper focuses on a new framework for speech recognition using maximum entropy direct modeling, where the probability of a state or word sequence given an observation sequence is computed directly from the model. In contrast to HMMs, features can be asynchronous and overlapping. This model therefore allows for the potential combination of many different types of features, which need not be statistically independent of each other. In this paper, a specific kind of direct model, the maximum entropy Markov model (MEMM), is studied. Even with conventional acoustic features, the approach already shows promising results for phone level decoding. The MEMM significantly outperforms traditional HMMs in word error rate when used as stand-alone acoustic models. Preliminary results combining the MEMM scores with HMM and language model scores show modest improvements over the best HMM speech recognizer.     

一种基于奇异值分解和隐马尔可夫模型的人脸识别方法

提出了一种新的基于隐马尔可夫模型的人脸识别方法，这种方法采用奇异值分解抽取人脸图像特征作为观察序列，减少了数据的存储量和计算量，并提高了识别率，实验结果同其它两种基于隐马尔可夫模型的方法进行了比较。     

基于加权观测的隐马尔可夫模型

针对隐马尔可夫模型无法融合分类结果权值的问题,文中提出加权观测隐马尔可夫模型(WOHMM),并给出模型中概率计算、参数学习、序列标注三个基本问题的解决算法.使用公开数据集对参数学习和序列标注问题进行仿真实验,结果表明,WOHMM的参数学习算法能得到更接近真实值的模型参数,序列标注算法的效果较优.     

基于典型相关分析特征融合的人脸表情识别方法

针对目前大部分人脸表情识别算法中仅提取图像的某一类特征,导致特征参数不能全面反映脸部情感信息的问题,提出了一种基于特征融合和离散隐马尔可夫模型（HMM）识别的人脸表情识别方法。对同一个图像序列分别使用离散小波变换(DWT)和标准正交非负矩阵分解(ONMF)提取纹理信息,使用改进的主动表观模型(AAM)提取几何形变信息,再使用高维小样本下典型相关分析(CCA)对提取的两种特征进行特征融合,最后使用离散HMM来进行表情分类识别。实验结果表明,经过特征融合后,在较少特征向量维数下该方法能够达到较高的识别率和较快的识别速度。     

改进的基于隐马尔可夫模型的态势评估方法

针对隐马尔可夫模型（HMM）参数难以配置的问题,提出一种改进的基于隐马尔可夫模型的态势评估方法,更加准确地反映网络的安全态势。所提方法以入侵检测系统的输出作为输入,根据Snort手册将报警事件分类,得到观测序列,建立HMM,将改进的模拟退火（SA）算法与Bauw_Welch（BW）算法相结合对HMM参数进行优化,使用量化分析的方法得到网络的安全态势值。实验结果表明,所提方法能较好地提升模型的精度与收敛速度。     

DNA序列的二阶隐马尔科夫模型分类

隐马尔可夫模型是对DNA序列建模的一种简单且有效的模型, 实际应用中通常采用一阶隐马尔可夫模型. 然而, 由于其一阶无后效性的特点, 一阶隐马尔科夫模型无法表示非相邻碱基间的依赖关系, 从而导致序列中一些有用统计特征的丢失. 本文在分析DNA序列特有的生物学构造的基础上, 提出一种用于DNA序列分类的二阶隐马尔可夫模型, 该模型继承了一阶隐马尔可夫模型的优点, 充分表达了蕴涵在DNA序列中的生物学统计特征, 使得新模型具有明确的生物学意义. 基于新模型, 提出一种DNA序列的贝叶斯分类新方法, 并在实际DNA序列上进行了实验验证. 实验结果表明, 由于二阶隐马尔可夫模型充分反映了DNA序列碱基间的结构信息, 新方法有效地提高了序列的分类精度.     

基于隐马尔可夫模型的陀螺仪漂移预测

针对陀螺仪实验数据的有限性和非平稳性,提出了基于自回归(AR)模型和隐马尔科夫模型(HMM)的陀螺漂移预测方法。首先利用AR模型参数能够敏感状态变化规律的特性,提取陀螺漂移数据的自回归系数作为特征量;然后对具有混合高斯输出的HMM进行训练;最后对陀螺仪的状态进行加权预测,改进了趋势预测的方法,解决了陀螺漂移在小样本数据条件下的预测问题。实验分析了加权模型阶数和HMM状态数对陀螺漂移预测结果的影响,并验证了预测方法的有效性。     

Semi-supervised learning integrated with classifier combination for word sense disambiguation

Word sense disambiguation (WSD) is the problem of determining the right sense of a polysemous word in a certain context. This paper investigates the use of unlabeled data for WSD within a framework of semi-supervised learning, in which labeled data is iteratively extended from unlabeled data. Focusing on this approach, we first explicitly identify and analyze three problems inherently occurred piecemeal in the general bootstrapping algorithm; namely the imbalance of training data, the confidence of new labeled examples, and the final classifier generation; all of which will be considered integratedly within a common framework of bootstrapping. We then propose solutions for these problems with the help of classifier combination strategies. This results in several new variants of the general bootstrapping algorithm. Experiments conducted on the English lexical samples of Senseval-2 and Senseval-3 show that the proposed solutions are effective in comparison with previous studies, and significantly improve supervised WSD.