基于二阶隐马尔可夫模型的文本信息抽取

隐马尔可夫模型是文本信息抽取的重要方法之一.在一阶隐马尔可夫模型中,假设状态转移概率和观察值输出概率仅依赖于模型当前的状态,一定程度降低了信息抽取的精确度.而二阶隐马尔可夫模型合理地考虑了概率和模型历史状态的关联性,对错误信息有更强的识别能力.提出了基于二阶隐马尔可夫模型的文本信息抽取算法;分析了二阶隐马尔可夫模型在文本信息抽取中的有效性;仿真实验表明,新的算法比基于一阶隐马尔可夫模型的算法具有更高的抽取精确度.     

基于改进HMM的半结构化文本信息抽取算法研究

在分析半结构化文本特点与隐马尔可夫模型的基础上,提出了一种新的基于隐马尔可夫模型的信息抽取算法,并与传统的基于单一隐马尔可夫模型的信息抽取算法进行了比较分析。实验结果表明,所提算法在精确度上有明显优化,特别在状态特征不明显的情况下仍能保持良好的精确度。将该算法应用于半结构化文本的信息抽取中,具有较好的可行性和有效性。     

二态隐马尔可夫过程熵率的逼近算法

基于熵率上下界收敛性,该文提出了一个算法以计算二态隐马尔可夫过程的熵率.该算法能以任意精度逼近熵率的理论值,且可计算最大偏差.算法的复杂度的对数和误差的对数为线性关系,因此其计算代价是可以接受的.该算法为计算一般隐马尔可夫模型的熵率提供了一种新途径.     

基于隐马尔可夫模型的中文文本事件信息抽取

提出了一种基于隐马尔可夫模型的中文文本事件抽取方法,该方法首先通过触发词探测从文本中发现特定的候选事件语句,然后利用隐马尔可夫模型从这些语句中抽取每个候选事件的事件要素,为每一类事件要素构建一个独立的隐马尔可夫模型用于该类事件要素的抽取,构建模型的关键是模型结构的学习和参数估计。实验结果表明,该方法能较好地实现中文文本事件抽取,较其他方法有更好的抽取性能。     

一种改进的隐马尔可夫模型训练方法及其在声目标识别中的应用

提出了一种基于最大相对界的改进隐马尔可夫模型训练方法.为解决隐马尔可夫模型的传统Baum_Welch训练算法在识别声目标时的局限以及现存区分训练算法泛化能力不足的问题,在经典隐马尔可夫模型为初始模型的基础上,定义了相对界,并通过最大化最小相对界建立一个最优化问题,用梯度下降法进行迭代求解,得到基于相对界的隐马尔可夫模型...     

隐马尔可夫模型的异质网络链接预测方法研究

为了解决异质网络的结构信息和语义信息挖掘不全面的问题,针对异质网络的链接预测,提出了将基于元路径的分析方式与隐马尔可夫模型相结合的链接预测方法。考虑到聚簇可以有效地捕获异质网络的结构信息,将k-means算法进行改进得到基于距离均方差最小的初始聚簇中心方法,并将其应用到隐马尔可夫模型(HMM)中,设计了基于聚簇的一阶隐马尔可夫模型(C-HMM~((1)))的链接预测方法,同时提出基于聚簇的二阶隐马尔可夫模型(C-HMM~((2)))的异质网络的链接预测方法。进一步考虑数据的特征信息,提出了将最大熵模型和二阶隐马尔可夫模型相结合的链接预测方法 ME-HMM。实验结果表明,ME-HMM比C-HMM方法的链接预测精确度更高,且ME-HMM因充分考虑到数据的特征信息比C-HMM的性能更加优异。     

基于改进隐马尔可夫模型的文本分类研究

将一种改进的隐马尔可夫模型(HMM)应用于文本分类中,在考虑其前向依赖的同时,需考虑状态的后向依赖性.将当前观测值和和当前状态对其后一状态的依赖性加入模型的学习,这样的改进模型能有效提高文本信息抽取准确率.在文本分类过程研究中,首先对训练样本进行文本预处理,对HMM分类器模型进行参数学习,建立HMM分类器后用测试集进行测试并做出性能评价.在性能评价中用改进的评测指标,可针对不同数据集做出准确评价,以及可对比不同分类工作在同一数据集上的性能,大大提高评价质量.     

跳变马尔可夫系统的最大混合相关熵状态估计

依托于多模型框架的跳变马尔可夫系统状态估计的性能通常受限于多模型间的信息融合程度.本文以交互式多模型方法为框架,针对跳变马尔可夫系统提出了一种基于最大混合相关熵的状态估计方法.为了能有效处理模型高阶信息,在混合和融合步骤引入最大混合相关熵测度替代常规的二阶统计矩准则,设计了关于系统状态的代价函数,通过最优化该函数得到状态估计的迭代解.仿真实验详尽展示了所提方法的主要特征,并表明其在高斯和非高斯噪声环境下都具有较好的估计效果.     

隐马尔可夫模型在中文文本分词中应用研究

文本分词是各个互联网领域中的基础性工作。通过对平台涉及的文本串进行切词处理,对切词之后的短文本串更能够聚合用户。隐马尔可夫模型作为机器学习领域中重要算法,它能够进行各个状态之间的转换,对于文本中词语之间上下文语义关系、词语与词语之间前后向位置关系非常匹配,众多的开源分词工具都基于隐马尔可夫模型。     

用于噪声鲁棒语音识别的声学模型及解码策略

提出了一种平行子状态隐马尔可夫模型用作噪声鲁棒语音识别的声学模型。该模型融合了纯净语音和背景噪声信息,模型的每个状态包含平行关系的子状态。在此基础上,提出了两种用于平行子状态隐马尔可夫模型的识别解码策略——子状态最大似然解码和联合转移子状态最大似然解码。实验结果表明,声学模型及其解码策略在各种噪声下取得了良好鲁棒识别效果。     

A minimum discrimination information approach for hidden Markovmodeling

An iterative approach for minimum-discrimination-information (MDI) hidden Markov modeling of information sources is proposed. The approach is developed for sources characterized by a given set of partial covariance matrices and for hidden Markov models (HMMs) with Gaussian autoregressive output probability distributions (PDs). The approach aims at estimating the HMM which yields the MDI with respect to all sources that could have produced the given set of partial covariance matrices. Each iteration of the MDI algorithm generates a new HMM as follows. First, a PD for the source is estimated by minimizing the discrimination information measure with respect to the old model over all PDs which satisfy the given set of partial covariance matrices. Then a new model that decreases the discrimination information measure between the estimated PD of the source and the PD of the old model is developed. The problem of estimating the PD of the source is formulated as a standard constrained minimization problem in the Euclidean space. The estimation of a new model given the PD of the source is done by a procedure that generalizes the Baum algorithm. The MDI approach is shown to be a descent algorithm for the discrimination information measure, and its local convergence is proved     

Multiresolution image classification by hierarchical modeling withtwo-dimensional hidden Markov models

This paper treats a multiresolution hidden Markov model for classifying images. Each image is represented by feature vectors at several resolutions, which are statistically dependent as modeled by the underlying state process, a multiscale Markov mesh. Unknowns in the model are estimated by maximum likelihood, in particular by employing the expectation-maximization algorithm. An image is classified by finding the optimal set of states with maximum a posteriori probability. States are then mapped into classes. The multiresolution model enables multiscale information about context to be incorporated into classification. Suboptimal algorithms based on the model provide progressive classification that is much faster than the algorithm based on single-resolution hidden Markov models     

Variable duration hidden Markov model and morphologicalsegmentation for handwritten word recognition

This paper describes a complete system for the recognition of unconstrained handwritten words using a continuous density variable duration hidden Markov model (CD-VDHMM). First, a new segmentation algorithm based on mathematical morphology is developed to translate the 2-D image into a 1-D sequence of subcharacter symbols. This sequence of symbols is modeled by the CDVDHMM. Thirty-five features are selected to represent the character symbols in the feature space. Generally, there are two information sources associated with written text; the shape information and the linguistic knowledge. While the shape information of each character symbol is modeled as a mixture Gaussian distribution, the linguistic knowledge, i.e., constraint, is modeled as a Markov chain. The variable duration state is used to take care of the segmentation ambiguity among the consecutive characters. A modified Viterbi algorithm, which provides l globally best paths, is adapted to VDHMM by incorporating the duration probabilities for the variable duration state sequence. The general string editing method is used at the postprocessing stage. The detailed experiments are carried out for two postal applications; and successful recognition results are reported.     

采用HDPHMM符号化器的语音查询样例检测方法

提出一种基于层级狄利克雷过程隐马尔科夫模型（HDPHMM）符号化器的无监督语音查询样例检测（QbE-STD）方法。该方法首先应用一个双状态层隐马尔科夫模型,其中顶层状态用于表示所发现的声学单元,底层状态用于建模顶层状态的发射概率,通过对顶层状态假设一个层级狄利克雷过程先验,获得非参贝叶斯模型HDPHMM。使用无标注语音数据对该模型进行训练,然后对测试语音和查询样例输出后验概率特征矢量,使用非负矩阵分解算法对后验概率进行优化得到新的特征,然后在此基础上,应用修正分段动态时间规整算法进行检索,构成QbE-STD系统。实验结果表明,相比于基于高斯混合模型符号化器的基线系统,本文所提出的方法性能更优,检索精度得到显著提升。      

基于隐马尔可夫模型的车牌自动识别技术

文中提出了一种车牌字符识别的新方法,用二维隐马尔可夫模型方法识别车牌中的汉字,用伪二维隐马尔可夫模型（P2D－HMM）方法识别车牌中的英文字符及阿拉伯数字。该算法适用于不同的字符大小、字符倾斜、污损等情况,抗噪声能力强。字符识别正确率达94％以上,满足实用技术的要求。     

基于N阶近邻路网的车辆行程时间估计模型

车联网的提出为智能交通的研究提供了新的交通信息收集技术.针对短时交通中车辆的路网行程时间估计问题,提出了基于N阶近邻的隐马尔科夫模型,利用马尔科夫性质来解决道路行程时间的前后关联性问题,同时考虑不同道路的异构性构建了N阶近邻路网模型来模拟路网间的交互影响.针对短时交通中实时数据更新的问题,提出基于道路关联性算法,并结合车联网的采集技术给出了迭代更新模型的方法.实验表明,本文提出的方法在短时交通车辆行程时间预测中精度较高,能够在车辆行进中做出实时预测.     

用统计物理的方法计算信源熵率

从数学模型的角度来说,信源和随机过程有着一一对应的关系。从混沌的角度来看,随机过程的多重分形谱是动力系统的重要特征,熵率只是多重分形维中特殊的一维,即信息维。该文指出了如何用统计物理的方法计算随机过程的多重分形维,以二态隐马尔可夫信源作为例子,该文计算了其熵率。计算结果和理论结果的比较表明,用统计物理的方法计算隐马尔可夫过程熵率具有实用价值。这一方法可以推广到一般信源熵率的数值计算。     

A Posteriori Probability Distances Between Finite-Alphabet Hidden Markov Models

In this correspondence, we consider a probability distance problem for a class of hidden Markov models (HMMs). The notion of conditional relative entropy between conditional probability measures is introduced as an a posteriori probability distance which can be used to measure the discrepancy between hidden Markov models when a realized observation sequence is observed. Using a measure change technique, we derive a representation for conditional relative entropy in terms of the parameters of the HMMs and conditional expectations given measurements. With this representation, we show that this distance can be calculated using an information state approach