基于改进粒子群算法的隐马尔可夫模型训练

针对隐马尔可夫模型传统训练算法易收敛于局部极值的问题,提出一种带极值扰动的自适应调整惯性权重和加速系数的粒子群算法,将改进后的粒子群优化算法引入到隐马尔可夫模型的训练中,分别对隐马尔可夫模型的状态数与参数进优化.通过对手写数字识别的实验说明,提出的基于改进粒子群优化算法的隐马尔可夫模型训练算法与传统隐马尔可夫模型训练算法Baum-Welch算法相比,能有效地跳出局部极值,从而使训练后的隐马尔可夫模型具有较高的识别能力.     

基于半监督学习的行为建模与异常检测

提出了一种基于半监督学习的行为建模与异常检测方法.该算法包括以下几个主要步骤:(1) 通过基于动态时间归整(DTW)的谱聚类方法获取适量的正常行为样本,对正常行为的隐马尔可夫模型(HMM)进行初始化;(2) 通过迭代学习的方法在大样本下进一步训练这些隐马尔可夫模型参数;(3) 以监督的方式,利用最大后验(MAP)自适应方法估计异常行为的隐马尔可夫模型参数;(4) 建立行为的隐马尔可夫拓扑结构模型,用于异常检测.该方法的主要特点是:能够自动地选择正常行为模式的种类和样本以建立正常行为模型;能够在较少样本的情     

基于粗分和词性标注的中文分词方法

中文分词是中文信息处理的重要内容之一。在基于最大匹配和歧义检测的粗分方法获取中文粗分结果集上,根据隐马尔可夫模型标注词性,通过Viterbi算法对每个中文分词的粗分进行词性标注。通过定义最优分词粗分的评估函数对每个粗分的词性标注进行粗分评估,获取最优的粗分为最终分词。通过实验对比,证明基于粗分和词性标注的中文分词方法具有良好的分词效果。     

基于隐马尔可夫链的自适应MODE及应用

不同的控制参数设定和生成策略（交叉和变异）都会对多目标差分进化算法的性能产生显著影响。为实现其控制参数和变异策略的实时自适应调整,提出一种基于隐马尔可夫链的自适应多目标差分进化算法。该算法利用隐马尔可夫模型对种群信息进行分析并得到最优序列,通过最优序列与实际状态序列的对比得出变异缩放因子[F]与交叉概率[CR]的最大似然估计值,从而实现控制参数的自适应调整;同时,通过隐马尔可夫模型得到一组策略链来辅助多目标差分进化算法来选择合适的变异策略。通过与其他9种多目标进化算法在16个测试函数上的对比研究,结果表明所提算法的整体性能优于其他比较算法。最后,将该算法用于求解海铁联运能耗优化问题,所得结果能够为决策者提供多种可行方案。     

一种基于二维隐马尔可夫模型的图像分类算法

针对图像分块之间的相互依赖关系,提出一种基于二维隐马尔可夫模型的图像分类算 法。该算法将一维隐马尔可夫模型扩展成二维隐马尔可夫模型,模型中相邻的图像分块在平面两个 方向上按条件转移概率进行状态转换,反应出两个维上的依赖关系。隐马尔可夫模型参数通过期望 最大化算法(EM)来估计。同时,本文利用二维Viterbi算法,在训练隐马尔可夫模型的基础上,实现 对图像进行最优分类。文件图像分割的应用表明,隐马尔可夫算法优于CART算法。     

基于曲线波隐马尔可夫模型的人脸检测

提出了一种基于曲线波隐马尔可夫模型的混合人脸检测算法.曲线波变换是一种多尺度几何变换,具有很好的方向性,能用极少的非零系数精确表示图像的边缘,是一种最稀疏的表示方法.根据隐马尔可夫模型对人脸拓扑结构的约束,采用3状态的隐马尔可夫模型进行从粗到细的人脸检测.实验结果表明,这种算法具有较好的检测速度与正确率及鲁棒性.     

BioTrHMM:基于迁移学习的生物医学命名实体识别算法

传统的生物医学命名实体识别方法需要大量目标领域的标注数据,但是标注数据代价高昂。为了降低生物医学文本中命名实体识别对目标领域标注数据的需求,将生物医学文本中的命名实体识别问题化为基于迁移学习的隐马尔可夫模型问题。对要进行命名实体识别的目标领域数据集无须进行大量数据标注,通过迁移学习的方法实现对目标领域的识别分类。以相关领域数据为辅助数据集,利用数据引力的方法评估辅助数据集的样本在目标领域学习中的贡献程度,在辅助数据集和目标领域数据集上计算权值进行迁移学习。基于权值学习模型,构建基于迁移学习的隐马尔可夫模型算法BioTrHMM。在GENIA语料库的数据集上的实验表明,BioTrHMM算法比传统的隐马尔可夫模型算法具有更好的性能;仅需要少量的目标领域标注数据,即可具有较好的命名实体识别性能。     

路网匹配算法综述

路网匹配是基于位置服务中的关键预处理步骤,它将GPS轨迹点匹配到实际路网上。以此为基础对数据进行分析和挖掘,能够辅助解决城市计算中相关问题,例如建立智能交通系统,协助用户规划出行。本文对国内外学者在该研究领域取得的成果进行了分类总结,发现这些匹配算法可以较好地解决高采样率的路网匹配问题。但是随着城市交通的快速发展,获取和处理车辆位置信息的成本不断提高,低频采样点越来越多,现有算法匹配精确度大大下降。于是近几年,出现基于隐马尔科夫模型（Hidden Markov Model,HMM）的路网匹配算法。隐马尔可夫模型可以较为平滑地将噪声数据和路径约束进行整合,从有许多可能状态的路径中选择一条最大似然路径。重点总结了基于隐马尔科夫模型的路网匹配算法,主要是从特点与实验结果的角度对其进行对比总结,有的实验结果的正确率在一定条件下最高可以达到90%,说明了基于隐马尔可夫模型的路网匹配算法在低采样率下的有效性。最后对未来研究可能采取的方法进行了展望。     

马尔可夫及隐马尔可夫模型在数据挖掘中的应用

随着用户对于数据挖掘的精确度与准确度要求的日益提高,马尔可夫模型与隐马尔可夫模型被广泛用于数据挖掘领域。本文阐述了马尔可夫模型和隐马尔可夫模型数据挖掘领域的应用,以及隐马尔可夫模型可解决的问题,以供其他研究者借鉴。     

基于自适应中文分词和近似SVM的文本分类算法

中文分词的难点在于处理歧义和识别未登录词,传统字典的匹配算法很大程度上是依靠字典的代表性而无法有效地识别新词,特别是对于各种行业领域的知识管理。基于二元统计模型的分词算法能很好地适应不同的语料信息,且时间和精度都能满足文本知识管理的应用需要。近似支持向量机是将问题归结成仅含线性等式约束的二次规划问题,该算法的时间复杂度和空间复杂度比传统SVM算法的均有降低。在利用自适应分词算法进行分词的基础上,再利用近似支持向量机进行文本分类。实验表明,该方法能够自动适应行业领域的知识管理,且满足文本知识管理对训练时间敏感和需要处理大量文本的苛刻环境要求,从而具备较大的实用价值。     

基于Lattice-LSTM的多粒度中文分词

中文分词是中文信息处理领域中的一项关键基础技术,而多粒度分词是中文分词领域较新的研究方向。针对多粒度中文分词任务,该文提出一种基于Lattice-LSTM的多粒度中文分词模型,在传统基于字的多粒度中文分词模型基础上,加入了多分词粒度的词典信息。与传统模型相比,所提出的模型在网格结构的辅助下,对不同粒度的分词标准都有较强的捕捉能力,且不局限于单一的分词标准。实验表明,该文提出的方法在多粒度中文分词方向取得了目前最好的结果。     

基于条件随机场的汉语分词系统

汉语分词是自然语言处理的首要的基本工作。本文提出了一个基于条件随机场(简称CRF)的汉语分词模型,CRF模型作为一个判别模型,可以容纳任意的非独立的特征信息。我们首先将分词看作是一个标记的过程,然后利用CRF模型对每个汉字进行标记,最后转换为相应的分词结果。系统采用感知机(Perceptron)算法进行参数训练。跟以前利用CRF进行分词的模型相比,本系统定义并使用了不同的特征函数,取得了更好的切分结果。在1st SIGHAN分词比赛PK测试集上封闭测试,F值为95.2%。     

基于表示学习的中文分词

为提高中文分词的准确率和未登录词（OOV）识别率,提出了一种基于字表示学习方法的中文分词系统。首先使用Skip-gram模型将文本中的词映射为高维向量空间中的向量;其次用K-means聚类算法将词向量聚类,并将聚类结果作为条件随机场（CRF）模型的特征进行训练;最后基于该语言模型进行分词和未登录词识别。对词向量的维数、聚类数及不同聚类算法对分词的影响进行了分析。基于第四届自然语言处理与中文计算会议（NLPCC2015）提供的微博评测语料进行测试,实验结果表明,在未利用外部知识的条件下,分词的F值和OOV识别率分别达到95.67%和94.78%,证明了将字的聚类特征加入到条件随机场模型中能有效提高中文短文本的分词性能。     

基于隐条件随机场的自适应视频分割算法

视频目标分割是视频监视与视频目标跟踪、视频目标识别以及视频编辑的基础. 本文提出了一种基于隐条件随机场 (Hidden conditional random fields, HCRF) 的自适应视频分割算法, 利用 HCRF 模型对视频序列中的时空邻域关系建模. 使用在线学习的方式对相应的参数进行调整, 实现对时空邻域约束关系的权重调整, 提高视频目标分割细节上的效果. 大量的数据测试表明, 与高斯混合模型 (Gaussian mixture model, GMM) 和联合时空的马尔可夫随机场 (Markov random fields, MRF) 等算法相比, 该算法的分割错误率分别降低了23\%和19\%.     

一种改进的最大匹配中文分词算法

最大匹配算法包括正向最大匹配和逆向最大匹配两种算法,是中文分词领域的基础性算法,目前被广泛应用于众多领域。文中在详细分析了最大匹配算法的优缺点的基础上,提出了一种改进的最大匹配分词算法。改进算法在分词前先对词库进行了规范化预处理,分词时由汉字检索到该字开头的词组,再按词组长度由长到短的顺序使用传统最大匹配算法检索词库。目的是解决传统方法匹配效率低下和不能切分长词的问题。经算法分析结果表明,改进的算法较传统的最大匹配算法高效,分词能力更强。     

汉语分词和词性标注一体化分析的方法研究

提出了一种汉语文本切分和词性标准注相融合的一体化分析的统计模型,并应用动态规划算法与A^*解码算法相结合的二次搜索算法,实现了一个基于该模型的汉语词法分析器。初步的开放测试表明,该分析器的分词准确率和词性标准注正确率分别可达98．67％和95．49％。     

一种面向中文敏感网页识别的文本分类方法

提出了一种面向中文敏感网页识别的文本分类方法,主要包括中文分词、停用词表的建立、特征选择、分类器等4个部分.为丰富中文分词词库,提出了一种以词频统计为主、以人工判决为辅并标注词性的新词识别算法;提出了一种停用词表的建立算法,据此建立了含300个停用词的停用词表;采用开方拟合检验统计量方法作为特征选择方法,并确定了400...     

文语转换系统中基于语料的汉语自动分词研究

基于一个实际的文语转换系统,介绍了经的一些处理方法,采用了一种改进的最大匹配法,可以切分出所有的交集歧义,提出了一基于统计模型的算法来处理其中的多交集歧义的字段,并用穷举法和一睦简单的规则相结合的方法从实用角度解决多音字的异读问题以及中文姓名的自动识别方法,解决了汉语切分歧义、多音词处理、,中文姓名的自动识别问题,达到实现一文语转换的。     

Fuzzy Markovian Segmentation in Application of Magnetic Resonance Images

In this paper, we present a fuzzy Markovian method for brain tissue segmentation from magnetic resonance images. Generally, there are three main brain tissues in a brain dataset: gray matter, white matter, and cerebrospinal fluid. However, due to the limited resolution of the acquisition system, many voxels may be composed of multiple tissue types (partial volume effects). The proposed method aims at calculating a fuzzy membership in each voxel to indicate the partial volume degree, which is statistically modeled. Since our method is unsupervised, it first estimates the parameters of the fuzzy Markovian random field model using a stochastic gradient algorithm. The fuzzy Markovian segmentation is then performed automatically. The accuracy of the proposed method is quantitatively assessed on a digital phantom using an absolute average error and qualitatively tested on real MRI brain data. A comparison with the widely used fuzzy C-means algorithm is carried out to show numerous advantages of our method.     

VBI-MRF model for image segmentation

In statistical image segmentation, the distribution of pixel values is usually assumed to be Gaussian and the optimal result is believed to be the one that has maximum a posteriori (MAP) probability. In spite of its prevalence and computational efficiency, the Gaussian assumption, however, is not always strictly followed, and hence may lead to less accurate results. Although the variational Bayes inference (VBI), in which statistical model parameters are also assumed to be random variables, has been widely used, it can hardly handle the spatial information embedded in pixels. In this paper, we incorporate spatial smoothness constraints on pixels labels interpreted by the Markov random field (MRF) model into the VBI process, and thus propose a novel statistical model called VBI-MRF for image segmentation. We evaluated our algorithm against the variational expectation-maximization (VEM) algorithm and the hidden Markov random field (HMRF) model and MAP-MRF model based algorithms on both noise-corrupted synthetic images and mosaics of natural texture. Our pilot results suggest that the proposed algorithm can segment images more accurately than other three methods and is capable of producing robust image segmentation.