Web文本挖掘系统及其关键技术研究

随着网络信息的迅猛发展,信息量日益增加,怎样从海量的Internet上获取有用信息,WEB文本挖掘系统是挖掘技术的重要应用方向,它是指在给定的分类体系下,根据网页的内容自动判别内容类别的过程,论文对文本中所涉及的关键技术,包括K-最近邻参照法模型、基于隐马尔科夫模型(HMM)的信息抽取、机器学习方法,进行了研究和探讨,并且给出了基于信息抽取的文本挖掘系统的设计实现和下一步的研究重点。     

基于隐马尔科夫模型的中文分词研究

一直以来,汉语自动分词是公认的汉语信息处理瓶颈.反思现有汉语自动分词技术,发现均有隐含两大假设:语言是规律的、词具有确定边界.这与语言的复杂性、组合性、动态性、模糊性特征不符.本文采用一种基于隐马尔科夫模型(HMM)的算法,通过CHMM(层叠形马尔科夫模型)进行分词,再做分层,既增加了分词的准确性,又保证了分词的效率.     

隐马尔可夫模型在环保档案信息抽取中的应用

面对突出的环境问题,亟需有效的方法从环境保护档案中抽取有用的信息用于支持环境保护等宏观决策。以建设项目环境影响报告书为例,研究如何利用隐马尔可夫模型来抽取建设项目的环境影响评价信息。阐明隐马尔可夫模型的原理与应用情况,分析报告书特点并明确应用模型进行报告书文本信息抽取的基本思想,并给出模型建立和应用的方法及具体步骤。通过实例验证得出,利用隐马尔可夫模型抽取环境保护信息能够获得较高的召回率和精确度,整体效果较好。     

央金藏文分词系统

藏文分词是藏文信息处理的一个基本步骤,该文描述了我们将一个基于HMM的汉语分词系统Segtag移植到藏文的过程,取得了91%的准确率。又在错误分析的基础上,进行了训练词性的取舍、人名识别等处理,进一步提高了准确率。     

隐马尔可夫模型实现复杂数据挖掘

利用隐马尔可夫模型(HMM)对多媒体数据库进行复杂数据挖掘,复杂数据挖掘要解决的难题就是音频和视频识别。在建立音、视频识别算法的基础上,构造出符合HMM的识别方法。实验证明该系统声音的识别率最高达到96.67％,视频中特征值的检测率可达87.81％。     

基于混合二阶隐马尔可夫模型的基因结构预测

在基因预测时,待研究的生物序列中的残基(氨基酸或核甘酸)具有高度的相关性,因此,观测噪声和马尔可夫链不相互独立的条件下的混合隐马尔可夫模型比普通隐马尔可夫模型更适用于基因预测功能.介绍了一种基于混合二阶隐马尔可夫模型(HMM2)的基因识别系统,该系统的预测精度在在核苷酸和外显子水平上均与国外同类研究水平相当.     

输入为Markov序列时的多用户检测算法

考虑当用户序列存在时间相关性时的多用户检测，并假设这种相关性可以用Markov链描述，在传统的线性最大似然检测器中嵌入一个隐Markov模型估计过程。因为输入序列是Markov链，检测器的输出可以看成是被噪声污染的Markov序列，Markov模型估计子用于估计用户序列及其转移概率，而估计得到的用户序列用来更新检测器的估计。因此，检测器和用户序列可以通过迭代的方式求解。仿真结果显示本文算法能充分利用信道输入的时间相关性．效果优于传统的最大似然线性检测器。     

基于HTK的连续汉语数码语音输入系统研究

HTK是英国剑桥大学开发的一套基于C语言的语音处理工具箱,广泛应用于语音识别、语音合成以及字符识别等领域。文章在详细介绍了语音识别的过程、原理及相关概念的基础之上,介绍了HTK的基本原理和软件结构,以及使用HTK完成语音识别任务的整个过程。最后,讨论声学单元等一系列的模型参数的选择,使用HTK搭建一个简单连续汉语语音输入系统。     

基于HMM的足球视频语义分析研究

针对视频高层语义分析问题,文章结合足球比赛的领域知识,按照足球比赛转播,视频编辑的一般规律,根据足球比赛语义事件随机性的特点,选择特定的视频物理特征,应用 HMM (隐马尔科夫模型) 分析视频的语义结构,确定视频和HMM 模型中各元素的对应关系,构建一个基于HMM 的视频语义分析框架,并通过进行足球视频 HMM 参数的训练,得到视频各语义事件的 HMM 模型,达到视频语义自动分析的目的.     

基于多学习策略的网页信息抽取方法

由于网页信息具有异构和动态的特点,致使现有的大多数网页信息抽取方法都存在适用性差的问题。为此,将传统的文本分类器和隐式马尔可夫学习策略结合起来,提出了一种基于多学习策略的网页信息抽取方法。该方法在获得网页文本记录的局部最优分类抽取结果基础上,还利用了整个网页文本结构信息对抽取结果进行进一步优化。实验结果表明,该方法不需要对新的站点进行学习,就能获得较高的信息召回率和抽取精度,具有较强的适用性。