一种基于提取上下文信息的分词算法

汉语分词在汉语文本处理过程中是一个特殊而重要的组成部分。传统的基于词典的分词算法存在很大的缺陷,无法对未登录词进行很好的处理。基于概率的算法只考虑了训练集语料的概率模型,对于不同领域的文本的处理不尽如人意。文章提出一种基于上下文信息提取的概率分词算法,能够将切分文本的上下文信息加入到分词概率模型中,以指导文本的切分。这种切分算法结合经典n元模型以及EM算法,在封闭和开放测试环境中分别取得了比较好的效果。     

一个统计与规则相结合的中文命名实体识别系统

介绍了一个中文命名实体识别系统,该系统采用了统计与规则相结合的方法。整个识别过程主要分成两个步骤,首先使用隐马尔可夫模型进行词性标注,然后利用具有优先级别的匹配规则对第一步的结果进行修正和转换。同时,系统还对上下文相关的命名实体识别作了初步的尝试。在863组织的命名实体识别评测中,系统的准确率、召回率和F值分别达到了81.93%,78.20%,80.02%。