| 一种基于统计的分词标注一体化方法 |
| |
| 引用本文： | 褚颖娜,廖敏,宋继华.一种基于统计的分词标注一体化方法[J].计算机系统应用,2009,18(12):55-58. |
| |
| 作者姓名： | 褚颖娜 廖敏 宋继华 |
| |
| 作者单位： | 北京师范大学信息科学与技术学院,北京,100875 |
| |
| 基金项目： | 国家社科基金(05BYY022) |
| |
| 摘 要： | 分词标注是中文信息处理的基础。传统方法的处理步骤大都是首先对文本进行预处理，得到文本的粗分模型，在此基础上对词语进行词性标注。粗分模型集合的大小取决于采用的分词方法，粗分模型的准确性直接影响着后续处理结果的准确性。提出一种基于统计的分词标注一体化方法即概率全切分标注模型，该方法的特点是将分词、标注两部分工作融为一体同时进行，在利用全切分获得所有可能分词结果的过程中，计算出每种词串的联合概率，同时利用马尔可夫模型计算出每种词串所有可能标记序列的概率，由此得到最可能的处理结果。该方法提高了结果的召回率和准确率
|
| 关 键 词： | 分词标注 粗分模型 双数组Trie树索引 马尔可夫标注模型 全切分 |
| 收稿时间： | 3/6/2009 12:00:00 AM |
Integrated Chinese Words Segmentation and Labeling Based on Statistic Method |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 维普 万方数据 等数据库收录！ |
| 点击此处可从《计算机系统应用》浏览原始摘要信息 |
|
点击此处可从《计算机系统应用》下载全文 |
|
