| 基于CNET模型的无词典汉语自动分词算法研究 |
| |
| 引用本文： | 刘龙飞,陈斌,党荣. 基于CNET模型的无词典汉语自动分词算法研究[J]. 计算机应用与软件, 2007, 24(10): 219-221 |
| |
| 作者姓名： | 刘龙飞 陈斌 党荣 |
| |
| 作者单位： | 1. 渭南师范学院教务处,陕西,渭南,714000;西北大学数学系,陕西,西安,710069
2. 渭南师范学院财务处,陕西,渭南,714000 |
| |
| 摘 要： | 提出了一种新的汉语统计模型CNET,在此基础上提出了一种汉语无词典自动分词算法.该算法首先学习要进行处理的汉语语料,构建CNET,然后根据学习到的知识再去对原始语料进行分词.实验结果表明,该算法分词正确率在70%以上.
|
| 关 键 词： | 汉语自动分词 互信息 CNET CNET 统计模型 无词典 汉语自动分词 算法研究 MODEL BASED ALGORITHM CHINESE WORD SEGMENTATION 正确率 结果 实验 汉语语料 知识 处理 学习 分词算法 |
| 修稿时间： | 2006-06-01 |
AUTOMATIC CHINESE WORD SEGMENTATION ALGORITHM WITHOUT DICTIONARY BASED ON CNET MODEL |
| |
| Liu Longfei,Chen Bin,Dang Rong. AUTOMATIC CHINESE WORD SEGMENTATION ALGORITHM WITHOUT DICTIONARY BASED ON CNET MODEL[J]. Computer Applications and Software, 2007, 24(10): 219-221 |
| |
| Authors: | Liu Longfei Chen Bin Dang Rong |
| |
| Abstract: | A new static model CNET for Chinese language is proposed,and an automatic word segmentation algorithm without dictionary based on CNET is also presented.This method first learns from the context to be processed,and then starts to segment the words with the static information of CNET.Preliminary experiments show that the correctness of this method is about 77%. |
| |
| Keywords: | Automatic Chinese word segmentation Mutual information CNET |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
|
