| 基于最大匹配的中文分词概率算法研究 |
| |
| 引用本文： | 何国斌,赵晶璐. 基于最大匹配的中文分词概率算法研究[J]. 计算机工程, 2010, 36(5): 173-175 |
| |
| 作者姓名： | 何国斌 赵晶璐 |
| |
| 作者单位： | 西南大学计算机与信息科学学院,重庆,400715 |
| |
| 基金项目： | 西南大学计信院发展基金资助项目“Web信息智能获取算法的研究”(114130-20100101) |
| |
| 摘 要： | 结合顺序表和跳跃表的快速查询特性，提出一种改进的整词分词词典结构，主要采用哈希法和二分法进行分词匹配，并针对机械分词算法的特点，引入随机数，探讨一种基于最大匹配的分词概率算法。实验表明，该算法具有较高的分词效率和准确率，对消去歧义词也有较好的性能。
|
| 关 键 词： | 分词词典 跳跃表 分词算法 概率算法 |
| 修稿时间： | |
Research on Probabilistic Algorithm of Chinese Word Segmentation Based on the Maximum Match |
| |
| HE Guo-bin,ZHAO Jing-lu. Research on Probabilistic Algorithm of Chinese Word Segmentation Based on the Maximum Match[J]. Computer Engineering, 2010, 36(5): 173-175 |
| |
| Authors: | HE Guo-bin ZHAO Jing-lu |
| |
| Affiliation: | (College of Computer and Information Science, Southwest University, Chongqing 400715) |
| |
| Abstract: | Combined with the sequence table and leaping form fast inquery characteristic, this paper presents an improvement structure of segmentation dictionary. Hashing and binary search is used to segmentation match for enquiring, and in view of the characteristics of the mechanical Chinese word segmentation, by introducing the random number, a Chinese word automatic segmentation probabilistic algorithm is discussed. Experiment indicates that the arithmetic can improve the speed of Chinese segmentation and precision, also, strengthen the processing of dispelling ambiguity. |
| |
| Keywords: | segmentation dictionary leaping form segmentation algorithm probabilistic algorithm |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
| 点击此处可从《计算机工程》浏览原始摘要信息 |
|
点击此处可从《计算机工程》下载免费的PDF全文 |
|
