| 运用改进的分词方法进行外国译名识别的研究 |
| |
| 引用本文： | 方华,王振华,陆汝占,刘绍明.运用改进的分词方法进行外国译名识别的研究[J].计算机仿真,2005,22(3):217-220. |
| |
| 作者姓名： | 方华 王振华 陆汝占 刘绍明 |
| |
| 作者单位： | 上海交通大学计算机科学与工程系,上海,200030;日本富士施乐公司 |
| |
| 摘 要： | 该文首先介绍了基于词典的分词算法的语言模型和一种基于词典分词算法：最大词频分词法。分析了基于词典的分词算法的语言模型，指出其无法处理未登录词的原因。针对此原因，提出了引入动态词典的方法，将最大词频分词算法和局部频率法相结合以解决未登录词中译名识别的问题。最后，给出了一个系统实现。
|
| 关 键 词： | 自然语言处理 分词 译名 最大词频分词算法 |
| 文章编号： | 1006-9348(2005)03-0217-04 |
| 修稿时间： | 2003年10月22 |
A Transliterated Name Recognition Method Based on Maximum Word Frequency Segmentation Algorithm |
| |
| FANG Hua,WANG Zhen-hua,LU Ru-zhan,LIU Shao-ming.A Transliterated Name Recognition Method Based on Maximum Word Frequency Segmentation Algorithm[J].Computer Simulation,2005,22(3):217-220. |
| |
| Authors: | FANG Hua WANG Zhen-hua LU Ru-zhan LIU Shao-ming |
| |
| Affiliation: | FANG Hua~1,WANG Zhen-hua~1,LU Ru-zhan~1,LIU Shao-ming~2 |
| |
| Abstract: | This paper introduced the language model of the segmentation algorithm based on dictionary. This language model has some inadequacy hypothesis, so it doesn't process the corpus including unregistered words. We introduced the dynamic dictionary combined with maximum word frequency segmentation algorithm to solve the transliterated name, a kind of unregistered words. |
| |
| Keywords: | Nature language process Segmentation Transliterated name Maxim word frequency segment algorithm |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
