| 基于最大间隔马尔可夫网模型的汉语分词方法 |
| |
| 引用本文： | 李月伦,常宝宝. 基于最大间隔马尔可夫网模型的汉语分词方法[J]. 中文信息学报, 2010, 24(1): 8-15 |
| |
| 作者姓名： | 李月伦 常宝宝 |
| |
| 作者单位： | 北京大学 计算语言学研究所,北京 100871 |
| |
| 基金项目： | 国家自然科学基金资助项目(60975054,60303003);;国家社会科学基金资助项目(06BYY048) |
| |
| 摘 要： | 分词是汉语自然语言处理研究中非常重要的一个环节,在早先的研究中,最大熵模型和条件随机场(CRF)模型已经广泛运用到汉语自动分词的工作中。最大间隔马尔可夫网(M3N)模型是近年来由B.Taskar等[1]人提出的一种新型结构学习模型。该文尝试将这一模型用于汉语分词建模并进行实验,实验结果显示,基于给定的训练语料与测试语料,分词精度可以达到95％,表明基于最大间隔马尔科夫网的汉语分词方法可以取得较高的分词精度,是一种有效的汉语分词方法。
|
| 关 键 词： | 计算机应用 中文信息处理 最大间隔马尔可夫网模型 汉语分词 机器学习 |
Maximum Margin Markov Networks-Based Chinese Word Segmentation Method |
| |
| LI Yuelun,CHANG Baobao. Maximum Margin Markov Networks-Based Chinese Word Segmentation Method[J]. Journal of Chinese Information Processing, 2010, 24(1): 8-15 |
| |
| Authors: | LI Yuelun CHANG Baobao |
| |
| Affiliation: | Institute of Computational Linguistics, Peking University, Beijing 100871, China |
| |
| Abstract: | Chinese Word Segmentation is a crucial step in the study of Chinese Natural Language Processing(NLP).In previous researches,the Maximum Entropy model and Conditional Random Field(CRF) model have been widely used in the study of Chinese Word Segmentation.In this paper,we will apply the M3N(Max Margin Markov Networks) model,a structural model introduced by B.Taskar,to Chinese Word Segmentation.Experiments based on certain training and testing corpus show that the M3N is a very useful Chinese Word Segmentation... |
| |
| Keywords: | computer application Chinese information processing maximum margin Markov networks(M3N) Chinese Word Segmentation(CWS) machine learning |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《中文信息学报》浏览原始摘要信息 |
|
点击此处可从《中文信息学报》下载全文 |
|
