|
|||||
|
|
| 基于层叠隐马模型的汉语词法分析 | |
| 引用本文： | 刘群,张华平,俞鸿魁,程学旗.基于层叠隐马模型的汉语词法分析[J].计算机研究与发展,2004,41(8):1421-1429. |
| 作者姓名： | 刘群 张华平 俞鸿魁 程学旗 |
| 作者单位： | 1. 中国科学院计算技术研究所,北京,100080;北京大学计算语言学研究所,北京,100871 2. 中国科学院计算技术研究所,北京,100080;中国科学院研究生院,北京,100039 3. 中国科学院计算技术研究所,北京,100080 |
| 基金项目： | 国家“九七三”重点基础研究发展规划项目 (G19980 3 0 5 0 7 4,G19980 3 0 5 10 )，中国科学院计算技术研究所领域前沿青年基金项目( 2 0 0 2 6180 2 3 ) |
| 摘 要： | 提出了一种基于层叠隐马模型的汉语词法分析方法，旨在将汉语分词、词性标注、切分排歧和未登录词识别集成到一个完整的理论框架中．在分词方面，采取的是基于类的隐马模型，在这层隐马模型中，未登录词和词典中收录的普通词一样处理．未登录词识别引入了角色HMM：Viterbi算法标注出全局最优的角色序列，然后在角色序列的基础上，识别出未登录词，并计算出真实的可信度．在切分排歧方面，提出了一种基于N-最短路径的策略，即：在早期阶段召回N个最佳结果作为候选集，目的是覆盖尽可能多的歧义字段，最终的结果会在未登录词识别和词性标注之后，从N个最有潜力的候选结果中选优得到．不同层面的实验表明，层叠隐马模型的各个层面对汉语词法分析都发挥了积极的作用．实现了基于层叠隐马模型的汉语词法分析系统ICTCLAS．该系统在2002年的“九七三”专家组评测中获得第1名，在2003年汉语特别兴趣研究组(ACL Special Interest Groupon Chinese Language Processing，SIGHAN)组织的第1届国际汉语分词大赛中综合得分获得两项第1名、一项第2名．这表明：ICTCLAS是目前最好的汉语词法分析系统之一，层叠隐马模型能够解决好汉语词法问题． |
| 关 键 词： | 汉语词法分析 分词 词性标注 未登录词识别 层叠隐马模型 ICTCLAS |
Chinese Lexical Analysis Using Cascaded Hidden Markov Model |
|
| LIU Qun ,ZHANG Hua-Ping ,YU Hong-Kui ,and CHENG Xue-Qi.Chinese Lexical Analysis Using Cascaded Hidden Markov Model[J].Journal of Computer Research and Development,2004,41(8):1421-1429. | |
| Authors: | LIU Qun ZHANG Hua-Ping YU Hong-Kui and CHENG Xue-Qi |
| Affiliation: | LIU Qun 1,3,ZHANG Hua-Ping 1,2,YU Hong-Kui 1,and CHENG Xue-Qi 1 1 |
| Abstract: | |
| Keywords: | Chinese lexical analysis word segmentation POS tagging unknown words recognition cascaded hidden Markov model ICTCLAS |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ | |