首页 | 本学科首页   官方微博 | 高级检索  
     

基于向量空间模型的有导词义消歧
引用本文:鲁松,白硕,黄雄,张健.基于向量空间模型的有导词义消歧[J].计算机研究与发展,2001,38(6):662-667.
作者姓名:鲁松  白硕  黄雄  张健
作者单位:中国科学院计算技术研究所软件研究室
基金项目:国家“九七三”重点基础研究发展规化项目基金! (G19980 3 0 5 10 ),国家自然科学基金! (69773 0 0 8),国家“八六三”高技术研究发
摘    要:词义消歧一直是自然语言理解中的一个关键问题,该问题解决的好坏直接关系到自然语言处理中诸多应用问题的效果优劣。由于自然语言知识表示的困难,在手工规则的词义消歧难以达到理想效果的情况下,各种有导机器学习方法被应用于词义消歧任务中,借鉴前人的成果引入信息检索领域中空间模型文档词语权重计算技术来解决多义词义项的知识表示问题,并提出了上下文位置权重的计算方法,给出了一种基于向量空间模型的词义消岐有导机器学习方法。该方法将多义词的义项和上下文分别映射到向量空间中,通过计算多义词上下文向量与义项向量的距离,采用k-NN(k=1)方法来确定上下文向量的义项分类。在9个汉语高频多义词的开放和封闭测试中均取得了突出的成绩(封闭测试平均正确率为96.31%,开放测试平均正确率为92.98%),验证了该方法的有效性。

关 键 词:词义消歧  向量空间模型  义项矩阵  自然语言理解  有导机器学习

SUPERVISED WORD SENSE DISAMBIGUATION BASED ON VECTOR SPACE MODEL
Lu Song,Bai Shuo,HUANG Xiong,ZHANG Jian.SUPERVISED WORD SENSE DISAMBIGUATION BASED ON VECTOR SPACE MODEL[J].Journal of Computer Research and Development,2001,38(6):662-667.
Authors:Lu Song  Bai Shuo  HUANG Xiong  ZHANG Jian
Abstract:Word sense disambiguation(WSD) is the key problem in natural language processing because the result of WSD affects seriously many problems in natural language processing and information retrieval. Because of the failure of manpower on WSD, many supervised methods in machine learning were used on this problem. In this paper, a supervised method is proposed to formalize the senses of polysemous word with interesting term weight based on vector space model, then to deal with WSD with k-NN(k=1). The experiments on 9 Chinese polysemous words in both open test and close test with average accuracy 96.31% in close test and 92.98% in open test show that the method in this paper is very good.
Keywords:word sense disambiguation(WSD)  vector space model  sense-matrix  weight of context position  supervised machine learning
本文献已被 CNKI 维普 万方数据 等数据库收录!
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号