首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到17条相似文献,搜索用时 125 毫秒
1.
基于小规模语料库和机器可读词典的二元分布语义获取   总被引:1,自引:1,他引:1  
本文提出了一种基于小规模语料库和机器可读词典(Machine Readable Dictionary ,MRD)的无指导的动词语义获取方法。该方法不需要使用有义项标注的语料库,而是使用从语料中获得的V+N搭配以及MRD中多义词定义的应用实例中获得的知识。使用两种方法解决数据稀疏问题:首先,将词的相似性度量由直接共现扩展到共现词的共现,以共现聚类而不是共现词来计算词的相似度。其次,从MRD定义中获取名词的IS- A关系。通过这些方法,即使两个词不共享任何词,也可认为是相似的。实验表明,该方法可从很小规模的语料中获取知识,并在不限制词义的情况下达到85.7%的正确排歧率。  相似文献   

2.
词义消歧问题是自然语言处理方面的重点和难点之一.本文利用机器可读词典<知网>和<辞海>获取初始搭配资源,采用统计的方法对搭配集进行扩展;利用语言学中的搭配知识对扩展后的搭配集进行了有效的缩减;最后利用所获得的搭配集来对多义词进行词义消歧.经试验证明,该方法对词义消歧是有效的.  相似文献   

3.
本文提出一种基于AdaBoost MH算法的有指导的汉语多义词消歧方法,该方法利用AdaBoost MH算法对决策树产生的弱规则进行加强,经过若干次迭代后,最终得到一个准确度更高的分类规则;并给出了一种简单的终止算法中迭代的方法;为获取多义词上下文中的知识源,在采用传统的词性标注和局部搭配序列等知识源的基础上,引入了一种新的知识源,即语义范畴,提高了算法的学习效率和排歧的正确率。通过对6个典型多义词和SENSEVAL3中文语料中20个多义词的词义消歧实验,AdaBoost MH算法获得了较高的开放测试正确率(85.75%)。  相似文献   

4.
基于多分类器决策的词义消歧方法   总被引:2,自引:0,他引:2  
词义消歧问题可以形式化为典型的分类问题.通过学习少量带有词义标注的语料构造多个消歧分量分类器,并利用未标语料动态地对这些分类器进行更新,根据最终分量分类器分别对多义词义项的判定结果,组合决策多义词的义项.该方法无需手工构造大规模具有词义标注的语料库,并且具有较高的消歧准确率.  相似文献   

5.
基于对数模型的词义自动消歧   总被引:9,自引:0,他引:9  
朱靖波  李珩  张跃  姚天顺 《软件学报》2001,12(9):1405-1412
提出了一种对数模型(logarithmmodel,简称LM),构造了一个词义自动消歧系统LM-WSD(wordsensedisambiguationbasedonlogarithmmodel).在词义自动消歧实验中,构造了4种计算模型进行词义消歧,根据4个计算模型的消歧结果,分析了高频率词义、指示词、特定领域、固定搭配和固定用法信息对名词和动词词义消歧的影响.目前,该词义自动消歧系统LM-WSD已经应用于基于词层的英汉机器翻译系统(汽车配件专业领域)中,有效地提高了翻译性能.  相似文献   

6.
知识获取是制约基于语料库的词义消歧方法性能提高的瓶颈,使用等价伪词的自动语料标注方法是近年来解决该问题的有效方法。等价伪词是用来代替歧义词在语料中查找消歧实例的词。但使用等价伪词获得的部分伪实例质量太差,且无法为没有或很少同义词的歧义词确定等价伪词。基于此,该文提出一种将等价伪词获得的伪实例和人工标注实例相结合的词义消歧方法。该方法通过计算伪实例与歧义词上下文的句子相似度,删除质量低下的伪实例。并借助人工标注语料为某些无等价伪词的歧义词提供消歧实例,计算各义项的分布概率。在Senseval-3汉语消歧任务上的实验中,该文方法取得了平均F-值为0.79的成绩。  相似文献   

7.
一种基于贝叶斯分类与机读词典的多义词排歧方法   总被引:3,自引:0,他引:3  
一词多义是自然语言中普遍存在的现象,词义排歧的成功率是衡量机器翻译、信息检索、文本分类等自然语言处理软件性能的重要指标。提出了一种基于贝叶斯分类与机读词典的多义词排歧方法,通过小规模语料库的训练和歧义词在机读词典中的语义定义来完成歧义的消除。实验表明:基于贝叶斯分类与机读词典的多义词排歧算法在标注语料库规模受限的情况下,能取得较高的排歧准确率。  相似文献   

8.
影响词义消歧的特征是多方面的,为考察上下文指示词这一消歧特征,提出了利用统计的方法抽取指示词用于词义消歧。实验表明,该方法是可行的,并为利用多特征进行汉语自动消歧提供了可靠的参考。  相似文献   

9.
一种自组织的汉语词义排歧方法   总被引:7,自引:1,他引:6  
长期以来,词义排歧一直被认为是自然语言处理的难题之一。本文用机器可读词典《现代汉语辞海》提供的搭配实例作为多义词的初始搭配知识,采用适当的统计和自组织方法自动扩大搭配集;为保证学习质量,在学习过程中逐渐增大上下文窗口的长度;提出使用搭配统计表的多元最大对数似然比词义排歧算法。最后,对本文提出的方法进行了实验,实验表明这种算法具有较高的正确率。  相似文献   

10.
利用浅层句法分析提取特征的词义消歧   总被引:1,自引:0,他引:1  
针对如何从文本中提取高质量消歧特征的问题,提出了基于浅层句法分析的消歧特征提取算法,建立了以语块分析识别为核心的特征提取模型.该模型通过对实词类型语块识别、分析中心词语词性和虚词类型语块分析,得到多义词的消歧特征.以北京大学计算语言研究所的现代汉语基本标注语料库为基础,选取了44个多义词,通过使用最大熵消歧模型进行训练和预测实验,准确率达到了78.71%.  相似文献   

11.
本文利用文本分类中文本的特点提出了一种基于模糊集的同义词处理的新方法。本方法充分考虑不同文本类型中同义(近义) 词之间的差别,在训练中自动计算不同类型文本中特征词对其对应的同义概念的隶属度,从而实现了用模糊集来定义同义概念;然后应用同义概念来提取文本中的特征值。另外,本系统还利用模糊集来处理多义词的问题。文中给出了系统的处理算法。比较试验的结果表明该方法提高了分类的正确率,效果是令人满意的。整个系统达到了较高的自动化水平和较强的可移植性。  相似文献   

12.
基于最大熵原理的汉语词义消歧   总被引:3,自引:0,他引:3  
陈笑蓉  秦进 《计算机科学》2005,32(5):174-176
词义消歧是自然语言处理中亟待解决的一个关键问题,本文提出一种基于最大熵模型的有监督的机器学习方法,用于汉语词义消歧。该方法综合了词标记、词性、主题等上下文特征,并用一种统一的表示方法规范化特征形式,解决了多种不同特征之间的融合和特征的知识表示。实验对20个汉语高频多义词进行了测试,平均正确率为87%,验证了该方法的有效性。  相似文献   

13.
基于向量空间模型的有导词义消歧   总被引:22,自引:1,他引:21  
词义消歧一直是自然语言理解中的一个关键问题,该问题解决的好坏直接关系到自然语言处理中诸多应用问题的效果优劣。由于自然语言知识表示的困难,在手工规则的词义消歧难以达到理想效果的情况下,各种有导机器学习方法被应用于词义消歧任务中,借鉴前人的成果引入信息检索领域中空间模型文档词语权重计算技术来解决多义词义项的知识表示问题,并提出了上下文位置权重的计算方法,给出了一种基于向量空间模型的词义消岐有导机器学习方法。该方法将多义词的义项和上下文分别映射到向量空间中,通过计算多义词上下文向量与义项向量的距离,采用k-NN(k=1)方法来确定上下文向量的义项分类。在9个汉语高频多义词的开放和封闭测试中均取得了突出的成绩(封闭测试平均正确率为96.31%,开放测试平均正确率为92.98%),验证了该方法的有效性。  相似文献   

14.
基于语境的语义排歧方法   总被引:8,自引:2,他引:6  
本文针对英汉机器翻译系统(ECMT)中的语义排歧问题,提出了一种根据单词与语境之间的关系以消除单词语义歧义的模型。该模型利用反映单词之间语义共现关系的知识库词典,对有歧义的单词作出排歧。为提高知识库的覆盖率,本模型在对大量语料进行分析的基础上建立起单词语义分类之间的相关程度矩阵,同时采用动态链表来表示和维护语境,给出了寻找歧义单词的最可能的语义的排歧算法。开放测试的实验结果表明本方法使语义排歧的正确率提高约10%。  相似文献   

15.
词义消歧是自然语言处理中的一项基础任务,古汉语信息处理也急需深层次的语义标注工作。该文针对先秦古汉语这一特殊的语言材料,在训练语料和语义资源匮乏的条件下,采用《汉语大词典2.0》作为知识来源,将其词条释义作为义类,每个义项的例句作为训练语料,使用基于支持向量机(SVM)的半指导方法对《左传》进行全文的词义标注。按照频度不同、义项数量不同的原则,我们随机选取了22个词进行了人工检查,平均正确率达到67%。该方法可以广泛用于缺乏训练语料的古汉语义项标注工作,能够在古汉语全文词义标注的起步阶段提供初始结果,为人工标注词语义项提供良好的数据底本,补正传统词典释义不全的问题,进一步丰富汉语史发展研究资料。  相似文献   

16.
Recent research has indicated that degradation of dopaminergic pathways in the mesolimbic forebrain and neocortex are related to the language processing deficits observed in Parkinson's disease (PD) patients, with experimental investigations indicating that the semantic system suffers the greatest impairment. PD patients make slower responses and more errors in semantic judgement tasks compared to controls, even though nonsemantic performance on word-search tasks is unimpaired. These findings are used in this study to predict the performance of the semantic system of the dual-route model of skilled reading (DRC), where the connection strengths between word and word sense levels in the system are systematically manipulated to produce PD-like reductions in dopamine transmission. Low excitation between layers is predicted to produce PD errors in semantic judgements of polysemous words which have a low sense-frequency delta (s.f.d.), that is, a small difference in sense frequency between at least two word senses. Judgements made on high s.f.d words resulted in 100% correct responses over all excitation values, with a stable solution reached at 39–48 epochs. However, for low s.f.d words, incorrect responses were made for low to medium levels of excitation (30–50% errors), only providing the correct solution for medium to high levels of excitation. An interaction was also observed for low s.f.d words between high lateral inhibition in the word sense level, and low-medium excitation, to produce the results most characteristic of PD semantic errors. The results of this study confirm that competitive and inhibitory mechanisms related to dopaminergic gain are responsible for impaired PD performance on semantic processing tasks.  相似文献   

17.
一种基于词义向量模型的词语语义相似度算法   总被引:1,自引:0,他引:1  
李小涛  游树娟  陈维 《自动化学报》2020,46(8):1654-1669
针对基于词向量的词语语义相似度计算方法在多义词、非邻域词和同义词三类情况计算准确性差的问题, 提出了一种基于词义向量模型的词语语义相似度算法.与现有词向量模型不同, 在词义向量模型中多义词按不同词义被分成多个单义词, 每个向量分别与词语的一个词义唯一对应.我们首先借助同义词词林中先验的词义分类信息, 对语料库中不同上下文的多义词进行词义消歧; 然后基于词义消歧后的文本训练词义向量模型, 实现了现有词向量模型无法完成的精确词义表达; 最后对两个比较词进行词义分解和同义词扩展, 并基于词义向量模型和同义词词林综合计算词语之间的语义相似度.实验结果表明本文算法能够显著提升以上三类情况的语义相似度计算精度.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号