一种基于HowNet的词语语义相似度计算方法

目前基于How Net的词语语义相似度计算多是根据上下位关系计算语义距离的方法,其结果与人的主观认识存在差异。提出了一种词语语义相似度计算的改进方法,在原有方法基础上,同时考虑影响词语相似度的多种因素,如How Net中义原的深度和密度等,进而挖掘义原间关系,改进原有计算方法。实验结果表明,利用所提出的改进方法计算的词语语义相似度更加贴合人的主观认识。     

中文问句分类特征的研究

针对"不同的问句分类特征对问句分类的影响不相同,提取和处理这些特征的时间复杂度也不相同"的问题,提取问题疑问词、核心关键词(疑问词的一二级依存词和问句中心语)的主要义原、核心关键词的首义原、问句主谓宾的主要义原、命名实体、名词单(复)数等六种分类特征,采用支持向量机分类算法,对事实疑问句进行不同特征组合的分类对比实验,发现采用词义消岐技术提取的主要义原不仅对分类的准确率影响明显,而且大幅降低特征向量的维数,减少了处理时间。     

一种融合义原的中文摘要生成方法

旨在对冗长的文本进行简短精确的总结,同时保留文本的原始语义。该文提出一种融合义原的中文摘要生成方法(Add Sememe-Pointer Model, ASPM),以词为单位在LCSTS数据集上进行实验。算法利用基于Seq2Seq的指针网络模型以解决由于词汇表规模导致的未登录词问题。考虑到中文一词多义现象较多,只通过指针网络模型难以很好地理解文本语义,导致生成的摘要可读性不高。方法引入了义原知识库,训练多义词的词向量表示,准确地捕捉一个词在上下文的具体含义,并对LCSTS中的一些多义词进行义原标注,以使算法能更好地获取数据集中词语的语义信息。实验结果表明,该文提出的融合义原的中文摘要生成方法可以得到更高的ROUGE分数,使生成的摘要更加具有可读性。     

限定语义距离的关键词同义扩展及精简

针对现存的单纯借助同义词词林或知识词典扩展关键词方法中存在噪音数据和计算量大的问题,提出了先扩展后精简的方法,即先利用同义词词林进行同义扩展,再利用知网义原树计算扩展词之间的语义距离,依据语义距离剔除相似度较小的噪音数据,实现关键词集合的精简。实验表明,当词语相似度阈值取0.8时,精简比例高达46.9%,精简后的关键词集合有效剔除了噪音数据,兼顾了信息检索的召回率和准确率,表现出良好的综合性能。     

基于知网的词语语义相似度改进算法研究

词语语义相似度计算在很多自然语言处理相关领域都有着广泛应用.基于知网的现有词语语义相似度计算方法未深入考虑同棵义原层次树的义原距离、义原深度、义原密度及主次关系的影响,致使相似度计算结果并不够精确.针对该问题,提出一种词语语义相似度改进算法,通过分析知网中的义项表达式和义原层次树,用集合的加权平均值代替了义项相似度最大...     

中文词语语义相似度计算——基于《知网》2000

词语语义相似度的计算,一种比较常用的方法是使用分类体系的语义词典(如Wordnet)。本文首先利用Hownet中“义原”的树状层次结构,得到“义原”的相似度,再通过“义原”的相似度得到词语(“概念”)的相似度。本文通过引入事物信息量的思想,提出了自己的观点: 认为知网中的“义原”对“概念”描述的作用大小取决于其本身所含的语义信息量;“义原”对“概念”的描述划分为直接描述和间接描述两类,并据此计算中文词语语义相似度,在一定程度上得到了和人的直观更加符合的结果。     

一种改进的基于《知网》的词语语义相似度计算

中科院刘群的基于《知网》的词语相似度计算是当前比较有代表性的计算词语相似度的方法之一。在测试中我们发现对一些存在对义或反义的词语与同义、近义词语一样具有较高的相似度,一些明显相似的词反而相似度较低,如“美丽”与“贼眉鼠眼”的相似度为0.814 815,与“优雅”的相似度为0.788 360 ,“深红”与“粉红”的相似度仅为0.074 074,这将不利于进行词语的极性识别。基于文本情感色彩分析的需要,把词语相似度的取值范围规定为[-1,+1],在刘群论文的基础上,进一步考虑了义原的深度信息,并利用《知网》义原间的反义、对义关系和义原的定义信息来计算词语的相似度。在词语极性识别实验中,得到了较好的实验结果P值为99.07%,R值为99.11%。     

基于局部语义相关性的定义文本义原预测

作为人类语言的最小语义单位,义原已被成功应用于许多自然语言处理任务。人工构造和更新义原知识库成本较大,因此义原预测被用来辅助义原标注。该文探索了利用定义文本为词语自动预测义原的方法。词语的各个义原通常都与定义文本中的不同词语的语义有相关关系,这种现象被称为局部语义相关性。与之对应,该文提出了义原相关池化(SCorP)模型,该模型能够利用局部语义相关性来预测义原。在HowNet上的评测结果表明,SCorP取得了当前最好的义原预测性能。大量的定量分析进一步证明了SCorP模型能够正确地学习义原与定义文本之间的局部语义相关性。     

基于知网与搜索引擎的词汇语义相似度计算

提出一种基于知网与搜索引擎的词汇语义相似度计算方法。利用义原在层次体系树的深度、密度、信息量优化义原的相似性计算。将逐点共有信息（PMI）算法与归一化谷歌距离（NGD）算法结合优化基于搜索引擎的词汇语义相似度计算。将词汇的词性作为权重因子融合知网与搜索引擎的词汇相似度计算结果。实验结果表明,与基于知网和基于搜索引擎的语义相似度计算方法相比,所提出的方法在NLPCC测试集上的平均相似度更接近于测试集的评测标准,在汽车票务领域的词汇相似度计算中具有较好的应用效果。     

基于《知网》的词语相似度计算方法

词语相似度计算中常用的一种方法是基于某种语义词典的计算。首先介绍《知网》中的基本概念和层次体系结构,借鉴刘群、李素建在词语相似度方面的基础理论,利用《知网》的义原层次体系结构计算出其中的义原相似度,再计算出概念的相似度,最后得到词语的相似度。还对其中的计算方法做出适当的改进调整,使其计算出的结果更加符合实际情况。