基于《同义词词林》深度的词义相似度计算研究

针对词义相似度计算问题,在《同义词词林》的基础上,从语言学角度分析了《词林》中词语间的组织关系,阐述了父结点深度对词义相似度的决定性作用。统计了各层结点及原子词群大小的分布情况。提出了仅使用父结点深度的计算模型和父结点深度与其分支信息相结合的计算模型。运用上述两种方法的词义相似度计算结果与Miller的人工标注值之间的皮尔逊相关系数达到0.854和0.857,根方误差达到1.003和0.991。     

结合依存关系与同义词词林的相似度计算

设计了一种基于依存关系与同义词词林相结合的语义相似度计算方法。该方法通过依存关系分别提取两个文本的关系路径,同时基于同义词词林计算两个文本之间关系路径的语义相似度。在计算两个文本之间的语义相似度时,使用语言技术平台(language technology platform,LTP)对文本进行中文分词以及获取文本的依存关系图,从中提取关系路径,从而可以结合关系路径和同义词词林计算两个文本之间的语义相似度。通过实验,获得的平均偏差率为13.83%。实验结果表明,结合依存关系与同义词词林的语义相似度方法在准确率上相比较基于同义词词林的语义相似度和基于依存关系的语义相似度有了一定的提高。     

基于Logistic函数的《同义词词林》语义相似度计算

目前,词语语义相似度计算结果与人工判别结果存在一定差距主要是因为基于知识本体的语义相似度计算一般都是从数学计算的角度直接利用语义分类词典,而没有从词汇学角度充分利用词典中的语言学知识.因而提出运用语义场理论分析《同义词词林》中词语间的组织关系,阐述深度对语义相似度的决定性作用及分支信息的辅助作用.并且在《词林》深度与分...     

基于词林的词语相似度的度量

词语相似度的计算是人工智能领域的一个基础性的研究课题,它在自然语言处理,QA平台的搭建、语义消歧、文本的聚类和分类这些问题有着很广泛的应用.提出一种基于同义词词林的中文单词相似度计算方法,通过两个单词在词林树中相距的路径长,以及所在分支词义密度来计算两个中文单词间的相似度,并通过观察计算相似性的结果和人主观感觉的相似性的结果的皮尔逊线性相关系数来评价该方法.     

基于知网与词林的词语语义相似度计算

该文提出了一种综合知网与同义词词林的词语语义相似度计算方法。知网部分根据义原层次结构的特征,采用了顶部平缓而底部陡峭的曲线单调递减的边权重策略,改进了现有的义原相似度算法;词林部分采用以词语距离为主要因素、分支节点数和分支间隔为微调节参数的方法,改进了现有的词林词语相似度算法。然后再根据词语的分布情况,采用综合考虑知网与同义词林的动态加权策略计算出最终的词语语义相似度。该方法充分利用了词语在知网与词林中的语义信息,极大地扩充了可计算词语的范围,同时也提高了词语相似度计算的准确率。     

基于信息内容的词林词语相似度计算

针对哈尔滨工业大学《同义词词林》扩展版的层次结构不能有效反映词语之间信息内容含量差异性的问题进行了研究,进行了《同义词词林》作为词语相似度计算本体的结构改造,增加了原编码信息结点的语义,提出了一种较为适合改造后本体的相似度计算策略,经实验证明,修改后的本体更能体现词语在本体中信息内容含量的差异性,提出的相似度计算策略应用在改进后的本体上时,得出的相似度计算结果准确程度达到了较高水平,具有较好的实用价值。     

融合HowNet和词林信息含量的词语相似度计算

目前基于信息含量的中文词语相似度算法普遍使用单一的知识库,存在信息不完备的问题.本文在现有的基于HowNet信息含量的词语相似度算法和基于同义词词林信息含量的词语相似度算法基础上,改进了信息含量的计算方法,并根据词语的不同分布情况将两种算法进行动态融合,充分利用了HowNet和同义词词林中的体系结构信息,改善了现有方法的局限性.经Miller&Charles(MC30)数据集测评,该算法所得到的词语相似度值与人工判定值之间的皮尔森相关系数为0.927,验证了融合多知识库策略的可行性,也证明了本文方法在实用方面可以达到符合人类主观判断的效果.     

基于遗传算法的词语语义相似度计算研究

语义相似度计算就是把词语间语言学上的信息映射为0到1之间的数值.基于知识本体的语义相似度计算方法,利用知识本体提供的信息,建立词语关系和语义相似度之间的函数关系,该方法可解释性强、使用简单,成为语义相似度计算的一类重要方法.提出了一种基于《同义词词林》的语义相似度计算模型,该模型运用遗传算法探索了《同义词词林》语义编码...     

基于同义词词林的句子语义相似度方法及其在问答系统中的应用

提出一种基于同义词词林的句子语义相似度方法,借助同义词词林来计算句子的词形相似度,使用向量距离法得到句子间的词序相似度。同时,对句子进行语义依存句法分析。通过对词形、词序、语义依存相似度加权结合获得句子之间的最终相似度。将该方法应用于常问问题问答系统(Frequency Asked Questions, FAQ)的问句匹配。实验结果表明,该方法在问句匹配上相比传统方法具有更高的准确率。     

多特征结合的词语相似度计算模型

词语相似度计算在基于实例的机器翻译、信息检索、自动问答系统等有着广泛的应用。词语相似度的计算一般都是在基于《知网》的义原的基础上,通过计算概念之间的相似度来获取。文中在综合考虑义原距离、义原深度、义原宽度、义原密度和义原重合度的基础上,利用多特征结合的方法计算词语相似度。为了验证算法的合理性,利用Miller和Charles文献给出的基准词作为测试集合,将计算得到的词语相似度的值与专家值进行比较,计算其皮尔逊相关系数,计算结果达到了0.852。实验结果表明多特征结合的词语相似度计算和专家评定的词语相似度计算非常吻合。     

基于同义词词林信息特征的语义角色自动标注

该文使用同义词词林语义资源库,以词林中编码信息为基础构建新的特征,使用条件随机场模型,研究了汉语框架语义角色的自动标注。该文在先前的基于词、词性、位置、目标词特征的基础上,在模型中加入不同的词林信息特征,以山西大学的汉语框架语义知识库为实验语料,研究了各词林信息特征分别对语义角色边界识别与分类的影响。实验结果表明,词林信息特征可以显著提高语义角色标注的性能,并且主要作用在语义角色分类上。     

一种基于同义词词林的中文大规模本体映射方案

本体映射是解决本体异构问题的重要途径和手段,中文知识是网络开放知识库的重要组成部分,但现有的中文本体映射系统在面对大规模本体映射任务时,显得效率较低且可用性不高,目前仍缺乏针对中文大规模本体映射的相关系统。为了解决中文大规模本体的映射问题,设计并实现了一个面向中文的大规模本体映射系统。首先,提出了一种基于拟核力场势函数的大规模本体压缩方法;其次,提出了一种基于同义词词林的中文概念等价关系确定算法;再次,实现了大规模中文本体映射的原型系统;最后,将本系统与相似度计算相关典型算法进行比较,证明其具备一定的可用性和较高的总体性能。     

知网与同义词词林的信息融合研究

本文主要探讨了将知网(HowNet) 和同义词词林进行信息融合的方法。我们针对知网对词的概念描述和同义词词林对词的语义分类的特点,提出了一种词典信息融合的方法:首先为词林的每个词集确定一个与知网中DEF 类似的概念描述,在此基础上对两部词典中同时收录且均只有一个义项的词语进行双向意义联结,最后根据分类算法对两部词典中同时收录非单一义项的词语进行双向意义联结。实验表明,本文提出的处理策略达到了93 %的信息融合正确率,融合后形成的新词典兼有词林的分类学信息和知网的概念描述信息。     

《同义词词林》在中文实体关系抽取中的作用

语义信息在命名实体间语义关系抽取中具有重要的作用。该文以《同义词词林》为例,系统全面地研究了词汇语义信息对基于树核函数的中文语义关系抽取的有效性,深入探讨了不同级别的语义信息和一词多义等现象对关系抽取的影响,详细分析了词汇语义信息和实体类型信息之间的冗余性。在ACE2005中文语料库上的关系抽取实验表明,在未知实体类型的前提下,语义信息能显著提高抽取性能;而在已知实体类型的情况下,语义信息也能明显提高某些关系类型的抽取性能,这说明《词林》语义信息和实体类型信息在中文语义关系抽取中具有一定的互补性。     

一种基于词义向量模型的词语语义相似度算法

针对基于词向量的词语语义相似度计算方法在多义词、非邻域词和同义词三类情况计算准确性差的问题, 提出了一种基于词义向量模型的词语语义相似度算法.与现有词向量模型不同, 在词义向量模型中多义词按不同词义被分成多个单义词, 每个向量分别与词语的一个词义唯一对应.我们首先借助同义词词林中先验的词义分类信息, 对语料库中不同上下文的多义词进行词义消歧; 然后基于词义消歧后的文本训练词义向量模型, 实现了现有词向量模型无法完成的精确词义表达; 最后对两个比较词进行词义分解和同义词扩展, 并基于词义向量模型和同义词词林综合计算词语之间的语义相似度.实验结果表明本文算法能够显著提升以上三类情况的语义相似度计算精度.     

一种基于含糊同义词的查询扩展方法

随着互联网的发展,人们接触到的信息量越来越大。为了使用户能快速找到所需要的信息,提高传统检索系统的查准率变得很重要。查询扩展方法能在一定程度上提高查准率。以初始查询语句为基础,提出一种基于《同义词词林》和《知网》的同义词扩展模糊查询方法。     

基于同义词词林和规则的中文远程监督人物关系抽取方法

远程监督是一种根据知识库自动对齐实体进行大规模语料标注的方法,但过强的假设导致获取的语料混有大量的噪声.针对这一问题,提出了一种基于同义词词林和规则的中文远程监督人物关系抽取方法,该方法基于多示例学习思想将人物关系句子划分为包(bag)级,利用同义词词林对人物关系触发词做词频统计,确定最大词频候选关系和次大词频候选关系,再结合特定的人物关系判别规则判断人物关系.对bag判断出某个人物关系后,再对其进一步进行多关系预测,最终得到人物关系预测结果.在大规模的中文远程监督人物关系抽取公开数据集(IPRE)上的实验结果表明,所提方法得到的结果具有较好的F1值,并且能识别远程监督数据测试集标签所没标注出的人物关系.     

面向英文辅助写作的词语相似度应用研究

词语相似度计算是自然语言处理领域中的关键问题之一,在机器翻译、信息检索等方面有着重要的应用价值.在英文辅助写作系统中,因为缺少相关提示,用户起初往往不能明确自己的查询需求,导致不能快速而准确地检索到需要的信息,从而影响用户使用满意度.结合了语义词典WordNet和利用上下文信息对词语语义的约束性来区分语境变换带来的词语间相似度的差异的方法,提出了一种英文辅助写作系统中的相关提示词的生成方法,该方法生成优质的相关提示词,帮助用户快速且准确地检索到所需信息.     

基于Word2Vec的WordNet词语相似度计算研究

当前大部分WordNet词语相似度计算方法由于未充分考虑词语的语义信息和位置关系,导致相似度的准确率降低.为解决上述问题,提出了一种使用词向量模型Word2Vec计算WordNet词语相似度的新方法.在构建WordNet数据集时提出一种新形式,不再使用传统的文本语料库,同时提出信息位置排列方法对数据集加以处理.利用Wo...     

基于同义词词林和预训练词向量的微调方法

同义词挖掘是自然语言处理领域中的一个基础任务,而同义词对的判别是该任务的一个重要部分。传统两大类方法,基于分布式表示和基于模板的方法,分别利用了语料的全局统计信息和局部统计信息,只能在精确率和召回率中权衡。随着预训练词向量技术的发展,基于分布式表示的方法存在一种简单高效的方案,即直接对预训练好的词向量计算相似度,将此表示为语义相似度。然而,这样的思路并没有利用到现有的同义词对这一外部知识。该文提出基于《同义词词林》的词向量微调方法,利用同义词对信息,增强预训练词向量的语义表示。经过实验,该微调方法能很好地完成同义词对的判别。