基于关联图和文本相似度的实体消歧技术研究

实体链接是指对于文本中提到的实体指称,在知识图谱中找到它所对应的真实实体的过程.利用实体链接技术可以把网络数据和知识库链接起来,在对数据进行处理时就能运用知识库中的结构化信息,很大地促进了自然语言处理领域的发展.论文提出一种将局部消歧和全局消歧相结合的实体消歧方法.在局部消歧方面,利用BiLSTM+Attention模型捕获文本中实体指称的上下文信息,与知识库中的实体信息进行相似性计算得到候选实体的局部消歧得分.在全局消歧方面,构造候选实体之间的关联图,将实体的局部消歧得分作为每个实体节点的初始得分,利用PageRank算法逐步完成整个文档中所有指称项的消歧过程.实验结果表明论文的方法拥有较好的消歧效果.     

基于特征加权重叠度的中文实体协同消歧方法

该文针对中文实体消歧中的特征项部分匹配和协同消歧问题,提出基于特征加权重叠度的中文实体协同消歧方法。该方法利用实体指称上下文中多种特征的加权重叠度计算实体指称相似度,针对实体链接与消歧聚类约束,分类定义实体指称相似度计算方法,构建待消歧实体相似度矩阵,采用近邻传播聚类算法实现中文实体协同链接与消歧。基于CLP-2012评测数据的实验表明,提出的方法取得了较好的消歧效果,准确率、召回率和F值分别达到了84.01%、87.75%和85.65%。     

基于多源知识和Ranking SVM的中文微博命名实体链接

命名实体是文本中承载信息的重要单元,正确分析存在歧义的命名实体对文本的理解起着关键性作用。该文提出基于多源知识和Ranking SVM的中文微博命名实体链接,结合同义词词典、百科资源等知识产生初始候选实体集合,同时从文本中抽取多种组合特征,利用Ranking SVM对候选实体集合进行排序,从而得到目标实体。在NLP&CC2014^①中文微博实体链接评测数据集上进行了实验,获得了89.40%的平均准确率,与NLP&CC2014中文微博实体链接评测取得最好成绩的系统相比,本文的系统具有一定的优势。
     

基于词向量语义分类的微博实体链接方法

微博实体链接是把微博中给定的指称链接到知识库的过程,广泛应用于信息抽取、自动问答等自然语言处理任务(Natural language processing,NLP). 由于微博内容简短,传统长文本实体链接的算法并不能很好地用于微博实体链接任务. 以往研究大都基于实体指称及其上下文构建模型进行消歧,难以识别具有相似词汇和句法特征的候选实体. 本文充分利用指称和候选实体本身所含有的语义信息,提出在词向量层面对任务进行抽象建模,并设计一种基于词向量语义分类的微博实体链接方法. 首先通过神经网络训练词向量模板,然后通过实体聚类获得类别标签作为特征,再通过多分类模型预测目标实体的主题类别来完成实体消歧. 在NLPCC2014公开评测数据集上的实验结果表明,本文方法的准确率和召回率均高于此前已报道的最佳结果,特别是实体链接准确率有显著提升.     

面向实体链接的多特征图模型实体消歧方法*

实体链接技术是将文本中的实体指称表述项正确链接到知识库中实体的过程。其中,命名实体消歧的准确性直接影响实体链接的准确性。针对中文实体链接中命名实体的消歧,提出一种融合多种特征的解决方案。首先,以中文维基百科为知识库支撑,从实体指称表述项的上下文和候选实体在维基百科的内容描述两个方面,抽取多种语义特征并计算语义相似度;然后将语义相似度融合到构建的图模型中,基于PageRank算法计算该图模型的最终平稳分布;最后对候选实体排序,选取Top1实体作为消歧后的实体链接结果。实验通过与仅仅围绕名称表述特征进行消歧的基线系统相比,F值提升了9%,并且高于其他实体链接技术实验的F值,表明该方法在解决中文实体链接技术的命名实体消歧问题上,取得了较好的整体效果。     

基于主题关系的中文短文本图模型实体消歧

实体消歧作为知识库构建、信息检索等应用的重要支撑技术,在自然语言处理领域有着重要的作用。然而在短文本环境中,对实体的上下文特征进行建模的传统消歧方式很难提取到足够多用以消歧的特征。针对短文本的特点,提出一种基于实体主题关系的中文短文本图模型消歧方法,首先,通过TextRank算法对知识库信息构建的语料库进行主题推断,并使用主题推断的结果作为实体间关系的表示;然后,结合基于BERT的语义匹配模型给出的消歧评分对待消歧文本构建消歧网络图;最终,通过搜索排序得出最后的消歧结果。使用CCKS2020短文本实体链接任务提供的数据集对所提方法进行评测,实验结果表明,该方法对短文本的实体消歧效果优于其他方法,能有效解决在缺乏知识库实体关系情况下的中文短文本实体消歧问题。     

基于多特征实体消歧的中文知识图谱问答

问答系统应用于人工智能、自然语言处理和信息检索领域获得了较好的效果,知识图谱问答（KBQA）作为其中的重要组成部分,是一项极具挑战性的自然语言处理任务。然而,目前常见的中文KBQA系统对于实体链接的实体消歧部分并没有给出很好的解决方法。提出一种基于多特征实体消歧的中文KBQA系统,通过结合实体自身的知名度特征、问句与实体关系的语义相似度特征、问句与实体的字符相似度特征和语义相似度特征,构建多特征实体消歧模型,提高实体链接准确率,为系统的问句分类和最优路径选取部分提供更准确的主题实体,从而提升系统性能。实验结果表明,该系统在CCKS2019-CKBQA评测数据的验证集上平均F1值为72.08%,其中采用多特征消歧模型的实体链接准确率达到90.84%,较使用知名度消歧模型和评测大赛第1名分别提升6.35和0.11个百分点。     

基于上下文信息的中文命名实体消岐方法研究

在语义标注过程中,为了消除文本中给定的命名实体与知识库中实体映射过程中出现的歧义问题,提出了一种基于上下文信息相似度值排序的命名实体消歧方法。消岐方法包括实体表示预处理、候选实体列表构建和相似度值排序算法三部分。针对命名实体指称多样性问题,使用实体表示预处理方法抽取标准实体。然后利用中文在线百科构建语义知识库,得到标准实体的语义列表。同时提出利用相似度值排序方法解决标准实体与语义列表映射的指称歧义性问题,对于在知识库中未找到语义的实体采用HAC聚类算法进行消岐处理。实验结果表明,本文提出的方法能够有效的把中文网页真实数据集中文本的实体映射到知识库中对应无歧义的实体上。     

中文异构百科知识库实体对齐

针对传统实体对齐方法在中文异构网络百科实体对齐任务中效果不够显著的问题,提出一种基于实体属性与上下文主题特征相结合的实体对齐方法。首先,基于百度百科及互动百科数据构造中文异构百科知识库,通过统计方法构造资源描述框架模式（RDFS）词表,对实体属性进行规范化;其次,抽取实体上下文信息,对其进行中文分词后,利用主题模型对上下文建模并通过吉布斯采样法求解模型参数,计算出主题-单词概率矩阵,提取特征词集合及对应特征矩阵;然后,利用最长公共子序列（LCS）算法判定实体属性相似度,当相似度位于下界与上界之间时,进一步结合百科类实体上下文主题特征进行判定;最后,依据标准方法构造了一个异构中文百科实体对齐数据集进行仿真实验。实验结果表明,与经典的属性相似度算法、属性加权算法、上下文词频特征模型及主题模型算法进行比较,所提出的实体对齐算法在人物领域和影视领域的准确率、召回率与综合指标F值分别达到97.8%、88.0%、92.6%和98.6%、73.0%、83.9%,比其他方法均有较大的提高。实验结果验证了在构建中文异构百科知识库场景中,所提算法可以有效提升中文百科实体对齐效果,可应用到具有上下文信息的实体对齐任务中。     

基于局部注意力机制的中文短文本实体链接

实体链接是加强语义理解和连接知识信息与文本的有效方法,但目前多数模型对上下文语境的精准理解受限于文本长度,面向短文本的实体链接任务存在实体边界识别错误和实体语义理解错误的问题。针对中文短文本的实体链接任务,构建基于局部注意力机制的实体链接模型。在实体消歧的过程中,通过对待消歧文本与实体的知识描述文本进行拼接,将短文本转换为长文本,同时引入局部注意力机制,缓解长距离依赖问题并强化局部的上下文信息。实验结果表明,相比于传统加入BIO标注方法的模型,该模型在CCKS2019和CCKS2020数据集上的F1值分别提升了4.41%和1.52%。     

基于XML的ER模型的建立

XML已经成为Web上表示结构化和半结构化数据的标准格式,为了描述XML数据的结构和内容,业界已经提出了多个XML模式语言。虽然XML模式对ValidatingXML文档非常有用,但它不适用于要求表示数据有关语义知识的任务,对这样的任务最好使用概念模式。针对XML模式的概念建模,介绍了一种扩展实体关系模型及将用XML模式语言定义的模式转换成扩展实体模式的过程。     

关系数据库的实体间关系提取方法的研究

知识图谱需要从大量文本、图像、数据库等信息源中提取知识,而关系数据库是其中一个重要的数据源,存储了大量高质量数据。目前,有许多研究工作集中于从关系数据库到RDF的转换,主要考虑结构信息的转换,较少研究实体间语义关系的发现。提出一种基于随机森林的数据库实体间语义关系发现与转换方法,将关系数据转换为RDF,能够有效地发现数据库中实体之间的隐含语义关系。该方法构建融合数据库模式和数据内容的特征向量,设计并实现基于随机森林的实体间语义关系发现算法;基于发现的语义关系,实现多对多、一对多等实体语义关系的转换。实验结果表明,相对于传统的直接映射算法,该方法有更高的提取质量,减少了最终生成知识图谱中的冗余与错误。     

多信息加权融合实体对齐算法

针对已有实体相似度计算方法在实体对齐任务上准确率较低的问题,提出一种多信息加权融合实体对齐算法.分别采用动态规划求解最小编辑距离及Doc2 vec模型训练文本获取包含语义信息的特征向量等方法,对实体的结构化属性及非结构化文本进行相似度求解;通过加权平均获取实体综合相似度,完成实体对齐任务.对比实验表明,所提出算法有效提高了实体对齐的准确率,并具有更好的算法迁移性.     

基于BILSTM_CRF的知识图谱实体抽取方法

针对传统知识图谱实体抽取方法需要大量人工特征和专家知识的问题,提出一种基于BILSTM_CRF模型的神经网络结构实体抽取方法。它既能使用双向长短时记忆网络BILSTM(Bidirectional Long Short-Term Memory)提取文本信息的特征,又可利用条件随机场CRF(Conditional Random Fields)衡量序列标注的联系。该方法对输入的文本进行建模,把句子中的每个词转换为词向量;利用BILSTM处理分布式向量得到句子特征;使用CRF标注并抽取实体,得到最终结果。实验结果表明,该方法的准确率和召回率更高,F1值提升约8%,具有更强的适用性。     

时态实体——关系数据模型TER的研究

本文形式定义了一个通用时态数据模型,即时态实体－关系模型（ＴＥＲ模型）。在ＴＥＲ模型中,我们给出了类的一致性定义,特别是对关系类采用了有效的处理方法。此外,我们还建立了对应ＴＥＲ的代数系统。     

民航突发事件实体识别方法研究

针对民航突发事件实体自动获取的问题,提出一种将双向长短期记忆网络(BiLSTM)与条件随机场(CRF)结合的民航突发事件实体识别方法。利用领域词典对民航突发事件实体进行自动标注,并将已标注的数据转化为分布式字符向量;采用BiLSTM模型获取序列文本的上下文特征;通过CRF模型获得序列标注结果。实验结果表明,与传统的CRF方法相比,该方法的F值有明显的提升,有效解决了传统方法在识别民航突发事件文本信息中包含复合实体或混合实体方面效率低且大量使用人工定义特征模板的问题,为民航突发事件知识图谱的自动构建提供了更好的方法支撑。     

基于虚结点方法的在线实体指代项识别

在自然语言处理中,实体指代项识别通常被看作是序列标注任务进行处理.而实体指代项又是由多个连续的序列标注子任务组成的.这些子任务包括切分识别、实体识别和指代项识别.传统的管道方法经常会导致每步间的错误向下传递.级联方式的联合模型会带来大量的标记.虚结点方法同时规避了上面两个方法的缺点.系统采用虚结点的在线联合模型,不仅减少了训练时间,性能也比普通的在线联合模型要好.     

一种基于共坐标上升算法的人名识别方法

共坐标上升算法(coordinate ascent algorithm)是一种迭代优化技术,可以用来指导特征权值的训练。提出一种基于该算法的中国人名识别方法,避免了已有的一些方法中人为指定特征权值的问题,更好地体现特征之间存在的隐含关系。该方法从基础语料中获取特征库及成名概率词典,在训练语料上提取相应特征后,采用共坐标上升学习算法训练得到特征权重以及成名阈值参数,运用学习得到的各参数对普通文本中的中国人名进行识别。提出的方法无需对训练语料进行人工标注,在人名识别时也无需进行分词和词性标注处理,代价低、性能优良、有较好的实用性,在开放测试集上F1值达到93.02%。     

一种实体识别的后期处理优化算法

传统实体识别中有两种常用的方法:一种方法是基于概率模型的机器学习方法;另一种方法是依靠领域知识作度量标准匹配的方法。在基于相似度和概率的记录匹配技术的基础之上增加了数据预处理和后期处理,并在后期处理过程中进行了优化,主要包括不一致性消除、记录更新以及等价消除。实验结果表明,该算法得到了更好的实体识别结果。     

基于聚类的林业病虫害实体抽取研究

在基于半监督和主动学习的信息抽取研究中,对初始样本集的选择,鲜有考虑样本在数据集中的分布情况。以林业领域的病虫害抽取为例,提出基于聚类的方法来获取样本在数据集中的分布信息,以此指导初始样本集和迭代过程中标注样本的选择。实验结果表明,基于聚类的方法相比于随机初始训练集,在不同标注样本集个数的情况下,模型f值均有提高。相比于单一的主动学习方法,在性能相近的情况下,节约了30%左右的人工标注量。