基于深度学习的威胁情报知识图谱构建技术

随着网络威胁日益增多,威胁情报的知识图谱构建技术成为了网络安全领域的重要研究方向;然而,目前知识图谱构建技术对知识的获取缺乏快速性和准确性。针对这些问题,本文提出一种监督性的深度学习模型,对威胁情报的实体和实体关系进行自动化抽取,并通过图数据库进行知识图谱的可视化展示。实验结果表明,本文提出的基于深度学习模型对威胁情报实体和实体抽取的方法,在准确性上有着较大提高,为自动化构建威胁情报知识图谱提供有力的保障。     

基于图排序和最大信息增益的领域实体抽取方法

领域知识图谱在各行各业中都发挥着重要作用,领域实体的获取则是构建领域知识图谱的重要基础。数据标注、编写抽取规则等现有的实体抽取方法往往需要较多的人工参与工作。提出一种基于图排序的实体抽取方法和基于最大信息增益的实体扩展方法来构建领域实体集,通过实体识别获得候选实体,基于维基百科的背景信息计算候选实体间的相关度构建实体图,并利用基于置信度传播的图排序算法筛选领域核心实体。在DBpedia中根据最大信息增益来平衡类与领域核心实体相关性及类的抽象程度两个因素以生成实体扩展的共性类。在此基础上,通过SKOS体系中的“Is subject of”关系获得共性类的实例实体,并根据基于字符串相似和结构相关度的方法对扩展实例实体进一步筛选,最终获得全面、准确的领域实体集。以数据结构课程为例构建该课程领域实体集,得到1 115个实体。实验结果表明,在领域数据集上,领域实体抽取F1值达到0.67,能够在较少人工参与的条件下有效获得领域实体,有助于领域知识图谱的构建。     

基于BERT-BiGRU-CRF与多头注意力机制的地理命名实体识别

地理知识图谱作为一种科学领域的知识图谱,从概念探讨和初步实验阶段快速发展为地理信息科学领域的跨学科研究热点。地理命名实体识别是地理知识图谱构建的基础,直接影响着地理知识图谱的构建效率与质量。设计了一个地理知识图谱应用管理系统,针对其中地理实体库构建过程依赖人工制定规则以及信息提取不充分等问题,面向地理知识图谱构建过程进行地理命名实体识别研究。首先,通过人工标注方法构建了一个地理知识语料库;其次,通过BERT预训练模型得到结合语境信息的动态字向量,利用双向门控循环单元提取全局语义特征,并基于注意力机制获得增强语义特征;最后,通过CRF解码输出概率最大的全局最优标签序列,实现地理命名实体的自动识别。实验结果表明,相比传统的BiLSTM-CRF、BERT-BiLSTM-CRF等模型,所提出的基于BERT-BiGRU-CRF与多头注意力机制的模型在地理命名实体识别任务中表现更优,能够为地理知识图谱构建提供有效支撑。     

基于多模态数据的行业知识图谱的构建

知识图谱具有可视化和使用映射关系表现信息间相互关联的特点,在知识分析领域广泛应用。通过系列化图的形式表达知识在不断迭代的过程中存在相互间结构关联强弱的特点,因此以汽车领域为例,构建了汽车行业的知识图谱,并通过软件来实现。先选取汽车之家网站上公开的数据,并对其进行分析,再提取部分多模态的信息,从而补全汽车行业相关数据。最后,对汽车之家数据构建垂直命名实体识别的词典,研究并实现了通用和专用垂直领域的命名实体识别方法。     

基于MFE-BERT与FNNAttention的心理医学知识图谱构建

针对心理医学领域文本段落冗长、数据稀疏、知识散乱且规范性差的问题, 提出一种基于多层级特征抽取能力预训练模型(MFE-BERT)与前向神经网络注意力机制(FNNAttention)的心理医学知识图谱构建方法. MFE-BERT在BERT模型基础上将其内部所有Encoder层特征进行合并输出, 以获取包含更多语义的特征向量, 同时对两复合模型采用FNNAttention机制强化词级关系, 解决长文本段落语义稀释问题. 在自建的心理医学数据集中, 设计MFE-BERT-BiLSTM-FNNAttention-CRF和MFE-BERT-CNN-FNNAttention复合神经网络模型分别进行心理医学实体识别和实体关系抽取, 实体识别F1值达到93.91%, 实体关系抽精确率达到了89.29%, 通过融合文本相似度与语义相似度方法进行实体对齐, 将所整理的数据存储在Neo4j图数据库中, 构建出一个含有3652个实体, 2396条关系的心理医学知识图谱. 实验结果表明, 在MFE-BERT模型与FNNAttention机制的基础上构建心理医学知识图谱切实可行, 提出的改进模型所搭建的心理医学知识图谱可以更好地应用于心理医学信息管理中, 为心理医学数据分析提供参考.     

基于双向GCN和CVm的实体对齐模型研究

实体对齐旨在发现并链接不同知识图谱中指向现实世界的相同实体对象.针对基于图卷积网络的实体对齐通常作用于单一关系类型的无向图,容易导致对应实体学习的嵌入结果不一致问题,构建了一种基于双向图卷积网络和变异系数法的实体对齐模型.该模型通过拆分非对称邻接权重矩阵构建双向图卷积网络方法,学习实体前后向隐藏特征,实现实体的完整表示;同时通过变异系数法为属性加权,选择最有代表性的实体局部语义信息,有效提高实体对齐精确度.通过在两组大型真实异构数据集上对模型进行验证,实验结果表明,该方法与现有基于嵌入的实体对齐方法相比Hit@1值平均提高了4％,同时保持较高的平均倒数秩,在一定程度上可以提高实体对齐效果.     

基于荔枝和龙眼病虫害知识图谱的问答系统

病虫害一直以来都是影响农作物生产的重要原因,在该领域构建基于知识图谱的问答系统有助于智慧农业的发展,是人工智能时代下农业信息化的重要举措.该研究针对专家内部作物病虫害数据,编写程序对其进行清洗、知识提取等操作,完成该领域的知识图谱构建任务.对病虫害文本进行序列标注,完成实体识别模型构建用于问句实体识别,并构建文本分类模型对问句进行意图识别,编写模版规则匹配可执行Cypher语句,从知识图谱中得到答案.结合Flask与React前后端分离的Web框架,最终形成完整的基于图谱的问答系统.     

实体对齐研究综述

实体对齐(Entity Alignment)旨在发现不同知识图谱(Knowledge Graph)中指代相同事物的实体,是知识图谱融合的关键技术,近年来受到了广泛的关注.早期,研究者们使用字符串的各种特征来进行实体对齐工作.近年来,随着知识表示学习(Knowledge Representation Learning)技术的不断发展,研究者们提出了许多基于知识表示学习的实体对齐方法,效果明显优于传统方法.然而,实体对齐的研究仍然存在着许多亟待解决的问题与挑战,比如数据质量、计算效率等.本文从实体对齐的定义、数据集和评价指标出发,详细深入地综述和比较了传统实体对齐方法和基于知识表示学习的实体对齐方法.针对传统方法,分类介绍了基于相似性计算和基于关系推理的实体对齐方法,并深入研究了每类方法对字符特征、属性特征、关系特征的利用,同时深入分析了不同方法之间的优势与不足.针对基于知识表示学习的实体对齐方法,本文进行了重点讨论、分析和对比.首先,本文将该类实体对齐方法抽象为由三个模块(即嵌入模块、交互模块和对齐模块)组成的统一框架,依据三个模块对每个方法进行了详细的综述.进一步地,根据方法所利用的信...     

基于知识增强的命名实体识别方法研究

命名实体识别作为自然语言处理中一项十分基础的任务，其目的是从一段用自然语言描述的文本中识别出相应的实体及类型。知识图谱作为以三元组形式存在的外部知识，已经在很多自然语言处理任务中得以应用并取得了良好效果。文中提出了一种基于知识图谱信息增强的注意力对齐命名实体识别方法，首先通过嵌入层和注意力机制嵌入知识图谱信息，获取知识图谱三元组信息的表示；其次通过BERT-BiLSTM获取句子的上下文表示；然后通过一种注意力对齐模块分配三元组权重融合知识图谱信息与句子信息的表示；最后通过softmax控制融合后的表示向量的预测输出，进而获取实体的标签。该方法有效避免了因知识图谱的融合而改变原句子的语义信息，同时也使得句子中的词向量具有丰富的外部知识。所提方法在中文通用数据集MSRA和医疗领域专用数据集Medicine上的F1值分别达到了95.73%和93.80%,相比基线模型提升了1.21%和1.3%。     

基于动态图注意力与标签传播的实体对齐

实体对齐是多源数据库融合的有效方法,旨在找出多源知识图谱中的共指实体。近年来,图卷积网络(GCN)已成为实体对齐表示学习的新范式,然而,不同组织构建知识图谱的目标及规则存在巨大差异,要求实体对齐模型能够准确发掘知识图谱之间的长尾实体特征,并且现有的GCN实体对齐模型过于注重关系三元组的结构表示学习,忽略了属性三元组丰富的语义信息。为此,提出一种实体对齐模型,引入动态图注意力网络聚合属性结构三元组表示,降低无关属性结构对实体表示的影响。同时,为缓解知识图谱的关系异构问题,引入多维标签传播对实体邻接矩阵的不同维度进行压缩,将实体特征根据压缩后的知识图谱邻接关系进行传播以获得关系结构表示,最后通过线性规划算法对实体表示相似度矩阵进行迭代以得到最终的对齐结果。在公开数据集ENFR-15K、EN-ZH-15K以及中文医学数据集MED-BBK-9K上进行实验,结果表明,该模型的Hits@1分别为0.942、0.926、0.427,Hits@10分别为0.963、0.952、0.604,MRR分别为0.949、0.939、0.551,消融实验结果也验证了模型中各模块的有效性。     

基于图神经网络的多信息优化实体对齐模型

实体对齐是知识融合中的一个关键步骤，旨在发现知识图谱间存在对应关系的实体对。知识图谱融合后可以为下游提供更加广泛而准确的服务。现有的实体对齐模型对实体名称和关系的利用往往不足，在得到实体的向量表示后通过单一的迭代策略或者直接计算得出实体的对齐关系，忽略了部分有用信息，导致实体对齐的结果欠佳。针对上述问题，提出了一种基于图神经网络的多信息优化实体对齐模型。首先，模型的输入融合了实体名称中的单词信息和字符信息，通过注意力机制学习关系的向量表示并利用关系传递信息。在利用实体和关系的预对齐结果修正实体对齐矩阵的基础上，使用延迟接受算法修正部分错误对齐的结果。所提模型在DBP15K的3个子数据集上进行了对比和消融实验。结果表明，相比基线模型，其Hits@1指标分别提高了4.47%,0.82%和0.46%,Hits@10和MRR指标也取得了良好的结果。通过消融实验进一步验证了所提模型的有效性，总体上可以获得更加准确的实体对齐结果。     

基于双重注意力和关系语义建模的实体对齐方法

实体对齐任务目标是在知识图谱间发现更多的等价实体对。目前一些实体对齐方法聚焦实体结构和属性信息,却没有很好地处理两者交互学习的问题。为此,提出一种基于双重注意力和关系语义建模的实体对齐方法,采用双重注意力在属性分类嵌入的基础上学习实体属性和结构的交互特征,采用关系语义建模对实体结构嵌入进行局部语义优化,最后对实体多方面语义特征下的相似度矩阵进行融合。在三个真实数据集上的对齐准确率分别可达到81.00%、83.90%、92.73%,与基准模型相比平均提升了2.62%,实验结果表明提出的方法可以有效地识别出对齐实体对。     

基于双重注意力和关系语义建模的实体对齐方法

实体对齐任务目标是在知识图谱间发现更多的等价实体对。目前一些实体对齐方法聚焦实体结构和属性信息,却没有很好地处理两者交互学习的问题。为此,提出一种基于双重注意力和关系语义建模的实体对齐方法,采用双重注意力在属性分类嵌入的基础上学习实体属性和结构的交互特征,采用关系语义建模对实体结构嵌入进行局部语义优化,最后对实体多方面语义特征下的相似度矩阵进行融合。在三个真实数据集上的对齐准确率分别可达到81.00%、83.90%和92.73%,与基准模型相比平均提升了2.62%,实验结果表明提出的方法可以有效地识别出对齐实体对。     

细粒度苹果病虫害知识图谱构建研究

鉴于现有农业知识图谱对病虫害防治相关实体、关系刻画不够细致的问题,以苹果病虫害知识图谱构建为例,研究细粒度农业知识图谱的构建方法。对苹果病虫害知识的实体类型和关系种类进行细粒度定义,共划分出19种实体类别和22种实体关系,以此为基础标注并构建了苹果病虫害知识图谱数据集AppleKG。使用APD-CA模型对苹果病虫害领域命名实体进行识别,使用ED-ARE模型对实体关系进行抽取。实验结果表明,该文模型在命名实体识别和关系抽取两项子任务中的F1值分别达到了93.08%和94.73%。使用Neo4j数据库对知识图谱进行了存储和可视化,并就细粒度苹果病虫害知识图谱可以为精准病虫害信息查询、智能辅助诊断等下游任务提供底层技术支撑进行了讨论。     

面向司法案件的案情知识图谱自动构建

以法学知识为中心的认知智能是当前司法人工智能发展的重要方向。该文提出了以自然语言处理(NLP)为核心技术的司法案件案情知识图谱自动构建技术。以预训练模型为基础,对涉及的实体识别和关系抽取这两个NLP基本任务进行了模型研究与设计。针对实体识别任务,对比研究了两种基于预训练的实体识别模型;针对关系抽取任务,该文提出融合平移嵌入的多任务联合的语义关系抽取模型,同时获得了结合上下文的案情知识表示学习。在“机动车交通事故责任纠纷”案由下,和基准模型相比,实体识别的F₁值可提升0.36,关系抽取的F₁值提升高达2.37。以此为基础,该文设计了司法案件的案情知识图谱自动构建流程,实现了对数十万份判决书案情知识图谱的自动构建,为类案精准推送等司法人工智能应用提供语义支撑。     

基于深度学习的命名实体识别综述

命名实体识别是自然语言处理的基础任务之一,目的是从非结构化的文本中识别出所需的实体及类型,其识别的结果可用于实体关系抽取、知识图谱构建等众多实际应用。近些年,随着深度学习在自然语言处理领域的广泛应用,各种基于深度学习的命名实体识别方法均取得了较好的效果,其性能全面超越传统的基于人工特征的方法。该文从三个方面介绍近期基于深度学习的命名实体识别方法: 第一,从输入层、编码层和解码层出发,介绍命名实体识别的一般框架;第二,分析汉语命名实体识别的特点,着重介绍各种融合字词信息的模型;第三,介绍低资源的命名实体识别,主要包括跨语言迁移方法、跨领域迁移方法、跨任务迁移方法和集成自动标注语料的方法等。最后,总结相关工作,并提出未来可能的研究方向。     

基于双向对齐与属性信息的跨语言实体对齐

实体对齐表示在不同的知识图谱中查找引用相同现实身份的实体。目前主流的基于图嵌入的实体对齐方法中的对齐实体通常具有相似的属性,有效利用属性信息可提升实体对齐效果,同时由于不同知识图谱之间的知识分布差异,仅考虑单个方向的对齐预测会导致预测结果出现偏差。针对上述问题,提出一种改进的跨语言实体对齐方法。利用融合属性信息的双向对齐图卷积网络模型,将前馈神经网络编码实体对应的属性信息与初始的实体嵌入相结合,得到联合属性信息的实体表示,并使用双向对齐机制实现跨语言的实体对齐预测。在3个跨语言数据集上的实验结果表明,该方法通过融合更多的知识图谱信息增强了实体表示能力,并且利用双向对齐机制缓解了数据分布差异问题,相比基于图嵌入的实体对齐方法整体性能更优。     

基于电子病历的实体识别和知识图谱构建的研究

针对中文电子病历中命名实体识别和实体关系抽取研究方法中存在的问题,提出了一种基于双向长短时记忆网络（bidirectional long short term memory）与CRF（conditional random field）结合的实体识别和实体关系抽取方法。该方法首先使用词嵌入技术将文本转换为数值向量,作为神经网络BiLSTM的输入,再结合CRF链式结构进行序列标注,输出最大概率序列,并对识别结果知识图谱化。实验证明,该方法对中文电子病历进行实体识别和实体关系抽取时的准确率、召回率、◢F◣值有明显的提升。实验结果满足临床中系统应用需求,对帮助研究构建临床决策支持系统、个性化医疗推荐服务有引导作用。     

基于知识图谱的科技成果智能查询系统

科技成果数据呈现跨领域、跨学科特性,传统的信息查询检索技术已难以满足用户日益增长的智能化、精准化的科技成果信息获取需求。分析了知识图谱领域和信息检索领域的研究现状。采用网络爬虫从互联网中高效地爬取科技成果数据,利用实体识别和关系抽取技术识别和发现科技成果数据中的科技实体,构建科技成果知识图谱,并实现科技成果数据的结构化存储。基于ElasticSearch搜索引擎对科技实体构建高效索引,研究科技成果语义相似度计算方法,实现基于知识图谱的科技成果智能查询系统。实验结果验证了所构建的系统能够实现科技成果的高效查询以及相关主题内容的关联发现。     

基于表示学习的实体对齐方法综述

实体对齐是目前知识融合阶段的主要工作之一，基于表示学习的方法是实体对齐的主要研究方向。首先，通过全面地研究当前代表性的实体对齐技术，总结出这些技术的特征及架构，并提出了一个捕捉这些技术关键特征的框架；然后根据这些技术使用的知识表示模型将其分成2类：基于Trans的技术和基于GNN的技术；给出了2个当前广泛使用的数据集，搭建了11个有代表性的基于TransE的模型和基于GNN的模型，并在DBP15K上的3个跨语言数据集上进行对比实验；评测主流模型和添加属性或字面等不同侧面信息后的模型的对齐效果，为未来大规模单模态乃至多模态知识图谱实体对齐研究提供参考。