融合语义信息的知识图谱多跳推理模型

多跳推理模型在知识图谱中充分挖掘和利用实体间的多步关系,组成路径信息,完成知识推理,然而,目前的稀疏知识图谱多跳推理模型大多存在数据稀少及推理路径可靠性较低等问题.为了解决该问题,文中提出融合语义信息的知识图谱多跳推理模型.首先,将知识图谱中的实体和关系嵌入向量空间,作为强化学习训练的外部环境.然后,利用查询关系和推理路径的语义信息,选择相似度最高的(关系,实体)对扩充智能体进行路径搜索的动作空间,以此弥补推理过程中数据稀少的不足.最后,使用推理路径和查询关系的语义相似度评价推理路径的可靠性,并作为奖励函数反馈给智能体.在多个公开稀疏数据集上的实验表明,文中模型明显提升推理性能.     

融合实体描述与路径信息的知识图谱表示学习模型

知识图谱表示学习方法是将知识图谱中的实体和关系通过特定规则表示成一个多维向量的过程。现有表示学习方法多用于解决单跳知识图谱问答任务,其多跳推理能力无法满足实际需求,为提升多跳推理能力,提出一种融合实体描述与路径信息的知识图谱表示学习模型。首先通过预训练语言模型RoBERTa得到融合实体描述的实体、关系表示学习向量;其次利用OPTransE将知识图谱转化成融入有序关系路径信息的向量。最后构建总能量函数,将针对实体描述和路径信息的向量进行融合。通过实验分析与对比该模型在链路预测任务上与主流知识图谱表示学习模型的性能,验证了该模型的可行性与有效性。     

基于多级关系路径语义组合的关系推理算法

针对目前知识图谱中存在关系事实缺失且对隐含知识挖掘不足等问题,提出一种基于多级关系路径语义组合的关系推理算法。将知识图谱嵌入到低维向量空间中,利用强化学习进行路径发现,使得路径中实体和关系对应的向量作为循环神经网络的输入,经过迭代学习输出多级关系路径语义组合的结果向量,并将结果向量与目标关系向量进行相似度计算,从而进行关系推理。在FB15K-237和NELL-995数据集上的实验结果表明,该算法事实预测精度分别为0.314和0.417,均优于PRA、TransE与TransH模型。     

路径张量分解的知识图谱推理算法*

现有张量分解技术在用于知识图谱学习和推理过程中时,只考虑知识图谱中实体与实体间的直接关系,忽略知识图谱图形结构的特点.因此,文中提出基于路径张量分解的知识图谱推理算法(PRESCAL),利用路径排列算法(PRA)获得知识图谱中各实体对间的关系路径.然后对实体对间的关系路径进行张量分解,并在优化更新过程中采用交替最小二乘法.实验表明,在路径问题回答任务和实体链接预测任务中,PRESCAL可以取得较好的预测准确率.     

基于多关系循环事件的动态知识图谱推理

针对现有动态知识图谱推理方法大多存在同时间多关系下推理能力有限的问题,文中提出基于多关系循环事件的动态知识图谱推理方法.利用改进的多关系邻近聚合器融合目标实体邻域信息,获得更准确的实体邻域向量表示,并通过优化信息融合简化文中方法.同时加入关系预测任务,扩大处理特定范围内两个实体间关系冲突的能力.在大型真实数据集上的实体预测和关系预测的实验表明,文中方法有效提升动态知识图谱的推理能力.     

基于关系记忆的胶囊网络知识图谱嵌入模型

作为一种语义知识库,知识图谱（KG）使用结构化三元组的形式存储真实世界的实体及其内在关系。为了推理知识图谱中缺失的真实三元组,考虑关系记忆网络较强的三元组表征能力和胶囊网络强大的特征处理能力,提出一种基于关系记忆的胶囊网络知识图谱嵌入模型。首先,通过编码实体和关系之间的潜在依赖关系和部分重要信息形成编码嵌入向量;然后,把嵌入向量与过滤器卷积以生成不同的特征图,再重组为对应的胶囊;最后,通过压缩函数和动态路由指定从父胶囊到子胶囊的连接,并根据子胶囊与权重内积的得分判断当前三元组的可信度。链接预测实验的结果表明,与CapsE模型相比,在倒数平均排名（MRR）和Hit@10评价指标上,所提模型在WN18RR数据集上分别提高了7.95%和2.2个百分点,在FB15K-237数据集上分别提高了3.82%和2个百分点。实验结果表明,所提模型可以更准确地推断出头实体和尾实体之间的关系。     

基于特征联合与多注意力的实体关系链接

实体链接和关系链接作为知识库问答的核心组件链接自然语言问题和知识库信息,通常作为两个独立的任务执行,但该执行方式忽略了链接中产生的信息间的相互影响。同时,将候选实体和关系分别计算相似性的方法没有考虑候选实体和关系的内在联系。提出一种基于神经网络的特征联合和多注意力的实体关系链接方法,运用神经网络对问题、实体、关系以及实体-关系对进行编码和向量表示学习,通过添加注意力机制的方法获取候选实体及关系在问题中的权重信息,在计算实体（关系）向量与问题向量的相似性时加入实体-关系对向量,利用实体-关系对中包含的信息提高链接的精度。在LC-QuAD和QALD-7数据集上的实验结果表明,与Falcon模型相比,该方法至少提高了1%的链接精度。     

基于改进Inception结构的知识图谱嵌入模型

知识图谱嵌入（KGE）将实体和关系映射到低维连续向量空间中,以利用机器学习方法实现关系数据的应用,如知识分析、推理、补全等。以ConvE为代表将卷积神经网络（CNN）应用于知识图谱嵌入中,以捕捉实体和关系的交互信息,但其标准卷积捕捉特征交互信息能力不足,特征表达能力低下。针对特征交互能力不足问题,提出了一种改进的Inception结构,在此基础上构建一个知识图谱嵌入模型InceE。首先,该结构使用混合空洞卷积替代标准卷积,以提高特征交互信息捕捉能力;其次,使用残差网络结构,以减少特征信息丢失。实验使用基准数据集Kinship、FB15k、WN18验证InceE链接预测有效性。在Kinship、FB15k数据集上,相较于ArcE和QuatRE模型,InceE的Hit@1分别提升了1.6和1.5个百分点;在三个数据集上,与ConvE对比,InceE的Hit@1分别提升了6.3、20.8和1.0个百分点。实验结果表明InceE具有更强的特征交互信息捕捉能力。     

基于知信图卷积神经网络的开放域知识图谱自动构建模型

解决多源知识对齐和知识冗余问题是在开放数据域自动构建知识图谱的关键。建立一种融合知信学习与深度学习的知识图谱自动构建模型。分析图卷积神经网络（GCN）模型与知信学习之间的理论联系,以先验知识与深度学习相结合的方式构建实体语义联合空间,将先验知识对模型的干预形式化,并利用自动编码器实现一个细粒度的实体对齐和关系抽取模型。同时,采用GCN与多头注意力相结合的方式,缓解因结构数据中多跳推理造成实体依赖信息丢失的影响。在开源数据集SemEval、FB15k和收集整理的MD数据集上的实验结果表明,该模型针对关系抽取、实体对齐和三元组抽取任务的F1值分别达到89.5%、86.6%和84.2%,较BERT-Softmax模型分别提升了0.3、2.4和0.3个百分点,具有更好的信息学习能力。     

融合TuckER嵌入和强化学习的知识推理

知识推理是补全知识图谱的重要方法,旨在根据图谱中已有的知识,推断出未知的事实或关系.针对多数推理方法仍存在没有充分考虑实体对之间的路径信息,且推理效率偏低、可解释性差的问题,提出了将TuckER嵌入和强化学习相结合的知识推理方法 TuckRL (TuckER embedding with reinforcement learning).首先,通过TuckER嵌入将实体和关系映射到低维向量空间,在知识图谱环境中采用策略引导的强化学习算法对路径推理过程进行建模,然后在路径游走进行动作选择时引入动作修剪机制减少无效动作的干扰,并将LSTM作为记忆组件保存智能体历史动作轨迹,促使智能体更准确地选择有效动作,通过与知识图谱的交互完成知识推理.在3个主流大规模数据集上进行了实验,结果表明TuckRL优于现有的大多数推理方法,说明将嵌入和强化学习相结合的方法用于知识推理的有效性.     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

基于实体相似度信息的知识图谱补全算法

为了解决知识图谱的链接预测问题,提出了一种共享变量的神经网络模型（LCPE）,该模型通过将实体和关系嵌入到向量空间中实现对链接的预测。通过分析Unstructured Model,推导出在向量空间中两个有关系的实体嵌入距离更近,即相似的实体之间更可能具有关系,LCPE模型将ProjE模型和实体之间的相似度信息进行融合,在判断两个实体是否有关系的基础上判断具体关系类型。三元组预测实验中,LCPE模型在与ProjE模型参数规模相同的情况下,在公开数据集WN18中,正例三元组的平均得分排名（Mean Rank）比ProjE提前了11,而正例三元组在前10名中出现的概率Hit@10比ProjE提升了0.2个百分点;在FB15k中,Mean Rank提前了7.5,Hits@10平均提升了3.05个百分点：证明了LCPE模型能够将实体相似度信息融入ProjE中并有效提升预测准确度。     

面向知识图谱约束问答的强化学习推理技术

知识图谱问答任务通过问题分析与知识图谱推理,将问题的精准答案返回给用户,现已被广泛应用于智能搜索、个性化推荐等智慧信息服务中.考虑到关系监督学习方法人工标注的高昂代价,学者们开始采用强化学习等弱监督学习方法设计知识图谱问答模型.然而,面对带有约束的复杂问题,现有方法面临两大挑战:(1)多跳长路径推理导致奖励稀疏与延迟;(2)难以处理约束问题推理路径分支.针对上述挑战,设计了融合约束信息的奖励函数,能够解决弱监督学习面临的奖励稀疏与延迟问题;设计了基于强化学习的约束路径推理模型COPAR,提出了基于注意力机制的动作选择策略与基于约束的实体选择策略,能够依据问题约束信息选择关系及实体,缩减推理搜索空间,解决了推理路径分支问题.此外,提出了歧义约束处理策略,有效解决了推理路径歧义问题.采用知识图谱问答基准数据集对COPAR的性能进行了验证和对比.实验结果表明:与现有先进方法相比,在多跳数据集上性能相对提升了2%-7%,在约束数据集上性能均优于对比模型,准确率提升7.8%以上.     

融合知识表示学习的双向注意力问答模型

知识图谱问答是自然语言处理领域的研究热点之一,近年来受到广泛的关注。知识图谱问答面临需要结合多条三元组进行推理的多跳问题以及知识图谱不完整等挑战,为解决这些问题,提出了一种融合知识表示学习的双向注意力模型（Bidirectional Attention model combining Knowledge Representation,KR-BAT）。引入知识表示学习以提高模型全局建模能力,应对知识图谱不完整的情况;使用双向注意力模型捕捉候选答案和问题间丰富的交互信息,经过分析推理给出答案。在MetaQA数据集上进行了实验,对比VRN、KV-MemNN、GraftNet等基准模型,在完整知识图谱上达到了非常有竞争力的性能,在不完整知识图谱上大幅度优于基准模型。     

一种基于改进向量投影距离的知识图谱表示方法

表示学习在知识图谱推理中有着重要的研究价值,将知识库中的实体和关系用连续低维向量进行表示,可实现知识的可计算。基于向量投影距离的知识表示学习模型在面对复杂关系时有较好的知识表达能力,但在处理一对一简单关系时容易受到无关信息的干扰,并且在一对多、多对一和多对多等复杂关系上存在性能提升空间。为此,文中提出了一个基于改进向量投影距离的知识表示学习模型SProjE,该模型引入自适应度量方法,降低了噪声信息的影响。在此基础上,通过进一步优化损失函数来提高复杂关系三元组的损失权重。该模型适用于大规模知识图谱的表示学习任务。最后,在标准知识图谱数据集WN18和FB15K上分析和验证了所提方法的有效性,基于链路预测任务的评测实验结果表明,相较于现有的模型和方法,SProjE在各项性能指标上均取得了明显的进步。