一种基于先验知识的实体关系联合抽取模型

不同于流水线方式的关系抽取方法,在实体关系联合抽取方式中虽然把实体识别和关系抽取两者结合起来,但损失部分实体特征信息.在以BERT预训练模型为核心的SpERT实体关系联合抽取模型输入阶段,融入置信度较高的词性标注和句法依存关系的先验特征;并在模型的关系抽取层中重用输入信息,为关系抽取任务提供更多的特征;在优化模型的损失...     

基于知识增强的配电网运行信息关系抽取方法

知识图谱可辅助现场人员处理配电网运行过程中积累的海量异构文本,挖掘高价值运行信息。针对知识图谱构建需求人工标注成本过高的问题,提出一种基于知识增强的远程监督关系抽取方法。利用GloVe编码与Bi-GRU网络对配电网运行语料库的句包进行向量表征;同时,新增外部知识增强模块,通过Attention-GCN模型获取编码文本的句法结构以及非线性关系,实现低成本的关系抽取,解决传统远程监督学习存在的长尾分布及噪声问题,提升关系抽取精度。实验结果表明,该方法在配电网运行信息关系抽取任务中表现优秀,相较于主流模型在精确率上提升6%。     

基于深度学习的中文实体关系抽取研究

实体关系抽取能够从文本中提取事实三元组信息,这对于构建大规模的知识图谱是十分重要的。在现有的研究中,通常以先进行实体识别,而后进行关系分类或者进行统一标注的方式来完成这一任务,虽然这些方法能够使关系抽取任务变得更易实现,并且模型的网络框架灵活性更高,但是也存在误差积累和暴露误差等问题,且对于关系抽取中的关系重叠和实体嵌套等重难点问题不能够很好的处理。为了解决上述存在的问题,文章构建一种基于深度学习的中文实体关系联合抽取模型。该模型由基于评分的分类器和特定关系的角标记策略以及分区过滤网络构成,首先通过分区过滤网络,将输入的文本划分成三个分区,实体分区和关系分区以及共享分区,能够确保实体识别任务和关系抽取任务进行更好的双向交互;接着应用特定关系的角标记策略来解码实体信息,最后通过一个基于评分的分类器来输出事实关系三元组。实验表明,提出的方法能够改善传统方法带来的误差积累和交互缺失以及实体冗余等问题,提高了三元组抽取的准确率。     

基于Bert和BiLSTM-CRF的APT攻击实体识别及对齐研究

针对高级可持续威胁（APT）分析报告未被有效利用,缺乏自动化方法生成结构化知识并形成黑客组织特征画像问题,提出一种融合实体识别和实体对齐的APT攻击知识自动抽取方法。首先,结合APT攻击特点设计12种实体类别;其次,构建融合Bert、双向长短期记忆（BiLSTM）网络和条件随机场（CRF）的APT攻击实体识别模型,利用Bert预训练标注语料,BiLSTM学习上下文语义信息,注意力机制突出关键特征,再由CRF识别实体;最后,结合实体对齐方法来生成不同APT组织的结构化知识。实验结果表明,所提方法能有效识别APT攻击实体,其精确率、召回率和F1值分别为0.929 6、0.873 3和0.900 6,均优于现有模型。此外,所提方法能在少量样本标注的情况下自动抽取高级可持续威胁知识,通过实体对齐能生成常见APT组织的结构化特征画像,从而为后续APT攻击知识图谱构建和攻击溯源提供支撑。     

基于卷积神经网络的医疗护理实体关系抽取

针对医疗护理领域知识复杂性强、数据量大以及对准确度要求较高的问题,该研究提出一种基于卷积神经网络的医疗护理学实体关系抽取方法,实现对护理学语义关系的细粒度文本挖掘。该研究构建了医疗护理学语料标注系统,通过将医疗语料转化为向量特征矩阵,实现了对医疗语料的自动过滤和标注。通过向神经网络模型嵌入所构建的医疗关系语料库,一定程度上提高了模型疾病分类的准确度。在医疗护理学数据集上的实验表明,基于卷积神经网络的模型在指标精确度、召回率、F1值可达到89.78%、87.59%、89.77%。综上所述,该研究提出的基于卷积神经网络的医疗护理学实体关系抽取方法能够有效地抽取医疗语料数据中的实体关系,优于传统的实体关系抽取模型。     

基于多通道特征融合的上下位关系抽取方法

上下位关系抽取是知识图谱构建的关键环节，目前常用的基于模板和分布式的方法存在可移植性差、召回率低等不足。针对这些问题，提出了一种基于多通道特征融合的上下位关系抽取方法，通过预训练词嵌入、双向LSTM和依存句法树结果编码三个通道来构建模型编码器。首先，提出了上下位关系抽取整体框架，包括数据挖掘与标注模块、特征抽取模块、候选句打分模块及结果排序模块。然后，针对特征抽取模块，提出了融合句法依存关系、上下文特征以及预训练特征的自适应编码方法；针对句子打分模块，提出了包含编解码器结构的网络模型。最后，通过对准确率、召回率、查全率进行消融实验，表明所提出的模型具有较好的有效性和更好的可解释性。     

目标专业领域知识图谱构建与应用初探

知识图谱技术能够将海量大数据中的信息、数据以及关联关系汇聚为知识网络,实现用户智能化检索与意图分析推理。通过对知识图谱构建过程中本体构建,多源异构互联网数据的实体抽取、关系抽取、图谱更新与维护等关键技术进行研究,构建了军事目标专业领域知识图谱,并在可视化查询、智能问答、高价值关系推荐等方向进行了应用探索,有效提高了数据的使用效益,为军事情报分析和知识应用提供了一种有效的工具和方法。     

面向食品安全法规的知识图谱构建

我国建立了完备的食品安全法规体系,其具有海量和零散性的特点,难以检索分析。以食品安全法规文本数据为依托,通过自顶向下和自下而上的方式进行食品安全法规知识图谱的构造研究。首先,获取多源异构的食品安全法律法规和问答数据语料,对用户的需求进行分析。其次,定义食品安全知识图谱的本体层及其属性,使用基于规则的方法对知识进行抽取,针对规则性不强的知识,使用基于机器学习的命名实体识别方法完成领域命名实体识别。最后,实现食品安全法规知识图谱的构建。     

融合自注意力和实体类型知识的实体关系联合抽取模型

从非结构化文本中抽取实体关系三元组是自然语言处理中的主要任务形式之一。目前主流的方法是采用联合式抽取,能够在训练过程中自动捕捉到实体与关系间的依赖知识,提高了实体和关系的抽取效果。但这些方法忽略了实体的类型知识,导致大量的冗余计算和错误结果的产生。鉴于此,文中提出一种融合注意力和实体类型知识的实体关系联合抽取方法。首先,采用预训练模型BERT作为编码器得到句子中各字符的向量表示,再经双向LSTM层处理得到最终的语义表示;其次,基于表示层的结果完成头、尾实体的识别;接着,通过融合不同头实体的语义信息到句子表示中,实现头实体类型约束下的潜在语义关系发现;最后,将头实体和关系分别输入自注意力模块识别出对应尾实体,得到实体关系三元组。通过在公开数据集NYT和WebNLG上的大量实验表明：文中所提模型在实体关系联合抽取任务中的F1值达到了93.2%和93.3%,与当前主流模型相比提升显著。     

一种基于ERNIE的军事文本实体关系抽取模型

针对军事文本实体关系抽取过程中存在的"一句对应多个三元组","一个主语对应多个客体"等问题提出一种基于ERNIE的军事文本三元组抽取模型,在编码层引入ERNIE模型获取每个词的编码序列,参考seq-to-seq解码器的建模方法和BIO序列标注,采用先预测主体,再传入主体标注序列预测客体和二者之间关系的方法实现三元组的抽...     

面向天域感知领域的知识图谱构建技术研究

天域感知是太空能力的基础和关键,各军事大国均竞相发展天域感知能力。随着太空目标的迅速增多和感知技术的快速进步,获取的天域感知数据呈指数级增长,实体关联关系高度复杂化。传统的知识获取和表述方式难以满足天域感知领域应用需求。知识图谱是基于图的知识网络库,具备强大的语义处理能力和开放组织能力。文中在天域感知领域引入知识图谱技术,研究自动化天域感知知识图谱技术架构和构建流程,提出基于本体和三元组模型的领域知识图谱建模技术以及基于RoBERTa-BiLSTM-CRF的领域知识抽取技术,为天域感知上层应用赋能赋慧。     

融合混合嵌入与关系标签嵌入的三元组联合抽取方法

三元组抽取的目的是从非结构化的文本中获取实体与实体间的关系，并应用于下游任务。嵌入机制对三元组抽取模型的性能有很大影响，嵌入向量应包含与关系抽取任务密切相关的丰富语义信息。在中文数据集中，字词之间包含的信息有很大区别，为了改进由分词错误产生的语义信息丢失问题，设计了融合混合嵌入与关系标签嵌入的三元组联合抽取方法（HEPA），提出了采用字嵌入与词嵌入结合的混合嵌入方法，降低由分词错误产生的误差；在实体抽取层中添加关系标签嵌入机制，融合文本与关系标签，利用注意力机制来区分句子中实体与不同关系标签的相关性，由此提高匹配精度；采用指针标注的方法匹配实体，提高了对关系重叠三元组的抽取效果。在公开的Du IE数据集上进行了对比实验，相较于表现最好的基线模型（Cas Rel）,HEPA的F1值提升了2.8%。     

多源异构数据情景下的电力系统智能辅助决策建模

电力系统信息的准确检索对于指导电力系统的全生命周期管理具有重要作用。由于存在数据孤岛、答案搜索精度较低等问题,电力系统亟需采取新的策略来提高数据存储和提取效率。针对以上问题该文提出了一种面向多源异构数据情景下的电力系统,主要借助领域知识图谱构建技术以及相关知识问答方法,以智能辅助后续业务决策。首先合并现有多源异构电力系统相关数据,采用本体建模的方式对电力系统中的各项概念和公理进行约束定义。然后采用一种基于依存语义范式的无监督中文实体关系抽取模型对中文电力领域文本中的细粒度实体和关系进行三元组抽取以构建知识图谱,借助Neo4j图数据库辅助领域知识图谱的存储,并根据领域问题模板匹配的方式实现细粒度电力系统领域问答通过交互式问答原型系统验证文章所提方法的有效性。     

基于用户熟练度的任务分配众包算法

针对知识图谱中数据的获取问题,提出了一种基于用户熟练度的众包任务分配机制。首先,对标注者进行简单的概念关系标注培训以获取标注者标注数据,然后,将知识概念的关系标注任务按标注者历史标注的加权准确率进行分配,最后,引入专家审核和反馈机制,在保证知识概念关系的整体数据标注精度的同时节约时间和人力成本。在构建知识图谱的过程中,可以高效地提高图谱中数据精度,有效地聚合整理课程资源,为下游的任务提供基本的数据支持。     

面向新闻领域的中文实体关系抽取

随着互联网技术的快速发展,人们能够及时地获取大量的新闻文本信息,如何从新闻中自动获取关键信息,把新闻中具有价值的信息转化为结构化数据,从而快速有效地获取有用的知识已是迫切需求.实体关系抽取是获取关键信息的方法之一,但目前关于中文的实体关系抽取工作较少.针对基于长短时记忆网络的中文实体识别模型难于提取长距离的依存关系特征...     

基于改进注意力机制的实体关系抽取方法

实体关系抽取是知识库构建中至关重要的一个环节.在众多的实体关系抽取方法中,远程监督结合神经网络模型的方法在准确率等性能上是比较令人满意的,但远程监督获取的标注语料中往往存在大量的噪声数据,给实体关系抽取模型的训练带来了很大的影响.本文提出一种基于改进注意力机制的卷积神经网络实体关系抽取模型.该模型针对包含同一实体对的句子集合,从中尽可能地找出所有体现该实体对关系的正实例,构建组合句子向量,抛弃可能的噪声句子,从而最大程度地降低噪声句子的影响又能充分利用正实例的语义信息.实验证明,本文提出的关系抽取模型在准确率上优于对比的关系抽取模型.     

基于知识图谱信息协同传播的推荐模型

针对当前基于知识图谱的推荐模型没有充分挖掘知识图谱语义结构信息的问题,提出一种融合知识图谱表示学习方法和信息协同传播机制的推荐模型KCOD。KCOD基于经典的知识图谱表示学习模型DistMult与TransR建模并推理实体三元组的语义关系,然后通过交叉计算每一阶历史交互实体向量推理结果与候选物品实体向量推理结果的相似度,进行模型训练及偏好预测。实验结果显示KCOD的性能优于经典对比模型。     

基于知识图谱共同邻居排序采样的推荐模型

知识图谱作为辅助信息可以有效缓解传统推荐模型的冷启动问题。但在提取结构化信息时,现有模型都忽略了图谱中实体之间的邻居关系。针对这一问题,该文提出一种基于共同邻居排序采样的知识图谱卷积网络(KGCN-PN)推荐模型,该模型首先基于共同邻居数目对知识图谱中的每个实体邻域进行排序采样;其次利用图卷积神经网络沿着图谱中的关系路径将实体自身信息与接收域信息逐层融合;最后将用户特征向量与融合得到的实体特征向量送入预测函数中预测用户与实体项目交互的概率。实验结果表明该模型在数据稀疏场景下相较其他基线模型性能均获得了相应提升。     

面向武器装备领域的实体及关系抽取方法研究

实体及关系抽取是实现海量数据知识化的关键,而现有实体及关系抽取方法应用于垂直领域时,表现出的效果很难达到实装应用水平。针对武器装备领域,文中在分析该领域文本数据特征的基础上,提出基于预训练模型与规则知识结合的武器装备实体及关系抽取方法,由实体抽取和关系抽取两个阶段组成。在实体抽取阶段,首先,利用BERT+BiLSTM+CRF模型完成武器装备实体的识别;然后,通过规则知识对领域性实体补充抽取。在关系抽取阶段,首先,利用BERT+BiGRU+CNN模型抽取武器装备实体间关系;然后,经过滤调模块对实体间关系抽取结果过滤和调整;最后,设计强领域性的关系抽取规则,用于实体间关系的补充抽取。在仿真数据集上对本文方法评测,结果表明在实体识别和关系抽取上的F1值分别为96.4%和95.1%,与基线相比均提升了约10%。同时,文中提出的实体及关系抽取方法可作为一种通用解决方案,推广至其他垂直领域。     

面向中医电子病历的症状实体及属性抽取

文章针对中医临床症状实体及属性抽取存在医疗短文本语义信息欠缺,常用的流水线方法易导致多任务之间产生错误累积的问题,提出一种基于深度学习的症状实体及属性抽取方法。首先通过基于BLSTM-CRF的序列标注模型完成“实体/修饰属性”识别;其次根据扩展步长的就近匹配原则生成高覆盖率、低冗余度的“实体—属性值”候选对;最后基于ERNIE-BGRU-MP完成关系分类,利用ERNIE丰富文本上下文信息,联合BGRU提取文本全局特征信息,采用最大池化法过滤冗余和噪声信息,提高模型的泛化性和鲁棒性。