基于知识图谱、TF-IDF和BERT模型的冬奥知识问答系统

传统信息检索技术已经不能满足人们对信息获取效率的要求,智能问答系统应运而生,并成为自然语言处理领域一个非常重要的研究热点。本文针对中文的冬奥问答领域,提出了基于知识图谱、词频-逆文本频率指数 (term frequency-inverse document frequency,TF-IDF)和自注意力机制的双向编码表示(bidirectional encoder representation from transformers,BERT)的3种冬奥问答系统模型。本文首次构建了冬奥问答数据集,并将上述3种方法集成在一起,应用于冬奥问答领域,用户可以使用本系统来快速准确地获取冬奥内容相关的问答知识。进一步,对3种模型的效果进行了测评,测量了3种模型各自的回答可接受率。实验结果显示BERT模型的整体效果略优于知识图谱和TDIDF模型,BERT模型对3类问题的回答可接受率都超过了96%,知识图谱和TDIDF模型对于复合统计问答对的回答效果不如BERT模型。     

基于知识图谱的计算机专业教学资源智能检索方法

为提升教学资源智能检索的准确性,设计基于知识图谱的计算机专业教学资源智能检索方法。首先,构建计算机专业教学资源知识图谱,识别并提取教学资源实体关系,获取教学资源实体之间的联系。其次,处理用户输入的检索语音或资源文本,生成适用于智能检索的教学资源专业文本格式。最后,对待检索的词汇进行语义知识分析,从同义智能检索、上位智能检索、下位智能检索、平级智能检索等多个维度,全方位检索计算机专业的教学资源。实验结果表明,应用该方法后,6种实体类别教学资源的智能检索准确率均达到98%以上,检索准确性得到显著提升。     

BERT模型结合实体向量的知识图谱实体抽取方法

实体抽取是构建知识图谱的重要环节,大多数深度学习模型没有注意到上下文的语义信息和忽略了对于知识实体的处理,因此,实体抽取的准确性有待进一步提高.本文提出了一种BERT模型结合实体向量的知识图谱实体抽取方法.该方法采用基于全词Mask的BERT模型生成句子向量和具有上下文语义的词向量,再将词向量取平均值得到实体向量,通过注意力机制将句子向量与实体向量结合,最后,将结合后的新向量放入条件随机场进行序列标注,找到最优的标签以达到实体抽取的目的.实验结果表明,该方法在人民日报语料库进行实体抽取时,其准确率、召回率和F1值分别为93.01%,90.32%和91.65%.同时,该模型在CoNLL-2003语料库中的实体抽取也具有很好的效果.     

基于知识图谱与BERT的安全领域汉字文本纠错模型

针对安全领域所涉及的文本中存在大量人为混淆的文字的问题,提出一种基于汉字知识图谱的BERT(Bidirectional Encoder Representation from Transformers)预训练模型,表征汉字的读音、字形、语义三个维度的特征,构建纠错算法。首先,构建汉字知识图谱刻画汉字的读音、字形拆解、繁简转换、汉字与数字转换等属性和关系,并基于汉字知识图谱中的读音属性和node2vec模型训练得到汉字读音向量;其次,基于知识图谱中字形关系构建node2vec模型,得到node2vec字形向量,并结合卷积神经网络（CNN）方法训练字形向量,两者之和作为最终的字形向量;最后,基于BERT预训练模型,融合读音、字形、语义三维度的向量,并在不同维度间使用自注意力机制加权求和,发现错误字位置并选择正确的候选字。为验证所提模型的有效性,在安全领域诈骗短信数据集上,将所提模型与FASpell、SpellGCN、Soft-Masked BERT进行了对比。实验结果表明,所提模型的正确率和召回率比FASpell分别提升了24.7、21.6个百分点,比SpellGCN分别提升了22.2、1...     

扩展知识图谱上的实体关系检索

现有文本数据集上的实体搜索和自然语言查询方法无法处理需要将分散在不同文档中的信息碎片链接起来以满足有复杂实体关系的查询,而知识库上的查询虽然可以表示实体间的复杂关系,但由于知识库的异构性和不完全性,通常查全率较低。针对这些问题,提出使用文本数据集对知识库进行扩展,并设计相应的含文本短语的三元组模式查询以支持对知识库和文本数据的统一查询。在此基础上,设计并实现了查询放松机制和对结果元组的评分模型,并给出了高效的查询处理方法。使用YAGO、ClueWeb09和其上的FACC1数据集,在三个不同的查询测试集(实体检索、实体关系检索和复杂的实体关系查询)上与两个典型相关工作作了比较。实验结果显示,扩展知识图谱上使用查询放松规则的实体关系检索系统的检索效果大大超出了其他系统,具体地在三个查询测试集上,其平均正确率均值(MAP)比其他系统分别提升了27%、37%和64%以上。     

基于知识图谱的法律问答系统研究

为了给群众提供免费且准确的法律咨询服务并降低咨询成本和律师服务成本,对基于知识图谱的法务问答系统进行了设计研究。系统构建基于BERT+BiLSTM+CRF的法律实体识别模型,对法律实体进行字符级抽取,将词向量技术、双向长短期记忆模型和条件随机场模型相结合,获得最优序列标注,为知识图谱构建和文本处理提供技术支持,并针对缺少法律咨询方面知识图谱的现状,构建了一个知识图谱,改善用户法律咨询的体验。     

融合语义解析的知识图谱表示方法

为解决大多数知识图谱表示学习模型仅使用三元组信息的问题,提出融合语义解析的知识图谱表示模型BERT-PKE.模型利用实体和关系的文本描述,通过BERT的双向编码表示进行语义解析,深度挖掘语义信息.由于BERT训练代价昂贵,提出一种基于词频和k近邻的剪枝策略,提炼选择文本描述集.此外,由于负样本的构造影响了模型的训练,提出2种改进随机抽样的策略：一种是基于实体分布的负采样方法,以伯努利分布概率来选择替换的实体,该方法可以减少负采样引起的伪标记问题;另一种是基于实体相似性负采样方法,首先用TransE将实体嵌入到向量空间,使用k-means聚类算法将实体进行分类.通过同簇实体的相互替换可获得高质量的负三元组,有利于实体的特征学习.实验结果表明,所提出BERT-PKE模型与TransE,KG-BERT,RotatE等相比,性能有显著提升.     

基于城市安全知识图谱的多关键词流式并行检索算法

我国智慧城市安全概念的普及和建设的逐渐落地,以及大数据在智慧城市安全建设方面的深度应用,对关键词检索的处理响应速度提出了更高的要求。针对这一问题,提出了基于城市安全知识图谱的流式知识图谱多关键词并行检索算法(MKPRASKG),该算法能够根据用户输入的查询关键字,通过关联类图的构建、剪枝和融合操作实时构建基于知识图谱实体的查询子图集,再结合评分函数,以高评分的查询子图为指引,在知识图谱实例数据中进行并行搜索,最终返回Top-k查询结果。实验结果证明,该算法在实时搜索、响应时间、搜索效果以及可扩展性等方面均具有较大的优势。     

融合知识图谱和多模态的文本分类研究

传统文本分类方法主要是基于单模态数据所驱动的经验主义统计学习方法,缺乏对数据的理解能力,鲁棒性较差,单个模态的模型输入也难以有效分析互联网中越来越丰富的多模态化数据。针对此问题提出两种提高分类能力的方法：引入多模态信息到模型输入,旨在弥补单模态信息的局限性;引入知识图谱实体信息到模型输入,旨在丰富文本的语义信息,提高模型的泛化能力。模型使用BERT提取文本特征,改进的ResNet提取图像特征,TransE提取文本实体特征,通过前期融合方式输入到BERT模型中进行分类,在研究多标签分类问题的MM-IMDB数据集上F1值达到66.5%,在情感分析数据集Twitter15&17上ACC值达到71.1%,结果均优于其他模型。实验结果表明,引入多模态信息和实体信息能够提高模型的文本分类能力。     

基于案例系统的不确定案例索引和检索方法

将粗集理论引入基于案例的推理系统,充分利用案例库中冗冗余属性的简化,形成案例的多个索引,从而可根据不同问题按不同索引进行检索并得出结论。计算实例表明,该方法既能有效地解决不确定问题,又能提高系统的性能。     

基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体).为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法.使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元...     

基于知识图谱的电信欺诈通联特征挖掘方法

提出一种基于知识图谱的通联特征挖掘方法,为电信欺诈案件相关的数据分析及线索挖掘提供技术支持。基于仿真的通话数据和电信欺诈案件数据,在分布式图数据库中构建知识图谱。在此基础上使用图遍历及图算法、混合高斯模型,从联系链路、必要人物、核心人物的发现以及社会关系识别这4个维度进行分析挖掘。在混合高斯模型中,提取9个关键通话特征,从通话模式聚类的角度来识别不同的社会关系。通过实验证明,图遍历及图算法能为电信欺诈人员和团伙的发现提供重要线索。混合高斯模型识别出了5类社会关系,并且发现涉案人员之间的通话模式具有一定的特殊性,即通话次数多且多发生在凌晨,通话时间较长且保持联系的时间较长。     

基于病情自述和知识图谱的疾病辅助诊断

病情自述是网络疾病咨询中普遍的信息形式。为了从这些不规范的数据中发现隐含疾病知识和用户语义提出一种无监督学习方法构建知识图谱,并基于此进行疾病辅助诊断。从同一疾病的病情自述提取特征关键词,使用特征关键词的概率关联和语义关联构建特征关联网络。在特征关联网络中找出描述疾病时常用的特征团模式,基于特征团的语义关系构建知识图谱;从知识图谱上抽取结构化特征,利用结构化特征与病情自述文本的Jaccard系数完成病情自述的文本表示;利用SVM实现病情自述的分类识别,结果分类的微平均和宏平均都在80%以上。研究能够用于疾病结构化知识发现和用户意图分析,初步诊断病情自述疾病类型。     

基于BILSTM_CRF的知识图谱实体抽取方法

针对传统知识图谱实体抽取方法需要大量人工特征和专家知识的问题,提出一种基于BILSTM_CRF模型的神经网络结构实体抽取方法。它既能使用双向长短时记忆网络BILSTM(Bidirectional Long Short-Term Memory)提取文本信息的特征,又可利用条件随机场CRF(Conditional Random Fields)衡量序列标注的联系。该方法对输入的文本进行建模,把句子中的每个词转换为词向量;利用BILSTM处理分布式向量得到句子特征;使用CRF标注并抽取实体,得到最终结果。实验结果表明,该方法的准确率和召回率更高,F1值提升约8%,具有更强的适用性。     

基于混合增强智能的知识图谱推理技术研究

如今,知识图谱被广泛应用在各个领域,例如问答系统、推荐系统等。而基于知识图谱的应用表现很大程度上依赖于知识图谱本身的知识完备性与准确性。单纯通过人工补齐与审核的方式来构建知识图谱已无法满足超大规模知识图谱的需求。针对上述问题,提出一种基于混合增强智能的知识图谱推理框架,即同时利用机器模型与人的知识信息来完成知识图谱推理。该框架在基于知识图谱嵌入的向量空间中,利用混合增强智能模型来寻找到实体节点之间的有效路径。与现有方法不同的是,该方法在训练模型时,高效地利用人的知识信息来指导模型的优化。实验表明,该框架在公开数据集上的表现相较于现有方法有一定提升。     

基于图上下文的知识表示学习

在知识图谱的知识表示学习中,绝大多数方法都是将知识图谱中实体和关系映射到低维的连续向量空间中,但数据的稀疏和信息的不足仍会导致实体和关系语义表示的不完整性.针对这个问题,提出基于图上下文的知识表示学习模型(Context_RL).将知识图谱中实体和关系的上下文信息作为可靠数据来源和输入.通过计算实体和关系的语义相似度,...     

基于知识结构图的智能教学规划

根据ＡＮＤ／ＯＲ图的概念，文中提出了知识结构图与教学规划图的概念，利用知识结构图，我们可以很清晰很方便地把某一课程的知识结构表示出来。     

融合知识图谱表示学习的栈式自编码器推荐算法

针对目前协同过滤推荐算法中数据稀疏和语义信息欠缺问题,提出一种融合知识图谱表示学习的栈式自编码器推荐算法(SAEKG-CF).将评分矩阵作为栈式自编码器的输入,训练得到项目的隐性特征向量,并据此计算特征相似性矩阵;利用知识图谱表示学习算法将项目中的实体映射到低维向量空间,并计算出低维向量空间中实体间的语义相似性矩阵;将...     

基于图的参数化设计方法

本文描述了一种基于图形数据，利用约束网络来实现约束传递，进而达到参数驱动的参数化设计方法。该方法实现简单，已用于图形建库工具。