基于深度学习的智能问诊系统设计与实现

基于深度学习框架,以智能问诊为研究对象,设计并实现了一个基于深度学习的智能问诊系统。整个系统的主要功能包括数据预处理、特征提取和问句分类。建立高质量用户训练问答库,问答库与专家知识进行结合,实现智能问诊。基于FastText+BERT模型构建知识图谱,同时对问答库进行训练,搭建了一个医疗问题知识库;建立深度学习医疗模型,实现问诊量统计分析。结果表明,该系统可以提高医生对问题的理解程度和识别率。     

基于深度强化学习的知识推理研究进展综述

知识推理是知识图谱补全的重要方法,已在垂直搜索、智能问答等多个应用领域发挥重要作用。随着知识推理应用研究的不断深入,知识推理的可解释性受到了广泛关注。基于深度强化学习的知识推理方法具备更好的可解释性和更强的推理能力,能够更加充分地利用知识图谱中实体、关系等信息,使得推理效果更好。简要介绍知识图谱及其研究的基本情况,阐述知识推理的基本概念和近年来的研究进展,着重从封闭域推理和开放域推理两个角度,对当下基于深度强化学习知识推理方法进行了深入分析和对比,同时对所涉及到的数据集和评价指标进行了总结,并对未来研究方向进行了展望。     

知识图谱在智能问答中的应用研究

智能问答是自然语言处理领域的研究热点之一,近年来受到广泛的关注.随着知识图谱的不断发展,越来越多的知识图谱出现在人们视野当中,这些知识图谱在各个领域中得到广泛应用,能够作为智能问答的高质量数据源.知识图谱用于智能问答领域主要有两个方面:一方面,问答系统可以直接从知识图谱中检索答案;另一方面,知识图谱能够给智能问答系统提...     

智能回复系统研究综述

网络舆情形成快、影响大,如何对其进行智能导控一直是网络安全中的难点和重点。本文提出使用智能回复系统对网络舆情进行自动引导的观点,然后对智能回复系统研究进行了综述。本文首先介绍了当前智能回复系统的主流研究方向,如视觉问答、基于知识图谱的问答和推理问答等不同类型的智能回复系统;接着根据应用场景的不同分别介绍了垂直领域和开放领域的智能回复系统,然后从技术手段上对实现智能回复系统的各种主流方法进行了详细的介绍和探讨。最后本文总结归纳了当前智能回复系统的自动评价方法以及当前智能回复系统存在的主要问题及未来可能的研究方向。     

面向医疗咨询的复杂问句意图智能理解

在智慧医疗中基于知识图谱的问答系统能够根据结构化的医疗知识自动回答自然语言问句,具有重要的研究意义和实际应用价值。当前的问答系统不能有效地处理包含多种意图的复杂问句,导致意图识别不全面或不正确,难以生成高质量的答案。因此,该文提出了基于语义分析和深度学习的复杂问句意图智能理解方法,首先从问句中提取医疗实体并进行依存句法分析,通过句法成分规范化将多意图复杂问句分解成若干属性类或关系类简单问句的组合,然后构建文本分类深度网络模型对每个简单问句进行意图识别,从而实现复杂问句的意图理解。为了验证该文方法的有效性和实用性,该文构建了包含6类约14万个实体的医疗知识图谱,用所提出的意图理解方法为核心开发了基于知识图谱的医疗咨询智能问答系统,根据问句意图将相应的核心实体和关系谓词转化为知识图谱检索语句,并通过检索到的相关知识生成自然语言答案。对真实医疗咨询问句测试的结果表明,该文方法可以有效地理解复杂问句的多种意图,相应的问答系统能够更全面、准确地回答与疾病、症状、药品等相关的医疗咨询问句。     

企业风险知识图谱的构建及应用

作为语义网的数据支撑,知识图谱在搜索引擎、智能问答和推荐系统等领域发挥着重要作用,成为了人工智能领域的研究热点。知识图谱因其自身的图展示、图挖掘、图模型等计算优势,可帮助企业或金融从业人员进行业务场景的分析与决策。目前已经有公司将知识图谱应用到金融领域,但是这些知识图谱还存在信息缺失、准确度低等问题,并且现有的金融知识图谱构建方法大都只关注构建过程中的某一环节。针对上述问题,对行业知识图谱构建方法进行系统研究,构建一个企业风险知识图谱,从本体构建、知识抽取、知识融合和知识存储4个方面完整阐述了知识图谱的构建流程。最后,基于企业风险知识图谱,构建了一个智能问答机器人,实现了对知识图谱的检索和利用;为了提高问答系统回答问题的准确性,利用基于字级别的BiLSTM-CRF命名实体识别模型。实验结果表明,在样本数量较少时,基于字级别的模型效果更优。     

中文领域命名实体识别综述

命名实体识别（Named Entity Recognition,NER）作为自然语言处理领域经典的研究主题,是智能问答、知识图谱等任务的基础技术。领域命名实体识别（Domain Named Entity Recognition,DNER）是面向特定领域的NER方案。在深度学习技术的推动下,中文DNER取得了突破性进展。概括了中文DNER的研究框架,从领域数据源的确定、领域实体类型及规范制定、领域数据集的标注规范、中文DNER评估指标四个角度对国内外已有研究成果进行了综合评述;总结了目前常见的中文DNER的技术框架,介绍了基于词典和规则的模式匹配方法、统计机器学习方法、基于深度学习的方法、多方融合的深度学习方法,并重点分析了基于词向量表征和深度学习的中文DNER方法;讨论了中文DNER的典型应用场景,对未来发展方向进行了展望。     

一种基于树分解的图上点区间编码方法及应用

根据图上节点所在位置与邻居节点特征,可以使用不同策略为每个图上节点进行区间编码,基于区间编码,许多在大型图上的应用如知识图谱查询、智能问答等的处理可以加速或得到准确性上的提升。针对此种情况,提出一种基于树分解算法的图上点区间编码方法,并在大型知识图谱上通过智能问答歧义消除的应用验证该方法的有效性。实验结果表明,该方法能够有效地表达出图上节点的位置特征,并帮助智能问答中的实体消除歧义。     

TransPath:一种基于深度迁移强化学习的知识推理方法

基于深度强化学习(Reinforcement Learning,RL)的知识推理旨在推理缺失事实并补全知识图谱,RL智能体在知识图谱上搜索路径,并基于路径进行事实预测和链接预测.由于具有良好的性能和可解释性,基于深度RL的知识推理方法近几年迅速成为研究热点.然而,对于特定实体来说,动作空间中存在大量的无效动作,RL智能...     

知识图谱嵌入研究综述

随着互联网技术和应用模式的迅猛发展,表达方式丰富直观的知识图谱得到了大量关注,在知识表示学习方面积累了丰富研究成果,这些研究已在垂直搜索、智能问答等应用领域发挥了重要作用.在总结现有知识图谱嵌入研究基础之上,以面向的知识图谱数量为依据,将知识图谱嵌入模型分为面向单个知识图谱的链接预测模型和面向多个知识图谱的实体对齐模型...     

知识图谱构建技术综述

知识图谱在医疗、金融、农业等领域得到快速发展与广泛应用,其可以高效整合海量数据的有效信息,为实现语义智能化搜索以及知识互联打下基础。随着深度学习的发展,传统基于规则和模板的知识图谱构建技术已经逐渐被深度学习所替代。梳理知识抽取、知识融合、知识推理3类知识图谱构建技术的发展历程,重点分析基于卷积神经网络、循环神经网络等深度学习的知识图谱构建方法,并归纳现有方法的优劣性与发展思路。此外,深度学习虽然在自然语言处理、计算机视觉等领域取得了较大成果,但自身存在依赖大规模样本、缺乏推理性与可解释性等缺陷,限制了其进一步发展。为此,对知识图谱应用于深度学习以改善深度学习自身缺陷的相关方法进行整理,分析深度学习的可解释性、指导性以及因果推理性,归纳知识图谱的优势以及发展的必要性。在此基础上,对知识图谱构建技术以及知识图谱应用于深度学习所面临的困难和挑战进行梳理和分析,并对该领域的发展前景加以展望。     

Attention-based encoder-decoder model for answer selection in question answering

One of the key challenges for question answering is to bridge the lexical gap between questions and answers because there may not be any matching word between them. Machine translation models have been shown to boost the performance of solving the lexical gap problem between question-answer pairs. In this paper, we introduce an attention-based deep learning model to address the answer selection task for question answering. The proposed model employs a bidirectional long short-term memory (LSTM) encoder-decoder, which has been demonstrated to be effective on machine translation tasks to bridge the lexical gap between questions and answers. Our model also uses a step attention mechanism which allows the question to focus on a certain part of the candidate answer. Finally, we evaluate our model using a benchmark dataset and the results show that our approach outperforms the existing approaches. Integrating our model significantly improves the performance of our question answering system in the TREC 2015 LiveQA task.     

Co-attention fusion based deep neural network for Chinese medical answer selection

Chinese selection is one of the most important subtasks in Chinese medical question-answer system. To obtain the representations of question and answer, an attractive method is to use the attentive pooling based deep neural network. However, this method suffers from the over-pooling problem. It generates attentive information by only using the related medical keywords, and neglects the local semantic information of sentences. In this paper, a novel co-attention fusion based deep neural network method is proposed. Our method solves the over-pooling problem by fusing local semantic information with attentive information. Because of the usage of the fusion mechanism, the proposed method tends to obtain more useful information for pooling and produce better representations for question and answer. For comparison, we create a new Chinese medical answer selection dataset in the epilepsy theme (i.e., cEpilepsyQA), and our method performs much better than the state-of-the-art methods. Also, the proposed method gets competitive results on the public Chinese medical answer selection datasets: cMedQA v1.0 and v2.0.

     

基于知识图谱与关键词注意机制的中文医疗问答匹配方法

针对当前中文医疗领域高质量问答数据缺乏的问题,提出基于知识图谱与关键词注意机制的中文医疗问答匹配方法.首先,引入医学知识图谱,得到知识增强的句子特征.然后,加入关键词注意力机制,强调问题和答案句子之间的相互影响.在2个公开的中文医疗问答数据集cMedQA与webMedQA上的实验表明,当样本数据量较小时,文中方法的优势明显.消融实验也验证每个新增模块对文中方法的性能均有一定程度的提升.     

基于多粒度特征表示的知识图谱问答

近年来,基于知识图谱的问答系统逐渐成为学术界和工业界的研究和应用热点方向,而传统方法通常存在效率不高以及未充分利用数据信息的问题。针对以上问题,本文将中文知识图谱问答分为实体抽取和属性选择2个子任务,采用双向长短期记忆条件随机场（Bi-LSTM-CRF）模型来进行实体识别,并提出一种多粒度特征表示的属性选择模型。该模型采用字符级别以及词级别分别对问句和属性进行嵌入表示并通过编码器进行编码,对于属性同时还引入热度编码的信息。通过不同粒度文本表示的结合,并对问句和属性进行相似度计算,最终该系统在NLPCC-ICCPOL 2016 KBQA数据集上取得了73.96%的F1值,能够较好地完成知识图谱问答任务。     

信息共享联盟模型研究及其在农业领域的应用

本文提出了一种信息共享联盟模型UIS,对模型的结构、功能框架以及相关核心技术,包括异构数据库的标准化处理、URI远程访问技术、快速查询算法等进行了详细讨论.UIS的一个重要特点是:在逻辑上将各个信息资源的异构数据连接在一起,在物理上则对加盟数据按照元数据规范标准进行整合,并备份上传至联盟.该模型通过多主体协作,能够有效地整合异构、分散的数据库,实现信息资源的有效共享和有效检索.模型服务提供了多种模式的信息检索接口.对于已经共享的多媒体资源,通过引入颌域专家的知识问答命题来引导用户的学习,由此实现了教与学之间的互动,提高用户的学习质量.目前UIS已在中国农村科技信息网中进行实验和应用,实现了包括位于北京的"中国现代农业科技信息共享示范网"、"九亿网"、"国家农业科技园区网"等多家网站在内的数据库资源的信息共享,并且在河北省进行了试点,初步建立了中国农业信息共享联盟体系.     

按需智能问答系统Uniponse

现有的智能问答系统(IQAS,Intclligent Question-Answer System)局限于针对简单问题寻找最适合的答案,无法满足用户日益复杂的个性化问题要求。基于需求元描述框架RGPS,经过需求识别、需求分析和需求验证等手段,将用户的个性化问题转换为一种问答服务需求,然后通过动态挖掘Internet上软件服务所构成的服务管理库,并结合基于服务关系网络的流程服务组合思想,最终形成能够回答此类问题的智能问答服务。构建了面向交通领域的按需智能回答原型系统Uniponse,验证了上述方法的有效性和可行性。     

面向链接预测的知识图谱表示学习方法综述

作为人工智能的重要基石, 知识图谱能够从互联网海量数据中抽取并表达先验知识, 极大程度解决了智能系统认知决策可解释性差的瓶颈问题, 对智能系统的构建与应用起关键作用. 随着知识图谱技术应用的不断深化, 旨在解决图谱欠完整性问题的知识图谱补全工作迫在眉睫. 链接预测是针对知识图谱中缺失的实体与关系进行预测的任务, 是知识图谱构建与补全中不可或缺的一环. 要充分挖掘知识图谱中的隐藏关系, 利用海量的实体与关系进行计算, 就需要将符号化表示的信息转换为数值形式, 即进行知识图谱表示学习. 基于此, 面向链接预测的知识图谱表示学习成为知识图谱领域的研究热点. 从链接预测与表示学习的基本概念出发, 系统性地介绍面向链接预测的知识图谱表示学习方法最新研究进展. 具体从知识表示形式、算法建模方式两种维度对研究进展进行详细论述. 以知识表示形式的发展历程为线索, 分别介绍二元关系、多元关系和超关系知识表示形式下链接预测任务的数学建模. 基于表示学习建模方式, 将现有方法细化为4类模型: 平移距离模型、张量分解模型、传统神经网络模型和图神经网络模型, 并详细描述每类模型的实现方式与解决不同关系元数链接预测任务的代表模型. 在介绍链接预测的常用的数据集与评判标准基础上, 分别对比分析二元关系、多元关系和超关系3类知识表示形式下, 4类知识表示学习模型的链接预测效果, 并从模型优化、知识表示形式和问题作用域3个方面展望未来发展趋势.     

基于多模态知识感知注意力机制的问答方法

随着网络的普及,越来越多人遇到身体不适时,会选择在网站上搜索相关症状.随着在线医疗问答网站的出现,如春雨医生、寻医问药等,患者可以便捷地医生交流.现有的问答系统方法,聚焦于词级别的交互与语义信息,却很少考虑在回答问题时,回答者还利用了与问答本身无直接联系的常识.在实际生活中,除了病人的表述,医生还需要额外知识来诊断病人.提出了一个基于多模态知识感知注意力机制的医疗问答方法,它可以有效地利用多模态医疗知识图谱来构建基于知识图谱的问答对之间的交互.该模型首先学习知识图谱中实体的多模态表示;然后从多模态知识图谱中与问答对相关联的实体的路径来推测出回答该问题时的逻辑,并刻画问答对之间的交互关系.此外,该模型还提出了一种注意力机制来判别连接问答对的不同路径之间的重要性.构建了一个大规模的多模态医疗知识图谱和一个医疗问答数据集,实验结果表明:该方法比当前最好的方法准确度提升了2%以上.