基于事例推理的中文自动问答系统研究

针对自动问答系统,介绍如何用事例推理模型(CBR)来解决中文自动问答问题。提出了范例文档库的表示结构,关键词的抽取方法,候选答案集的检索策略,最终答案的抽取算法,以及对答案的修正方法等。通过理论和实验分析表明,该模型运用在自动问答系统领域是可行的和具有广大的发展空间的。     

基于概率潜在语义分析模型的自动答案选择

问答社区中候选答案过多会增加提问用户选择最佳答案的负担。为此,提出一种基于概率潜在语义分析(PLSA)模型的自动答案选择方法。在主题建模思想的基础上,利用问答社区中的用户资料,以PLSA模型表达问答社区中的用户兴趣分布,依据答案和问题之间的主题匹配度对候选答案进行排序。实验结果表明,该方法可有效挖掘用户兴趣,提高答案选择的准确率。     

基于领域知识的问答对自动提取方法

问答系统旨在用准确、简洁的答案回答用户用自然语言提出的问题。以旅游信息服务为应用背景,提出了基于领域知识的问答对自动提取方法。考察了常见旅游问题,建立了领域知识,在此基础上,设计了用户问题模式匹配算法和答案提取算法,对于不能匹配模式的问题,采用句子相似度计算得到相关的答案。实验结果表明,提出的方法是可行的,实现了旅游问题的自动问答。     

融合深度匹配特征的答案选择模型

答案选择是自动问答系统中的关键任务之一,其主要目的是根据问题与候选答案的相似性对候选答案进行排序,并选择出相关性较高的答案返回给用户。可将其看作成一个文本对的匹配问题。该文利用词向量、双向LSTM、2D神经网络等深度学习模型对问题—答案对的语义匹配特征进行了提取,并将其与传统NLP特征相结合,提出一种融合深度匹配特征的答案选择模型。在Qatar Living社区问答数据集上的实验显示,融合深度匹配特征的答案选择模型比基于传统特征的模型MAP值高5%左右。     

基于深度语义的三阶段式问题检索模型

随着检索式问答技术的日趋成熟,如何有效利用现有的模型和检索工具,达到问答系统的整体优化,是亟待研究的现实问题.提出了一种基于深度语义的三阶段式问题检索模型(TSFR-RM),用于构筑智能客服问答系统.首先基于深度学习方法计算用户问题和知识库问题的文本表征相似度,锁定top-k候选答案集,同时赋予模型泛化检索的能力;其次针对用户问题与知识库问题答案对,构造多角度语义特征,进行精确比对计算;最后构造状态预测模型返回问题检索精准答案.通过真实文旅机构客服问答数据集实验及实际应用效果表明,该模型相较于其他基于特征和表征的问题检索模型,在精确率(precision)性能指标上最高提升9.3个百分点,提升优化了智能客服检索系统的准确性.     

基于常见问题库的多搜索引擎自动问答系统

与传统的搜索引擎相比,自动问答系统支持自然语言提问,返回给用户一个简短而准确的答案,是自然语言处理领域的一个研究热点。文中介绍了一种基于常见问题库的多搜索引擎自动问答系统,它利用常见问题库和两大搜索引擎,快速准确地回答用户的问题,更加智能化地满足用户的检索需求。     

基于语义匹配的外语翻译机器人自动问答检索研究

为提高外语翻译机器人自动问答的准确率,提出一种基于TF-IDF+语义匹配+深度学习的问答匹配方法。为提高问题检索的准确率,采用TF-IDF算法关键词匹配,以筛选出问题回复集;基于seq2seq模型进行语义相似度计算,以产生问题回复集,引入Dual-Encoder评分的方式筛选出最佳回复答案;构建检索回复的外语翻译机器人系统。通过搭建TensorFlow的测试环境进行测试结果表明,相较于其他匹配模型,构建的检索模型的匹配准确率更高,且系统性能更好,可实现外语翻译机器人的精准检索对话。     

具有自主学习与记忆功能的智能政务问答系统研究

任务型问答系统一旦构建好,通常是固定不变的,能回答的问题非常有限,难以满足用户的需求。对此,提出一种自动实时更新知识库的方法,当用户提了一个问答系统回答不了的问题,系统会把该问题自动发送给人工客服,人工客服利用专业知识回复后,系统能够自动实时获取用户提的问题和人工客服回复的答案,并把这个问答对自动实时更新到知识库,之后如果其他用户提了类似的问题,问答系统就能够快速给出对应的答案。以政务领域的问答系统为例,应用文本向量化方法 ERNIE构建知识库自动实时更新的问答系统。经过计算机实验证明,提出的方法能够实现知识库自动实时更新,构建的问答系统具有自主学习与记忆功能,提高了任务型问答系统的智能化水平。     

基于知识图谱的在线商品问答研究

现阶段,针对商品的自动问答主要由意图识别和答案配置来实现,但问题答案的配置依赖人工且工作量巨大,容易造成答案质量不高。随着知识图谱技术的出现和发展,基于知识图谱的自动问答逐渐成为研究热点。目前,基于知识图谱的商品自动问答主要是通过规则解析的方法将文本形式问题解析为知识图谱查询语句来实现。虽然减少了人工配置工作,但其问答效果受限于规则的质量和数量,很难达到理想的效果。针对上述问题,该文提出一种基于知识图谱和规则推理的在线商品自动问答系统。主要贡献包括: ①构建一个基于LSTM的属性注意力网络SiameseATT(Siamese attention network)用于属性选择; ②引入了本体推理规则,通过规则推理使得知识图谱能动态生成大量三元组,使得同样数据下可以回答更多问题。在NIPCC-ICCPOL 2016 KBQA数据集上的实验显示,该系统具有很好的性能。相比一些更复杂的模型,该问答系统更适合电商的应用场景。     

基于常见问题库的多搜索引擎自动问答系统

与传统的搜索引擎相比，自动问答系统支持自然语言提问，返回给用户一个简短而准确的答案，是自然语言处理领域的一个研究热点。文中介绍了一种基于常见问题库的多搜索引擎自动问答系统，它利用常见问题库和两大搜索引擎，快速准确地回答用户的问题，更加智能化地满足用户的检索需求。     

A logical representation of Arabic questions toward automatic passage extraction from the Web

With the expanding growth of Arabic electronic data on the web, extracting information, which is actually one of the major challenges of the question-answering, is essentially used for building corpus of documents. In fact, building a corpus is a research topic that is currently referred to among some other major themes of conferences, in natural language processing (NLP), such as, information retrieval (IR), question-answering (QA), automatic summary (AS), etc. Generally, a question-answering system provides various passages to answer the user questions. To make these passages truly informative, this system needs access to an underlying knowledge base; this requires the construction of a corpus. The aim of our research is to build an Arabic question-answering system. In addition, analyzing the question must be the first step. Next, it is essential to retrieve a passage from the web that can serve as an appropriate answer. In this paper, we propose a method to analysis the question and retrieve the passage answer in the Arabic language. For the question analysis, five factual question types are processed. Additionally, our purpose is to experiment with the generation of a logic representation from the declarative form of each question. Several studies, deal with the logic approaches in question-answering, are discussed in other languages than the Arabic language. This representation is very promising because it helps us later in the selection of a justifiable answer. The accuracy of questions that are correctly analyzed and translated into the logic form achieved 64%. And then, the results of passages of texts that are automatically generated achieved an 87% score for accuracy and a 98% score for c@1.     

问答系统中问句分类方法研究综述

问答系统作为信息检索的一种高阶形式,能够迅速、精准地为用户提供所需的信息服务,在给定一个问题后,会相应地给出准确的答案,这使得它在自然语言处理领域成为一个越发受人关注的研究方向。问句分类作为问答系统中的问题分析和处理的首要环节,是问答系统中尤为重要的一部分,其分类精度会直接影响到问答系统的性能。近些年来,机器学习和深度学习等技术的快速发展极大地促进了问句分类的研究和发展,其在问句分类上具有较强的可行性和优越性。为此就问句分类的国内外研究现状、问句分类标准体系、问句特征抽取、传统的机器学习分类方法和近来流行的深度学习分类方法进行总结和分析,阐述了问句分类当前所面临的一些研究难点,并对未来的研究和发展方向做了初步展望。     

基于问句相似度的中文FAQ问答系统

常见问题(FAQ)问答系统是一种在已有的“问题—答案”对集合中找到与用户提问相匹配的问句,并将其对应的答案返回给用户的问答式检索系统。其关键问题是用户提出问句与FAQ库中问句进行相似度计算,找出FAQ库中最相近的问句,并返回事先存储好的问题答案。通过对常见问句特点的研究,给出一种基于分解的向量空间模型和语义概念的问句相似度计算方法,其主要思想是对一个问句向量进行分解,提取其三个关键部分:问点、主题词和疑问词,表示成三个分向量,然后对每个分向量计算基于《HIT-IRLab同义词词林(扩展版)》的语义相似度,通过线性加权就可以得出两个问句的语义相似度。试验表明,与传统的基于向量空间模型的TF-DF问句相似度计算方法相比,可以提高问句匹配的精度。     

Arabic question answering system: a survey

Question answering is a subfield of information retrieval. It is a task of answering a question posted in a natural language. A question answering system (QAS) may be considered a good alternative to search engines that return a set of related documents. The QAS system is composed of three main modules; question analysis, passage retrieval, and answer extraction. Over the years, numerous QASs have been presented for use in different languages. However, the the development of Arabic QASs has been slowed by linguistic challenges and the lack of resources and tools available to researchers. In this survey, we start with the challenges due to the language and how these challenges make the development of new Arabic QAS more difficult. Next, we do a detailed review of several Arabic QASs. This is followed by an in-depth analysis of the techniques and approaches in the three modules of a QAS. We present an overview of important and recent tools that were developed to help the researchers in this field. We also cover the available Arabic and multilingual datasets, and a look at the different measures used to assess QASs. Finally, the survey delves into the future direction of Arabic QAS systems based on the current state-of-the-art techniques developed for question answering in other languages.

     

基于网络的中文问答系统及信息抽取算法研究

问答系统(Question Answering System)能用准确、简洁的答案回答用户用自然语言提出的问题。目前多数问答系统利用大规模文本作为抽取答案的知识库,而网络上丰富的资源为问答系统提供了另外一种良好的知识来源,对于回答简短、基于事实的问题非常有效。本文对基于网络的问答系统研究现状作了简要的介绍,分析了网络信息的特点。我们提出了一种基于语句相似度计算的答案抽取方法,在此基础上实现了一个基于网络的中文问答系统。该系统只利用网络搜索引擎返回结果中的摘要部分作为答案抽取的资源,从而节省了下载、分析网络源文本的时间。实验结果表明该系统对人名、数量及时间类型的问题效果显著,对测试问题集的MRR值达到0.51。     

基于知识库的开放领域问答系统

问答系统能够理解用户问题,并直接返回答案。现有问答系统大多是面向领域的,仅能回答特定领域的问题。文中提出了基于大规模知识库的开放领域问答系统实现方法。该系统首先采用自定义词典分词和CRF模型相结合的方法识别问句中的主体;其次,采用模糊匹配方法将问句中的主体与知识库中实体建立链接;然后,通过相似度计算以及规则匹配等多种方法识别问句中的谓词并与知识库实体的属性建立关联;最后,进行实体消歧和答案获取。该系统平均F-Measure值为0.695 6,表明所提方法在基于知识库的开放领域问答上具有可行性。     

A survey on question answering technology from an information retrieval perspective

This article provides a comprehensive and comparative overview of question answering technology. It presents the question answering task from an information retrieval perspective and emphasises the importance of retrieval models, i.e., representations of queries and information documents, and retrieval functions which are used for estimating the relevance between a query and an answer candidate. The survey suggests a general question answering architecture that steadily increases the complexity of the representation level of questions and information objects. On the one hand, natural language queries are reduced to keyword-based searches, on the other hand, knowledge bases are queried with structured or logical queries obtained from the natural language questions, and answers are obtained through reasoning. We discuss different levels of processing yielding bag-of-words-based and more complex representations integrating part-of-speech tags, classification of the expected answer type, semantic roles, discourse analysis, translation into a SQL-like language and logical representations.     

Semantic passage segmentation based on sentence topics for question answering

We propose a semantic passage segmentation method for a Question Answering (QA) system. We define a semantic passage as sentences grouped by semantic coherence, determined by the topic assigned to individual sentences. Topic assignments are done by a sentence classifier based on a statistical classification technique, Maximum Entropy (ME), combined with multiple linguistic features. We ran experiments to evaluate the proposed method and its impact on application tasks, passage retrieval and template-filling for question answering. The experimental result shows that our semantic passage retrieval method using topic matching is more useful than fixed length passage retrieval. With the template-filling task used for information extraction in the QA system, the value of the sentence topic assignment method was reinforced.     

模式学习在QA系统中的有效实现

开放领域的问题回（question answering）是自然语言处理领域中具有挑战性的研究方向．提出了一种基于模式学习实现问题回答的方法，核心思想是利用机器学习方法得到的答案模式获取问题答案．该方法优势在于：①模式学习完全自动化实现；②解决了目前普遍存在的模式约束性弱及答案缺乏语义类型限制等缺陷．在TREC测试集上的实验结果表明，它不但解决了简单模式所覆盖的问题集，同时也解决了需要较强约束性模式进行答案抽取的问题集，而后者的问题数目在TREC测试问题集中占约80％．