面向问答社区的答案摘要方法研究综述

社区问答系统(Community-Based Question Answering Portal,CQA)的兴起,不仅为用户提供了信息获取与知识分享的平台,同时也积累了大量的问答资源。近年来对于问答社区中的问题匹配、专家发现、用户满意度分析、答案质量评价等方面的研究也逐渐加深,特别是答案质量研究已经从通过答案质量评价改善用户体验,逐步过渡到使用答案摘要提升答案质量。该文阐述了答案摘要对于社区问答系统中问答对资源再利用的重要意义,概括了答案摘要的主要任务,分析了答案摘要和多文档自动文摘的异同点,对答案摘要国内外的研究现状进行了概述,并且总结了答案摘要中需要进一步解决的关键技术问题。     

一种基于LDA的社区问答问句相似度计算方法

传统的问答系统(QA)只是直接返回问题的答案,而且没有用户交互特性,而基于社区的问答系统(CQA),含有大量的“问答对”可以利用。该文提出了一种基于LDA的匹配框架来解决相似问句的匹配问题,分别从问句的统计信息、语义信息和主题信息三个方面来计算问句相似度,综合得到整体相似度。实验是在Yahoo! Answers上抽取的真实标注数据集上进行,最终的实验结果表明,该文的方法达到了很好的性能。     

问答社区中回答质量的评价方法研究

问答社区已经成为网络信息获取的一种重要渠道,但其信息质量差异较大。该文研究了问答社区中回答质量的评价方法。具体考察了百度知道的问答社区环境,并对其构建了大规模的语料数据。针对百度知道的特点,文本提出的基于时序的特征、基于问题粒度的特征和基于百度知道社区用户的特征,从更多的角度对回答质量进行评价。利用分类学习的框架,该文综合了新设计的三方面特征和经典的文本特征、链接特征,对高质量和非高质量的回答进行分类。基于大规模问答语料的实验表明,在文本特征与链接特征的基础上,基于时序与基于问题粒度的特征能够有效地提高回答质量的评估效果。另外也发现,根据该文的回答质量评价框架做出的质量评分能够有效地预测最佳答案。     

中文社区问答中问题答案质量评价和预测

知识共享型网站为自动问答系统带来了新的研究契机。但用户提供的问题及其答案质量参差不齐,在提供有用信息的同时可能包含各种无关甚至恶意的信息。对此类信息进行判别和过滤,并选取高质量的问题与答案对,有助于在基于社区的自动问答系统中重用相关问题的答案以提高问答系统的服务质量。首先从中文社区问答网站上抓取大量问题及答案,利用社会网络的方法对提问者和回答者的互动关系及特点进行了统计与分析。然后基于给定的问答质量判定标准,对3000多个问题及其答案进行了人工标注。并通过提取文本和非文本两类特征集,利用机器学习算法设计和实现了基于特征集的问答质量分类器。试验结果表明其精度和召回率均在70%以上。最后分析了影响社区网络中问答质量的主要因素。     

融合粗细粒度信息的长答案选择神经网络模型

答案选择是问答系统中的关键技术之一,而长答案选择在社区问答系统、开放域问答系统等非实体问答系统中有着重要地位。该文提出了一个结合粗粒度(句子级别)和细粒度(单词或n元单词级)信息的模型,缓解了传统句子建模方式应用于长答案选择时不能把握住句子的全部重要信息的不足和使用比较-聚合框架处理该类问题时不能利用好序列全局信息的缺点。该融合粗细粒度信息的长答案选择模型在不引入多余训练参数的情况下使用了细粒度信息,有效提升了长答案选择的准确率。在InsuranceQA答案选择数据集上的实验显示,该模型比基于句子建模的当前最高水平模型准确率提高3.30%。同时该文的研究方法可为其他长文本匹配相关研究提供参考。     

基于概率潜在语义分析模型的自动答案选择

问答社区中候选答案过多会增加提问用户选择最佳答案的负担。为此,提出一种基于概率潜在语义分析(PLSA)模型的自动答案选择方法。在主题建模思想的基础上,利用问答社区中的用户资料,以PLSA模型表达问答社区中的用户兴趣分布,依据答案和问题之间的主题匹配度对候选答案进行排序。实验结果表明,该方法可有效挖掘用户兴趣,提高答案选择的准确率。     

基于混合式的社区问答答案质量评价模型

社区问答系统已经成为获取和分享知识的一种重要渠道,但用户提供的信息质量差异比较大。本文针对社区问答系统中具有多个答案的问题,提出了一种基于混合式的社区问答答案质量评价模型,可实现最佳答案的选取。该模型首先利用基于用户活动的UAM模型获得问题和答案的主题相似度并剔除无关回复,然后结合用户权威度及多重评价标准,对答案进行评分,获得对答案的定量评价结果。基于Stack Overflow的实验表明,该方法可有效的对答案进行质量评分,有实用价值。     

融合深度匹配特征的答案选择模型

答案选择是自动问答系统中的关键任务之一,其主要目的是根据问题与候选答案的相似性对候选答案进行排序,并选择出相关性较高的答案返回给用户。可将其看作成一个文本对的匹配问题。该文利用词向量、双向LSTM、2D神经网络等深度学习模型对问题—答案对的语义匹配特征进行了提取,并将其与传统NLP特征相结合,提出一种融合深度匹配特征的答案选择模型。在Qatar Living社区问答数据集上的实验显示,融合深度匹配特征的答案选择模型比基于传统特征的模型MAP值高5%左右。     

基于异构信息网络的推荐系统

随着互联网、计算机等技术的深入发展,互联网为用户带来了各类网络服务用于增进用户交流。其中,问答社区为用户提供了提问和回答的交流平台,其目的是通过互联网实现用户间的知识经验分享和信息传播。但仍存在一些问题限制问答社区的发展,例如随着用户数量的不断增长,大量问题得不到及时回答且提问者对已有问题的回答并不满意。因此,对于问答社区来说,如何从大量的用户中找到专家用户是非常重要的。针对以上问题,本文提出一种基于异构信息网络的推荐方法,首先对问答社区中的问题属性和用户属性建立异构信息网络,利用元路径来捕捉异构信息网络中丰富的语义信息,然后使用基于元路径的相似度计算方法分别计算问题与用户的相似度矩阵,采用3种方式将得到的相似度矩阵与问题-用户评分矩阵相融合,然后使用矩阵分解获得问题和用户的潜在特征,最后使用因子分解机进行训练和推荐。在海川化工问答数据集上将本文提出的方法同多种先进的推荐算法进行对比,并利用评价指标对模型进行评估。实验结果表明,本文提出的算法在相关评估指标方面相较于之前的算法具有一定优势。     

面向协作式问答的问题理解技术研究

问题理解是问答系统中的重要组成部分,尤其对于协作式问答。在协作式问答中用户对所提出的问题进行了详细的说明和描述。如何利用这些描述信息来提高系统的性能,是一个很重要的问题。该文提出了一种基于词典和句法分析的方法,来对用户的问题进行分析,从中提取出有价值的关键词,以提高包含候选答案网页的召回率。通过实验对比分析,该方法的MPP值和MAP值都有了较大的提高。     

依赖关系三元组匹配在问题回答中的应用

描述了一种新的计算问题与支持答案句相似度的方法, 即基于依赖关系三元组匹配的方法. 该方法引入了问题中的疑问性和非疑问性部分的信息, 采用了启发式规则扩展问题的依赖关系三元组, 从而匹配变形的答案句. 同时把问题与支持答案句的相似度作为新的特征, 应用于开放领域的问题回答(Question answering, QA)任务中的答案排序. 实验结果表明, 引入新特征的答案排序方法与通常的基于密度的方法相比, 在相对精度指标上提高了8.2%, 在平均排序倒数(Mean reciprocal rank, MRR)评价上提高了8%.     

模式学习在QA系统中的有效实现

开放领域的问题回（question answering）是自然语言处理领域中具有挑战性的研究方向．提出了一种基于模式学习实现问题回答的方法，核心思想是利用机器学习方法得到的答案模式获取问题答案．该方法优势在于：①模式学习完全自动化实现；②解决了目前普遍存在的模式约束性弱及答案缺乏语义类型限制等缺陷．在TREC测试集上的实验结果表明，它不但解决了简单模式所覆盖的问题集，同时也解决了需要较强约束性模式进行答案抽取的问题集，而后者的问题数目在TREC测试问题集中占约80％．     

AnswerSeeker:基于互联网挖掘的智能问答系统

智能问答系统是一种处理自然语言的新型的信息检索系统。介绍了AnswerSeeker智能问答系统,该系统采用了模块化和可扩展的框架,以便整合多种智能问答技术和多样化数据源。通过将与语言无关的代码和语言相关的代码分离,并且将语言相关的代码封装为组件,只要替换相应的组件,该系统可以适用于多种语言。由于很多自然语言处理技术还没有针对中文的,目前为止,我们系统的内核只支持英文,所以将以英语自然语言为例介绍AnswerSeeker的架构和工作原理。该系统采用了两种互联网挖掘的方法来寻找问题的答案：知识挖掘和知识诠释。AnswerSeeker使用网络作为一个知识源,当然它也可以使用其他小的语料库或面向专业领域的知识库作为知识源。此外,提出了一种新的问题的表示和答案提取的方法一文本模式,文本模式分为问题模式和答案模式;其中问题模式用来表示问题,答案模式用来提取精确的答案。AnswerSeeker通过将问题-答案对作为训练数据,自动学习答案模式。实验表明将互联网作为知识源,将模式学习和知识诠释的技术集成在同一系统中进行答案挖掘是一种这种很有前途的方法。     

基于潜在语义分析的智能答疑系统研究与实现

文中研究的是基于常问问题库（FAQ库）的智能答疑系统。FAQ库是很多智能答疑系统中的一个重要组成部分,它把用户常问的问题和相关答案保存起来,对于用户输入的问题,可以首先在FAQ库中查找答案。如果能够找到相似的问题,就可以直接将问题所对应的答案返回给用户。为解决智能答疑系统因词的同义或多义现象而导致的“漏答”或“错答”,采用一种基于加权潜在语义分析模型的相似度计算方法。针对特定教育领域的智能答疑系统．改进了反映词与词之间相关性的权值计算。通过对特定课程中常问问题的实验,结果显示明显优于向量空间模型。     

基于网络的中文问答系统及信息抽取算法研究

问答系统(Question Answering System)能用准确、简洁的答案回答用户用自然语言提出的问题。目前多数问答系统利用大规模文本作为抽取答案的知识库,而网络上丰富的资源为问答系统提供了另外一种良好的知识来源,对于回答简短、基于事实的问题非常有效。本文对基于网络的问答系统研究现状作了简要的介绍,分析了网络信息的特点。我们提出了一种基于语句相似度计算的答案抽取方法,在此基础上实现了一个基于网络的中文问答系统。该系统只利用网络搜索引擎返回结果中的摘要部分作为答案抽取的资源,从而节省了下载、分析网络源文本的时间。实验结果表明该系统对人名、数量及时间类型的问题效果显著,对测试问题集的MRR值达到0.51。     

New Information Distance Measure and Its Application in Question Answering System

In a question answering (QA) system,the fundamental problem is how to measure tile distance between a question and an answer,hence ranking different answers.We demonstrate that such a distance can he precisely and mathematically defined.Not only such a definition is possible,it is actually provably better than any other feasible definitions. Not only such an ultimate definition is possible,but also it can be conveniently and fruitfully applied to construct a QA system.We have built such a system——QUANTA.Extensive experiments are conducted to justify the new theory.     

基于全局覆盖机制与表示学习的生成式知识问答技术

针对现有生成式问答模型中陌生词汇导致答案准确率低下的问题和模式混乱导致的词汇重复问题, 本文提出引入知识表示学习结果的方法提高模型识别陌生词汇的能力, 提高模型准确率. 同时本文提出使用全局覆盖机制以平衡不同模式答案生成的概率, 减少由预测模式混乱导致的重复输出问题, 提高答案的质量. 本文在知识问答模型基础上结合知识表示学习的推理结果, 使模型具备模糊回答的能力. 在合成数据集和现实世界数据集上的实验证明了本模型能够有效地提高生成答案的质量, 能对推理知识进行模糊回答.     

问答系统研究综述

近年来,问答系统被大量广泛地研究。问答系统的目标是给定一个问题,能够得到简短、精确的答案。根据处理数据的不同,将问答系统分为三类:基于结构化数据的问答系统、基于自由文本的问答系统、基于问题答案对的问答系统。对这三大类系统的特点、面临的问题和相关的研究分别进行了叙述和总结。最后,讨论了问答系统未来可能的研究方向。     

Selecting the most helpful answers in online health question answering communities

The online question answering (QA) community has been popular in recent years. In this paper, we focus on the online health question answering (HQA) community. The HQA community provides a platform for health consumers to inquire about health information. There are two ways to use this platform. One is to post a question and wait for answers to be provided by authenticated doctors. The other is to search for relevant questions with answers. For the latter, health consumers may prefer an accepted answer marked by the previous health consumer. However, there is a large proportion of questions without an accepted answer and it is inconvenient for people who want to search for relevant questions. To address this issue, we aim to select high-quality answers from the answers without marked accepted answers. We propose a deep learning approach to achieve this goal. To train the model for the prediction of answer quality, we first view the accepted answer as the positive answer and propose a method to label the negative answer. Next, we capture the semantic information on the question and the answer by the deep learning structure. We then combine the information to predict the quality score of the answer. We collect data from one of the biggest Chinese HQA community and divide them into groups by the medical departments for detailed analysis. Finally, we conduct experiments to show the effectiveness of categorization and the labeling method. The results show that our approach outperforms other studies and we further research into the differences among the results of different categories.