融合深度匹配特征的答案选择模型

答案选择是自动问答系统中的关键任务之一,其主要目的是根据问题与候选答案的相似性对候选答案进行排序,并选择出相关性较高的答案返回给用户。可将其看作成一个文本对的匹配问题。该文利用词向量、双向LSTM、2D神经网络等深度学习模型对问题—答案对的语义匹配特征进行了提取,并将其与传统NLP特征相结合,提出一种融合深度匹配特征的答案选择模型。在Qatar Living社区问答数据集上的实验显示,融合深度匹配特征的答案选择模型比基于传统特征的模型MAP值高5%左右。     

融合粗细粒度信息的长答案选择神经网络模型

答案选择是问答系统中的关键技术之一,而长答案选择在社区问答系统、开放域问答系统等非实体问答系统中有着重要地位。该文提出了一个结合粗粒度(句子级别)和细粒度(单词或n元单词级)信息的模型,缓解了传统句子建模方式应用于长答案选择时不能把握住句子的全部重要信息的不足和使用比较-聚合框架处理该类问题时不能利用好序列全局信息的缺点。该融合粗细粒度信息的长答案选择模型在不引入多余训练参数的情况下使用了细粒度信息,有效提升了长答案选择的准确率。在InsuranceQA答案选择数据集上的实验显示,该模型比基于句子建模的当前最高水平模型准确率提高3.30%。同时该文的研究方法可为其他长文本匹配相关研究提供参考。     

面向多阶段匹配的答案选择模型

近年来,信息量成倍增长,获取有效信息的代价越来越高,答案选择技术能够为用户直接提供所需的信息,具有革命性的意义。给定问题和候选答案,答案选择任务要求从候选答案中找出与问题最相关的答案。不失一般性,候选答案根据与问题的匹配程度可以分为三种类型：不相关、相关不合理、相关且合理。然而,已有工作仅考虑问题与答案的相关性,这对于精准问答是远远不够的。为此,提出多阶段匹配模型（MSMM）,模拟人的答题过程。具体的,MSMM模型分为两个阶段,第一阶段先将简单易解决的问答对分离出去,第二阶段再综合推理复杂的问答数据。每一阶段都由嵌入层、编码层、对齐层、融合层和池化层组成。此外,为了增强模型的推理能力,还引入语义角色标注信息和单词相似矩阵信息。为了便于评估,基于WikiQA和InsuranceQA数据集构造了两个答案合理性数据集。实验结果表明,对比基准方法,该模型在性能上取得一致的提升。     

基于答案知识库的汉英翻译自动评分系统应用

为了提高汉英翻译自动评分的准确性和适应度水平,提出基于答案知识库的汉英翻译自动评分方法,建立汉英翻译的知识库模型.通过语义本体特征分析方法与属性特征提取的方法相结合的方法进行汉英翻译自动评分的知识特征提取,通过二元语义多尺度分析和综合评价的方法进行汉英翻译自动评分和答案的知识库模型构造,结合英汉翻译的上下文语义集实现汉英翻译自动评分和答案知识库构造.实际应用分析结果表明,采用该方法进行汉英翻译自动评分设计的评分准确性较高,知识库分布的饱含度水平较好,提高了汉英翻译自动评分能力.     

基于招生咨询域的问答系统中答案抽取的研究

中国每年高考的考生数百万之巨,很多考生和家长对高考有这样或那样的问题,信息量需求非常大。开发基于招生咨询领域的自动问答系统是非常具有现实意义的。该文设计了一种基于招生咨询领域的自动系统,把蕴涵丰富招生咨询方面材料的文档库与常问问题答案库(FAQ)相结合,采用信息检索和答案抽取技术相结合,实现了从文档中自动得到答案的策略。     

基于要点匹配的文科主观题通用评分

主观题自动评分是智慧教育创新中的重要环节，逐步成为人工智能与教育行业领域交叉的热门方向之一。该文面向文科要点主观题，提出基于多任务学习的要点匹配评价模型：评估学生作答与标准答案各个要点之间的匹配等级，并抽取其中与要点相对应的具体片段，通过这两个任务的结果同时刻画学生对每个要点的掌握程度，并作为自动评分的关键特征；将要点匹配评价结果与文本相似度特征相结合，实现主观题作答自动评分，在无定标数据的通用评分场景下大幅提升了效果。对比实验证明了相比传统特征，基于要点匹配评价结果的特征在评分模型中更加重要。     

面向问答社区的答案摘要方法研究综述

社区问答系统(Community-Based Question Answering Portal,CQA)的兴起,不仅为用户提供了信息获取与知识分享的平台,同时也积累了大量的问答资源。近年来对于问答社区中的问题匹配、专家发现、用户满意度分析、答案质量评价等方面的研究也逐渐加深,特别是答案质量研究已经从通过答案质量评价改善用户体验,逐步过渡到使用答案摘要提升答案质量。该文阐述了答案摘要对于社区问答系统中问答对资源再利用的重要意义,概括了答案摘要的主要任务,分析了答案摘要和多文档自动文摘的异同点,对答案摘要国内外的研究现状进行了概述,并且总结了答案摘要中需要进一步解决的关键技术问题。     

基于多粒度交互推理的答案选择方法研究

预训练语言模型已经广泛应用于不同自然语言处理任务，其蕴含的自注意力机制能够在“文本对子”之上形成统一的语义编码表示，从而使BERT模型的输入结构和运算模式理论上适用于处理“目标问题和候选答案”样本。然而，直接应用BERT等语言模型将面临两种局限性：(1)BERT并不侧重词块、短语和子句的独立语义信息表示，使得文本在匹配过程中往往错失不同颗粒度语义相关性的感知；(2)BERT中的多头注意力机制不能在不同粒度的语义结构之间计算交互强度(相关性)。针对上述问题，该文提出一种基于BERT的多粒度交互推理网络，该方法将问题与候选答案的语言信息进行多粒度语义编码，丰富了句子间的语义信息与交互性。此外，该文提出句子级的编码损失策略，借以提高编码过程对关键子句的加权能力。在WPQA数据集上的实验结果显示，该方法有效提高了非事实性问题的答案选择性能。     

基于答案及其上下文信息的问题生成模型

基于文本的问题生成是从给定的句子或段落中生成相关问题。目前,主要采用序列到序列的神经网络模型来研究包含答案的句子生成问题,然而这些方法存在以下问题: ①生成的疑问词与答案类型不匹配; ②问题与答案的相关性不强。该文提出一个基于答案及其上下文信息的问题生成模型。该模型首先根据答案与上下文信息的关系确定与答案类型匹配的疑问词;然后利用答案及其上下文信息确定问题相关词,使问题尽可能使用原文中的词;最后结合原句作为输入来生成问题。相关实验表明,该文提出的模型性能明显优于基线系统。     

基于二元模糊匹配的编程题智能评分方法

针对传统编程题自动评分方法不能准确衡量学生程序与参考答案之间的接近程度等问题,提出了一种基于二元模糊匹配的编程题智能评分方法。第一元为结构匹配,检测学生程序在变量声明、数据输入、函数调用、控制结构等方面与参考答案的相似程度,目的是快速判断学生程序中是否存在关键的采分点。第二元为词语匹配,首先进行词频统计,以确定每个词的权重。然后,分别构造学生程序与参考答案的向量空间模型,并计算两者的余弦相似度,来作为评判词语相似的依据。最终的分数由结构相似度和词语相似度的加权分数计算得出。由于该二元匹配方法不关心程序中结构/词语的先后顺序和是否为精确表达,因此被称为是模糊的。仿真实验表明,该方法具有不错的评分准确性,尽管与人工评分相比还存在一定的差距,但当试题规模较大时,可以作为人工评分的替代手段。     

集成数据增强提高自动简答题评分的泛化性

自动简答题评分(Automated short answer grading,ASAG)是利用自然语言处理技术减少教育工作者人工评分负担。值得注意的是,目前大多数ASAG系统存在缺陷,学生通过复制或稍微改写标准答案取得高分的欺骗行为。该文探索一种基于规则的数据增强方法研究ASAG系统的鲁棒性。然而,由于自然语言存在离散性因素,导致基于规则的数据增强合成的样本的多样性受到限制。该文提出基于知识蒸馏的数据增强策略,以并行的方式堆叠不同的单个数据增强方法。此外,该文提出基于监督对比学习的ASAG系统,使得模型能学习到有效的句子表示。该文在University of North Texas和SemEval-2013两个公开数据集上进行了评估,与基线模型相比,该文提出的系统在性能上有实质性提高。     

融合语义信息与问题关键信息的多阶段注意力答案选取模型

自动问答系统可以帮助人们快速从海量文本中提取出有效信息,而答案选取作为其中的关键一步,在很大程度上影响着自动问答系统的性能.针对现有答案选择模型中答案关键信息捕获不准确的问题,本文提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型.该方法首先利用双向LSTM模型分别对问题和候选答案进行语义表示;然后采用问题的关键信息,包括问题类型和问题中心词,利用注意力机制对候选答案集合进行信息增强,筛选Top K个候选答案;然后采用问题的语义信息,再次利用注意力机制对Top K个候选答案集合进行信息增强,筛选出最佳答案.通过分阶段地将问题的关键信息和语义信息与候选答案的语义表示相结合,有效提高了对候选答案关键信息的捕获能力,从而提升了答案选取系统的性能.在三个数据集上对本文所提出的模型进行验证,相较已知同类最好模型,最高性能提升达1.95%.     

基于概率潜在语义分析模型的自动答案选择

问答社区中候选答案过多会增加提问用户选择最佳答案的负担。为此,提出一种基于概率潜在语义分析(PLSA)模型的自动答案选择方法。在主题建模思想的基础上,利用问答社区中的用户资料,以PLSA模型表达问答社区中的用户兴趣分布,依据答案和问题之间的主题匹配度对候选答案进行排序。实验结果表明,该方法可有效挖掘用户兴趣,提高答案选择的准确率。     

基于弱依赖信息的知识库问答方法

传统自动问答方法通常依赖谓词等先验信息实现知识库问答,需要耗费较多的人力且泛化能力不佳。提出一种针对弱依赖信息的知识库问答方法,结合BERT与BiLSTM-CRF网络提取问句中的命名实体,定位知识库中与该实体相关的三元组信息,通过答案匹配网络为三元组集合中的答案标上相似度分数,使用阈值选择策略选取符合要求的答案集合,并按照相似度分数由高到纸排序后呈现给用户。实验结果表明,该方法弱化了对先验信息的依赖,在减少人工干预的同时保证了问答质量,并且在NLPCC-ICCPOL-2016KBQA数据集上取得了87.05%的F1分数。     

基于浅层语义树核的阅读理解答案句抽取

阅读理解系统是通过对一篇自然语言文本的分析理解,对用户根据该文本所提的问题,自动抽取或者生成答案。本文提出一种利用浅层语义信息的英文阅读理解抽取方法,首先将问题和所有候选句的语义角色标注结果表示成树状结构,用树核(tree kernel)的方法计算问题和每个候选句之间的语义结构相似度,将该相似度值和词袋方法获得的词匹配数融合在一起,选择具有最高分值的候选句作为最终的答案句。在Remedia测试语料上,本文方法取得43.3%的HumSent准确率。     

基于浅层语义树核的阅读理解答案句抽取

阅读理解系统是通过对一篇自然语言文本的分析理解,对用户根据该文本所提的问题,自动抽取或者生成答案。本文提出一种利用浅层语义信息的英文阅读理解抽取方法,首先将问题和所有候选句的语义角色标注结果表示成树状结构,用树核(tree kernel)的方法计算问题和每个候选句之间的语义结构相似度,将该相似度值和词袋方法获得的词匹配数融合在一起,选择具有最高分值的候选句作为最终的答案句。在Remedia测试语料上,本文方法取得43.3%的HumSent准确率。     

GradeAid: a framework for automatic short answers grading in educational contexts—design,implementation and evaluation

Automatic short answer grading (ASAG), a hot field of natural language understanding, is a research area within learning analytics. ASAG solutions are conceived to offload teachers and instructors, especially those in higher education, where classes with hundreds of students are the norm and the task of grading (short)answers to open-ended questionnaires becomes tougher. Their outcomes are precious both for the very grading and for providing students with “ad hoc” feedback. ASAG proposals have also enabled different intelligent tutoring systems. Over the years, a variety of ASAG solutions have been proposed, still there are a series of gaps in the literature that we fill in this paper. The present work proposes GradeAid, a framework for ASAG. It is based on the joint analysis of lexical and semantic features of the students’ answers through state-of-the-art regressors; differently from any other previous work, (i) it copes with non-English datasets, (ii) it has undergone a robust validation and benchmarking phase, and (iii) it has been tested on every dataset publicly available and on a new dataset (now available for researchers). GradeAid obtains performance comparable to the systems presented in the literature (root-mean-squared errors down to 0.25 based on the specific tuple \(\langle \)dataset-question\(\rangle \)). We argue it represents a strong baseline for further developments in the field.

     

模式学习在QA系统中的有效实现

开放领域的问题回（question answering）是自然语言处理领域中具有挑战性的研究方向．提出了一种基于模式学习实现问题回答的方法，核心思想是利用机器学习方法得到的答案模式获取问题答案．该方法优势在于：①模式学习完全自动化实现；②解决了目前普遍存在的模式约束性弱及答案缺乏语义类型限制等缺陷．在TREC测试集上的实验结果表明，它不但解决了简单模式所覆盖的问题集，同时也解决了需要较强约束性模式进行答案抽取的问题集，而后者的问题数目在TREC测试问题集中占约80％．