基于多粒度交互推理的答案选择方法研究

预训练语言模型已经广泛应用于不同自然语言处理任务,其蕴含的自注意力机制能够在“文本对子”之上形成统一的语义编码表示,从而使BERT模型的输入结构和运算模式理论上适用于处理“目标问题和候选答案”样本。然而,直接应用BERT等语言模型将面临两种局限性：(1)BERT并不侧重词块、短语和子句的独立语义信息表示,使得文本在匹配过程中往往错失不同颗粒度语义相关性的感知;(2)BERT中的多头注意力机制不能在不同粒度的语义结构之间计算交互强度(相关性)。针对上述问题,该文提出一种基于BERT的多粒度交互推理网络,该方法将问题与候选答案的语言信息进行多粒度语义编码,丰富了句子间的语义信息与交互性。此外,该文提出句子级的编码损失策略,借以提高编码过程对关键子句的加权能力。在WPQA数据集上的实验结果显示,该方法有效提高了非事实性问题的答案选择性能。     

融合深度匹配特征的答案选择模型

答案选择是自动问答系统中的关键任务之一,其主要目的是根据问题与候选答案的相似性对候选答案进行排序,并选择出相关性较高的答案返回给用户。可将其看作成一个文本对的匹配问题。该文利用词向量、双向LSTM、2D神经网络等深度学习模型对问题—答案对的语义匹配特征进行了提取,并将其与传统NLP特征相结合,提出一种融合深度匹配特征的答案选择模型。在Qatar Living社区问答数据集上的实验显示,融合深度匹配特征的答案选择模型比基于传统特征的模型MAP值高5%左右。     

选择并融合粗细粒度特征的细粒度图像识别

目的 在细粒度图像识别任务中,类内图像姿势方差大,需要找到类内变化小的共性,决定该任务依赖于鉴别性局部的细粒度特征;类间图像局部差异小,需要找到类间更全面的不同,决定该任务还需要多样性局部的粗粒度特征。现有方法主要关注粗细粒度下的局部定位,没有考虑如何选择粗细粒度的特征及如何融合不同粒度的特征。为此,提出一种选择并融合粗细粒度特征的细粒度图像识别方法。方法 设计一个细粒度特征选择模块,通过空间选择和通道选择来突出局部的细粒度鉴别性特征;构建一个粗粒度特征选择模块,基于细粒度模块选择后的局部,挖掘各局部间的语义和位置关系,从而获得为细粒度局部提供补充信息的粗粒度多样性特征;融合这两个模块中提取到的细粒度特征和粗粒度特征,形成互补的粗细粒度表示,以提高细粒度图像识别方法的准确性。结果 在CUB-200-2011（caltech-UCSD birds-200-2011）、Stanford Cars和FGVC-Aircraft（fine-grained visual classification aircraft） 3个公开的标准数据集上进行广泛实验,结果表明,所提方法的识别准确率分别达到90.3%、95.6%和94.8%,明显优于目前主流的细粒度图像识别方法,相较于对比方法中的最好结果,准确率相对提升0.7%、0.5%和1.4%。结论 提出的方法能够提取粗粒度和细粒度两种类型的视觉特征,同时保证特征的鉴别性和多样性,使细粒度图像识别的结果更加精准。     

一种用于答案选择的知识增强混合神经网络

答案选择是问答领域中一项重要的子任务,该任务旨在从候选答案集中选择出正确的答案.传统的模型主要依靠人工提取问答之间的语义相似度特征,并通过分类器或排名算法选择最匹配的答案.近年来的研究工作主要基于深度神经网络自动提取问答的语义相似度特征,并在问答匹配精度上取得了巨大的进步.但是,大多数深度神经网络模型依赖单一的神经网络...     

基于会话的多粒度图神经网络推荐模型

基于会话的推荐旨在根据当前用户的匿名会话的点击序列信息来预测用户的下一次点击行为。现有方法多数都是通过对用户会话点击序列的物品信息进行建模,并学习物品的向量表示,进而进行推荐。而作为一种粗粒度的信息,物品的类别信息对物品有聚合作用,可作为物品信息的重要补充。基于此,提出了基于会话的多粒度图神经网络推荐模型（SRMGNN）。首先,使用图神经网络（GNN）得到会话序列中的物品和物品类别的嵌入向量表示,并使用注意力网络捕捉用户的注意力信息;然后,将赋予了不同注意力权重值的物品和物品类别信息进行融合后,输入到门限循环单元（GRU）里;最后,通过GRU学习会话序列的物品时序信息,并给出推荐列表。在公开的Yoochoose数据集和Diginetica数据集上进行实验,实验结果验证了该模型在增加了物品类别信息后的优势,且实验结果表明了在Precision@20和MRR@20这2种评价指标上,该模型相较于短期注意力/记忆优先级（STAMP）模型、神经注意力（NARM）模型、GRU4REC等8种模型均有更好的效果。     

基于动态注意力和多角度匹配的答案选择模型

针对当前主流神经网络在处理答案选择任务时无法同时满足句子的充分表示以及句子间信息充分交互的问题,提出了基于动态注意力和多角度匹配（DAMPM）的答案选择模型。首先,调用预训练语言模型的嵌入（ELMo）获得包含简单语义信息的词向量;接着,在注意力层采用过滤机制有效地去除句子中的噪声,从而更好地得到问句和答案句的句子表征;其次,在匹配层同时引入多种匹配策略来完成句子向量之间的信息交互;然后,利用双向长短期记忆（BiLSTM）网络对匹配层输出的句子向量进行拼接;最后,通过分类器来计算拼接向量的相似度大小,从而得到问句和答案句之间的语义关联。在文本检索会议问答（TRECQA）数据集上的实验结果表明,与基于比较聚合框架的基线模型中的动态滑动注意力网络（DCAN）方法相比,DAMPM在平均准确率均值（MAP）和平均倒数排名（MRR）两个性能指标上均提高了1.6个百分点。在维基百科问答（WikiQA）数据集上的实验结果表明,DAMPM相较DCAN在两个性能指标上分别提高了0.7个百分点和0.8个百分点。所提DAMPM相较于基线模型中的方法整体上有更好的性能表现。     

基于Transformer和双重注意力融合的分层交互答案选择模型

答案选择是问答系统中的关键组成部分,提升其准确性是问答系统研究的重要内容之一。近年来深度学习技术广泛应用于答案选择,获得了良好效果,但仍旧有一定的局限性。其中模型对问题语义信息利用度低、缺乏局部语义重视、句子间交互感知能力差等问题尤为突出。针对上述问题提出了一种基于Transformer和双重注意力融合的答案选择模型NHITAS（new hierarchical interactive Transformer for answer selection）。首先,在信息预处理部分提取问题类别和关键词对答案进行初步筛选,并引入外部知识作为句子额外语义补充;其次,采用分层交互的Transformer对句子进行语义上下文建模,提出了UP-Transformer（untied position-Transformer）和DA-Transformer（decay self-attention-Transformer）两种结构学习语义特征;最后,通过双重注意力融合过滤句子噪声,增强问题和答案之间的语义交互。在WikiQA和TrecQA数据集上对NHITAS的性能进行测试,实验结果表明所提模型对比其他模型,能够有效提升答案选择任务的效果。     

结合多粒度信息的文本匹配融合模型

常规的文本匹配模型大致分为基于表示的文本匹配模型和基于交互的文本匹配模型.由于基于表示的文本匹配模型容易失去语义焦点,而基于交互的文本匹配模型会忽视全局信息,文中提出了结合多粒度信息的文本匹配融合模型.该模型通过交互注意力和表示注意力将两种文本匹配模型进行了融合,然后利用卷积神经网络提取了文本中存在的多个不同级别的粒度...     

融合上下文信息的深度推荐模型

目前,在基于文档信息的推荐任务中,传统基于文档的混合推荐算法仍依赖于浅层的线性模型,当评分数据变得庞大且复杂时,其推荐性能往往不太理想。针对此问题,提出一种深度融合模型(DeepFM),该模型能够在完全捕获文本信息的同时也能很好地处理复杂且稀疏的评分数据。DeepFM由两个并行的神经网络组成,其中一路神经网络使用多层感知器提取评分矩阵的行向量信息从而获得用户的潜在特征向量,另一路则使用MLP和卷积神经网络(CNN)共同建模从而提取额外有关项目的文本信息得到项目潜在特征向量。最后,通过构建融合层将用户特征向量和项目特征向量进行融合得出预测评分。实验结果表明,DeepFM在MovieLens数据集和亚马逊数据集上的性能优于主流的推荐模型。     

基于多层感知机和语义矩阵的答案选择模型

答案选择是问答系统领域的关键子任务,其性能表现支撑着问答系统的发展。基于参数冻结的BERT模型生成的动态词向量存在句级语义特征匮乏、问答对词级交互关系缺失等问题。多层感知机具有多种优势,不仅能够实现深度特征挖掘,且计算成本较低。在动态文本向量的基础上,文中提出了一种基于多层感知机和语义矩阵的答案选择模型,多层感知机主要实现文本向量句级语义维度重建,而通过不同的计算方法生成语义矩阵能够挖掘不同的文本特征信息。多层感知机与基于线性模型生成的语义理解矩阵相结合,实现一个语义理解模块,旨在分别挖掘问题句和答案句的句级语义特征;多层感知机与基于双向注意力计算方法生成的语义交互矩阵相结合,实现一个语义交互模块,旨在构建问答对之间的词级交互关系。实验结果表明,所提模型在WikiQA数据集上MAP和MRR分别为0.789和0.806,相比基线模型,该模型在性能上有一致的提升,在SelQA数据集上MAP和MRR分别为0.903和0.911,也具有较好的性能表现。     

面向事实性问题的答案选择技术研究综述

答案选择是问答系统的一个关键步骤,它的任务是从候选答案集中选择出最佳答案返给用户,其主要研究内容包括答案选择的标准、方法及评价。该文首先介绍了主要的答案选择标准,分析了答案选择标准与问答系统评测之间的关系。然后将答案选择策略分为基于冗余的策略、基于相似性的策略和基于推理的策略,分别对每种策略的主要答案选择方法和特点进行了概述。随后又介绍了答案选择的评价指标及答案验证评测。最后讨论了答案选择所面临的主要问题,并对其未来的发展方向进行了展望。     

A Probabilistic Neural Network for Attribute Selection in Stereovision Matching

The key step in stereovision is image matching. This is carried out on the basis of selecting features, edge points, edge segments, regions, corners, etc. Once the features have been selected, a set of attributes (properties) for matching is chosen. This is a key issue in stereovision matching. This paper presents an approach for attribute selection in stereovision matching tasks based on a Probabilistic Neural Network, which allows the computation of a mean vector and a covariance matrix from which the relative importance of attributes for matching and the attribute interdependence can be derived. This is possible because the matching problem focuses on a pattern classification problem. The performance of the method is verified with a set of stereovision images and the results contrasted with a classical attribute selection method and also with the relevance concept. ID="A1" Correspondence and offprint requests to: Facultad de CC. Físicas, Universidad Complutense, 28040 Madrid, Spain. Email: pajares@dacya.ucm.es     

面向多阶段匹配的答案选择模型

近年来,信息量成倍增长,获取有效信息的代价越来越高,答案选择技术能够为用户直接提供所需的信息,具有革命性的意义。给定问题和候选答案,答案选择任务要求从候选答案中找出与问题最相关的答案。不失一般性,候选答案根据与问题的匹配程度可以分为三种类型：不相关、相关不合理、相关且合理。然而,已有工作仅考虑问题与答案的相关性,这对于精准问答是远远不够的。为此,提出多阶段匹配模型（MSMM）,模拟人的答题过程。具体的,MSMM模型分为两个阶段,第一阶段先将简单易解决的问答对分离出去,第二阶段再综合推理复杂的问答数据。每一阶段都由嵌入层、编码层、对齐层、融合层和池化层组成。此外,为了增强模型的推理能力,还引入语义角色标注信息和单词相似矩阵信息。为了便于评估,基于WikiQA和InsuranceQA数据集构造了两个答案合理性数据集。实验结果表明,对比基准方法,该模型在性能上取得一致的提升。     

融合语义信息与问题关键信息的多阶段注意力答案选取模型

自动问答系统可以帮助人们快速从海量文本中提取出有效信息,而答案选取作为其中的关键一步,在很大程度上影响着自动问答系统的性能.针对现有答案选择模型中答案关键信息捕获不准确的问题,本文提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型.该方法首先利用双向LSTM模型分别对问题和候选答案进行语义表示;然后采用问题的关键信息,包括问题类型和问题中心词,利用注意力机制对候选答案集合进行信息增强,筛选Top K个候选答案;然后采用问题的语义信息,再次利用注意力机制对Top K个候选答案集合进行信息增强,筛选出最佳答案.通过分阶段地将问题的关键信息和语义信息与候选答案的语义表示相结合,有效提高了对候选答案关键信息的捕获能力,从而提升了答案选取系统的性能.在三个数据集上对本文所提出的模型进行验证,相较已知同类最好模型,最高性能提升达1.95%.     

面向预测的长短时神经网络记忆增强机制

基于时序数据建模的长短时神经网络（LSTM）可用于预测类问题。现实场景中,LSTM预测精度往往与输入序列长度相关,有效的历史信息会被新输入的数据淹没。针对此问题,提出在LSTM节点中构建强化门实现对遗忘信息的提取,并与记忆信息按比例选取、融合、输入记忆单元,增加学习过程中的梯度传导能力,使网络对相对较远的信息保持敏感以提升记忆能力。实验采用工业故障数据,当序列长度超过100时,具有强化门机制的改进模型预测误差低于其他LSTM模型。预测精度的差距随序列增加而增大,当序列长度增至200时,改进模型的预测误差（RMSE/MAE）较原模型分别降低了26.98%与35.85%。     

Feature Selection Using Probabilistic Neural Networks

Selection of input variables (features) is a key stage in building predictive models. As exhaustive evaluation of potential feature sets using full non-linear models is impractical, it is common practice to use simple fast-evaluating models and heuristic selection strategies. This paper discusses a fast, efficient, and powerful non-linear input selection procedure using a combination of probabilistic neural networks and repeated bitwise gradient descent with resampling. The algorithm is compared with forward selection, backward selection and genetic algorithms using a selection of real-world data sets. The algorithm has comparative performance and greatly reduced execution time with respect to these alternative approaches.     

基于细粒度特征交互选择网络的农产品推荐算法

在数字化的时代里, 越来越多人偏爱在电商平台购物, 随着农产品电商平台的发展, 消费者面对众多选择时难以找到适合自己的产品. 为了提高用户满意度和购买意愿, 农产品电商平台需要根据用户的兴趣偏好向其推荐合适的农产品. 考虑到季节、地域、用户兴趣和农产品属性等多种农业特征, 通过特征交互可以更好地捕捉用户需求. 传统的点击通过率CTR (click through rate)预测模型只关注用户评分, 以简单的方式计算特征交互, 而忽略了特征交互的重要性. 本文提出了一种名为细粒度特征交互选择网络FgFisNet (fine-grained feature interaction selection networks)的新模型. 该模型通过引入细粒度交互层和特征交互选择层, 组合内积和哈达玛积有效地学习特征交互, 然后在训练过程中自动识别重要的特征交互, 并删除冗余的特征交互, 最后将重要的特征交互和一阶特征输入到深度神经网络, 得到最终的CTR预测值. 在农产品电商真实数据集上进行广泛的实验, FgFisNet方法取得了显著的经济效益.     

动态自适应选择神经网络集成的方法研究

为了有效提高神经网络的集成性能，提出了基于局部分类精度估计的动态自适应选择集成的思想．根据贝叶斯理论．证明了在满足一定假设的条件下，动态自适应选择集成的分类性能可以逼近最优贝叶斯分类器．在此基础上，分别介绍了硬决策和软决策两种个体网络选择方法．选自UCI机器学习数据库的5个数据集的实验结果表明，动态自适应选择的分类性能明显优于常用的投票法和平均法，且集成分类性能对邻域的大小并不敏感；其中，软决策方法要优于硬决策方法．