常识问答研究综述

常识问答是一项重要的自然语言理解任务, 旨在利用常识知识对自然语言问句进行自动求解, 以得到准确答案. 常识问答在虚拟助手或社交聊天机器人等领域有着广泛的应用前景, 且其蕴涵了知识挖掘与表示、语言理解与计算、答案推理和生成等关键科学问题, 因而受到工业界和学术界的广泛关注. 首先介绍常识问答领域的主要数据集; 其次, 归纳不同常识知识源在构建方式、常识来源和表现形式上的区别; 同时, 重点分析并对比前沿常识问答模型, 以及融合常识知识的特色方法. 特别地, 根据不同问答任务场景中常识知识的共性和特性, 建立包含属性、语义、因果、语境、抽象和意图6大类的知识分类体系. 以此为支撑, 针对常识知识数据集建设, 感知知识融合和预训练语言模型的协作机制, 以及在此基础上的常识知识预分类技术, 进行前瞻性的研究, 并具体报告上述模型在跨数据集迁移场景下的性能变化, 及其在常识答案推理中的潜在贡献. 总体上, 包含对现有数据和前沿技术的回顾, 也包含面向跨数据知识体系建设、技术迁移与通用化的预研内容, 借以在汇报领域技术积累的前提下, 为其理论和技术的进一步发展提供参考意见.     

基于数据增强和弱监督对抗训练的中文事件检测

当前的事件检测模型严重依赖于人工标注的数据,在标注数据规模有限的情况下,事件检测任务中基于完全监督方法的深度学习模型经常会出现过拟合的问题,而基于弱监督学习的使用自动标注数据代替耗时的人工标注数据的方法又常常依赖于复杂的预定义规则。为了解决上述问题,就中文事件检测任务提出了一种基于BERT的混合文本对抗训练（BMAD）方法。所提方法基于数据增强和对抗学习设定了弱监督学习场景,并采用跨度抽取模型来完成事件检测任务。首先,为改善数据不足的问题,采用回译、Mix-Text等数据增强方法来增强数据并为事件检测任务创建弱监督学习场景;然后,使用一种对抗训练机制进行噪声学习,力求最大限度地生成近似真实样本的生成样本,并最终提高整个模型的鲁棒性。在广泛使用的真实数据集自动文档抽取（ACE）2005上进行实验,结果表明相较于NPN、TLNN、HCBNN等算法,所提方法在F1分数上获取了至少0.84个百分点的提升。     

数据库中文查询对偶学习式生成SQL语句研究

针对当前中文NL2SQL (Natural language to SQL)监督学习中需要大量标注数据问题,该文提出基于对偶学习的方式在少量训练数据集上进行弱监督学习,将中文查询生成SQL语句。该文同时使用两个任务来训练自然语言转化到SQL,再从SQL转化到自然语言,让模型学习到任务之间的对偶约束性,获取更多相关的语义信息。同时在训练时使用不同比例带有无标签的数据进行训练,验证对偶学习在NL2SQL解析任务上的有效性。实验表明,在不同中英文数据集ATIS、GEO以及TableQA中,本文模型与基准模型Seq2Seq、Seq2Tree、Seq2SQL、以及-dual等相比,百分比准确率至少增加2.1%,其中在中文TableQA数据集上采用对偶学习执行准确率(Execution Accuracy)至少提升5.3%,只使用60%的标签数据就能取得和监督学习使用90%的标签数据相似的效果。     

一种结合差分隐私的仿真数据生成方案

机器学习任务中通常将真实数据直接作为训练集会造成隐私泄露的风险，针对这一问题，本文以研究序列对抗网络模型（Seq GAN,Sequence Generative adversarial networks）结合差分隐私（DP,Differential privacy）来保护真实数据的方法上，提出了基于差分隐私保护的仿真数据生成方案。首先，对获取的数据采用满足差分隐私的加噪策略获得噪声数据，从源头防范原始数据在生成模型训练过程中的隐私风险；其次，提出了一种基于GRU的改进SeqGAN模型：GRU-SeqGAN，来提高生成的噪声仿真数据可用性；最后，以高校学业预警为背景来生成安全的学生仿真数据作为完成下游任务的训练集。实验证明，仿真数据原理上保障了隐私安全的同时，GRUSeqGAN生成的噪声仿真数据相比SeqGAN可用性更高，模型训练效率更高。     

基于自监督图对比学习的视频问答方法

视频问答作为一种跨模态理解任务,在给定一段视频和与之相关的问题的条件下,需要通过不同模态语义信息之间的交互来产生问题的答案.近年来,由于图神经网络在跨模态信息融合与推理方面强大的能力,其在视频问答任务中取得了显著的进展.但是,大多数现有的图网络方法由于自身固有的过拟合或过平滑、弱鲁棒性和弱泛化性的缺陷使得视频问答模型的性能未能进一步提升.鉴于预训练技术中自监督对比学习方法的有效性和鲁棒性,在视频问答任务中利用图数据增强的思路提出了一种图网络自监督对比学习框架GMC.该框架使用针对节点和边的两种数据增强操作来生成相异子样本,并通过提升原样本与生成子样本图数据预测分布之间的一致性来提高视频问答模型的准确率和鲁棒性.在视频问答公开数据集上通过与现有先进的视频问答模型和不同GMC变体模型的实验对比验证了所提框架的有效性.     

基于生成对抗网络的红外图像数据增强

深度学习在视觉任务中的良好表现很大程度上依赖于海量的数据和计算力的提升,但是在很多实际项目中通常难以提供足够的数据来完成任务。针对某些情况下红外图像少且难以获得的问题,提出一种基于彩色图像生成红外图像的方法来获取更多的红外图像数据。首先,用现有的彩色图像和红外图像数据构建成对的数据集;然后,基于卷积神经网络、转置卷积神经网络构建生成对抗网络（GAN）模型的生成器和鉴别器;接着,基于成对的数据集来训练GAN模型,直到生成器和鉴别器之间达到纳什平衡状态;最后,用训练好的生成器将彩色图像从彩色域变换到红外域。基于定量评估标准对实验结果进行了评估,结果表明,所提方法可以生成高质量的红外图像,并且相较于在损失函数中不加正则化项,在损失函数中加入L1和L2正则化约束后,该方法的FID分数值平均分别降低了23.95和20.89。作为一种无监督的数据增强方法,该方法也可以被应用于其他缺少数据的目标识别、目标检测、数据不平衡等视觉任务中。     

结合伪标签生成与噪声标签学习的弱监督点云分割

针对当前基于深度学习的点云分割技术对点级别标注训练数据的依赖问题,提出一种基于伪标签生成与噪声标签学习的弱监督点云分割框架.首先,利用点云具有非局部相似性的特点,基于局部-非局部图对点云数据进行建模;其次,基于关系图卷积网络,以半监督的方式为稀疏标注的点云训练集数据生成高质量的伪标签;最后,针对生成的伪标签中存在噪声标签的问题,设计一种利用含噪声标签数据准确训练现有点云分割网络的渐进式噪声鲁棒损失函数.在ShapeNet Part与S3DIS等公开点云分割数据集上的实验结果表明,该框架在推理阶段不增加模型额外运算量的情况下,当使用10%的标签时,在ShapeNet Part数据集上的分割精度与全监督方法相差0.1%;当使用1%的标签时,在S3DIS数据集上的分割精度与全监督方法相差5.2%.     

基于支持向量数据描述的异常检测方法

提出了一种基于支持向量数据描述算法的异常检测方法。该方法将入侵检测看作是一种单值分类问题,建立正常行为的支持向量描述模型,通过该模型可以检测各种已知和未知的攻击行为。该方法是一种无监督的异常检测方法,能够在包含噪声的数据集进行模型训练,降低了训练集的要求。在KDD CUP99标准入侵检测数据集上进行实验,并与无监督聚类异常检测实验结果相比较,证实该方法能够获得较高检测率和较低误警率。     

结合SS-GAN和BERT的文本分类模型

BERT是近年来提出的一种大型的预训练语言模型,在文本分类任务中表现优异,但原始BERT模型需要大量标注数据来进行微调训练,且参数规模大、时间复杂度高。在许多真实场景中,大量的标注数据是不易获取的,而且模型参数规模过大不利于在真实场景的实际应用。为了解决这一问题,提出了一种基于半监督生成对抗网络的BERT改进模型GT-BERT。采用知识蒸馏的压缩方法将BERT模型进行压缩;引入半监督生成对抗网络的框架对BERT模型进行微调并选择最优生成器与判别器配置。在半监督生成对抗网络的框架下增加无标签数据集对模型进行微调,弥补了标注数据较少的缺点。在多个数据集上的实验结果表明,改进模型GT-BERT在文本分类任务中性能优异,可以有效利用原始模型不能使用的无标签数据,大大降低了模型对标注数据的需求,并且具有较低的模型参数规模与时间复杂度。     

基于自监督学习的输电线路螺栓螺母异常检测技术

针对输电线路螺栓螺母异常检测问题,对无标签螺栓数据训练深度学习预训练模型进行了研究,首次采用了自监督学习的方法,使用大量无标签数据集进行学习,首先,使用少量带标签的螺栓目标检测数据集训练目标检测模型,推理获取大量的单图无标签螺栓数据集,然后,采用自监督学习方法通过单图无标签螺栓数据集训练螺栓预训练大模型并获取可视化的螺栓注意力图,最后通过实验对比螺栓预训练大模型在螺栓分类和检索任务中与非预训练模型的效果,实验结果表明无标签数据得到的预训练大模型可以注意到螺杆、螺母、连接件的位置,进一步表明螺栓预训练大模型在分类任务中准确率提升了2%到7%,在螺栓检索任务中平均精度提升了8%。     

基于强化学习的对抗预训练语言建模方法

在大规模无监督语料上的BERT、XLNet等预训练语言模型,通常采用基于交叉熵损失函数的语言建模任务进行训练。模型的评价标准则采用困惑度或者模型在其他下游自然语言处理任务中的性能指标,存在损失函数和评测指标不匹配等问题。为解决这些问题,该文提出一种结合强化学习的对抗预训练语言模型RL-XLNet(Reinforcement Learning-XLNet)。RL-XLNet采用对抗训练方式训练一个生成器,基于上下文预测选定词,并训练一个判别器判断生成器预测的词是否正确。通过对抗网络生成器和判别器的相互促进作用,强化生成器对语义的理解,提高模型的学习能力。由于在文本生成过程中存在采样过程,导致最终的损失无法直接进行回传,故提出采用强化学习的方式对生成器进行训练。基于通用语言理解评估基准(GLUE Benchmark)和斯坦福问答任务(SQuAD 1.1)的实验,结果表明,与现有BERT、XLNet方法相比,RL-XLNet模型在多项任务中的性能上表现出较明显的优势: 在GLUE的六个任务中排名第1,一个任务排名第2,一个任务排名第3。在SQuAD 1.1任务中F₁值排名第1。考虑到运算资源有限,基于小语料集的模型性能也达到了领域先进水平。     

基于主动学习的离群点集成挖掘方法研究

离群点检测任务通常缺少可用的标注数据，且离群数据只占整个数据集的很小一部分，相较于其他的数据挖掘任务，离群点检测的难度较大，尚没有单一的算法适合于所有的场景。因此，结合多样性模型集成和主动学习思想，提出了一种基于主动学习的离群点集成检测方法OMAL（Outlier Mining based on Active Learning）。在主动学习框架指导下，根据各种基学习器的对比分析，选择了基于统计的、基于相似性的、基于子空间划分的三个无监督模型作为基学习器。将各基学习器评判的处于离群和正常边界的数据整合后呈现给人类专家进行标注，以最大化人类专家反馈的信息量；从标注的数据集和各基学习器投票产生的数据集中抽样，基于GBM（Gradient BoostingMachine）训练一个有监督二元分类模型，并将该模型应用于全数据集，得出最终的挖掘结果。实验表明，提出方法的AUC有了较为明显的提升，且具有良好的运行效率，具备较好的实用价值。     

基于视觉和语言的跨媒体问答与推理研究综述

基于视觉和语言的跨媒体问答与推理是人工智能领域的研究热点之一,其目的是基于给定的视觉内容和相关问题,模型能够返回正确的答案。随着深度学习的飞速发展及其在计算机视觉和自然语言处理领域的广泛应用,基于视觉和语言的跨媒体问答与推理也取得了较快的发展。文中首先系统地梳理了当前基于视觉和语言的跨媒体问答与推理的相关工作,具体介绍了基于图像的视觉问答与推理、基于视频的视觉问答与推理以及基于视觉常识推理模型与算法的研究进展,并将基于图像的视觉问答与推理细分为基于多模态融合、基于注意力机制和基于推理3类,将基于视觉常识推理细分为基于推理和基于预训练2类;然后总结了目前常用的问答与推理数据集,以及代表性的问答与推理模型在这些数据集上的实验结果;最后展望了基于视觉和语言的跨媒体问答与推理的未来发展方向。     

基于半监督学习的中文社交文本事件聚类方法

面向社交媒体的事件聚类旨在根据事件特征实现短文本聚类.目前,事件聚类模型主要分为无监督模型和有监督模型.无监督模型聚类效果较差,有监督聚类模型依赖大量标注数据.基于此,该文提出了一种半监督事件聚类模型(SemiEC),该模型在小规模标注数据的基础上,利用LSTM表征事件,并基于线性模型计算文本相似度,进行增量聚类.然后...     

An Unsupervised Writer Identification Based on Generating ClusterableEmbeddings

The writer identification system identifies individuals based on their handwriting is a frequent topic in biometric authentication and verification systems. Due to its importance, numerous studies have been conducted in various languages. Researchers have established several learning methods for writer identification including supervised and unsupervised learning. However, supervised methods require a large amount of annotation data, which is impossible in most scenarios. On the other hand, unsupervised writer identification methods may be limited and dependent on feature extraction that cannot provide the proper objectives to the architecture and be misinterpreted. This paper introduces an unsupervised writer identification system that analyzes the data and recognizes the writer based on the inter-feature relations of the data to resolve the uncertainty of the features. A pairwise architecture-based Autoembedder was applied to generate clusterable embeddings for handwritten text images. Furthermore, the trained baseline architecture generates the embedding of the data image, and the K-means algorithm is used to distinguish the embedding of individual writers. The proposed model utilized the IAM dataset for the experiment as it is inconsistent with contributions from the authors but is easily accessible for writer identification tasks. In addition, traditional evaluation metrics are used in the proposed model. Finally, the proposed model is compared with a few unsupervised models, and it outperformed the state-of-the-art deep convolutional architectures in recognizing writers based on unlabeled data.     

基于层次化语义框架的知识库属性映射方法

面向知识库的自动问答是自然语言处理的一项重要任务,其旨在对用户提出的自然语言形式问题给出精练、准确的回复.目前由于缺少数据集,存在特征不一致等因素,导致难以使用通用的数据和方法实现领域知识库问答.因此,该文将"问题意图"视作不同领域问答可能存在的共同特征,将"问题"与三元组知识库中"关系谓词"的映射过程作为问答核心工作...     

Attention-based encoder-decoder model for answer selection in question answering

One of the key challenges for question answering is to bridge the lexical gap between questions and answers because there may not be any matching word between them. Machine translation models have been shown to boost the performance of solving the lexical gap problem between question-answer pairs. In this paper, we introduce an attention-based deep learning model to address the answer selection task for question answering. The proposed model employs a bidirectional long short-term memory (LSTM) encoder-decoder, which has been demonstrated to be effective on machine translation tasks to bridge the lexical gap between questions and answers. Our model also uses a step attention mechanism which allows the question to focus on a certain part of the candidate answer. Finally, we evaluate our model using a benchmark dataset and the results show that our approach outperforms the existing approaches. Integrating our model significantly improves the performance of our question answering system in the TREC 2015 LiveQA task.     

基于BERT的三阶段式问答模型

预训练语言模型的发展极大地推动了机器阅读理解任务的进步.为了充分利用预训练语言模型中的浅层特征,并进一步提升问答模型预测答案的准确性,提出了一种基于BERT的三阶段式问答模型.首先,基于BERT设计了预回答、再回答及答案调整三个阶段;然后,在预回答阶段将BERT嵌入层的输入视作浅层特征来进行答案预生成;接着,在再回答阶...