基于伪标签的无监督领域自适应分类方法

现有的领域自适应方法在匹配分布时并未完全考虑伪标签置信度或伪标签损失计算问题,针对此类问题,提出循环选择伪标签分类模型（CSPL）。利用深度网络提取图像特征,为目标域打上高置信度伪标签使得训练数据增强,采用MMD距离度量方法对齐源域和目标域的概率分布,同时设计伪标签损失同步迭代学习,更新模型作为下一次循环的训练模型直至模型收敛。在常用的领域自适应数据集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上实验表明,该模型相比之前域适应模型在准确度方面平均提升4%~8%且模型的鲁棒性也明显增加。     

深度指导的无监督领域自适应语义分割

为了提高语义分割精度,解决模型在不同数据域上泛化性差的问题,提出基于深度信息的无监督领域自适应语义分割方法.首先,深度感知自适应框架通过捕捉深度信息和语义信息的内在联系,减小不同域之间的差异;然后,设计了一个轻量级深度估计网络来提供深度信息,通过跨任务交互策略融合深度和语义信息,并在深度感知空间对齐源域和目标域的分布差距;最后,提出基于深度信息的域内自适应策略弥合目标域内部的分布差异,将目标域分为子源域和子目标域,并缩小子源域和子目标域分布差距.实验结果表明,所提方法在SYNTHIA-2-Cityscapes和SYNTHIA-2-Mapillary跨域任务上的平均交并比分别为46.7%和73.3%,与同类方法相比,该方法在语义分割和深度估计精度上均有显著提升.     

基于多任务学习的生成式阅读理解

生成式阅读理解是机器阅读理解领域一项新颖且极具挑战性的研究。与主流的抽取式阅读理解相比,生成式阅读理解模型不再局限于从段落中抽取答案,而是能结合问题和段落生成自然和完整的表述作为答案。然而,现有的生成式阅读理解模型缺乏对答案在段落中的边界信息以及对问题类型信息的理解。为解决上述问题,该文提出一种基于多任务学习的生成式阅读理解模型。该模型在训练阶段将答案生成任务作为主任务,答案抽取和问题分类任务作为辅助任务进行多任务学习,同时学习和优化模型编码层参数;在测试阶段加载模型编码层进行解码生成答案。实验结果表明,答案抽取模型和问题分类模型能够有效提升生成式阅读理解模型的性能。     

基于标签增强的机器阅读理解模型

抽取式问答中已有模型仅建模答案的边界,忽视人的潜在标注过程,导致模型仅学习到表面特征,影响泛化能力.因此,文中提出基于标签增强的机器阅读理解模型(LE-Reader),模拟人的标注过程.LE-Reader模型同时建模答案所在句子、答案内容和答案边界.根据用户标注的答案边界推断正确答案的句子和答案内容作为标签,监督模型的学习过程.通过多任务学习的方式融合3个损失函数.预测时融合3种建模结果,确定最终答案,提高模型的泛化性能.在SQuAD数据集上的实验验证LE-Reader的有效性.     

基于自步学习的开放集领域自适应

领域自适应的目的是将从源领域获得的知识泛化到具有不同数据分布的目标领域.传统的领域自适应方法假设源域和目标域的类别是相同的,但在现实世界的场景中并非总是如此.为了解决这个缺点,开放集领域自适应在目标域中引入了未知类以代表源域中不存在的类别.开放集领域自适应旨在不仅识别属于源域和目标域共享的已知类别样本,还要识别未知类别样本.传统的领域自适应方法旨在将整个目标域与源域对齐以最小化域偏移,这在开放集领域自适应场景中不可避免地导致负迁移.为了解决开放集领域自适应带来的挑战,提出了一种基于自步学习的新颖框架SPL-OSDA (self-paced learning for openset domain adaptation),用于精确区分已知类和未知类样本,并进行领域自适应.为了利用未标记的目标域样本实现自步学习,为目标域样本生成伪标签,并为开放集领域自适应场景设计一个跨领域混合方法.这种方法最大程度地减小了伪标签的噪声,并确保模型逐步从简单到复杂的例子中学习目标域的已知类特征.为了提高模型在开放场景的可靠性以满足开放场景可信人工智能的要求,引入了多个准则以区分已知类和未知类样本.此外,与现有...     

基于自监督任务最优选择的无监督域自适应方法

无监督域自适应方法通过源域标签数据学习到的知识对目标域无标签数据进行分类,成为目前迁移学习中解决两个域特征对齐的主流方法.针对现实中存在已标签数据量少且质量不高造成提取的特征不完备的情况,文中提出了基于自监督任务最优选择的无监督域自适应方法.为使特征具有更强的语义信息,在两个域未标记数据上使用了多个自监督任务;此外,针...     

面向鲁棒性增强的多任务机器阅读理解

目前抽取式机器阅读理解已经取得了很好的成果。然而,许多研究工作表明,机器阅读理解模型在过敏感性、过稳定性等方面的鲁棒性还有待提高。为了解决该问题,提出了一种面向鲁棒性增强的多任务抽取式阅读理解模型,加强模型在篇章和问题2方面的理解能力。通过多任务学习方式,将答案抽取作为主要任务,证据句判断和问题分类作为辅助任务,实现编码器之间的信息共享。在鲁棒性测试集上的实验结果表明,所提模型对比基线模型有明显的性能提升。     

多层校正的无监督领域自适应方法

目的 目前深度神经网络已成功应用于众多机器学习任务,并展现出惊人的性能提升效果。然而传统的深度网络和机器学习算法都假定训练数据和测试数据服从的是同一分布,而这种假设在实际应用中往往是不成立的。如果训练数据和测试数据的分布差异很大,那么由传统机器学习算法训练出来的分类器的性能将会大大降低。为了解决此类问题,提出了一种基于多层校正的无监督领域自适应方法。方法 首先利用多层校正来调整现有的深度网络,利用加法叠加来完美对齐源域和目标域的数据表示;然后采用多层权值最大均值差异来适应目标域,增加网络的表示能力;最后提取学习获得的域不变特征来进行分类,得到目标图像的识别效果。结果 本文算法在Office-31图像数据集等4个数字数据集上分别进行了测试实验,以对比不同算法在图像识别和分类方面的性能差异,并进行准确度测量。测试结果显示,与同领域算法相比,本文算法在准确率上至少提高了5%,在应对照明变化、复杂背景和图像质量不佳等干扰情况时,亦能获得较好的分类效果,体现出更强的鲁棒性。结论 在领域自适应相关数据集上的实验结果表明,本文方法具备一定的泛化能力,可以实现较高的分类性能,并且优于其他现有的无监督领域自适应方法。     

基于迁移子空间的半监督领域自适应方法

传统子空间学习方法在对齐领域总体分布时往往忽略样本类别信息,若原始样本判别力不足,将难以保证投影后子空间中样本的判别性.针对该问题,提出迁移子空间的半监督领域自适应方法.通过充分利用样本类别标签先验信息,在得到具有判别性子空间的同时充分挖掘重构矩阵中蕴含的鉴别信息,增强子空间跨领域特征表达的鉴别力和鲁棒性,提高模型的分...     

基于自适应知识选择的机器阅读理解

目前针对知识增强机器阅读理解的研究主要集中在如何把外部知识融入现有的机器阅读理解模型,却忽略了对外部知识的来源进行选择。该文首先基于注意力机制对外部知识进行编码,然后对不同来源的外部知识编码进行打分,最后自适应地选择出对回答问题最有帮助的知识。与基线模型相比,该文提出的基于自适应知识选择的机器阅读理解模型在准确率上提高了1.2个百分点。     

基于类内最大均值差异的无监督领域自适应算法

传统的无监督领域自适应算法在对齐总体分布时存在分类信息流失问题,难以保证迁移学习效果。针对这个问题,提出了一种基于类内最大均值差异的分布对齐策略。该策略首先预测所有样本的伪标签,然后借助伪标签样本信息依次对齐每个类别的领域类内分布。在深度学习框架下,所提算法能够有效保留分类信息,提高了目标领域的预测能力。实验结果表明,与传统算法比较,所提算法在多个基准数据集上获得了最优的迁移学习效果。     

领域对齐对抗的无监督跨领域文本情感分析算法

在实际应用场景中,情感分析技术为自动判别文本情感极性提供了有效的决策及解决方案,但是文本情感分析技术依赖于大量的标定样本.为了减小对人工标注的依赖,有研究者提出了基于领域自适应的跨领域情感分析技术.该技术面向跨领域文本情感分析任务,将经由标定样本训练的源领域模型,迁移至无标定的目标领域.然而目前的领域自适应技术仅从单个角度进行迁移,即减小领域专有特征差异或提取领域不变特征.因此考虑到跨领域文本数据同时包含领域专有特征和领域不变特征的特点,提出了一种领域对齐对抗的无监督跨领域文本情感分析算法.该算法通过渐进式的迁移策略,逐层减小不同语义层的领域差异,并在高层语义子空间通过协同优化的领域自适应算法,实现跨领域文本数据的领域知识迁移.在2个公开跨领域文本情感数据集上的24组跨领域文本情感分类实验结果表明,与4类领域自适应算法中代表性的和当前表现最优的方法相比,领域对齐对抗的无监督跨领域文本情感分析算法在24组实验中取得了最高的平均分类准确率,同时结合迁移性能分析结果和特征分布可视化结果,证明该算法一定程度上提升了现有无监督跨领域文本情感分析算法的分类性能和迁移性能.     

面向机器阅读理解的多任务层次微调模型

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一, 要求模型通过给定的文章与问题去挑选出最佳答案. 随着BERT等预训练模型的兴起, 众多的自然语言处理任务取得了重大突破, 然而在复杂的阅读理解任务方面仍然存在一些不足, 针对该任务, 提出了一个基于回顾式阅读器的机器阅读理解模型. 模型使用RoBERTa预...     

长短答案分类指导的机器阅读理解方法

针对现有机器阅读理解模型存在长答案不完整、短答案冗余,即模型对答案的边界信息捕捉能力有待提升问题,该文基于“问题分类+答案预测联合学习”的流水线式策略,提出了一种通过答案长短特征分类指导机器阅读理解的神经网络模型。该方法采用预训练语言模型对问题和文章进行语义表示,并以待预测答案的长短类型对相应问题进行分类,然后将问题分类的结果用于指导阅读理解中的答案预测模块,最终以多任务学习的方式得到全部答案的开始位置和结束位置。实验结果表明,该模型在CMRC2018数据集上的EM平均值为67.4%,F₁平均值为87.6%,相比基线模型,分别提升了0.9%和1.1%。在自建的中文桥梁检测问答数据集上的EM平均值为89.4%、F₁平均值为94.7%,相比基线模型,分别提升了1.2%和0.5%。在更少训练集规模的CMRC2018和中文繁体数据集DRCD上,该文方法也优于基线模型。     

基于多任务联合训练的法律文本机器阅读理解模型

随着裁判文书等司法大数据不断积累,如何将人工智能与法律相结合成为了法律智能研究的热点.该文针对2020中国法研杯司法人工智能挑战赛(CAIL2020)的机器阅读理解任务,提出了一种基于多任务联合训练的机器阅读理解模型.该模型将阅读理解任务划分为四个子模块:文本编码模块、答案抽取模块、答案分类模块和支持句子判别模块.此外...     

抽取式机器阅读理解研究综述

机器阅读理解要求机器能够理解自然语言文本并回答相关问题,是自然语言处理领域的核心技术,也是自然语言处理领域最具挑战性的任务之一.抽取式机器阅读理解是机器阅读理解任务中一个重要的分支,因其更贴合实际情况,更能够反映机器的理解能力,成为当前学术界和工业界的研究热点.对抽取式机器阅读理解从以下四个方面进行了全面地综述:介绍了...     

基于伪标签的无监督领域自适应行人重识别研究综述

行人重识别是计算机视觉领域的热点研究课题之一。近年来，为了解决行人重识别实际应用中标签数据稀缺的问题，同时也为了有效地利用现有的标签数据，研究者们提出了基于生成对抗网络以及基于伪标签的领域自适应方法，用于进行跨领域的行人重识别研究。基于伪标签的无监督领域自适应行人重识别方法由于效果显著而备受研究者的青睐。文中梳理了近7年来基于伪标签的无监督领域自适应行人重识别的研究成果，将基于伪标签的方法从模型训练角度划分为两个阶段。1)伪标签生成阶段。现有工作的伪标签生成方法大多使用聚类方法，部分工作采用基于图结构学习的图匹配、图卷积网络方法来生成目标域的伪标签。2)伪标签精炼阶段。文中将现有的伪标签精炼方法归纳为基于表征学习的精炼方法以及基于相似度学习的精炼方法，并分别进行模型方法的总结与整理。最后，讨论现阶段基于伪标签的无监督领域自适应行人重识别面临的挑战并对未来可能的发展方向进行展望。     

注意力迁移的联合平衡领域自适应

目的 现有的图像识别方法应用于从同一分布中提取的训练数据和测试数据时具有良好性能,但这些方法在实际场景中并不适用,从而导致识别精度降低。使用领域自适应方法是解决此类问题的有效途径,领域自适应方法旨在解决来自两个领域相关但分布不同的数据问题。方法 通过对数据分布的分析,提出一种基于注意力迁移的联合平衡自适应方法,将源域有标签数据中提取的图像特征迁移至无标签的目标域。首先,使用注意力迁移机制将有标签源域数据的空间类别信息迁移至无标签的目标域。通过定义卷积神经网络的注意力,使用关注信息来提高图像识别精度。其次,基于目标数据集引入网络参数的先验分布,并且赋予网络自动调整每个领域对齐层特征对齐的能力。最后,通过跨域偏差来描述特定领域的特征对齐层的输入分布,定量地表示每层学习到的领域适应性程度。结果 该方法在数据集Office-31上平均识别准确率为77.6%,在数据集Office-Caltech上平均识别准确率为90.7%,不仅大幅领先于传统手工特征方法,而且取得了与目前最优的方法相当的识别性能。结论 注意力迁移的联合平衡领域自适应方法不仅可以获得较高的识别精度,而且能够自动学习领域间特征的对齐程度,同时也验证了进行域间特征迁移可以提高网络优化效果这一结论。     

基于MacBERT与对抗训练的机器阅读理解模型

机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测结果。为了提高模型的泛化能力和鲁棒性,提出一种基于掩码校正的来自Transformer的双向编码器表示(Mac BERT)与对抗训练(AT)的机器阅读理解模型。首先利用Mac BERT对输入的问题和文本进行词嵌入转化为向量表示;然后根据原始样本反向传播的梯度变化在原始词向量上添加微小扰动生成对抗样本;最后将原始样本和对抗样本输入双向长短期记忆(Bi LSTM)网络进一步提取文本的上下文特征,输出预测答案。实验结果表明,该模型在简体中文数据集CMRC2018上的F1值和精准匹配(EM)值分别较基线模型提高了1.39和3.85个百分点,在繁体中文数据集DRCD上的F1值和EM值分别较基线模型提高了1.22和1.71个百分点,在英文数据集SQu ADv1.1上的F1值和EM值分别较基线模型提高了2.86和1.85个百分点,优于已有的大部分机器阅读理解模型,并且在真实问答结果上...     

机器阅读理解式中文事件抽取方法

事件抽取是信息抽取的重要任务之一,在知识图谱构建、金融行业分析、内容安全分析等领域均有重要应用。现有中文事件抽取方法一般为实体识别、关系抽取、实体分类等任务的级联。将事件抽取转化为阅读理解任务,可为模型引入问题所含的先验信息。提出一种基于预训练模型的机器阅读理解式中文事件抽取方法（Chinese event extraction by machine reading comprehension,CEEMRC）,将中文事件抽取简化为两个问答模型的级联。首先对事件触发词抽取、事件类型判定、属性抽取构建相应的问答任务问题。以RoBERTa为基础构建触发词抽取和事件类型识别联合模型、事件属性抽取两个问答模型,并融入触发词先验特征、分词信息、触发词相对位置等信息来提升模型效果。最后以模型预测回答的起始和结束位置完成所需的抽取。实验使用DuEE中文事件数据集,触发词抽取和属性抽取的F1值均优于同类方法,验证了该方法的有效性。