基于预训练表示模型的英语词语简化方法

词语简化是将给定句子中的复杂词替换成意义相等的简单替代词,从而达到简化句子的目的. 已有的词语简化方法只依靠复杂词本身而不考虑其上下文信息来生成候选替换词, 这将不可避免地产生大量的虚假候选词. 为此, 提出了一种基于预语言训练表示模型的词语简化方法, 利用预训练语言表示模进行候选替换词的生成和排序. 基于预语言训练表示模型的词语简化方法在候选词生成过程中, 不仅不需要任何语义词典和平行语料, 而且能够充分考虑复杂词本身和上下文信息产生候选替代词. 在候选替代词排序过程中, 基于预语言训练表示模型的词语简化方法采用了5个高效的特征, 除了常用的词频和词语之间相似度特征之外, 还利用了预训练语言表示模的预测排名、基于基于预语言训练表示模型的上、下文产生概率和复述数据库PPDB三个新特征. 通过3个基准数据集进行验证, 基于预语言训练表示模型的词语简化方法取得了明显的进步, 整体性能平均比最先进的方法准确率高出29.8%.     

基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,...     

基于预训练模型的机器阅读理解研究综述

近年来深度学习技术不断进步,随着预训练模型在自然语言处理中的应用与发展,机器阅读理解不再单纯地依靠网络结构与词嵌入相结合的方法。预训练语言模型的发展推动了机器阅读理解的进步,在某些数据集上已经超越了人类的表现。简要介绍机器阅读理解以及预训练语言模型的相关概念,综述当下基于预训练模型的机器阅读理解研究进展,对目前预训练模型在相关数据集上的性能进行分析,总结了目前存在的问题并对未来进行展望。     

结合预训练模型和语言知识库的文本匹配方法

针对文本匹配任务,该文提出一种大规模预训练模型融合外部语言知识库的方法。该方法在大规模预训练模型的基础上,通过生成基于WordNet的同义—反义词汇知识学习任务和词组—搭配知识学习任务引入外部语言学知识。进而,与MT-DNN多任务学习模型进行联合训练,以进一步提高模型性能。最后利用文本匹配标注数据进行微调。在MRPC和QQP两个公开数据集的实验结果显示,该方法可以在大规模预训练模型和微调的框架基础上,通过引入外部语言知识进行联合训练有效提升文本匹配性能。     

基于预训练语言模型的藏文文本分类

藏文文本分类是藏文自然语言处理中的基础任务,具有基础性和重要性。大规模预训练模型加微调的方式是当前的主流文本分类方法。然而藏文缺少开源的大规模文本和预训练语言模型,未能在藏文文本分类任务上进行验证。针对上述问题,该文抓取了一个较大规模的藏文文本数据集,并在该数据集的基础上训练一个藏文预训练语言模型(BERT-base-Tibetan)。将该方法应用到多种基于神经网络的文本分类模型上的实验结果表明,预训练语言模型能够显著提升藏文文本分类的性能(F₁值平均提升9.3%),验证了预训练语言模型在藏文文本分类任务中的价值。     

面向文本推理的知识增强预训练语言模型

该文聚焦于利用丰富的知识对预训练语言模型进行增强以进行文本推理。预训练语言模型虽然在大量的自然语言处理任务上达到了很高的性能表现,具有很强的语义理解能力,但是大部分预训练语言模型自身包含的知识很难支撑其进行更高效的文本推理。为此,该文提出了一个知识增强的预训练语言模型进行文本推理的框架,使得图以及图结构的知识能够更深入地与预训练语言模型融合。在文本推理的两个子任务上,该文框架的性能超过了一系列的基线方法,实验结果和分析验证了模型的有效性。     

预训练语言模型实体匹配的可解释性

实体匹配可以判断两个数据集中的记录是否指向同一现实世界实体,对于大数据集成、社交网络分析、网络语义数据管理等任务不可或缺.作为在自然语言处理、计算机视觉中取得大量成功的深度学习技术,预训练语言模型在实体识别任务上也取得了优于传统方法的效果,引起了大量研究人员的关注.然而,基于预训练语言模型的实体匹配技术效果不稳定、匹配结果不可解释,给这一技术在大数据集成中的应用带来了很大的不确定性.同时,现有的实体匹配模型解释方法主要面向机器学习方法进行模型无关的解释,在预训练语言模型上的适用性存在缺陷.因此,以Ditto、JointBERT等BERT类实体匹配模型为例,提出3种面向预训练语言模型实体匹配技术的模型解释方法来解决这个问题:(1)针对序列化操作中关系数据属性序的敏感性,对于错分样本,利用数据集元特征和属性相似度实现属性序反事实生成;(2)作为传统属性重要性衡量的补充,通过预训练语言模型注意力机制权重来衡量并可视化模型处理数据时的关联性;(3)基于序列化后的句子向量,使用k近邻搜索技术召回与错分样本相似的可解释性优良的样本,增强低置信度的预训练语言模型预测结果.在真实公开数据集上的实验结果...     

视觉语言预训练综述

近年来深度学习在计算机视觉(CV)和自然语言处理(NLP)等单模态领域都取得了十分优异的性能.随着技术的发展,多模态学习的重要性和必要性已经慢慢展现.视觉语言学习作为多模态学习的重要部分,得到国内外研究人员的广泛关注.得益于Transformer框架的发展,越来越多的预训练模型被运用到视觉语言多模态学习上,相关任务在性能上得到了质的飞跃.系统地梳理了当前视觉语言预训练模型相关的工作,首先介绍了预训练模型的相关知识,其次从两种不同的角度分析比较预训练模型结构,讨论了常用的视觉语言预训练技术,详细介绍了5类下游预训练任务,最后介绍了常用的图像和视频预训练任务的数据集,并比较和分析了常用预训练模型在不同任务下不同数据集上的性能.     

基于强化学习的对抗预训练语言建模方法

在大规模无监督语料上的BERT、XLNet等预训练语言模型,通常采用基于交叉熵损失函数的语言建模任务进行训练。模型的评价标准则采用困惑度或者模型在其他下游自然语言处理任务中的性能指标,存在损失函数和评测指标不匹配等问题。为解决这些问题,该文提出一种结合强化学习的对抗预训练语言模型RL-XLNet(Reinforcement Learning-XLNet)。RL-XLNet采用对抗训练方式训练一个生成器,基于上下文预测选定词,并训练一个判别器判断生成器预测的词是否正确。通过对抗网络生成器和判别器的相互促进作用,强化生成器对语义的理解,提高模型的学习能力。由于在文本生成过程中存在采样过程,导致最终的损失无法直接进行回传,故提出采用强化学习的方式对生成器进行训练。基于通用语言理解评估基准(GLUE Benchmark)和斯坦福问答任务(SQuAD 1.1)的实验,结果表明,与现有BERT、XLNet方法相比,RL-XLNet模型在多项任务中的性能上表现出较明显的优势: 在GLUE的六个任务中排名第1,一个任务排名第2,一个任务排名第3。在SQuAD 1.1任务中F₁值排名第1。考虑到运算资源有限,基于小语料集的模型性能也达到了领域先进水平。     

QV-Electra:引入Query-Value注意力机制的预训练文本分类模型

预训练语言模型的作用是在大规模无监督语料上基于特定预训练任务获取语义表征能力，故在下游任务中仅需少量语料微调模型且效果较传统机器学习模型(如CNN、RNN、LSTM等)更优。常见的预训练语言模型如BERT、Electra、GPT等均是基于传统Attention机制搭建。研究表明，引入Query-Value计算的QV-Attention机制效果较Attention机制有所提升。该文模型QV-Electra将QV-Attention引入预训练模型Electra,该模型在保留Electra预训练模型参数的同时仅通过添加0.1%参数获得性能提升。实验结果表明，QV-Electra模型在同等时间的情况下，相较于传统模型以及同等参数规模预训练模型能取得更好的分类效果。     

对软件测试过程模型的思考

在深入分析传统软件测试过程模型特点的基础上,提出了一种新的软件测试过程模型——并行"与"模型,并详细描述了各阶段的具体任务,更贴切地描绘出软件测试活动的复杂关系,充分反映出软件测试活动与开发活动之间的时序性、层次性、迭代性和并行性。     

软件测试过程模型研究

在对现有模型进行系统研究的基础上,提出了一种新的软件测试过程模型——并行“与”模型,并详细描述了各阶段的具体活动。该模型贴切地描绘出软件测试活动的复杂关系,充分体现出了软件测试活动与开发活动之间的层次性、并行性、时序性和迭代性。     

CIM逻辑模型的关系实现

针对逻辑模型在查询和存储方面的不足,定义与其具有一致表示能力的关系模型,并将逻辑模型中以句子形式表示的逻辑约束转化为针对关系模型中逻辑关系的势的约束。根据模型的访问,以IEC61970所采用的数据访问接口DAF为例,在上述关系模型中给出基于关系代数的实现。研究结果表明,通过选择合理的关系模型,可以在保持逻辑模型丰富的表达能力的基础上,利用关系代数提高模型访问的效率,同时保证约束判定的有效性。     

数据模型及其发展历程

数据库是数据管理的技术,是计算机学科的重要分支.经过近半个世纪的发展,数据库技术形成了坚实的理论基础、成熟的商业产品和广泛的应用领域.数据模型描述了数据库中数据的存储方式和操作方式.从数据组织形式,可以将数据模型分为结构化模型、半结构化模型、OLAP分析模型和大数据模型.20世纪60年代中后期到90年代初,结构化模型最早被提出,其主要包括层次模型、网状模型、关系模型和面向对象模型等.20世纪90年代末期,随着互联网应用和科学计算等复杂应用的快速发展,开始出现半结构化模型,包括XML模型、JSON模型和图模型等.21世纪,随着电子商务、商业智能等应用的不断发展,数据分析模型成为研究热点,主要包括关系型ROLAP和多维型MOLAP.2010年以来,随着大数据工业应用的快速发展,以NoSQL和NewSQL数据库系统为代表的大数据模型成为新的研究热点.对上述数据模型进行了综述,并选取每个模型的典型数据库系统进行了性能的分析.     

形状模型在混合建模环境中的映射研究

混合建模技术是ＣＡＤ研究继承参数化特征建模技术之后的又一研究热点,线框,曲面和实体模型３种模型间的转换是混合建模技术的核心,本文介绍了：１）实体模型到线框和曲面模型的映射;（２）线框模型到实体模型的映射,３）曲面框型到实体模型的映射,为混合建模技术做了一些有益的探讨,并将模型映射算法成功地应用于ＩＧＥＳ和ＳＴＥＰ的前后置处理器的设计中,取得了满意的结果。     

基于模型操纵的模型集成理论的研究

基于模型操纵的模型集成的主要研究对象是模型的输入输出参数，因此，本文给出了模型的二元组表示，即输入集、输出集，提出了模型组合关系与模型集成结果等概念，具体分析了模型集成结果的存在性问题，证明了其存在的几个充分条件，在证明中给出了在满足充分条件下模型集成的构造方法．     

对象模式到关系模式转换研究

数据在信息系统中的使用面临着这样一个困难,即:数据存储是以关系模型为基础,而软件开发以对象模型来进行,造成了软件开发中数据访问技术的不和谐。提出并建立了一个软件框架,并就对象模式到关系模式的转换进行了研究。     

计算机安全中的经典模型

安全模型是构造安全计算机系统的基础。到目前为止,已有多种公开发表的安全模型。本文总结了几种重要的早期安全模型,其中包括访问矩阵模型,HRU模型,BLP模型、格模型和无干扰模型。并对它们进行了分类和简要评递。本文将它们称为经典安全模型。这些经典安全模型都是开创性的,从各个不同的方面对安全问题进行抽象,模型所定义的安全问题具有典型性,并对后续的研究产生了重要影响。目前,共享计算机系统的安全问题仍然是计算机科学的中心问题之一,研究这些经典模型,对于我们全面理解计算机系统的安全问题,展望未来发展方向,具有重要意义。     

演化软件过程模型

根据目前软件开发的趋势,介绍了几种常见的软件开发的演化模型,包括增量模型、螺旋模型、并发开发模型等。简要介绍了每一种软件开发模型的工作过程、基本成分和演化过程,以及它们在现代软件开发中的应用情况。     

软件可靠性模型选择的SRMS算法

在软件可靠性评估中经常用到软件可靠性模型。如何对每一特定用例进行可靠性模型的选择一直是可靠性领域研究人员的兴趣之一。文献中已有的软件可靠性模型的选择方法和工具因为使用了受限的模型选择标准而得不到广泛的应用。该文根据软件开发生命周期(SDLC)的阶段对可靠性模型进行了分类,对可靠性模型的选择提出一系列新的标准,在此基础上提出了一种新的模型选择算法并对其进行举例说明。