自然语言处理中的模型

本文简单介绍了自然语言处理发展的现状,讨论了自然语言处理模型,将其分为三大类：分析模型、统计模型及混合模型。具体介绍了分析模型原理及存在的问题,重点讨论了各种统计模型的特点及局限性,最后简单介绍了混合模型,并指出目前自然语言处理技术中存在的问题。     

Dirichlet 过程及其在自然语言处理中的应用

Dirichlet过程是一种典型的变参数贝叶斯模型,其优点是参数的个数和性质灵活可变,可通过模型和数据来自主地计算,近年来它已成为机器学习和自然语言处理研究领域中的一个研究热点。该文较为系统的介绍了Dirichlet过程的产生、发展,并重点介绍了其模型计算,同时结合自然语言处理中的具体应用问题进行了详细分析。最后讨论了Dirichlet过程未来的研究方向和发展趋势。     

隐喻计算研究进展

作为自然语言处理中的普遍现象,隐喻若不得到解决,将成为制约自然语言处理和机器翻译的瓶颈问题.结合相关的隐喻理论基础,从隐喻识别和隐喻解释这两个隐喻计算的子任务出发,介绍了现有的隐喻计算模型以及隐喻语料资源,并对这些隐喻模型的优缺点和适用范围进行了比较.     

深度学习模型压缩与加速综述

随着训练可用数据量的增长与计算平台处理能力的增强,基于深度学习的智能模型能够完成越来越复杂的任务,其在计算机视觉、自然语言处理等人工智能领域已经取得重大的突破.然而,这些深度模型具有庞大的参数规模,与此相伴的可畏的计算开销与内存需求使其在计算能力受限平台(例如移动嵌入式设备)的部署中遇到了巨大的困难与挑战.因此,如何在...     

基于深度学习的自然语言处理鲁棒性研究综述

近年来,基于深度神经网络的模型在几乎所有自然语言处理任务上都取得了非常好的效果,在很多任务上甚至超越了人类.展现了极强能力的大规模语言模型也为自然语言处理模型的发展与落地提供了新的机遇和方向.然而,这些在基准测试集合上取得很好结果的模型在实际应用中的效果却经常大打折扣.近期的一些研究还发现,在测试数据上替换一个相似词语、增加一个标点符号,甚至只是修改一个字母都可能使得这些模型的预测结果发生改变,效果大幅度下降.即使是大型语言模型,也会因输入中的微小扰动而改变其预测结果.什么原因导致了这种现象的发生?深度神经网络模型真的如此脆弱吗?如何才能避免这种问题的出现?这些问题近年来受到了越来越多的关注,诸多有影响力的工作都不约而同地从不同方面讨论了自然语言处理的鲁棒性问题.在本文中,我们从自然语言处理任务的典型范式出发,从数据构建、模型表示、对抗攻防以及评估评价等四个方面对自然语言处理鲁棒性相关研究进行了总结和归纳,并对最新进展进行了介绍,最后探讨了未来的可能研究方向以及我们对自然语言处理鲁棒性问题的一些思考.     

预训练语言模型的应用综述

近年来，预训练语言模型发展迅速，将自然语言处理推到了一个全新的发展阶段。文中的综述旨在帮助研究人员了解强大的预训练语言模型在何处以及如何应用于自然语言处理。具体来讲，首先简要回顾了典型的预训练模型，包括单语言预训练模型、多语言预训练模型以及中文预训练模型；然后讨论了这些预训练模型对5个不同的自然语言处理任务的贡献，即信息提取、情感分析、问答系统、文本摘要和机器翻译；最后讨论了预训练模型的应用所面临的一些挑战。     

面向自然语言处理的预训练技术研究综述

近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。     

概率图模型研究进展综述

概率图模型作为一类有力的工具,能够简洁地表示复杂的概率分布,有效地(近似)计算边缘分布和条件分布,方便地学习概率模型中的参数和超参数.因此,它作为一种处理不确定性的形式化方法,被广泛应用于需要进行自动的概率推理的场合,例如计算机视觉、自然语言处理.回顾了有关概率图模型的表示、推理和学习的基本概念和主要结果,并详细介绍了这些方法在两种重要的概率模型中的应用.还回顾了在加速经典近似推理算法方面的新进展.最后讨论了相关方向的研究前景.     

Adapter与Prompt Tuning微调方法研究综述

文本挖掘是数据挖掘的一个分支学科,涵盖多种技术,其中自然语言处理技术是文本挖掘的核心工具之一,旨在帮助用户从海量数据中获取有用的信息。近年来,预训练模型对自然语言处理的研究和发展有重要的推动作用,预训练模型的微调方法也成为重要的研究领域。根据近年来预训练模型微调方法的相关文献,选择目前主流的Adapter与Prompt微调方法进行介绍。对自然语言处理的发展脉络进行简要梳理,分析目前预训练模型微调存在的问题与不足;介绍Adapter与Prompt两类微调方法,对两个研究方向中经典方法进行介绍,并从优缺点和性能等方面进行详细分析;进行总结归纳,阐述目前预训练模型的微调方法存在的局限性并讨论未来发展方向。     

引入韵律结构信息的层次短语模型改进研究

随着自然语言处理研究的不断深入,人们不但迫切需要挖掘文本更多的潜在语言学信息,而且还力图通过机器学习预测这些潜在的语言学知识,以便更加有效地提高机器翻译的性能,同时为计算语言学服务。韵律作为语音学方面的知识,已经广泛用于到语音合成、文音转换、语音翻译各个语音方面,对基于语音的自然语言处理起到不可替代的作用。该文对韵律信息如何,并以何种方式改进机器翻译进行了介绍,并通过实验验证韵律信息对层次短语模型有改进。     

隐喻理解的计算模型综述

国际上,隐喻在思维及语言中所处的中心地位正逐渐引起人工智能研究者的重视。但在国内学术界,还鲜有开展隐喻计算化这方面研究的;实际上,作为异常用法的隐喻现象是自然语言中的普遍情况,因此隐喻问题若得不到很好的解决,将成为制约自然语言理解和机器翻译的瓶颈问题。本文结合相关的隐喻理论基础,根据不同的计算路线对已有隐喻理解计算模型进行分类,包括基于语义优先方法、基于知识表示的方法、基于逻辑的方法和基于统计语料库的方法,并在分析这些方法的适用范围和优缺点的基础上,对隐喻的计算理解方法以及面向汉语的隐喻理解计算模型研究提出了展望和建议。     

An evaluative baseline for geo-semantic relatedness and similarity

In geographic information science and semantics, the computation of semantic similarity is widely recognised as key to supporting a vast number of tasks in information integration and retrieval. By contrast, the role of geo-semantic relatedness has been largely ignored. In natural language processing, semantic relatedness is often confused with the more specific semantic similarity. In this article, we discuss a notion of geo-semantic relatedness based on Lehrer’s semantic fields, and we compare it with geo-semantic similarity. We then describe and validate the Geo Relatedness and Similarity Dataset (GeReSiD), a new open dataset designed to evaluate computational measures of geo-semantic relatedness and similarity. This dataset is larger than existing datasets of this kind, and includes 97 geographic terms combined into 50 term pairs rated by 203 human subjects. GeReSiD is available online and can be used as an evaluation baseline to determine empirically to what degree a given computational model approximates geo-semantic relatedness and similarity.     

计算科学的新领域：DNA计算（Ⅲ）

DNA计算是应用分子生物技术进行计算的新方法.从理论上研究DNA计算方法，有利于推动理论计算科学的发展.本系列文章应用形式语言及自动机理论技术，系统地探讨了DNA分子的可计算性及其计算能力.本文主要介绍DNA剪接计算模型的文法结构和剪接计算方法，探讨了不同DNA剪接计算模型的计算能力，证明了所有图灵机可计算的函数理论上都可以通过DNA剪接计算模型来计算.     

计算科学的新领域：DNA计算（Ⅱ）

DNA计算是应用分子生物技术进行计算的新方法。从理论上研究DNA计算方法，有利于推动理论计算科学的发展。本系列文章应用形式语言及自动机理论技术，系统地探讨了DNA分子的可计算性及其计算能力。本文主要介绍DNA分子粘接计算模型的文法结构和计算方法，探讨了不同粘接计算模型的计算能力，并证明了DNA有穷自动机与正规文法的等价性。     

基于语言模型的预训练技术研究综述

预训练技术当前在自然语言处理领域占有举足轻重的位置。尤其近两年提出的ELMo、GTP、BERT、XLNet、T5、GTP-3等预训练模型的成功,进一步将预训练技术推向了研究高潮。该文从语言模型、特征抽取器、上下文表征、词表征四个方面对现存的主要预训练技术进行了分析和分类,并分析了当前自然语言处理中的预训练技术面临的主要问题和发展趋势。     

Connectionist systems for natural language understanding

We will discuss various connectionist schemes for natural language understanding (NLU). In principle, massively parallel processing schemes, such as connectionist networks, are well-suited for modelling highly integrated forms of processing. The connectionist approach towards natural language processing is motivated by the belief that a NLU system should process knowledge from many different sources, e.g. semantic, syntactic, and pragmatic, in just this sort of integrated manner. The successful use of spreading activation for various disambiguation tasks in natural language processing models lead to the first connectionist NLU systems. In addition to describing in detail a connectionist disambiguation system, we will also discuss proposed connectionist approaches towards parsing and case role assignment. This paper is intended to introduce the reader to some of the basic ideas behind the connectionist approach to NLU. We will also suggest some directions for future research.     

基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注．基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能．本文围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行对比和分析．我们又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行概述和评价．最后总结语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望．     

计算语义合成性综述

随着自然语言处理技术的飞速发展,单纯在语法层上的研究已经不能解决目前的问题,语义层的研究逐渐成为热点。计算语义合成性作为语义学的关键部分,受到了诸多研究人员的关注。计算语义合成性的研究方法可以分为两大类: 语言学方法和分布式方法。该文详细介绍了它们各自具有代表性的工作,着重阐述了近年来使用广泛的深度学习方法在计算语义合成性研究中的应用,并对这两种方法进行了比较;然后对计算语义合成性在情感分析以及机器翻译中的应用做了细致分析;最后,展望了计算语义合成性未来的研究趋势。