面向自然语言处理的对抗攻防与鲁棒性分析综述

随着人工智能技术的飞速发展,深度神经网络在计算机视觉、信号分析和自然语言处理等领域中都得到了广泛应用.自然语言处理通过语法分析、语义分析、篇章理解等功能帮助机器处理、理解及运用人类语言.但是,已有研究表明深度神经网络容易受到对抗文本的攻击,通过产生不可察觉的扰动添加到正常文本中,就能使自然语言处理模型预测错误.为了提高模型的鲁棒安全性,近年来也出现了防御相关的研究工作.针对已有的研究,全面地介绍自然语言处理攻防领域的相关工作,具体而言,首先介绍了自然语言处理的主要任务与相关方法;其次,根据攻击和防御机制对自然语言处理的攻击方法和防御方法进行分类介绍;然后,进一步分析自然语言处理模型的可验证鲁棒性和评估基准数据集,并提供自然语言处理应用平台和工具包的详细介绍;最后总结面向自然语言处理的攻防安全领域在未来的研究发展方向.     

基于模型的深度学习通信信号鲁棒识别算法

深度学习现在是计算机视觉和自然语言处理的热门话题.在许多应用中,深度神经网络(DNN)的性能都优于传统的方法,并且已经成功应用于调制分类和无线电信号表示等任务的学习.近几年研究发现深度神经网络极易受到对抗性攻击,对“对抗性示例”缺乏鲁棒性.笔者就神经网络的通信信号识别算法的鲁棒性问题,将经过PGD攻击的数据看作基于模型...     

深度学习在自然语言处理中的应用

深度学习是一类新兴的多层神经网络学习算法。介绍自然语言处理中采用深度学习的动机及主要的神经网络语言模型。在此基础上,学习一个单词的分布式表示,并分别阐述深度学习在句法分析和语义分析等相关任务中的主要算法,总结了存在的问题及深度学习在中文信息处理的发展方向。     

基于Bi-LSTM的医疗事件识别研究

文本的深度语义分析近年来已经成为自然语言处理研究领域的一个热点,文本的信息抽取及属性识别是文本语义分析的一项重要任务。随着机器学习技术近年来在自然语言处理领域取得了成功,部分学者将该技术推广到了医疗领域的信息抽取任务上面,并且在标准测试集上得到了比传统统计学方法更好的结果,然而这些模型方法仍然存在信息获取不充分等问题。因而,本文在已有工作基础上提出了双向LSTM与MLP集成的深度神经网络模型。在2016年SemEval的医疗事件抽取以及事件属性预测任务中,该模型将医疗文本的词性以及命名实体的描述信息当作附加属性,使用双向LSTM神经网络学习文本的隐藏特征,解决了传统方法通用性不强以及无法捕捉前后文隐含信息的缺点,然后,再使用全连接的方式去判断候选词汇是否属于医疗事件以及识别其相关属性。实验结果表明,本文提出的神经网络模型对医疗文本的抽取效果优于以往学者的方法。     

基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,...     

用于金融文本挖掘的多任务学习预训练金融语言模型

近年来,机器学习,尤其是深度神经网络方法促进了金融文本挖掘研究的发展,在金融科技(Fintech)领域起着越来越重要的作用.如何从金融大数据中提取有价值的信息已经成为学术界和工业界一个非常有挑战的研究.由于深度神经网络需要大量标注数据,但是金融领域缺乏训练数据,因此,将深度学习应用于金融大数据挖掘并没有取得很好效果.为了更好地解决该问题,利用自监督学习和多任务学习等深度学习领域最新的思想和技术,提出了基于BERT模型架构的开源金融预训练语言模型F-BERT.F-BERT是一种针对特定领域(金融文本数据)的预训练语言模型,它通过在大型金融语料库上进行无监督训练得到.基于BERT架构,F-BERT可以有效地自动将知识从金融大数据中提取出并记忆在模型中,而无需进行特定于金融任务的模型结构修改,从而可以直接将其应用于下游各种金融领域任务,包括股票涨跌预测、金融情绪分类、金融智能客服等.在金融关系提取、金融情绪分类、金融智能问答任务上的大量实验表明了F-BERT模型的有效性和鲁棒性.同时,F-BERT在这3个有代表性的金融文本挖掘任务上均取得了很高的模型准确率,进一步验证了模型的性能.     

面向自然语言处理领域的对抗样本生成方法

利用深度神经网络实现自然语言处理领域的文本分类任务时,容易遭受对抗样本攻击,研究对抗样本的生成方法有助于提升深度神经网络的鲁棒性。因此,提出了一种单词级的文本对抗样本生成方法。首先,设计单词的重要性计算函数;然后,利用分类概率查找到单词的最佳同义替换词,并将两者结合确定单词的替换顺序;最后,根据替换顺序生成与原始样本接近的对抗样本。在自然语言处理任务上针对卷积神经网络、长短时记忆网络和双向长短时记忆网络模型进行的实验表明：生成的对抗样本降低了模型的分类准确率和扰动率,且经过对抗训练之后模型的鲁棒性有所提高。     

语言先验知识对神经网络模型自然语言处理任务的影响

随着互联网的发展及硬件的更新,神经网络模型被广泛应用于自然语言处理、图像识别等领域。目前,结合传统自然语言处理方法和神经网络模型正日益成为研究的热点。引入先验知识代表了传统方法的惯例,然而它们对基于神经网络模型的自然语言处理任务的影响尚不清楚。鉴于此,该文尝试探究语言层先验知识对基于神经网络模型的若干自然语言处理任务的影响。根据不同任务的特点,比较了不同先验知识和不同输入位置对不同神经网络模型的影响。通过大量的对比实验发现: 先验知识并不是对所有任务都适用,在神经网络模型的合适位置加入合适的先验知识方可加快模型的收敛速度,提高相关任务的效果。     

图神经网络在自然语言处理中的应用

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型.然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在.因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用.该文对图神经网络在自然语言处理领域中的应用进行...     

图卷积神经网络在自然语言处理中的应用研究

图神经网络构架的出现,给深度学习带来了新的研究方向,图结构能聚合节点的邻居节点以及边的信息来更新该节点的向量表征,捕捉到文本中更丰富和细致的特征,有效帮助文本理解。本文旨在采用近年来前沿的图卷积神经网络模型,在少量标注的训练样本下,针对自然语言处理任务进行研究。通过使用图卷积神经网络模型挖掘文本之间的关系信息来提升自然语言处理相关任务的效果。     

GPT系列大语言模型在自然语言处理任务中的鲁棒性

大语言模型（large language models,LLMs）所展现的处理各种自然语言处理（natural language processing,NLP）任务的能力引发了广泛关注. 然而,它们在处理现实中各种复杂场景时的鲁棒性尚未得到充分探索,这对于评估模型的稳定性和可靠性尤为重要. 因此,使用涵盖了9个常见NLP任务的15个数据集（约147000个原始测试样本）和来自TextFlint的61种鲁棒的文本变形方法分析GPT-3和GPT-3.5系列模型在原始数据集上的性能,以及其在不同任务和文本变形级别（字符、词和句子）上的鲁棒性. 研究结果表明,GPT模型虽然在情感分析、语义匹配等分类任务和阅读理解任务中表现出良好的性能,但其处理信息抽取任务的能力仍较为欠缺,比如其对关系抽取任务中各种关系类型存在严重混淆,甚至出现“幻觉”现象. 在鲁棒性评估实验中,GPT模型在任务层面和变形层面的鲁棒性都较弱,其中,在分类任务和句子级别的变形中鲁棒性缺乏更为显著. 此外,探究了模型迭代过程中性能和鲁棒性的变化,以及提示中的演示数量和演示内容对模型性能和鲁棒性的影响. 结果表明,随着模型的迭代以及上下文学习的加入,模型的性能稳步提升,但是鲁棒性依然亟待提升. 这些发现从任务类型、变形种类、提示内容等方面揭示了GPT模型还无法完全胜任常见的NLP任务,并且模型存在的鲁棒性问题难以通过提升模型性能或改变提示内容等方式解决. 通过对gpt-3.5-turbo的更新版本、gpt-4模型,以及开源模型LLaMA2-7B和LLaMA2-13B的性能和鲁棒性表现进行对比,进一步验证了实验结论. 鉴于此,未来的大模型研究应当提升模型在信息提取以及语义理解等方面的能力,并且应当在模型训练或微调阶段考虑提升其鲁棒性.

     

基于深度学习的中文分词方法研究

作为中文自然语言处理中的基础任务中文分词,其分词的好坏直接影响之后的自然语言处理任务。当前中文分词大部分都是采用基于机器学习的方法,但是其需要人工构建大量特征。针对上述问题,论文提出一种基于深度学习的新分词模型,该模型基于BLSTM(双向长短期神经网络),CNN(卷积神经网络)和CRF(条件随机场),充分利用了BLSTM可以利用长距离信息和CNN提取局部信息的优点。并设计了实验,在三个数据集上验证论文提出的模型在中文分词上的正确性和优越性。     

BERT预训练模型在命名实体识别任务中对识别效果的影响

伴随着人工智能时代的到来，深度学习技术开始被应用于各个领域，在自然语言处理领域，基于深度学习的模型逐渐地成为主流，而语言预处理模型又进一步提高了自然语言处理中命名实体识别任务的识别效果。在命名实体识别任务中，良好的预处理模型可以使后续的任务得到更好的性能表现。本文主要通过对比主流的命名实体识别模型在引入预处理模型前后识别效果的变化对比，来探讨语言预处理模型对命名实体识别任务识别效果的影响。     

基于跨语言数据增强的事件同指消解方法

事件同指消解是一个具有挑战性的自然语言处理任务,它在事件抽取、问答系统和阅读理解等任务中发挥着重要作用.现存的事件同指消解语料库的一个问题是标注规模较小,无法训练出高效能的模型.为了解决上述问题,该文提出了一个基于跨语言数据增强的事件同指消解神经网络模型ECR_CDA(Event Coreference Resolut...     

卷积神经网络模型发展及应用

深度学习是机器学习和人工智能研究的最新趋势,作为一个十余年来快速发展的崭新领域,越来越受到研究者的关注.卷积神经网络(CNN)模型是深度学习模型中最重要的一种经典结构,其性能在近年来深度学习任务上逐步提高.由于可以自动学习样本数据的特征表示,卷积神经网络已经广泛应用于图像分类、目标检测、语义分割以及自然语言处理等领域....     

应用ResGCNN的文本情感分析

文本情感分析是自然语言处理中的一项重要任务,而循环神经网络和卷积神经网络是自然语言处理中常用的两种深度学习模型。本文提出了一种残差网络、多层双向门控递归单元和文本卷积神经网络相结合的残差图卷积神经网络,并在多个英文、中文数据集上获得了良好的分类性能。     

消解逻辑悖论建立元知识智能化体系

<正>多语言计算,或多语言自然语言处理(Multilingual Natural Language Processing),主要研究如何将自然语言处理技术应用于不同的语言。近年来,多语言计算研究呈现出两个明显趋势。1)多语言自然语言处理技术受到了越来越多研究者的青睐和重视,自然语言处理领域中的各大主流会议(如ACL,EMNLP等)不断强调算法、模型、资源的语言多样性与包容性,各种低资源语种的语言资源不断涌现,针对小语种、多语种自然语言处理技术的应用需求增加。2)大规模深度神经网络在自然语言处理中的广泛应用显著推动了多语言计算研究的发展。     

基于局部注意力机制的弱监督长文档分类

自然语言处理中的文档分类任务需要模型从低层级词向量中抽取高层级特征.通常,深度神经网络的特征抽取会利用文档中所有词语,这种做法不能很好适应内容较长的文档.此外,训练深度神经网络需要大量标记数据,在弱监督情况下往往不能取得良好效果.为迎接这些挑战,本研究提出应对弱监督长文档分类的方法.一方面,利用少量种子信息生成伪文档以增强训练数据,应对缺乏标记数据造成的精度难以提升的局面.另一方面,使用循环局部注意力学习,仅基于若干文档片段抽取出摘要特征,就足以支撑后续类别预测,提高模型的速度和精度.实验表明,本研究提出的伪文档生成模型确实能够增强训练数据,对预测精度的提升在弱监督情况下尤为显著;同时,基于局部注意力机制的长文档分类模型在预测精度上显著高于基准模型,处理速度也表现优异,具有实际应用价值.     

天河三号原型机分布式并行深度神经网络性能评测及调优

深度神经网络DNN模型是人工神经网络ANN模型的重要分支,是深度学习的基础.近年来,由于计算机算力的提升和高性能计算技术的发展,使得通过增加DNN网络深度和模型复杂度来提高其特征提取和数据拟合的能力成为可能,从而使DN N在自然语言处理、自动驾驶和人脸识别等问题上显现了优势.然而海量的数据和复杂的模型大大提高了深度神经...     

利用深层语言分析改进中文作文自动评分方法

利用自然语言处理技术对作文进行自动评阅是有重要意义和挑战的研究课题,引起了人工智能领域与教育领域学者的共同关注。该文聚焦于语文作文自动评分任务,提出通过深层语言分析,包括应用高性能别字、语法纠错器分析语言运用能力,采用自动修辞分析、优秀表达识别等手段反映语言表达能力,以及通过细粒度篇章质量分析评估篇章整体质量,来构建有效特征。该文同时提出了结合语言分析特征与深度神经网络编码的自适应混合评分模型。在真实语文作文数据上的实验表明,融入深层语言分析特征可有效提高作文评分效果;年级与主题自适应的模型训练策略,可提高模型的迁移能力和预测效果。消融实验进一步分析和解释了不同类型特征对评分效果的贡献。