基于可变损失和流形正则化的生成对抗网络

针对生成对抗网络中鉴别器在少量标记样本上的分类精度较差以及对流形局部扰动的鲁棒性不足的问题,提出一种基于可变损失和流形正则化的生成对抗网络算法。当标记样本较少时,该算法在鉴别器中利用可变损失代替原有对抗损失以解决训练前期分类性能较差的鉴别器对半监督分类任务的不利影响。此外,在鉴别器可变损失的基础上加入流形正则项,通过惩罚鉴别器在流形上分类决策的变化提高鉴别器对局部扰动的鲁棒性。以生成样本的质量和半监督的分类精度作为算法的评价标准,并在数据集SVHN和CIFAR-10上完成了数值实验。与其他半监督算法的对比结果表明,该算法在使用少量带标记数据的情况下能得到质量更高的生成样本和精度更高的分类结果。     

基于生成对抗网络的图像动漫化

动漫风格的图像具有高度的简化和抽象等特征,为了解决将现实世界图像转化成动漫风格图像这一问题,提出一种基于生成对抗网络的图像动漫化方法。本文的生成网络是类U-Net的全卷积结构,对输入图像先下采样,并加上浅层的特征用双线性插值的方法进行上采样,判别网络则采用Patch GAN加谱归一化的结构,分别计算语义内容损失和风格损失以提高网络的稳定性。本文采用surface表征损失、structure表征损失和texture表征损失代替风格损失,使得生成动漫图像的效果更可控。写实图像选用train2014,人脸图像采用CelebA-HQ数据集。使用本文模型在这些数据集上进行实验,实验结果表明,本文模型能够有效地完成图像动漫化的过程,并生成较高质量的动漫化图像。     

自然语言是正则语言

自然语言由字母集、单词集、句子集、段落集和文章集5部分组成,而且,字母集包含于单词集,单词集包含于句子集,句子集包含于段落集,段落集包含于文章集。在此观点下,自然语言是正则语言。引入了字母空图和字母空图语言等10个概念。作为特例,英语由英语字母集、英语单词集、英语句子集、英语段落集和英语文章集5部分构成。在此观点下,英语是正则语言。引入了英语字母空图和英语字母空图语言等10个概念。汉语由汉字集、汉语词汇集、汉语句子集、汉语段落集和汉语文章集5部分构成。在此观点下,汉语是正则语言。引入了汉字空图和汉字空图语言等10个概念。这为计算机自然语言处理打开了一扇新的大门,开辟了语言学新的研究领域。     

一种基于对抗正则化的图像特征提取方法

图像特征提取的质量直接影响图像分类精度,针对现有特征提取方法不能准确提取远离分类边界特征的问题.本文提出一种基于对抗正则化的图像特征提取方法,在分类目标函数中引入对抗性正则化项,其核心思想是将特征经过Dropout得到两个后验分布,分类器最大化后验分布得到分类边界,特征生成器最小化后验分布生成远离分类边界的特征,二者相...     

基于自洽正则化约束的半监督细胞分割算法

针对具有高质量标注的医疗图像数据获得成本较高的问题,提出基于自洽正则化约束的半监督细胞分割算法.首先构造两个结构完全相同的主、从分割网络,赋以相同的初始化参数.然后将随机选取的有/无标签训练数据输入主、从分割网络,利用正则化项约束主、从分割网络的训练,使输出结果保持自洽.其中,由梯度下降法优化主分割网络参数,由主网络参数经指数移动平均迭代得到从分割网络参数.最后在公共数据集上的实验验证文中算法的有效性.     

GAT:用于自然语言理解的基于全局的对抗训练

在自然语言处理领域中,基于梯度的对抗训练是一种能够有效提高神经网络鲁棒性的方法。首先,该文针对现有的对抗训练算法效率较低的问题,提出基于全局扰动表的初始化策略,在提高神经网络的训练效率的同时保证初始化扰动的有效性;其次,针对传统的归一化方法忽略了令牌之间的相对独立性问题,提出基于全局等权的归一化策略,保证令牌之间的相对独立性,避免少数样本主导对抗训练;最后,对于使用可学习的位置编码的预训练语言模型,提出基于全局多方面的扰动策略,使得神经网络更具鲁棒性。实验结果表明,该方法能有效提升神经网络的性能。     

面向自然语言推理的基于截断高斯距离的自注意力机制

在自然语言理解任务中,注意力机制由于可以有效捕获词在上下文语境中的重要程度并提高自然语言理解任务的有效性而受到了人们的普遍关注。基于注意力机制的非递归深度网络Transformer,不仅以非常少的参数和训练时间取得了机器翻译学习任务的最优性能,还在自然语言推理(Gaussian-Transformer)、词表示学习(Bert)等任务中取得了令人瞩目的成绩。目前Gaussian-Transformer已成为自然语言推理任务性能最好的方法之一。然而,在Transformer中引入Gaussian先验分布对词的位置信息进行编码,虽然可以大大提升邻近词的重要程度,但由于Gaussian分布中非邻近词的重要性会快速趋向于0,对当前词的表示有重要作用的非邻近词的影响会随着距离的加深消失殆尽。因此,文中面向自然语言推理任务,提出了一种基于截断高斯距离分布的自注意力机制,该方法不仅可以凸显邻近词的重要性,还可以保留对当前词表示具有重要作用的非邻近词的信息。在自然语言推理基准数据集SNLI和MultiNLI上的实验结果证实,截断高斯距离分布自注意力机制能够更有效地提取句子中词语的相对位置信息。     

基于图神经网络和语义知识的自然语言推理任务研究

自然语言推理任务的目的是推断两个句子之间的语义逻辑关系.该文通过模仿人类的推理过程构造模型,首先利用长短时记忆网络提取词的语境特征,模仿人类粗读句子的过程;然后依据外部语义知识,连接两个句子中有语义联系的词,构造一个以词为节点的语义图;接下来模仿人类比较两个句子的语义角色相似性的思维,用图卷积或图注意力神经网络聚合词在...     

L1正则化的深度谱聚类算法

针对深度谱聚类模型训练不稳定和泛化能力弱等问题,提出L1正则化的深度谱聚类算法（DSCLR）。首先,在深度谱聚类的目标函数中引入L1正则化,使深度神经网络模型生成的拉普拉斯矩阵的特征向量稀疏化,并提升模型的泛化能力;其次,通过利用参数化修正线性单元激活函数（PReLU）改进基于深度神经网络的谱聚类算法的网络结构,解决模型训练不稳定和欠拟合问题。在MNIST数据集上的实验结果表明,所提算法在聚类精度（CA）、归一化互信息（NMI）指数和调整兰德系数（ARI）这3个评价指标上,相较于深度谱聚类算法分别提升了11.85、7.75和17.19个百分点。此外,所提算法相较于深度嵌入聚类（DEC）和基于对偶自编码器网络的深度谱聚类（DSCDAN）等算法,在CA、NMI和ARI这3个评价指标上也有大幅提升。     

基于流形正则化极限学习机的文本分类算法研究

基于极限学习机的文本分类方法在对输入的文本特征进行随机映射时,会呈现一种非线性的几何结构,利用最小二乘法无法对其进行求解,影响文本的分类性能。为此,引入一种新的流形正则化思想,提出基于极限学习机的改进算法。利用拉普拉斯特征映射保持输入文本特征的几何结构。基于样本的类别信息对样本点之间的距离进行修正,优先选择类别相同的样本点,以改善分类性能。在Reuters和20newsgroup数据集上的实验结果表明,与正则化极限学习机算法、AdaBELM算法等相比,该算法分类性能较好,F1-measure值可达91.42%。     

一种基于自然语言的模式推理算法

传统的基于谓词模式推理算法,需要把自然语言表示的知识,人工转换为机器可以理解的谓词,这就需要耗费大量的人力物力。本文提出一种基于自然语言的模式推理算法,可以基于自然语言进行模式推理,不需要将自然语言表示的知识转换为谓词,从而大大节省了人力物力。实验结果表明,本算法可以基于自然语言,有效的进行模式推理。     

基于义原级语句稀释法的文本对抗攻击能力强化方法

随着近年来机器学习方法在自然语言处理领域的应用越发广泛,自然语言处理任务的安全性也引起了研究者们重视.现有研究发现,向样本施加细微扰动可能令机器学习模型得到错误结果,这种方法称之为对抗攻击.文本对抗攻击能够有效发现自然语言模型的弱点从而进行改进.然而,目前的文本对抗攻击方法都着重于设计复杂的对抗样本生成策略,对抗攻击成功率提升有限,且对样本进行高侵入性修改容易导致样本质量下降.如何更简单、更高效地提升对抗攻击效果,并输出高质量对抗样本已经成为重要需求.为解决此问题,从改进对抗攻击过程的新角度,设计了义原级语句稀释法(sememe-level sentence dilution algorithm, SSDA)及稀释池构建算法(dilution pool construction algorithm, DPCA). SSDA是一种可以自由嵌入经典对抗攻击过程中的新过程,它利用DPCA构建的稀释池先对输入样本进行稀释,再进行对抗样本生成.在未知文本数据集与自然语言模型的情况下,不仅能够提升任意文本对抗攻击方法的攻击成功率,还能够获得相较于原方法更高的对抗样本质量.通过对不同文本数据集、稀释...     

基于对抗训练策略的语言模型数据增强技术

基于最大似然估计（Maximum likelihood estimation,MLE）的语言模型（Language model,LM）数据增强方法由于存在暴露偏差问题而无法生成具有长时语义信息的采样数据.本文提出了一种基于对抗训练策略的语言模型数据增强的方法,通过一个辅助的卷积神经网络判别模型判断生成数据的真伪,从而引导递归神经网络生成模型学习真实数据的分布.语言模型的数据增强问题实质上是离散序列的生成问题.当生成模型的输出为离散值时,来自判别模型的误差无法通过反向传播算法回传到生成模型.为了解决此问题,本文将离散序列生成问题表示为强化学习问题,利用判别模型的输出作为奖励对生成模型进行优化,此外,由于判别模型只能对完整的生成序列进行评价,本文采用蒙特卡洛搜索算法对生成序列的中间状态进行评价.语音识别多候选重估实验表明,在有限文本数据条件下,随着训练数据量的增加,本文提出的方法可以进一步降低识别字错误率（Character error rate,CER）,且始终优于基于MLE的数据增强方法.当训练数据达到6M词规模时,本文提出的方法使THCHS30数据集的CER相对基线系统下降5.0%,AISHELL数据集的CER相对下降7.1%.     

面向自然语言处理的深度学习对抗样本综述

深度学习模型被证明存在脆弱性并容易遭到对抗样本的攻击,但目前对于对抗样本的研究主要集中在计算机视觉领域而忽略了自然语言处理模型的安全问题.针对自然语言处理领域同样面临对抗样本的风险,在阐明对抗样本相关概念的基础上,文中首先对基于深度学习的自然语言处理模型的复杂结构、难以探知的训练过程和朴素的基本原理等脆弱性成因进行分析...     

面向自然语言处理的对抗攻防与鲁棒性分析综述

随着人工智能技术的飞速发展,深度神经网络在计算机视觉、信号分析和自然语言处理等领域中都得到了广泛应用.自然语言处理通过语法分析、语义分析、篇章理解等功能帮助机器处理、理解及运用人类语言.但是,已有研究表明深度神经网络容易受到对抗文本的攻击,通过产生不可察觉的扰动添加到正常文本中,就能使自然语言处理模型预测错误.为了提高模型的鲁棒安全性,近年来也出现了防御相关的研究工作.针对已有的研究,全面地介绍自然语言处理攻防领域的相关工作,具体而言,首先介绍了自然语言处理的主要任务与相关方法;其次,根据攻击和防御机制对自然语言处理的攻击方法和防御方法进行分类介绍;然后,进一步分析自然语言处理模型的可验证鲁棒性和评估基准数据集,并提供自然语言处理应用平台和工具包的详细介绍;最后总结面向自然语言处理的攻防安全领域在未来的研究发展方向.     

基于对抗学习的蒙汉神经机器翻译

在机器翻译模型的构建和训练阶段,为了缓解因端到端机器翻译框架在训练时采用最大似然估计原理导致的翻译模型的质量不高的问题,本文使用对抗学习策略训练生成对抗网络,通过鉴别器协助生成器的方式来提高生成器的翻译质量,通过实验选择出了更适合生成器的机器翻译框架Transformer,更适合鉴别器的卷积神经网络,并且验证了对抗式训练对提高译文的自然度、流利度以及准确性都具有一定的作用.在模型的优化阶段,为了缓解因蒙汉平行数据集匮乏导致的蒙汉机器翻译质量仍然不理想的问题,本文将Dual-GAN (dual-generative adversarial networks,对偶生成对抗网络)算法引入了蒙汉机器翻译中,通过有效的利用大量蒙汉单语数据使用对偶学习策略的方式来进一步提高基于对抗学习的蒙汉机器翻译模型的质量.     

基于强化学习的对抗预训练语言建模方法

在大规模无监督语料上的BERT、XLNet等预训练语言模型,通常采用基于交叉熵损失函数的语言建模任务进行训练。模型的评价标准则采用困惑度或者模型在其他下游自然语言处理任务中的性能指标,存在损失函数和评测指标不匹配等问题。为解决这些问题,该文提出一种结合强化学习的对抗预训练语言模型RL-XLNet(Reinforcement Learning-XLNet)。RL-XLNet采用对抗训练方式训练一个生成器,基于上下文预测选定词,并训练一个判别器判断生成器预测的词是否正确。通过对抗网络生成器和判别器的相互促进作用,强化生成器对语义的理解,提高模型的学习能力。由于在文本生成过程中存在采样过程,导致最终的损失无法直接进行回传,故提出采用强化学习的方式对生成器进行训练。基于通用语言理解评估基准(GLUE Benchmark)和斯坦福问答任务(SQuAD 1.1)的实验,结果表明,与现有BERT、XLNet方法相比,RL-XLNet模型在多项任务中的性能上表现出较明显的优势: 在GLUE的六个任务中排名第1,一个任务排名第2,一个任务排名第3。在SQuAD 1.1任务中F₁值排名第1。考虑到运算资源有限,基于小语料集的模型性能也达到了领域先进水平。     

基于自注意力机制的条件生成对抗网络

近年来,越来越多的生成对抗网络出现在深度学习的各个领域中.条件生成对抗网络(Conditional Generative Adver-sarial Networks,cGAN)开创性地将监督学习引入到无监督的GAN网络中,这使得GAN可以生成有标签数据.传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图...     

基于中文自然语言的SQL生成综述

自然语言转为SQL (NL2SQL)的研究有较高的应用价值, 随着深度学习技术的成熟, 越来越多的研究者开始将深度学习技术应用于NL2SQL任务中. 本文梳理了英文和中文领域NL2SQL的研究现状, 总结按年份发布的数据集和模型, 对比当前4大中文NL2SQL数据集的特点, 阐述了当前基于深度学习的NL2SQL任务的基本框架以及针对中文领域的单表简单问题和跨表复杂问题所适用的典型模型, 介绍了一般常用的模型评测方法, 并提出未来研究方向的展望.