首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到19条相似文献,搜索用时 265 毫秒
1.
针对神经机器翻译和人工翻译性能的差异最小化、训练语料不足问题, 提出了一种基于生成对抗网络的神经机器翻译改进方法.首先对目标端句子序列添加微小的噪声干扰, 通过编码器还原原始句子形成新的序列; 其次将编码器的处理结果交给判别器和解码器进一步处理, 在训练过程中, 判别器和双语评估基础值(BLEU)目标函数用于评估生成的句子, 并将结果反馈给生成器, 引导生成器学习及优化.实验结果表明, 对比传统的神经机器翻译模型, 基于GAN模型的方法极大地提高了模型的泛化能力和翻译的精度.  相似文献   

2.
生成对抗网络(GAN)在训练过程中未能有效进行生成器与鉴别器间的同步更新,导致模型训练不稳定并出现模式崩溃的现象。为此,提出一种基于分段损失的生成对抗网络PL-GAN。生成器在不同的训练时期采用不同形式的损失函数,同时引入真实样本与生成样本之间的特征级损失,从而使鉴别器提取的特征更具有鲁棒性。MNIST和CIFAR-10数据集上的实验结果表明,与regular GAN、feature-wise GAN相比,PL-GAN具有更高的分类精度与运行效率。  相似文献   

3.
针对深度卷积生成对抗网络(DCGAN)中的对抗训练缺乏灵活性以及DCGAN所使用的二分类交叉熵损失(BCE loss)函数存在优化不灵活、收敛状态不明确的问题,提出了一种基于仲裁机制的生成对抗网络(GAN)改进算法,即在DCGAN的基础上引入了所提出的仲裁机制。首先,所提改进算法的网络结构由生成器、鉴别器和仲裁器组成;然后,生成器与鉴别器会根据训练规划进行对抗训练,并根据从数据集中感知学习到的特征分别强化生成图像以及辨别图像真伪的能力;其次,由上一轮经过对抗训练的生成器和鉴别器与度量分数计算模块一起组成仲裁器,该仲裁器将度量生成器与鉴别器对抗训练的结果,并反馈到训练规划中;最后,在网络结构中添加获胜限制以提高模型训练的稳定性,并使用Circle loss函数替换BCE loss函数,使得模型优化过程更灵活、收敛状态更明确。实验结果表明,所提算法在建筑类以及人脸数据集上有较好的生成效果,在LSUN数据集上,该算法的FID指标相较于DCGAN原始算法下降了1.04%;在CelebA数据集上,该算法的IS指标相较于DCGAN原始算法提高了4.53%。所提算法生成的图像具有更好的多样性以及更高的质量。  相似文献   

4.
针对蒙汉神经机器翻译过程中出现严重未登录词的问题,利用字节编码技术对蒙汉平行语料进行预处理,实验结果表明字节对编码技术有效缓解了未登录词现象。同时,为缓解蒙汉平行语料不足问题,将迁移学习策略应用到在蒙汉神经机器翻译中,实验结果表明最终的翻译译文提高了1.6个BLEU值。另外,考虑到在神经机器翻译模型中的双语词向量的质量对最终的翻译译文质量有较大影响,将基于Word2vec预训练得到的词向量嵌入到蒙汉神经机器翻译模型中,实验结果表明译文提升了0.6个BLEU值。  相似文献   

5.
翻译算法自从提出以来受到研究者的广泛关注,基于生成对抗网络的图像翻译方法在图片风格转化、图像修复、超分辨率生成等领域得到广泛应用。针对生成对抗网络图像翻译方法框架过于庞大的缺点,提出了一种改进的生成对抗网络算法:二分生成对抗网络(BGAN)。BGAN引入二分生成器结构代替双生成器-判别器结构,神经网络模型相比以往方法资源消耗更少。实验结果表明,BGAN与其他图像翻译算法相比而言,生成的图样样本更清晰、质量更好。  相似文献   

6.
由于内蒙古地区蒙汉机器翻译水平落后、平行双语语料规模较小,利用传统的统计机器翻译方法会出现数据稀疏以及训练过拟合等问题,导致翻译质量不高。针对这种情况,提出基于LSTM的蒙汉神经机器翻译方法,通过利用长短时记忆模型构建端到端的神经网络框架并对蒙汉机器翻译系统进行建模。为了更有效地理解蒙古语语义信息,根据蒙古语的特点将蒙古文单词分割成词素形式,导入模型,并在模型中引入局部注意力机制计算与目标词有关联的源语词素的权重,获得蒙古语和汉语词汇间的对齐概率,从而提升翻译质量。实验结果表明,该方法相比传统蒙汉翻译系统提高了翻译质量。  相似文献   

7.
目前,基于端到端的神经机器翻译(NMT)在大语种上取得了显著的效果,已经成为学术界非常流行的方法,然而该模型的训练严重依赖平行语料库的大小,通常需要上百万句,而西里尔蒙古语和汉语之间的平行语料库严重匮乏,并且人工构建代价昂贵。因此,提出基于对偶学习的西里尔蒙汉互译方法。为了缓解因未登录词导致的译文质量不高的问题,采用BPE(Byte Pair Encoding)技术对语料进行预处理。将通过单语数据预训练的语言模型和20%的平行双语数据预训练的翻译模型作为该模型训练的初始状态。以NMT为基线系统,实验结果表明,该方法达到了与NMT使用西里尔蒙汉全部双语数据相当的效果,有效缓解了因未登录词较多和平行语料库匮乏导致的译文质量不高的问题。  相似文献   

8.
近年来,端到端的神经机器翻译方法由于翻译准确率高,模型结构简单等优点已经成为机器翻译研究的重点,但其依然存在一个主要的缺点,该模型倾向于反复翻译某些源词,而错误地忽略掉部分词。针对这种情况,采用在端到端模型的基础上添加重构器的方法。首先利用Word2vec技术对蒙汉双语数据集进行向量化表示,然后预训练端到端的蒙汉神经机器翻译模型,最后对基于编码器-解码器重构框架的蒙汉神经机器翻译模型进行训练。将基于注意力机制的蒙汉神经机器翻译模型作为基线系统。实验结果表明,该框架显著提高了蒙汉机器翻译的充分性,比传统的基于注意力机制的蒙汉机器翻译模型具有更好的翻译效果。  相似文献   

9.
传统上神经机器翻译依赖于大规模双语平行语料,而无监督神经机器翻译的方法避免了神经机器翻译对大量双语平行语料的过度依赖,更适合低资源语言或领域。无监督神经机器翻译训练时会产生伪平行数据,这些伪平行数据质量对机器翻译最终质量起到了决定性的作用。因此,该文提出利用质量估计的无监督神经机器翻译模型,通过在反向翻译的过程中使用质量估计对生成的伪平行数据评分,再选择评分(HTER)较高的平行数据训练神经网络。利用质量估计的方法可以控制反向翻译生成的伪平行数据的质量,为对抗生成网络提供了更丰富的训练样本,使对抗生成网络训练得更加充分。与基线模型相比,该模型在WMT 2019德语—英语和捷克语—英语新闻单语语料上BLEU值分别提升了0.79和0.55。  相似文献   

10.
针对蒙汉平行语料资源比较稀缺和现有平行语料数据覆盖面少等导致的蒙汉翻译质量不佳的问题,采用跨语言多任务学习的方式对机器翻译建模。在数据预处理阶段,引入两种新的无监督预训练和一种监督预训练的方法,用于跨语言建模来学习跨语言表示,并研究三种语言预训练方法在蒙汉翻译中的效果。实验结果表明,三种跨语言预训练的模型可以显著降低低资源语言的困惑度,提高蒙汉翻译质量。  相似文献   

11.
生成对抗网络的出现将对抗学习的思想引入了机器学习的不同知识体系,带来了全新的发展。对抗性的领域适应算法利用一个共享特征提取器提取域不变表征,一个判别器进行辨别,双方通过对抗性的迭代更新方式达到最优解。在数据来源上,生成对抗网络和领域适应都有极其类似的2个域。在目标函数上,两者都试图追寻一致性。从理论和逻辑结构出发分析两者的内在相似性,尝试利用已成熟的生成对抗网络体系从更深层次进一步提升领域适应性能。通过类比,提出使用2个判别器解决已有对抗性领域适应算法中存在的“模式崩溃”问题,并使用伪标签进行结构上的完善。最后,在标准领域适应任务上的实验表明了本文算法的可行性和有效性。  相似文献   

12.
深度学习在众多领域取得了巨大成功。然而,其强大的数据拟合能力隐藏着不可解释的“捷径学习”现象,从而引发深度模型脆弱、易受攻击的安全隐患。众多研究表明,攻击者向正常数据中添加人类无法察觉的微小扰动,便可能造成模型产生灾难性的错误输出,这严重限制了深度学习在安全敏感领域的应用。对此,研究者提出了各种对抗性防御方法。其中,对抗训练是典型的启发式防御方法。它将对抗攻击与对抗防御注入一个框架,一方面通过攻击已有模型学习生成对抗样本,另一方面利用对抗样本进一步开展模型训练,从而提升模型的鲁棒性。为此,本文围绕对抗训练,首先,阐述了对抗训练的基本框架;其次,对对抗训练框架下的对抗样本生成、对抗模型防御性训练等方法与关键技术进行分类梳理;然后,对评估对抗训练鲁棒性的数据集及攻击方式进行总结;最后,通过对当前对抗训练所面临挑战的分析,本文给出了其未来的几个发展方向。  相似文献   

13.
通过生成对抗网络的对抗学习生成仿真图像,已成为人工智能领域的一个研究热点.为了进一步提高生成图像的质量,本文提出了多判别器协同合作的网络框架——采用多个判别器为唯一生成器提供联合损失量,并通过不同的学习率保持各个判别器的差异性.同时,为了满足判别器的Lipschitz连续条件,本文所有的判别器网络一律进行谱归一化操作.实验表明,本文提出的基于多判别器合作框架的生成对抗网络表现较优.  相似文献   

14.
针对基于深度学习的人脸识别模型难以在嵌入式设备进行部署和实时性能差的问题,深入研究了现有的模型压缩和加速算法,提出了一种基于知识蒸馏和对抗学习的神经网络压缩算法。算法框架由三部分组成,预训练的大规模教师网络、轻量级的学生网络和辅助对抗学习的判别器。改进传统的知识蒸馏损失,增加指示函数,使学生网络只学习教师网络正确识别的分类概率;鉴于中间层特征图具有丰富的高维特征,引入对抗学习策略中的判别器,鉴别学生网络与教师网络在特征图层面的差异;为了进一步提高学生网络的泛化能力,使其能够应用于不同的机器视觉任务,在训练的后半部分教师网络和学生网络相互学习,交替更新,使学生网络能够探索自己的最优解空间。分别在CASIA WEBFACE和CelebA两个数据集上进行验证,实验结果表明知识蒸馏得到的小尺寸学生网络相较全监督训练的教师网络,识别准确率仅下降了1.5%左右。同时将本研究所提方法与面向特征图知识蒸馏算法和基于对抗学习训练的模型压缩算法进行对比,所提方法具有较高的人脸识别准确率。  相似文献   

15.
图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。  相似文献   

16.
强化学习与生成式对抗网络结合方法研究进展   总被引:1,自引:0,他引:1       下载免费PDF全文
强化学习和生成式对抗网络是近年来人工智能领域的两个热门主题,在众多领域表现非常出色。近期出现较多关于两者结合的工作与报道,将强化学习交互式学习的优点与生成式对抗网络的启发自博弈思想相互融合。对两者结合的最新进展进行了梳理、比较与实验分析。对强化学习与生成式对抗网络的理论进行了概述;从强化学习改进生成式对抗网络、生成式对抗网络改进强化学习两个研究方向进行了阐述与比较,通过实验方式分析了这些方法在自然语言、机器控制领域的应用情况;展望了可能的发展趋势。  相似文献   

17.
单幅雾天图像的恢复是计算机视觉领域的一个基础问题,现有的方法主要包括基于先验信息的去雾方法和基于学习的去雾方法.然而,在实践中,前者具有很强的假设先验,导致该类方法的应用场景具有一定的局限性;后者在获取大量的配对数据上很困难.针对这2类问题,提出一种基于非配对数据训练的二阶段端到端的自适应去雾生成网络,其基于循环生成式对抗网络框架,不同的是,在训练的过程中,提出一种二阶段映射策略.首先通过一级映射网络得到去雾结果;然后将该结果作为二级映射网络的输入,进一步提高去雾效果.另外,提出一种循环增强损失函数,并引入了先验信息约束生成器之间的映射关系.采用室内外多场景下的仿真雾图和真实雾图作为测试数据,通过全参考和无参考图像质量评价指标进行对比分析;实验结果表明,该方法不仅能够更好地适应处理各类雾天场景,有效地提高图像的峰值信噪比和结构相似度,且较好地复原了退化场景的边缘信息和色彩信息.  相似文献   

18.
针对强物理不可复制函数(PUF,physical unclonable function)面临的机器学习建模威胁,基于对抗学习理论建立了强PUF的对抗机器学习模型,在模型框架下,通过对梯度下降算法训练过程的分析,明确了延迟向量权重与模型预测准确率之间的潜在联系,设计了一种基于延迟向量权重的对抗样本生成策略。该策略与传统的组合策略相比,将逻辑回归等算法的预测准确率降低了5.4%~9.5%,低至51.4%。结合资源占用量要求,设计了新策略对应的电路结构,并利用对称设计和复杂策略等方法对其进行安全加固,形成了ALPUF(adversarial learning PUF)安全结构。ALPUF不仅将机器学习建模的预测准确率降低至随机预测水平,而且能够抵御混合攻击和暴力破解。与其他 PUF结构的对比表明,ALPUF在资源占用量和安全性上均具有明显优势。  相似文献   

19.
针对蒙汉机器翻译中平行语料资源稀缺的问题,提出利用单语语料库对蒙汉机器翻译进行研究。由于利用单语语料库进行机器翻译的效果较差,故将基于自注意力机制预训练跨蒙汉语言模型应用于基于单语语料库训练的蒙汉机器翻译系统中。实验结果表明,基于自注意力机制预训练跨蒙汉语言模型的方法极大改善了蒙汉机器翻译系统的性能。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号