手写体版面分析和多风格古籍背景融合

近年来,基于深度学习的版面分析和风格迁移等技术得到广泛的应用并取得了许多突破.为了对古籍多风格纹理进行复原,提出一种古籍版面分析和风格融合网络结构.首先利用生成对抗网络和多风格背景生成模型进行模型训练,形成多风格的古籍纹理;然后提出重排列算法进行版面分析,调整前景文字的排列位置;最后通过前景文字和古籍风格背景的融合实现文本背景的多风格生成.实验中,以古彝文、古汉语(秦小篆)、女真文的古籍和古画作为数据样本,对DCGANs模型进行参数和结构上的改进以提高模型的生成性能,结合交叉熵损失函数和Fréchet inception distance(FID)对生成结果进行评估,得到在FID上表现最佳的训练模型M8并将其作为多风格背景生成模型,与DCGANs模型相比,生成性能提高19.26%,图像生成质量有了明显提升.     

基于CQT和梅尔频谱的带有人声的音乐风格转换方法

近年来,生成对抗网络在图像风格迁移领域中表现优秀,然而其在音乐领域表现一般.现有的音乐风格迁移对带有人声的音乐的风格迁移效果不佳.为了解决这些问题,首先提取音乐的CQT特征和梅尔频谱特征,然后采用CycleGAN对CQT特征和梅尔频谱的联合特征做风格迁移,再通过WaveNet声码器来对迁移后的谱图进行解码,最终实现了带有人声的音乐的风格迁移.在公开数据集FMA上对所提模型进行评估,符合要求的音乐的平均风格迁移率达到了94.07％.与其他算法相比,该方法所产生的音乐的风格迁移率和音频质量都优于其他算法.     

深度学习汉字生成与字体风格迁移综述

汉字字体风格迁移旨在保证在语义内容不变的同时对汉字的字形作相应的转换。由于深度学习在图像风格迁移任务中表现出色,因此汉字生成可以从汉字图像入手,利用此技术实现汉字字体的转换,减少字体设计的人工干预,减轻字体设计的工作负担。然而,如何提高生成图像的质量仍是一个亟待解决的问题。本文首先系统梳理了当前汉字字体风格迁移的相关工作,将其分为3类,即基于卷积神经网络(convolutional neural network,CNN)、自编码器(auto-encoder,AE)和生成对抗网络(generative adversarial network,GAN)的汉字字体风格迁移方法。然后,对比分析了22种汉字字体风格迁移方法在数据集规模方面的需求和对不同字体类别转换的适用能力,并归纳了这些方法的特点,包括细化汉字图像特征、依赖预训练模型提取有效特征、支持去风格化等。同时,按照汉字部首检字表构造包含多种汉字字体的简繁体汉字图像数据集,并选取代表性的汉字字体风格迁移方法进行对比实验,实现源字体(仿宋)到目标字体(印刷体和手写体)的转换,展示并分析Rewrite2、zi2zi、TET-GAN(texture effects transfer GAN)和Unet-GAN等4种代表性汉字字体风格迁移方法的生成效果。最后,对该领域的现状和挑战进行总结,展望该领域未来发展方向。由于汉字具有数量庞大和风格多样的特性,因此基于深度学习的汉字生成与字体风格迁移技术还不够成熟。未来该领域将从融合汉字的风格化与去风格化为一体、有效提取汉字特征等方面进一步探索,使字体设计工作向更灵活、个性化的方向发展。     

基于深度学习的图像风格迁移研究进展

图像风格迁移是计算机视觉领域的一个热点研究方向。随着深度学习的兴起,图像风格迁移领域得到了突破性的发展。为了推进图像风格迁移领域的发展,对基于深度学习的图像风格迁移的现有研究方法进行综述。对基于深度学习的图像风格迁移方法进行分类和梳理,并对比分析基于卷积神经网络和基于生成对抗网络的风格迁移方法,介绍了图像风格迁移的改进性和拓展性工作,讨论了图像风格迁移领域目前面临的挑战和未来的研究方向。     

基于条件生成对抗网络的蒙古文字体风格迁移模型

蒙古文的每个字素在词的不同位置有着不同的书写形式,使得蒙古文字形结构多样且数量庞大,从而导致利用计算机辅助和传统人工方式设计蒙古文字体需要耗费大量的人力物力。故创建一种能自动生成蒙文字体风格的模型十分必要。国内外已有学者开展了对汉字和英文字体风格自动迁移的研究,但蒙古文领域仍处于空白阶段。因此,该文提出将条件生成对抗网络模型应用于蒙古文字体风格迁移,并给出了相关模型,实现了相应的算法和软件。在蒙古文字体数据集上进行实验,模型采用生成损失和判别损失衡量模型,Adam优化器自动调整学习率,逐渐减少差异值,直到生成器和判别器达到纳什平衡状态,可直接从蒙古文标题字体生成蒙古文手写体等字体,得到的生成字体样式基本接近真实字体样式,达到字体风格迁移的效果。     

生成对抗网络改进角度与应用研究综述

生成对抗网络(GAN)作为一种新兴的生成式模型,逐渐发展应用于图像生成、三维重构、跨模态转换等领域,有效解决了常规卷积神经网络在图像生成类任务方面效率低下的问题,填补了深度学习在图像生成领域上的短板。为了帮助后续研究人员快速并全面了解GAN,根据近年来的文献对GAN的改进模型进行梳理。首先从网络结构、目标函数两个角度介绍了GAN的基本原理,然后对GAN的各种衍生模型从改进角度、应用类型两个方面进行详细的阐述和总结,分别从主观定性、客观定量和任务专项评估等角度对生成图像的质量和多样性进行归纳分析,最后讨论了GAN系列模型近年来的一些核心问题与最新研究进展,并分析了未来的发展趋势。     

人工智能在音乐创作中的应用

文章旨在研究和应用生成对抗网络(Generative Adversarial Network,GAN)模型生成音乐。首先,介绍了GAN模型在音乐生成任务中的应用,以及其在提供音乐创作灵感和扩展音乐创作领域方面的潜力。其次,引入了用于训练的MusicCaps数据集。该数据集包含丰富的音乐信息,可用于训练和评估音乐生成模型。再次,详细描述了GAN模型训练过程。最后,使用示例评估数据初步分析GAN的性能,探讨生成样本的质量、多样性、艺术性、结构性以及一致性。通过本研究,为进一步推动音乐生成领域的发展和创新提供了基础。     

生成对抗式网络及其医学影像应用研究综述

生成对抗式网络（generative adversarial network,GAN）由负责学习数据分布的生成器和负责鉴别样本真伪的判别器构成,二者在相互对抗过程中互相学习逐渐变强。该网络模型使深度学习方法可以自动学习损失函数,减少了对专家知识的依赖,已经广泛应用于自然图像处理领域,对解决医学影像处理的相关瓶颈问题亦具有巨大应用前景。本文旨在找到生成对抗式网络与医学影像领域面临挑战的结合点,通过分析已有工作对未来研究方向进行展望,为该领域研究提供参考。1）阐述了生成对抗式网络的基本原理,从任务拆分、条件约束以及图像到图像的翻译等角度对其衍生模型进行分析回顾;2）对生成对抗式网络在医学影像领域中的数据增广、模态迁移、图像分割以及去噪等方面的应用进行回顾,分析各方法的优缺点与适用范围;3）对现有图像生成质量评估方法进行小结;4）总结生成对抗式网络在医学影像领域的研究进展,并结合该领域问题特性,指出现有理论应用存在的不足与改进方向。生成对抗式网络提出以来,理论不断完善,在医学影像的处理应用中也取得了长足发展,但仍然存在一些亟待解决的问题,包括3维数据合成、几何结构合理性保持、无标记和未配对数据使用以及多模态数据交叉应用等。     

生成对抗网络及其应用研究综述

生成对抗网络的理论研究与应用不断获得成功,已经成为当前深度学习领域研究的热点之一。对生成对抗网络理论及其应用从模型的类型、评价标准和理论研究进展等方面进行系统的综述：分别分析基于显式密度和基于隐式密度的生成模型的优缺点;总结生成对抗网络的评价标准,解读各标准之间的关系,并从应用层面介绍生成对抗网络在图像及其他领域中的研究进展,即通过图像转换、图像生成、图像修复、视频生成、文本生成及图像超分辨率等的应用;从模型的结构表示、训练控制、性能稳定以及评价标准等角度分析生成对抗网络的理论研究进展。研究讨论生成对抗网络的挑战,展望未来可能存在的发展方向。     

生成对抗网络及其在图像生成中的应用研究综述

生成对抗网络(GAN)是无监督学习领域最近几年快速发展的一个研究方向,其主要特点是能够以一种间接的方式对一个未知分布进行建模.在计算机视觉研究领域中,生成对抗网络有着广泛的应用,特别是在图像生成方面,与其他的生成模型相比,生成对抗网络不仅可以避免复杂的计算,而且生成的图像质量也更好.因此,本文将对生成对抗网络及其在图像生成中的研究进展做一个小结和分析:本文首先从模型的架构、目标函数的设计、生成对抗网络在训练中存在的问题、以及如何处理模式崩溃问题等角度对生成对抗网络进行一个详细地总结和归纳;其次介绍生成对抗网络在图像生成中的两种方法;随后对一些典型的、用来评估生成图像质量和多样性的方法进行小结,并且对基于图像生成的应用进行详细分析;最后对生成对抗网络和图像生成进行总结,同时对其发展趋势进行一个展望.     

WKAG：一种针对不平衡医保数据的欺诈检测方法

医保欺诈检测具有迫切的现实意义,当前工作主要以机器学习方法为主,但面临两个重要问题：（1）数据不平衡问题较为突出,欺诈样本占比极小,影响识别效果;（2）数据特征的选取与构造过于依赖领域业务知识,难以保证特征有效性。针对这些问题,提出了一种针对不平衡医保数据的欺诈检测方法--WKAG。使用WGAN-KDE（Wasserstein Generative Adversarial Network-Kernel Density Estimation）方法改善数据不平衡问题,结合自编码器（Auto-Encoder）提取数据的深层隐藏特征,使用Gradient Boosted Decision Tree（GBDT）检测医保欺诈行为。在多个公开数据集上验证了该方法有效性,并在真实医保业务数据集上进行了实验验证,结果表明了WKAG可作为医保欺诈行为的有效检测方法。     

基于片上网络的多核芯片组通讯方案

多芯片协同工作是一种廉价、低风险的高密度计算应用解决方案。由于片上网络(Network On Chip,NoC)的数据通讯具有并发、分离的特性,因此可以方便地在板级集成多块NoC多核芯片协同工作,构成NoC多核芯片组,快速提供更强大的处理能力。基于某高性能图像处理项目,其硬件系统主要由4块NoC多核芯片构成,4块芯片采用全互连方式,研究了报文数据在不同多核芯片间的传输问题,提出了一种通过硬件实现的多核芯片组通讯方案,该方案已应用在某高性能图像处理项目。     

新的基于GAN的局部写实感漫画图像风格迁移

利用生成对抗网络对图像进行风格迁移,将真实世界的图像直接转换为高品质动漫风格,是当今计算机视觉的研究热点之一。针对目前流行的AnimeGAN和CartoonGAN漫画生成对抗网络在图像迁移中存在细节丢失严重、色彩失真等问题。通过引入SE-Residual Block（挤压激励残差块）、漫画脸部检测机制并优化损失函数提出全新的ExpressionGAN解决了AnimeGAN迁移图像细节丢失严重的问题。通过加入DSConv（分布偏移卷积）提出SceneryGAN 加快了训练速度并消除了CartoonGAN迁移图像中的歧义像素块。通过卷积优化了图像的融合边界。同时,提出了一种新的对原始图像人物和环境分别处理并融合的局部写实主义漫画模型。实验结果表明,与AnimeGAN和CartoonGAN相比,该方法在训练速度、漫画图像生成质量和图像局部写实感方面都有了明显的提升。     

用于轴承故障诊断的两步迁移学习法

由于轴承故障数据存在数据量少和分布不均衡的问题,将迁移学习引入故障诊断领域,同时由于轴承故障数据的分布与源数据集分布差异巨大,直接采用迁移学习的方法会产生负迁移效应,即由于源数据集与目标数据集间分布差异过大而导致无法学习到源数据集的知识,提出一种对迁移学习进行改进的诊断新方法：即两步迁移学习法,使用DCGAN来制作辅助数据集,在辅助数据集上进行迁移学习,再将网络放在目标数据集上再次进行迁移学习训练,根据与普通迁移学习和不使用迁移学习的对比实验,新方法相较于目前已有的方法具有更快的速度与更高的准确率。     

基于生成对抗网络的图像动漫风格化

目前的卡通风格图片生成方法仍然存在局限,如色彩不真实、图片局部细节处理不到位等,要想快速将输入图片转换为动漫的风格输出还需要结合深度学习进行研究。基于生成对抗网络的思想,提出了一种动漫风格化编码的生成对抗网络,将输入的图像风格转变为宫崎骏动画电影的风格。网络结构加入自适应实例归一化层（AdaIN）模块和多层感知机（MLP）模块,得到很大优化,同时提高实验效果。在损失函数部分,引入图像感知相似性（lpips）作为内容损失函数,二分类交叉熵（binary cross entropy）损失函数（BCELoss）作为对抗损失函数。实验结果表明,该网络对于动漫化图片起到了很好的效果,FID分数72,能够灵活适用于各种类型的图片动漫化。     

结合全卷积网络与CycleGAN的图像实例风格迁移

目的 传统的图像风格迁移主要在两个配对的图像间进行。循环一致性对抗网络（CycleGAN）首次将生成对抗网络应用于图像风格迁移,实现无配对图像之间的风格迁移,取得了一定的效果,但泛化能力较弱,当训练图像与测试图像之间差距较大时,迁移效果不佳。针对上述问题,本文提出了一种结合全卷积网络（FCN）与CycleGAN的图像风格迁移方法,使得图像能够实现特定目标之间的实例风格迁移。同时验证了训练数据集并非是造成CycleGAN风格迁移效果不佳的因素。方法 首先结合全卷积网络对图像进行语义分割,确定风格迁移的目标,然后将风格迁移后的图像与目标进行匹配,确定迁移对象实现局部风格迁移。为验证CycleGAN在训练图像和测试图像差距较大时风格转移效果不佳并非因缺少相应训练集,制作了训练数据集并带入原网络训练。结果 实验表明结合了全卷积网络与CycleGAN的图像风格迁移方法增加了识别能力,能够做到图像局部风格迁移而保持其余元素的完整性,相对于CycleGAN,该方法能够有效抑制目标之外区域的风格迁移,实验中所用4张图片平均只有4.03%的背景像素点发生了改变,实例迁移效果得到很好提升。而将自制训练集带入原网络训练后,依然不能准确地在目标对象之间进行风格迁移。结论 结合了全卷积网络与CycleGAN的方法能够实现图像的局部风格迁移而保持目标对象之外元素不发生改变,而改变训练数据集对CycleGAN进行实例风格迁移准确性的影响并不大。     

多姿态图像生成的行人重识别算法研究

不同行人的高度相似性以及相同行人外观姿态的差异性,使得不同摄像头下的行人重识别面临严峻的挑战。生成对抗网络可以合成新的图像,被认为是解决行人姿态变化的主要技术手段。提出一种基于多姿态图像生成的行人重识别算法,利用生成对抗网络生成不同姿态的行人图像,通过归一化消除姿态的影响,从而大幅度提升行人重识别的整体性能。该行人重识别算法包括多姿态行人图像生成、不同姿态的行人特征提取与融合、距离度量和重排序三部分内容。在Market-1501数据集和DukeMTMC-ReID数据集上的实验证实了所提出算法的有效性,通过与state-of-the-art行人重识别方法比较,展示了多姿态图像生成方法在行人重识别任务中的优越性,同时表明生成行人图像的特征与原始图像的特征是相互补充的。     

基于身份的卫星网络密钥管理方案

为进一步提高卫星网络密钥管理的效率,文中假设地面控制中心（Telluric Control Center,TCC）作为PKG（Private Key Generation）是完全可信且性能强大的,由TCC为卫星计算私钥,并利用Shamir秘密共享方案将私钥分片传送给各卫星节点,在会话密钥协商过程中利用节点私钥加密时间戳和位置信息以保证新鲜性和认证性。文中利用串空间证明了该方案密钥传输过程的机密性和认证性以及会话密钥的认证性,并和现有的协议进行性能对比,结果表明在假设条件下,该方案是可行的,且性能消耗小。因此文中方案具有较强的实用性。     

面向样本不平衡的网络安全态势要素获取

针对传统的网络安全态势要素获取模型中,当样本分布不平衡时,占比很少的样本（统称小样本）不能被有效检测,准确识别到每一类攻击样本成为研究热点之一。利用深度学习提出了一种面向样本不平衡的要素获取模型,利用卷积神经网络作为基分类器提取网络数据的深层特征,其次使用GAN生成对抗网络扩充小样本的方法,解决样本分布不均衡问题。在扩充后的平衡数据集上采用迁移学习,加快基分类器到适应于小样本的新分类的训练时间。在NSL-KDD数据集上的实验表明,经过生成对抗网络扩充后的数据集,结合迁移学习有效加快了模型训练收敛速度,并有效提高网络安全态势要素获取的分类精度。