融合卷积注意力机制的图像描述生成模型

图像描述模型需要提取出图像中的特征,然后通过自然语言处理（NLP）技术将特征用语句表达出来。现有的基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的图像描述模型在提取图像关键信息时精度不高且训练速度缓慢。针对这个问题,提出了一种基于卷积注意力机制和长短期记忆（LSTM）网络的图像描述生成模型。采用Inception-ResNet-V2作为特征提取网络,在注意力机制中引入全卷积操作替代传统的全连接操作,减少了模型参数的数量。将图像特征与文本特征有效融合后送入LSTM单元中完成训练,最终产生描述图像内容的语义信息。模型采用MSCOCO数据集进行训练,使用多种评价指标（BLEU-1、BLEU-4、METEOR、CIDEr等）对模型进行验证。实验结果表明,提出的模型能够对图像内容进行准确描述,在多种评价指标上均优于基于传统注意力机制的方法。     

基于改进注意力机制的图像描述生成算法

图像描述是将图像所包含的全局信息用语句来表示。它要求图像描述生成模型既能提取出图像信息,又能将提取出来的图像信息用语句表达出来。传统的模型是基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的,在一定程度上可以实现图像转语句的功能,但该模型在提取图像关键信息时精度不高且训练速度缓慢。针对这一问题,提出了一种基于CNN和长短期记忆（LSTM）网络改进的注意力机制图像描述生成模型。采用VGG19和ResNet101作为特征提取网络,在注意力机制中引入分组卷积替代传统的全连接操作,从而提高评价值指标。使用了公共数据集Flickr8K、Flickr30K对该模型进行训练,采用多种评价指标（BLEU、ROUGE_L、CIDEr、METEOR）对模型进行验证。实验结果表明,与引入传统的注意力机制模型相比,提出的改进注意力机制图像描述生成模型对图像描述任务的准确性有所提升,并且该模型在5种评价指标上均优于传统的模型。     

结合视觉属性注意力和残差连接的图像描述生成模型

使机器自动描述图像一直是计算机视觉研究的长期目标之一.为了提高图像内容描述模型的精度,提出一种结合自适应注意力机制和残差连接的长短时间记忆网络(LSTM)的图像描述模型.首先根据pointer-net网络改进基本LSTM结构,增加记录图像视觉属性信息的单元;然后利用改进的LSTM结构,设计基于图像视觉语义属性的自适应注意力机制,自适应注意力机制根据上一时刻模型隐藏层状态,自动选择下一时刻模型需要处理的图像区域;此外,为了得到更紧密的图像与描述语句之间映射关系,构建基于残差连接的双层LSTM结构;最终得到模型能够联合图像视觉特征和语义特征对图像进行内容描述.在MSCOCO和Flickr30K图像集中进行训练和测试,并使用不同的评估方法对模型进行实验验证,结果表明所提模型的性能有较大的提高.     

判别增强的生成对抗模型在文本至图像生成中的研究与应用

目前大部分基于生成对抗网络GAN的文本至图像生成算法着眼于设计不同模式的注意力生成模型,以提高图像细节的刻画与表达,但忽略了判别模型对局部关键语义的感知,以至于生成模型可能生成较差的图像细节“欺骗“判别模型。提出了判别语义增强的生成对抗网络DE-GAN模型,试图在判别模型中设计词汇-图像判别注意力模块,增强判别模型对关键语义的感知和捕捉能力,驱动生成模型生成高质量图像细节。实验结果显示,在CUB-Bird数据集上,DE-GAN在IS指标上达到了4.70,相比基准模型提升了4.2%,达到了较高的性能表现。     

融合图像场景及物体先验知识的图像描述生成模型

目的 目前基于深度卷积神经网络（CNN）和长短时记忆（LSTM）网络模型进行图像描述的方法一般是用物体类别信息作为先验知识来提取图像CNN特征,忽略了图像中的场景先验知识,造成生成的句子缺乏对场景的准确描述,容易对图像中物体的位置关系等造成误判。针对此问题,设计了融合场景及物体类别先验信息的图像描述生成模型（F-SOCPK）,将图像中的场景先验信息和物体类别先验信息融入模型中,协同生成图像的描述句子,提高句子生成质量。方法 首先在大规模场景类别数据集Place205上训练CNN-S模型中的参数,使得CNN-S模型能够包含更多的场景先验信息,然后将其中的参数通过迁移学习的方法迁移到CNN_d-S中,用于捕捉待描述图像中的场景信息;同时,在大规模物体类别数据集Imagenet上训练CNN-O模型中的参数,然后将其迁移到CNN_d-O模型中,用于捕捉图像中的物体信息。提取图像的场景信息和物体信息之后,分别将其送入语言模型LM-S和LM-O中;然后将LM-S和LM-O的输出信息通过Softmax函数的变换,得到单词表中每个单词的概率分值;最后使用加权融合方式,计算每个单词的最终分值,取概率最大者所对应的单词作为当前时间步上的输出,最终生成图像的描述句子。结果 在MSCOCO、Flickr30k和Flickr8k 3个公开数据集上进行实验。本文设计的模型在反映句子连贯性和准确率的BLEU指标、反映句子中单词的准确率和召回率的METEOR指标及反映语义丰富程度的CIDEr指标等多个性能指标上均超过了单独使用物体类别信息的模型,尤其在Flickr8k数据集上,在CIDEr指标上,比单独基于物体类别的Object-based模型提升了9%,比单独基于场景类别的Scene-based模型提升了近11%。结论 本文所提方法效果显著,在基准模型的基础上,性能有了很大提升;与其他主流方法相比,其性能也极为优越。尤其是在较大的数据集上（如MSCOCO）,其优势较为明显;但在较小的数据集上（如Flickr8k）,其性能还有待于进一步改进。在下一步工作中,将在模型中融入更多的视觉先验信息,如动作类别、物体与物体之间的关系等,进一步提升描述句子的质量。同时,也将结合更多视觉技术,如更深的CNN模型、目标检测、场景理解等,进一步提升句子的准确率。     

结合引导解码和视觉注意力的图像语义描述模型

针对输入的图像视觉信息不能在每一步解码过程中动态调整,同时为了提高图像语义描述模型的精度和泛化能力,提出了一种结合引导解码和视觉注意力机制的双层长短时记忆（long short term memory,LSTM）网络的图像语义描述模型。将提取到的图像的视觉和目标特征通过一个引导网络建模后送入LSTM网络的每一时刻,实现端到端的训练过程;同时设计了基于图像通道特征的视觉注意力机制,提高了模型对图像细节部分的描述。利用MSCOCO和Flickr30k数据集对模型进行了训练和测试,结果显示模型性能在不同的评价指标上都得到了提升。     

基于语义分割的全卷积图像描述模型

为快速生成准确描述图片内容的语句,提出语义分割和卷积神经网络(convolutional neural network, CNN)相结合的图像描述方法。将图像分类模型和语义分割模型结合为编码器,增强对图像语义信息的利用,采用CNN代替长短时记忆网络(long short term memory, LSTM)作为解码器生成完整描述性语句。通过在MSCOCO数据集上与5种主流算法的对比实验可知,以CNN作为解码器能够大幅提高解码速度,语义信息的增强能够有效提高实验精度,验证了该方法的有效性和可行性。     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

面向图像语义分割的生成对抗网络模型

图像语义分割一直是计算机视觉中具有挑战性的任务之一。目前多数基于卷积神经网络的语义分割算法存在分割结果不精确,不连续等问题。为了提高图像分割效果,提出了基于生成对抗学习的图像语义分割网络模型。该模型由生成网络和判别网络两部分组成。生成网络含有五个模块,主要作用是生成语义分割图,判别网络与生成网络进行对抗训练,优化生成网络以使生成图像更加接近于Ground Truth。通过在Pascal VOC 2012数据集上对图像进行语义分割的分析,验证了该算法可以有效提高图像语义分割的精度。     

基于多对抗训练的古诗生成方法

目前许多古诗生成方法离人类创作的水平仍有较大的差距,尤其是在主题关联性及诗句的语义方面。为弥补现有方法的不足,提出一种多对抗训练的古诗生成框架。以融合了注意力机制并采用双编码器的序列到序列模型作为古诗生成器,以层级RNN和TextCNN组合的多判别模型指导古诗的生成,同时基于策略梯度进行多对抗训练。在古诗意象数据集上进行实验表明,相较于已提出的方法,基于多对抗训练的古诗生成方法有效提升了诗句与意象词之间的关联性,古诗所表现的语义内涵也更加丰富。     

基于Transformer交叉注意力的文本生成图像技术

近年来,以生成对抗网络为基础的从文本生成图像方法的研究取得了一定的进展。文本生成图像技术的关键在于构建文本信息和视觉信息间的桥梁,促进网络模型生成与对应文本描述一致的逼真图像。目前,主流的方法是通过预训练文本编码器来完成对输入文本描述的编码,但这些方法在文本编码器中未考虑与对应图像的语义对齐问题,独立对输入文本进行编码,忽略了语言空间与图像空间之间的语义鸿沟问题。为解决这一问题,文中设计了一种基于交叉注意力编码器的对抗生成网络(CAE-GAN),该网络通过交叉注意力编码器,将文本信息与视觉信息进行翻译和对齐,以捕捉文本与图像信息之间的跨模态映射关系,从而提升生成图像的逼真度和与输入文本描述的匹配度。实验结果表明,在CUB和coco数据集上,与当前主流的方法DM-GAN模型相比,CAE-GAN模型的IS(Inception Score)分数分别提升了2.53%和1.54%,FID (Fréchet Inception Distance)分数分别降低了15.10%和5.54%,由此可知,CAE-GAN模型生成图像的细节更加完整、质量更高。     

基于深度残差生成式对抗网络的样本生成方法

作为样本生成的重要方法之一,生成式对抗网络(GAN)可以根据任意给定数据集中的数据分布生成样本,但它在实际的训练过程中存在生成样本纹理模糊、训练过程不稳定以及模式坍塌等问题.针对以上问题,在深度卷积生成式对抗网络(DCGAN)的基础上,结合残差网络,设计一种基于深度残差生成式对抗网络的样本生成方法RGAN.该样本生成方法利用残差网络和卷积网络分别构建生成模型和判别模型,并结合正负样本融合训练的学习优化策略进行优化训练.其中:深度残差网络可以恢复出丰富的图像纹理;正负样本融合训练的方式可以增加对抗网络的鲁棒性,有效缓解对抗网络训练不稳定和模式坍塌现象的发生.在102 Category Flower Dataset数据集上设计多个仿真实验,实验结果表明RGAN能有效提高生成样本的质量.     

基于改进生成对抗网络的图像自适应隐写模型

针对现有图像隐写模型存在网络训练不易收敛、梯度爆炸且生成样本质量差等问题,提出一种基于改进生成对抗网络的图像自适应隐写模型SWGAN-GP.将生成图像作为载体,使用HUGO自适应隐写算法进行信息隐藏;在损失函数中加入梯度惩罚,在网络结构中引入注意力机制,设置双判别器与生成器进行对抗训练.实验结果表明,该方法生成图像的IS值、PSNR值等均有提高,判别器分类效果明显改善.该模型可以提高收敛速度,使网络训练更稳定,载密图像更具安全性,有效抵御隐写分析算法的检测.     

基于注意力融合的图像描述生成方法

空间注意力机制和高层语义注意力机制都能够提升图像描述的效果,但是通过直接划分卷积神经网络提取图像空间注意力的方式不能准确地提取图像中目标对应的特征。为了提高基于注意力的图像描述效果,提出了一种基于注意力融合的图像描述模型,使用Faster R-CNN（faster region with convolutional neural network）作为编码器在提取图像特征的同时可以检测出目标的准确位置和名称属性特征,再将这些特征分别作为高层语义注意力和空间注意力来指导单词序列的生成。在COCO数据集上的实验结果表明,基于注意力融合的图像描述模型的性能优于基于空间注意力的图像描述模型和多数主流的图像描述模型。在使用交叉熵训练方法的基础上,使用强化学习方法直接优化图像描述评价指标对模型进行训练,提升了基于注意力融合的图像描述模型的准确率。     

基于生成对抗网络的图像去雾算法

为了提高雾霾条件下拍摄到的模糊图像的质量,提出了一种基于生成对抗学习思想的卷积神经网络去雾算法.该卷积网络在生成模型部分将介质透射率和大气光值嵌入一个变量,进行了联合优化,避免了分离优化影响整体去雾性能的缺陷;在对抗模型部分,将生成模型部分的输出清晰图和真实的清晰图进行对比,从而判别生成的输出清晰图是否足够真实.为了生成更加逼真的清晰图像,引入了一种新的损失函数来优化网络参数,该损失函数同时纳入了图像的L₂损失和双向梯度损失、特征损失和判别器损失,从4个方面来保证去雾性能的良好表现.除此之外,在训练网络的过程中,使用了真实图像和合成有雾图像同时作为数据集,其中的合成图像在合成过程中采用引导滤波算法,这样可以使得合成的有雾图像更加接近于自然情况.最后,引入了更多的评价指标验证了所提方法.基于不同方法的实验数据和实验结果证明了本文方法在已有方法上的提升.     

基于图像翻转变换的对抗样本生成方法

面对对抗样本的攻击,深度神经网络是脆弱的。对抗样本是在原始输入图像上添加人眼几乎不可见的噪声生成的,从而使深度神经网络误分类并带来安全威胁。因此在深度神经网络部署前,对抗性攻击是评估模型鲁棒性的重要方法。然而,在黑盒情况下,对抗样本的攻击成功率还有待提高,即对抗样本的可迁移性有待提升。针对上述情况,提出基于图像翻转变换的对抗样本生成方法——FT-MI-FGSM（Flipping Transformation Momentum Iterative Fast Gradient Sign Method）。首先,从数据增强的角度出发,在对抗样本生成过程的每次迭代中,对原始输入图像随机翻转变换;然后,计算变换后图像的梯度;最后,根据梯度生成对抗样本以减轻对抗样本生成过程中的过拟合,并提升对抗样本的可迁移性。此外,通过使用攻击集成模型的方法,进一步提高对抗样本的可迁移性。在ImageNet数据集上验证了所提方法的有效性。相较于I-FGSM（Iterative Fast Gradient Sign Method）和MI-FGSM（Momentum I-FGSM）,在攻击集成模型设置下,FT-MI-FGSM在对抗训练网络上的平均黑盒攻击成功率分别提升了26.0和8.4个百分点。     

颜色模型扰动的语义对抗样本生成方法

卷积神经网络是一种具有强大特征提取能力的深度神经网络,其在众多领域得到了广泛应用。但是,研究表明卷积神经网络易受对抗样本攻击。不同于传统的以梯度迭代生成对抗扰动的方法,提出了一种基于颜色模型的语义对抗样本生成方法,利用人类视觉和卷积模型在识别物体中表现出的形状偏好特性,通过颜色模型的扰动变换来生成对抗样本。在样本生成过程中其不需要目标模型的网络参数、损失函数或者相关结构信息,仅依靠颜色模型的变换和通道信息的随机扰动,所以这是一种可以完成黑盒攻击的对抗样本。     

基于混合生成对抗网络的多视角图像生成算法

多视角图像生成即基于某个视角图像生成其他多个视角图像, 是多视角展示和虚拟现实目标建模等领域的基本问题, 已引起研究人员的广泛关注. 近年来, 生成对抗网络(Generative adversarial network, GAN)在多视角图像生成任务上取得了不错的成绩, 但目前的主流方法局限于固定领域, 很难迁移至其他场景, 且生成的图像存在模糊、失真等弊病. 为此本文提出了一种基于混合对抗生成网络的多视角图像生成模型ViewGAN, 它包括多个生成器和一个多类别判别器, 可灵活迁移至多视角生成的多个场景. 在ViewGAN中, 多个生成器被同时训练, 旨在生成不同视角的图像. 此外, 本文提出了一种基于蒙特卡洛搜索的惩罚机制来促使每个生成器生成高质量的图像, 使得每个生成器更专注于指定视角图像的生成. 在DeepFashion, Dayton, ICG Lab6数据集上的大量实验证明: 我们的模型在Inception score和Top-k accuracy上的性能优于目前的主流模型, 并且在结构相似性(Structural similarity, SSIM)上的分数提升了32.29%, 峰值信噪比(Peak signal-to-noise ratio, PSNR)分数提升了14.32%, SD (Sharpness difference)分数提升了10.18%.     

LSTM逐层多目标优化及多层概率融合的图像描述

使用计算模型对图像进行自动描述属于视觉高层理解，要求模型不仅能够对图像中的目标及场景进行描述，而且能够对目标与目标之间、目标与场景之间的关系进行表达，同时能够生成符合一定语法和结构的自然语言句子.目前基于深度卷积神经网络（Convolutional neural network，CNN）和长短时记忆网络（Long-short term memory，LSTM）的方法已成为解决该问题的主流，虽然已取得巨大进展，但存在LSTM层次不深，难以优化的问题，导致模型性能难以提升，生成的描述句子质量不高.针对这一问题，受深度学习思想的启发，本文设计了基于逐层优化的多目标优化及多层概率融合的LSTM（Multi-objective layer-wise optimization/multi-layer probability fusion LSTM，MLO/MLPF-LSTM）模型.模型中首先使用浅层LSTM进行训练，收敛之后，保留原LSTM模型中的分类层及目标函数，并添加新的LSTM层及目标函数重新对模型进行训练，对模型原有参数进行微调；在测试时，将多个分类层使用Softmax函数进行变换，得到每层对单词的预测概率分值，然后将多层的概率分值进行加权融合，得到单词的最终预测概率.在MSCOCO和Flickr30K两个数据集上实验结果显示，该模型性能显著，在多个统计指标上均超过了同类其他方法.