基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

基于贝叶斯和cGAN的甲状腺结节生成方法

为克服小样本医学图像数据集对训练强大的超声图像中甲状腺结节的自动分割或分类的深度学习模型的限制,提出一种基于贝叶斯神经网络和条件生成对抗网络(cGAN)的数据生成方法.构建cGAN并以修改的结节掩膜作为条件,通过在真实样本上训练生成器生成具有不同特征的结节.使用贝叶斯神经网络识别出最有价值的生成样本,并用其构建新的数据集训练模型进行结节的分割和分类.实验结果表明,提出方法仅使用约35％的真实样本即可实现令人满意的分割和分类性能.     

面向图像语义分割的生成对抗网络模型

图像语义分割一直是计算机视觉中具有挑战性的任务之一。目前多数基于卷积神经网络的语义分割算法存在分割结果不精确,不连续等问题。为了提高图像分割效果,提出了基于生成对抗学习的图像语义分割网络模型。该模型由生成网络和判别网络两部分组成。生成网络含有五个模块,主要作用是生成语义分割图,判别网络与生成网络进行对抗训练,优化生成网络以使生成图像更加接近于Ground Truth。通过在Pascal VOC 2012数据集上对图像进行语义分割的分析,验证了该算法可以有效提高图像语义分割的精度。     

基于改进CycleGAN的道路场景语义分割研究

道路场景下的语义分割是无人驾驶中关键的技术,也是计算机视觉中重要的一个领域,而传统的语义分割方法需要对训练数据进行像素级的标注,对数据的要求极高。针对这一问题,将改进的循环生成对抗网络（cycle-consistent adversarial networks,CycleGAN）用于道路场景语义分割,该网络避免了大量的像素级标注且不需要成对的数据集,降低了数据集的要求。将原网络的目标函数用最小二乘损失和Smooth L1范数替代,增加了网络训练的稳定性且提高了生成图像的质量,并引入特征损失保证图像特征的保留,使得生成图像更加真实。使用道路场景分割中常用的Cityscapes数据集进行实验,并用语义分割领域常用的性能评价指标验证了方法的有效性,实验结果表明相较于原网络各性能都有一定提升。     

基于GAN–UNet的矿石图像分割方法

在选矿生产过程中,磨机给矿粒度对磨矿分级效率影响重大,是一个关键的控制参数.由于矿石表面不规则、棱线较多,同时存在矿石间堆叠的问题,给基于图像的矿石粒度检测带来极大困难.本文提出一种基于GAN–UNet的矿石图像分割方法,针对矿石图像棱线易引起矿石边缘错误识别的问题,采用生成对抗网络进行图像分割,将U–Net作为图像分割生成器网络,使用人工标记的矿石边缘图像作为真实图像,随后构建判别器网络以判断图像来源,同时将判别器误差与生成器误差通过加权形式引入网络训练中,直到判别器难以判断分割图像来源,获得满足条件的生成器.对实际工业生产矿石图像的分割结果表明,本方法与U–Net网络相比提升了网络对矿石边缘的识别能力,减小了图像分割误差,对矿石区域的相对误差平均值降至8.20%.     

基于对抗机制的RGBD语义分割半监督方法研究

在对RGB-D图像进行语义分割时,由于场景中存在着复杂的视觉信息,需要大量的像素级别标签数据,会耗费大量人力.论文提出了一种基于生成式对抗网络的方法.在此网络训练过程中,引入了半监督技术,来减少利用标签数据,同时保持良好的分割精度.其中分割器网络生成一个预测图,鉴别器网络输出一个置信度图,该图给出了来自标签图或分割器输出图的像素概率.此外论文还提出了一种新的损失函数,是基于距离变换和逐像素的交叉熵,此损失函数可以更好地对边界像素进行分割.通过在数据集NYU-DepthV2上实验结果表明:论文方法相比原始方法MPixelacc,提高了5.25％,有效改善了分割目标类感染以及边界不清晰的问题.     

基于动态卷积的多模态脑MR图像生成

近年来, 通过自动生成方法获取多模态MR图像得到了广泛研究, 但仍难以通过一种模态直接生成其他各类模态的图像. 针对该问题, 本文提出了动态生成对抗网络. 新模型通过将生成对抗网络与动态卷积相结合, 同时加入任务标签这一条件, 实现从一种MR模态同时生成其他3种MR模态. 同时为了提高图像生成质量, 进一步提出了多尺度判别策略, 通过融合多个尺度来提升判别效果. 基于BRATS19数据集进行生成验证, 实验结果表明, 新方法不但可以同时生成多种模态的数据, 而且提高了生成图像的质量.     

生成对抗网络及其在图像生成中的应用研究综述

生成对抗网络(GAN)是无监督学习领域最近几年快速发展的一个研究方向,其主要特点是能够以一种间接的方式对一个未知分布进行建模.在计算机视觉研究领域中,生成对抗网络有着广泛的应用,特别是在图像生成方面,与其他的生成模型相比,生成对抗网络不仅可以避免复杂的计算,而且生成的图像质量也更好.因此,本文将对生成对抗网络及其在图像生成中的研究进展做一个小结和分析:本文首先从模型的架构、目标函数的设计、生成对抗网络在训练中存在的问题、以及如何处理模式崩溃问题等角度对生成对抗网络进行一个详细地总结和归纳;其次介绍生成对抗网络在图像生成中的两种方法;随后对一些典型的、用来评估生成图像质量和多样性的方法进行小结,并且对基于图像生成的应用进行详细分析;最后对生成对抗网络和图像生成进行总结,同时对其发展趋势进行一个展望.     

基于优化循环生成对抗网络的医学图像合成方法

放射治疗计划系统需要CT图像准确计算剂量分布,但有时临床只能获得MR图像.图像合成能有效利用现有图像合成新模态图像,从而增强图像信息.针对MR图像生成CT图像问题,综合循环一致生成对抗网络不成对数据可训练合成新模态图像的特点,以及密集连接网络的特征复用和优化信息流传播的优点,提出融合密集连接的循环生成对抗网络模型,改善...     

基于Wasserstein距离与生成对抗网络的高光谱图像分类

近年来, 基于生成对抗网络的高光谱图像分类方法取得了很大进展. 它们虽可以缓解训练样本数量有限的问题, 但是容易受到训练数据不平衡的影响, 并且存在模式崩溃问题. 针对这些问题, 提出了一种用于高光谱图像分类的SPCA-AD-WGAN模型. 首先, 为了解决训练数据不平衡导致分类精度降低的问题, 添加了单独的分类器, 与判别器分开训练. 其次, 将Wasserstein距离引入网络, 以缓解GAN模型崩溃的问题; 在两个HSI数据集上的实验结果表明, SPCA-AD-WGAN具有更好的分类性能.     

面向GAN生成图像的被动取证及反取证技术综述

生成对抗网络（generative adversarial network,GAN）快速发展,并在图像生成和图像编辑技术等多个方面取得成功应用。然而,若将上述技术用于伪造身份或制作虚假新闻,则会造成严重的安全隐患。多媒体取证领域的研究者面向GAN生成图像已提出了多种被动取证与反取证方法,但现阶段缺乏相关系统性综述。针对上述问题,本文首先阐述本领域的研究背景和研究意义,然后分析自然图像采集与GAN图像生成过程的区别。根据上述理论基础,详细介绍了现有GAN生成图像的被动取证技术,包括：GAN生成图像检测算法,GAN模型溯源算法和其他相关取证问题。此外,针对不同应用场景介绍基于GAN的反取证技术。最后,通过实验分析当前GAN生成图像被动取证技术所面临的挑战。本文根据对现有技术从理论和实验两方面的分析得到以下结论：现阶段,GAN生成图像的被动取证技术已在空间域和频率域形成了不同技术路线,较好地解决了简单场景下的相关取证问题。针对常见取证痕迹,基于GAN的反取证技术已能够进行有效隐藏。然而,该领域研究仍存在诸多局限：1）取证与反取证技术的可解释性不足;2）取证技术鲁棒性和泛化性较弱;3）反取证技术缺乏多特征域协同的抗分析能力等。上述问题和挑战还需要研究人员继续深入探索。     

基于级联生成对抗网络的遥感图像去雾方法

针对图像训练对的去雾算法难以应对遥感图像中训练样本对不足,且模型泛化的问题,提出一种基于级联生成对抗网络（GAN）的遥感图像去雾方法。为解决成对遥感数据集的缺失,提出了学习雾生成的U-Net GAN（UGAN）和学习去雾的像素注意GAN（PAGAN）。所提方法通过UGAN学习如何使用未配对的清晰遥感图像和带雾遥感图像集在保留遥感图像细节的同时对无雾图像进行加雾处理,然后引导PAGAN学习如何正确地对此类图像进行去雾。为了减少生成的带雾遥感图像和去雾后遥感图像之间的差异,在PAGAN中加入自我注意机制,用生成器从低分辨率图像中所有位置的细节线索生成高分辨率细节特征,用判别器检查图像远端部分的细节特征是否彼此一致。与特征融合注意网络（FFANet）、门控上下文聚合网络（GCANet）和暗通道先验（DCP）等去雾方法相比,级联GAN方法无需大量成对数据来反复训练网络。实验结果表明该方法能够有效地去除雾和薄云,在目视效果和定量指标上均优于对比方法。     

CT图像肺及肺病变区域分割方法综述

计算机断层扫描（computed tomography,CT）技术能为新冠肺炎（corona virus disease 2019,COVID-19）和肺癌等肺部疾病的诊断与治疗提供更全面的信息,但是由于肺部疾病的类型多样且复杂,使得对肺CT图像进行高质量的肺病变区域分割成为计算机辅助诊断的重难点问题。为了对肺CT图像的肺及肺病变区域分割方法的现状进行全面研究,本文综述了近年国内外发表的相关文献：对基于区域和活动轮廓的肺CT图像传统分割方法的优缺点进行比较与总结,传统的肺CT图像分割方法因其实现原理简单且分割速度快等优点,早期使用较多,但其存在分割精度不高的缺点,目前仍有不少基于传统方法的改进策略;重点分析了基于卷积神经网络（convolutional neural network,CNN）、全卷积网络（fully convolutional network,FCN）、U-Net和生成对抗网络（generative adversarial network,GAN）的肺CT图像分割网络结构改进模型的研究进展,基于深度学习的分割方法具有分割精度高、迁移学习能力强和鲁棒性高等优点,特别是在辅助诊断COVID-19病例时,基于深度学习方法的性能明显优于基于传统方法的性能;介绍肺及肺病变区域分割的常用数据集和评价指标,在解决如COVID-19数据样本量少等问题时,使用GAN以合成高质量的对抗性图像用以扩充数据集,从而增加训练样本的数量和多样性;讨论了肺CT图像的肺及肺病变区域的高精度分割策略的研究趋势、现有挑战和未来的研究方向。     

基于条件约束的胶囊生成对抗网络

生成式对抗网络(Generative adversarial networks,GAN)是主要的以无监督方式学习深度生成模型的方法之一.基于可微生成器网络的生成式建模方法,是目前最热门的研究领域,但由于真实样本分布的复杂性,导致GAN生成模型在训练过程稳定性、生成质量等方面均存在不少问题.在生成式建模领域,对网络结构的探索是重要的一个研究方向,本文利用胶囊神经网络(Capsule networks,CapsNets)重构生成对抗网络模型结构,在训练过程中使用了Wasserstein GAN(WGAN)中提出的基于Earth-mover距离的损失函数,并在此基础上加以条件约束来稳定模型生成过程,从而建立带条件约束的胶囊生成对抗网络(Conditional-CapsuleGAN,C-CapsGAN).通过在MNIST和CIF AR-10数据集上的多组实验,结果表明将CapsNets应用到生成式建模领域是可行的,相较于现有类似模型,C-CapsGAN不仅能在图像生成任务中稳定生成高质量图像,同时还能更有效地抑制模式坍塌情况的发生.     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络（GAN）能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义。而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题。针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络（C-WGAN）模型。首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,根据所识别出的特征对应关系进行目标样本的生成。模型采用Wassertein距离来度量两个图像特征之间分布的距离,稳定GAN训练环境,规避模型训练过程中的模式崩溃,从而提升生成图像的精度和训练效率。实验结果表明,与原始条件生成对抗网络（CGAN）和pix2pix模型相比,所提模型的峰值信噪比（PSNR）分别最大提升了6.82%和2.19%;在训练轮数相同的情况下,该模型更快达到收敛状态。由此可见,所提模型不仅能够有效地提升图像生成的精度,而且能够提高网络的收敛速度。     

基于多分辨率生成对抗网络的空间数据不确定性重建方法

在空间数据不确定性重建领域,多点统计法（MPS）得到了广泛的应用,但由于计算成本较高,其适用性受到了影响。通过使用金字塔结构的全卷积生成对抗网络（GAN）模型学习不同分辨率的训练图像,提出了一种基于多分辨率GAN模型的空间数据重建方法。该方法从高分辨率训练图像中捕获细节特征,从低分辨率训练图像中捕获大范围特征,因此该方法重建的图像包含训练图像的全局和局部结构信息,同时保持一定的随机性。把所提算法与MPS中的代表性算法以及应用于空间数据重建的GAN方法进行对比的结果表明,所提方法10次重建的总时间降低了约1 h,其平均孔隙度与训练图像孔隙度的差值降低至0.000 2,并且其变差函数曲线和多点连接性函数（MPC）曲线更接近于训练图像,可见所提算法重建质量更好。     

生成对抗式网络及其医学影像应用研究综述

生成对抗式网络（generative adversarial network,GAN）由负责学习数据分布的生成器和负责鉴别样本真伪的判别器构成,二者在相互对抗过程中互相学习逐渐变强。该网络模型使深度学习方法可以自动学习损失函数,减少了对专家知识的依赖,已经广泛应用于自然图像处理领域,对解决医学影像处理的相关瓶颈问题亦具有巨大应用前景。本文旨在找到生成对抗式网络与医学影像领域面临挑战的结合点,通过分析已有工作对未来研究方向进行展望,为该领域研究提供参考。1）阐述了生成对抗式网络的基本原理,从任务拆分、条件约束以及图像到图像的翻译等角度对其衍生模型进行分析回顾;2）对生成对抗式网络在医学影像领域中的数据增广、模态迁移、图像分割以及去噪等方面的应用进行回顾,分析各方法的优缺点与适用范围;3）对现有图像生成质量评估方法进行小结;4）总结生成对抗式网络在医学影像领域的研究进展,并结合该领域问题特性,指出现有理论应用存在的不足与改进方向。生成对抗式网络提出以来,理论不断完善,在医学影像的处理应用中也取得了长足发展,但仍然存在一些亟待解决的问题,包括3维数据合成、几何结构合理性保持、无标记和未配对数据使用以及多模态数据交叉应用等。     

GP-WIRGAN:梯度惩罚优化的Wasserstein图像循环生成对抗网络模型

通常情形下,现有的图像生成模型都采用单次前向传播的方式生成图像,但实际中,画家通常是反复修改后才完成一幅画作的;生成对抗模型(Generative Adversarial Networks,GAN)能生成图像,但却很难训练.在保证生成图像质量的前提下,效仿作画时的不断更新迭代,以提升生成样本多样性并增强样本语义,同时引入Wasserstein距离,提出了Wasserstein图像循环生成对抗网络模型,简称WIRGAN(Wasserstein Image Recurrent Generative Adversarial Networks Model).WIRGAN定义了生成模型和判别模型,其中,生成模型是由一系列结构相同的神经网络模型组成的循环结构,用时间步骤T控制生成模型的循环次数,用于迭代式生成图像,并以最后一个循环结构的生成图像作为整个生成模型的输出;判别模型也由神经网络构建,结合权重剪枝技术,用来判别输入图像是生成的还是真实的.WIRGAN利用Wasserstein距离作为目标函数,将生成模型和判别模型进行博弈对抗训练.另外,由于模型存在难以优化的问题,本文引入了梯度惩罚来解决此类问题,进一步提出了梯度惩罚优化的Wasserstein图像循环生成对抗网络模型(Gradient Penalty Optimized Wasserstein Image Recurrent Generative Adversarial Networks Model,GP-WIRGAN).最后,WIRGAN和GP-WIRGAN在MNIST、CIFAR10、CeUN四个数据集上进行了基础学习能力、模型间GAM自比较、模型内GAM自比较、初始得分比较、图像生成可视化、时间效率比较等6组实验,采用生成对抗矩阵(Generative Adversarial Metric,GAM)和起始分数(Inception Scores)进行评估,结果表明,本文提出的WIRGAN、GP-WIRGAN具有良好的稳定性,可以生成高质量的图像.     

深度对抗视觉生成综述

深度视觉生成是计算机视觉领域的热门方向,旨在使计算机能够根据输入数据自动生成预期的视觉内容。深度视觉生成使用人工智能技术赋能相关产业,推动产业自动化、智能化改革与转型。生成对抗网络（generative adversarial networks,GANs）是深度视觉生成的有效工具,近年来受到极大关注,成为快速发展的研究方向。GANs能够接收多种模态的输入数据,包括噪声、图像、文本和视频,以对抗博弈的模式进行图像生成和视频生成,已成功应用于多项视觉生成任务。利用GANs实现真实的、多样化和可控的视觉生成具有重要的研究意义。本文对近年来深度对抗视觉生成的相关工作进行综述。首先介绍深度视觉生成背景及典型生成模型,然后根据深度对抗视觉生成的主流任务概述相关算法,总结深度对抗视觉生成目前面临的痛点问题,在此基础上分析深度对抗视觉生成的未来发展趋势。     

生成对抗网络下的低剂量CT图像增强

为去除低剂量计算机断层扫描（LDCT）图像中的噪声,增强去噪后图像的显示效果,提出一种生成对抗网络（GAN）下的LDCT图像增强算法。首先,将GAN与感知损失、结构损失相结合对LDCT图像进行去噪;然后,对去噪后的图像分别进行动态灰度增强和边缘轮廓增强;最后,利用非下采样轮廓波变换（NSCT）将增强后的图像在频域上分解为具有多方向性的系数子图,并将配对的高低频子图使用卷积神经网络（CNN）进行自适应融合,以重构得到增强后的计算机断层扫描（CT）图像。使用AAPM比赛公开的真实临床数据作为实验数据集,进行图像去噪、增强、融合实验,所提方法在峰值信噪比（PSNR）、结构相似度（SSIM）和均方根误差（RMSE）上的结果分别为33.015 5 dB、0.918 5和5.99。实验结果表明,所提算法在去除噪声的同时能保留CT图像的细节信息,提高图像的亮度和对比度,有助于医生更加准确地分析病情。