基于条件生成对抗网络的乳腺上皮和间质区域自动分割

乳腺病理组织图像中上皮和间质区域的自动分割对乳腺癌的诊断和治疗具有非常重要的临床意义。但是由于乳腺组织病理图像中上皮和间质区域具有高度复杂性，因此一般的分割模型很难只根据提供的分割标记来有效地训练，并对两种区域进行快速、准确的分割。为此，提出一种基于条件对抗网络（cGAN）的上皮和间质分割条件对抗网络（EPScGAN）模型。在EPScGAN中，判别器的判别机制为生成器的训练提供了一个可训练的损失函数，来更加准确地衡量出生成器网络的分割结果输出和真实标记之间的误差，从而更好地指导生成器的训练。从荷兰癌症研究所（NKI）和温哥华综合医院（VGH）两个机构提供的专家标记的乳腺病理图像数据集中随机裁剪出1 286张尺寸为512×512的图像作为实验数据集，然后将该数据集按照7：3的比例划分为训练集和测试集对EPScGAN模型进行训练和测试。结果表明，EPScGAN模型在测试集的平均交并比（mIoU）为78.12%，和其他6种流行的深度学习分割模型相比较，提出的EPScGAN具有更好的分割性能。     

基于生成对抗网络的乳腺癌病理图像可疑区域标记

本论文针对乳腺癌病理图像分析提出新的方法进行图像特征提取和可疑区域标记。由于深度神经网络,例如 VGG,GoogleNet,ResNet 等,均需要大量的标注样本才能完成训练,而医疗影像图像的标记成本很高,并不能为训练复杂的网络提供足够的训练数据。本论文借鉴生成对抗网络(Generative Adversarial Network, GAN) 的思想,提出基于弱监督学习的病理图像可疑区域标记网络,首先利用少量有标记的病理图像数据来训练分类模型,即判断该图像是否是乳腺癌,然后通过融合该网络提取到的具有判别力的特征来对可疑区域进行标记。由本文提出的网络在已有的国外乳腺癌病理图像数据集上达到的平均准确率为 83.8%,比基于卷积神经网络 (Convolutional Neural Network,CNN) 的分类方法在准确率上分别高 3 个百分点,说明该网络提取到的特征具有更好的判别力,不仅能够提高分类模型的准确率,还更有助于对病理图像的可疑区域进行标记。     

面向医学图像分割的半监督条件生成对抗网络

医学图像分割是计算机辅助诊断的关键技术.青光眼作为全球第二大致盲眼病,其早期筛查和临床诊断依赖于眼底图的视盘和视杯的准确分割.但传统的视盘和视杯分割方法采用人工构建特征,模型泛化能力差.近年来,基于卷积神经网络的端对端学习模型可通过自动发现特征来分割视盘和视杯,但由于标注样本有限,模型难以训练.提出一个基于半监督条件生成对抗网络的视盘和视杯两阶段分割模型——CDR-GANs.该模型的每个分割阶段均由语义分割网络、生成器和判别器构成,通过对抗学习,判别器引导语义分割网络和生成器学习眼底图及其分割图的联合概率分布.在真实数据集ORIGA上的实验结果表明,CDR-GANs在均交并比（mean intersection over union,简称MIoU）、CDR绝对误差（absolute CDR error）和实际分割效果这些指标上明显优于现有模型.     

基于逐像素点深度卷积网络分割模型的上皮和间质组织分割

上皮和间质组织是乳腺组织病理图像中最基本的两种组织,约80%的乳腺肿瘤起源于乳腺上皮组织.为了构建基于乳腺组织病理图像分析的计算机辅助诊断系统和分析肿瘤微环境,上皮和间质组织的自动分割是重要的前提条件.本文构建一种基于逐像素点深度卷积网络（CN-PI）模型的上皮和间质组织的自动分割方法.1）以病理医生标注的两类区域边界附近具有类信息为标签的像素点为中心,构建包含该像素点上下文信息的正方形图像块的训练集.2）以每个正方形图像块包含的像素的彩色灰度值作为特征,以这些图像块中心像素类信息为标签训练CN模型.在测试阶段,在待分割的组织病理图像上逐像素点地取包含每个中心像素点上下文信息的正方形图像块,并输入到预先训练好的CN网络模型,以预测该图像块中心像素点的类信息.3）以每个图像块中心像素为基础,逐像素地遍历图像中的每一个像素,将预测结果作为该图像块中心像素点类信息的预测标签,实现对整幅图像的逐像素分割.实验表明,本文提出的CN-PI模型的性能比基于图像块分割的CN网络（CN-PA）模型表现出了更优越的性能.     

基于生成对抗网络的多聚焦图像融合

多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.     

基于GAN–UNet的矿石图像分割方法

在选矿生产过程中,磨机给矿粒度对磨矿分级效率影响重大,是一个关键的控制参数.由于矿石表面不规则、棱线较多,同时存在矿石间堆叠的问题,给基于图像的矿石粒度检测带来极大困难.本文提出一种基于GAN–UNet的矿石图像分割方法,针对矿石图像棱线易引起矿石边缘错误识别的问题,采用生成对抗网络进行图像分割,将U–Net作为图像分割生成器网络,使用人工标记的矿石边缘图像作为真实图像,随后构建判别器网络以判断图像来源,同时将判别器误差与生成器误差通过加权形式引入网络训练中,直到判别器难以判断分割图像来源,获得满足条件的生成器.对实际工业生产矿石图像的分割结果表明,本方法与U–Net网络相比提升了网络对矿石边缘的识别能力,减小了图像分割误差,对矿石区域的相对误差平均值降至8.20%.     

基于生成对抗网络的地面新增建筑检测

针对传统的基于地物纹理和空间特征的方法很难精确识别地面新增建筑的问题，提出了一种基于生成对抗网络的新增建筑变化检测模型（CDGAN）。首先，使用Focal损失函数改进传统图像分割网络（U-net），并以此作为模型的生成器（G），用于生成遥感影像的分割结果；然后，设计了一个16层的卷积神经网络（VGG-net）作为鉴别器（D），用于区分生成的结果和人工标注（GT）的真实结果；最后，对生成器和判别器进行对抗训练，从而得到具有分割能力的生成器。实验结果表明，CDGAN模型的检测准确率达到92%，比传统U-net模型的平均区域重合度（IU）提升了3.7个百分点，有效地提升了遥感影像中地面新增建筑物的检测精度。     

多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络（GAN）在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型（StackGAN++）基础上,提出了一种多层次结构生成对抗网络（MLGAN）模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。     

基于条件能量对抗网络的肝脏和肝肿瘤分割

从图像中分割出肝脏和肝肿瘤是肝部疾病诊断重要手段之一,现有基于卷积神经网络（Convolutional Neural Network,CNN）方法通过为输入图像中每个像素分配类别标签来实现肝脏和肝肿瘤分割。CNN在对每个像素分类过程中没有使用邻域内其他像素类别信息,容易出现小目标漏检和目标边界分割模糊问题。针对这些问题,提出了条件能量对抗网络用于肝脏和肝肿瘤分割。该方法基于能量生成对抗网络（Energy-Based Generative Adversarial Network,EBGAN）和条件生成对抗网络（Conditional Generative Adversarial Network,CGAN）,使用一个基于CNN的分割网络作为生成器与一个自编码器作为判别器,通过将判别器作为一种损失函数来度量并提升分割结果与真实标注之间的相似度。在对抗训练过程中,判别器将生成器输出的分割结果作为输入并将原始图像作为条件约束,通过学习像素类别之间的高阶一致性提高分割精度,使用能量函数作为判别器避免了对抗网络训练中容易出现的梯度消失或梯度爆炸,更易于训练。在MICCAI 2017肝肿瘤分割（LiTS）挑战赛的数据集和3DIRCADb数据集上对提出的方法进行验证,实验结果表明,该方法不仅实现了肝脏与肝肿瘤的自动分割,还利用像素类别之间的高阶一致性提升了肿瘤和肝脏边界的分割精度,减少了小体积肿瘤的漏检。     

并行生成网络的红外—可见光图像转换

目的 针对现有图像转换方法的深度学习模型中生成式网络（generator network）结构单一化问题，改进了条件生成式对抗网络（conditional generative adversarial network，CGAN）的结构，提出了一种融合残差网络（ResNet）和稠密网络（DenseNet）两种不同结构的并行生成器网络模型。方法 构建残差、稠密生成器分支网络模型，输入红外图像，分别经过残差、稠密生成器分支网络各自生成可见光转换图像，并提出一种基于图像分割的线性插值算法，将各生成器分支网络的转换图像进行融合，获取最终的可见光转换图像；为防止小样本条件下的训练过程中出现过拟合，在判别器网络结构中插入dropout层；设计最优阈值分割目标函数，在并行生成器网络训练过程中获取最优融合参数。结果 在公共红外-可见光数据集上测试，相较于现有图像转换深度学习模型Pix2Pix和CycleGAN等，本文方法在性能指标均方误差（mean square error，MSE）和结构相似性（structural similarity index，SSIM）上均取得显著提高。结论 并行生成器网络模型有效融合了各分支网络结构的优点，图像转换结果更加准确真实。     

基于仲裁机制的生成对抗网络改进算法

针对深度卷积生成对抗网络（DCGAN）中的对抗训练缺乏灵活性以及DCGAN所使用的二分类交叉熵损失（BCE loss）函数存在优化不灵活、收敛状态不明确的问题,提出了一种基于仲裁机制的生成对抗网络（GAN）改进算法,即在DCGAN的基础上引入了所提出的仲裁机制。首先,所提改进算法的网络结构由生成器、鉴别器和仲裁器组成;然后,生成器与鉴别器会根据训练规划进行对抗训练,并根据从数据集中感知学习到的特征分别强化生成图像以及辨别图像真伪的能力;其次,由上一轮经过对抗训练的生成器和鉴别器与度量分数计算模块一起组成仲裁器,该仲裁器将度量生成器与鉴别器对抗训练的结果,并反馈到训练规划中;最后,在网络结构中添加获胜限制以提高模型训练的稳定性,并使用Circle loss函数替换BCE loss函数,使得模型优化过程更灵活、收敛状态更明确。实验结果表明,所提算法在建筑类以及人脸数据集上有较好的生成效果,在LSUN数据集上,该算法的FID指标相较于DCGAN原始算法下降了1.04%;在CelebA数据集上,该算法的IS指标相较于DCGAN原始算法提高了4.53%。所提算法生成的图像具有更好的多样性以及更高的质量。     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络（GAN）能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义。而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题。针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络（C-WGAN）模型。首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,根据所识别出的特征对应关系进行目标样本的生成。模型采用Wassertein距离来度量两个图像特征之间分布的距离,稳定GAN训练环境,规避模型训练过程中的模式崩溃,从而提升生成图像的精度和训练效率。实验结果表明,与原始条件生成对抗网络（CGAN）和pix2pix模型相比,所提模型的峰值信噪比（PSNR）分别最大提升了6.82%和2.19%;在训练轮数相同的情况下,该模型更快达到收敛状态。由此可见,所提模型不仅能够有效地提升图像生成的精度,而且能够提高网络的收敛速度。     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

基于条件生成式对抗网络的面部表情迁移模型

面部表情迁移是计算机视觉角色动画领域的关键技术,但现有面部表情迁移方法存在生成表情不自然、缺乏真实感、迁移模型复杂以及训练难度大等问题.为此,构建一种基于条件生成式对抗网络的面部表情迁移模型.通过设计域分类损失函数指定表情域条件,使单个生成器学习多个表情域之间的映射,同时利用模型生成器和判别器之间的条件约束与零和博弈,在仅训练一个生成器的情况下同时实现7种面部表情迁移.实验结果表明,该模型能够有效进行面部表情迁移并且鲁棒性较强,其生成的面部表情较StarGAN模型更自然、逼真.     

基于条件生成式对抗网络的数据增强方法

深度卷积神经网络（CNN）在大规模带有标签的数据集训练下,训练后模型能够取得高的识别率或好的分类效果,而利用较小规模数据集训练CNN模型则通常出现过拟合现象。针对这一问题,提出了一种集成高斯混合模型（GMM）及条件生成式对抗网络（CGAN）的数据增强方法并记作GMM-CGAN。首先,通过围绕核心区域随机滑动采样的方法增加数据集样本数量;其次,假定噪声随机向量服从GMM描述的分布,将它作为CGAN生成器的初始输入,图像标签作为CGAN条件,训练CGAN以及GMM模型的参数;最后,利用已训练CGAN生成符合样本真实分布的新数据集。对包含12种雾型386个样本的天气形势图基准集利用GMM-CGAN方法进行数据增强,增强后的数据集样本数多达38600个,将该数据集训练的CNN模型与仅使用仿射变换增强的数据集及CGAN方法增强的数据集训练的CNN模型相比,实验结果表明,前者的平均分类正确率相较于后两个模型分别提高了18.2%及14.1%,达到89.1%。     

基于多层次分辨率递进生成对抗网络的文本生成图像方法

针对文本生成图像任务存在生成图像有目标结构不合理、图像纹理不清晰等问题，在注意力生成对抗网络（AttnGAN）的基础上提出了多层次分辨率递进生成对抗网络（MPRGAN）模型。首先，在低分辨率层采用语义分离-融合生成模块，将文本特征在自注意力机制引导下分离为3个特征向量，并用这些特征向量分别生成特征图谱；然后，将特征图谱融合为低分辨率图谱，并采用mask图像作为语义约束以提高低分辨率生成器的稳定性；最后，在高分辨率层采用分辨率递进残差结构，同时结合词注意力机制和像素混洗来进一步改善生成图像的质量。实验结果表明，在数据集CUB-200-2011和Oxford-102上，所提模型的IS分别达到了4.70和3.53，与AttnGAN相比分别提高了7.80%和3.82%。MPRGAN模型能够在一定程度上解决结构生成不稳定的问题，同时其生成的图像也更接近真实图像。