生成对抗网络在医学图像处理中的应用

生成对抗网络（Generative Adversarial Nets,GANs）模型可以无监督学习到更丰富的数据信息,其包括生成模型与判别模型,凭借二者之间的对抗提高性能。针对传统GANs存在着梯度消失、模式崩溃及无法生成离散数据分布等问题,已经提出了大量的变体模型。介绍了生成对抗网络模型的理论和组成结构;介绍了几种典型的变体模型,重点介绍了生成对抗网络模型在图像生成、图像分割、图像分类、目标检测及图像超分辨率重建应用领域上的研究进展及现状。在研究现状和问题基础上进行了深入分析,进一步总结和探讨了GANs模型在医学图像处理领域中未来发展的趋势和所面临的挑战。     

生成对抗网络的研究进展综述

自生成对抗网络(GANs)诞生以来,对其研究已经成为机器学习领域的一个热点。它利用对抗学习的机制训练模型,解决了当年生成算法无法解决的问题。由于GANs的优势,研究者们对其进行深入的研究,产生了许多GANs的衍生模型,这使得GANs得到了快速的发展,形成了所谓的GAN-Zoo。GANs被广泛应用于视觉领域、音频领域、自然语言领域及其他各种领域中,如图像生成、图像翻译、文本生成、音频转换和自然语言翻译等。从传统GANs出发,对近几年内GANs的研究中较为突出的方面进行总结,首先介绍了传统GANs的基本理论,然后对近年来GANs的主要衍生模型进行分析,最后总结了GANs在图像领域和信息安全领域中的主要应用成果。     

利用提升树模型综合Gabor和LPQ特征进行遥感地物识别

为充分融合高光谱遥感图像空间域和频率域的特征信息,提出了一种综合多尺度Gabor和LPQ特征的空谱融合遥感地物识别模型（Ms＿GLPQ）。首先,在空间域上利用Gabor滤波器组,提取出遥感图像各类地物多尺度、多方向的空间邻域特征信息,以描述图像的边缘和纹理等空间结构信息;其次,在频率域上将局部相位量化（Local Phase Quantization,LPQ）算子应用于高光谱遥感图像,提取出高光谱图像的多尺度频域纹理特征,获得图像的相位不变特征描述;然后针对其中特征冗余的问题采用主成分分析（PCA）算法进行降维,再将空间域、频率域的特征进行特征融合,获得了能充分描述图像信息的特征向量;最后采用基于提升树的机器学习分类器（XGBoost、CatBoost等）进行识别。在Indian Pines、Salinas和茶树等高光谱遥感数据集上进行学习与分类测试,准确率分别为85.88%、94.42%和92.61%。实验结果表明：与传统方法相比,Ms＿GLPQ模型能够提取小比例样本图像中的有效特征,取得了区分性更强的多特征区域描述子,且在采用提升树模型进行分类时效果更优,得到了比常用分类器更高的识...     

基于空谱融合网络的高光谱图像分类方法

针对高光谱图像分类中提取的空-谱特征表达能力弱及维数较高的问题,提出一种基于空-谱融合网络（SSF-Net）的高光谱图像分类方法。首先,利用双通道卷积神经网络（Two-CNN）同时提取高光谱图像的光谱和空间特征;其次,使用多模态压缩双线性池化（MCB）将所提取的多模态特征向量的外积投射到低维空间,以此产生空-谱联合特征。该特征融合网络,既可以分析光谱特征和空间特征向量中元素之间的复杂关系,同时也避免对光谱和空间向量直接进行外积计算,造成维数过高、计算困难的问题。最终实验表明,与现有基于神经网络的分类方法相比,所提出的高光谱图像分类算法能够获得更高的像元分类精度,表明该网络所提取的空-谱联合向量对高光谱图像具有更强的特征表达能力。     

基于AT-PGGAN的增强数据车辆型号精细识别

目的 车型识别在智能交通、智慧安防、自动驾驶等领域具有十分重要的应用前景。而车型识别中，带标签车型数据的数量是影响车型识别的重要因素。本文以"增强数据"为核心，结合PGGAN（progressive growing of GANs）和Attention机制，提出一种基于对抗网络生成数据再分类的网络模型AT-PGGAN（attention-progressive growing of GANs），采用模型生成带标签车型图像的数量，从而提高车型识别准确率。方法 该模型由生成网络和分类网络组成，利用生成网络对训练数据进行增强扩充，利用注意力机制和标签重嵌入方法对生成网络进行优化使其生成图像细节更加完善，提出标签重标定的方法重新确定生成图像的标签数据，并对生成图像进行相应的筛选。使用扩充的图像加上原有数据集的图像作为输入训练分类网络。结果 本文模型能够很好地扩充已有的车辆图像，在公开数据集StanfordCars上，其识别准确率相比未使用AT-PGGAN模型进行数据扩充的分类网络均有1%以上的提升，在CompCars上与其他网络进行对比，本文方法在同等条件下最高准确率达到96.6%，高于对比方法。实验结果表明该方法能有效提高车辆精细识别的准确率。结论 将生成对抗网络用于对数据的扩充增强，生成图像能够很好地模拟原图像数据，对原图像数据具有正则的作用，图像数据可以使图像的细粒度识别准确率获得一定的提升，具有较大的应用前景。     

基于半监督编码生成对抗网络的图像分类模型

在实际应用中,为分类模型提供大量的人工标签越来越困难,因此,近几年基于半监督的图像分类问题获得了越来越多的关注.而大量实验表明,在生成对抗网络(Generative adversarial network,GANs)的训练过程中,引入少量的标签数据能获得更好的分类效果,但在该类模型的框架中并没有考虑用于提取图像特征的结构,为了进一步利用其模型的学习能力,本文提出一种新的半监督分类模型.该模型在原生成对抗网络模型中添加了一个编码器结构,用于直接提取图像特征,并构造了一种新的半监督训练方式,获得了突出的分类效果.本模型分别在标准的手写体识别数据库MNIST、街牌号数据库SVHN和自然图像数据库CIFAR-10上完成了数值实验,并与其他半监督模型进行了对比,结果表明本文所提模型在使用少量带标数据情况下得到了更高的分类精度.     

一种融合生成对抗网络的零样本图像分类方法

目前很多零样本图像分类方法是采用学习语义信息空间和图像特征空间之间的映射关系来实现图像分类,但是这些方法会产生枢纽化和域漂移问题。通过利用生成对抗网络实现图像特征生成可以缓解以上两种问题,但该方法容易产生模式崩溃从而导致生成的图像特征不真实。因此提出一种改进的生成对抗网络方法,通过在生成器网络上增加一个重构网络,将生成器生成的图像特征重构回语义信息,以此实现生成器网络生成的图像特征更加符合语义信息的图像特征。实验结果表明,该方法相较于原本的生成对抗网络模型而言,在AWA、CUB、FLO、SUN四个数据集上的分类准确率分别提升了1.0、0.1、1.2和0.9个百分点,证明了通过融合改进的生成对抗网络实现零样本图像分类方法的有效性和可行性。     

基于SPCA和域变换递归滤波的高光谱图像分类

提出一种基于分割的主成分分析（Segmented Principal Component Analysis,SPCA）和域变换递归滤波（Domain Transform Recursive Filtering,DTRF）的高光谱图像分类算法。利用SPCA方法降低高光谱图像的维数和提取各波段子集的第一主成分。使用不同参数的域变换递归滤波器对各波段子集第一主成分进行滤波,形成堆叠的边缘保持滤波图。采用主成分分析（Principal Component Analysis,PCA）将堆叠的边缘保持滤波图进行特征融合。利用基本阈值分类器（Basic Thresholding Classifier,BTC）对融合后的主成分进行分类。仿真实验表明,所提方法能够提高分类精度,且在总体分类精度、平均分类精度、Kappa系数等方面优于已有方法。     

深度对抗视觉生成综述

深度视觉生成是计算机视觉领域的热门方向,旨在使计算机能够根据输入数据自动生成预期的视觉内容。深度视觉生成使用人工智能技术赋能相关产业,推动产业自动化、智能化改革与转型。生成对抗网络（generative adversarial networks,GANs）是深度视觉生成的有效工具,近年来受到极大关注,成为快速发展的研究方向。GANs能够接收多种模态的输入数据,包括噪声、图像、文本和视频,以对抗博弈的模式进行图像生成和视频生成,已成功应用于多项视觉生成任务。利用GANs实现真实的、多样化和可控的视觉生成具有重要的研究意义。本文对近年来深度对抗视觉生成的相关工作进行综述。首先介绍深度视觉生成背景及典型生成模型,然后根据深度对抗视觉生成的主流任务概述相关算法,总结深度对抗视觉生成目前面临的痛点问题,在此基础上分析深度对抗视觉生成的未来发展趋势。     

基于随机子空间核极端学习机集成的高光谱遥感图像分类

结合随机子空间和核极端学习机集成提出了一种新的高光谱遥感图像分类方法。首先利用随机子空间方法从高光谱遥感图像数据的整体特征中随机生成多个大小相同的特征子集;然后利用核极端学习机在这些特征子集上进行训练从而获得基分类器;最后将所有基分类器的输出集成起来,通过投票机制得到分类结果。在高光谱遥感图像数据集上的实验结果表明:所提方法能够提高分类效果,且其分类总精度要高于核极端学习机和随机森林方法。     

基于双通道变分自编码器的高光谱图像分类

针对现有高光谱图像变分自编码器（variational autoencoder,VAE）分类算法存在空间和光谱特征利用效率低的问题,提出一种基于双通道变分自编码器的高光谱图像深度学习分类算法。通过构建一维条件变分自编码器（conditional variational autoencoder,CVAE）特征提取框架和二维循环通道条件变分自编码（channel-recurrent conditional variational autoencoders,CRCVAE）特征提取框架分别提取高光谱图像的光谱特征和空间特征,将光谱特征向量和空间特征向量叠加形成空谱联合特征向量,将联合特征送入Softmax分类器中进行分类。在Indian pines和Pavia University两种高光谱数据集上进行了分析验证,实验结果显示,与其他算法相比,提出的算法在总分类精度、平均分类精度和Kappa系数等评价指标上至少提高了3.40、2.75和3.57个百分点,结果显示提出的算法得到了最高的分类精度和更好的可视化效果。     

高光谱遥感影像纹理特征提取的对比分析

地物的"同物异谱"或"异物同谱"问题,使得仅仅依据高光谱影像的光谱信息较难得到理想的分类精度.纹理特征是地物空间分布的重要结构信息,能够一定程度上弥补光谱特征在高光谱遥感影像分类中的不足.纹理特征提取在高光谱遥感影像分类中得到了诸多发展,然而当前的纹理特征方法缺乏较为全面的对比分析.因此,选取旋转不变局部二值模式、简单...     

3D密集全卷积的高光谱地物分类算法研究

针对高光谱遥感图像训练样本较少、光谱维度较高、空间特征与频谱特征存在差异性而导致高光谱地物分类的特征提取不合理、分类精度不稳定和训练时间长等问题,提出了基于3D密集全卷积（3D-DSFCN）的高光谱图像（HSI）分类算法。算法通过密集模块中的3D卷积核分别提取光谱特征和空间特征,采用特征映射模块替换传统网络中的池化层和全连接层,最后通过softmax分类器进行分类。实验结果表明,基于3D-DSFCN的HSI分类方法提高了地物分类的准确率、增强了低频标签的分类稳定性。     

结合改进LBP和SRC的高光谱图像分类研究

针对传统局部二值模型（local binary pattern,LBP）提取高光谱图像纹理特征信息量庞大的难题,提出一种基于对称旋转不变等价局部二值模型（symmetrical rotation invariant uniform LBP,SRIULBP）的高光谱图像特征提取方法,以缩减特征维度;针对稀疏表示分类（sparse representation classification,SRC）模型中稀疏字典冗余的缺陷,采用近邻思想,提出最近邻稀疏表示（nearest neighbor SRC,NNSRC）分类方法,实现高光谱图像的高效、高准确度分类。数据实验结合表明,SRIULBP能快速提取图像特征,提出的分类方法不仅在分类精度上优于其他稀疏表示分类算法,并且具有更强的时效性与泛化能力。     

基于LFDA和GA-ELM的高光谱图像地物识别方法研究

高光谱图像的高维特性和波段间的高相关性,导致高光谱图像地物识别问题研究中,面临着数据量大、信息冗余的问题,降低了高光谱图像的分类识别精度。针对以上问题,提出了基于局部保留降维（Local Fisher Discriminant Analysis,LFDA）结合遗传算法（Genetic Algorithm, GA ）优化极限学习机（Extreme Learning Machine, ELM）的高光谱图像分类方法。首先,采用LFDA对高光谱图像数据进行降维处理,消除信息冗余并保留局部邻域内主要特征;然后用GA优化ELM,对降维处理后的特征样本进行分类,提高高光谱图像的分类识别精度。将该方法应用于Salinas和Pavia University高光谱图像的地物识别问题研究,分类精度分别达到了98.56%和97.11%,由此验证了该方法的有效性。     

改进蚁群算法及其在高光谱影像分类中的研究

针对高光谱影像波段数目多,易造成维数灾难的问题,结合遗传算法提供的初始启发信息和蚁群算法寻优能力的优势,提出一种基于改进二进制蚁群算法的波段选择方法。该方法通过遗传算法寻优获取几组较优解,经过计算后作为二进制蚁群算法的初始启发式信息,利用二进制蚁群算法的全局搜索获取最优解;另一方面,为充分利用影像的光谱与空间信息,将波段组合的光谱特征与改进二进制蚁群算法选择的纹理特征融合进行分类,可以获得更高的分类精度。实验结果表明,改进二进制蚁群算法与遗传算法、蚁群算法、二进制蚁群算法相比全局搜索能力更强,且该方法分类精度达到95.63%。     

标准分数降维的3D-CNN高光谱遥感图像分类

针对高光谱图像存在Hughes现象,以及空间和光谱特征利用效率低的问题,提出了一种结合标准分数降维和深度学习的高光谱图像分类算法。利用标准分数对高光谱数据的波段质量进行评价以剔除高光谱遥感图像中的冗余波段,结合优化过的3D-CNN（3D Convolutional Neural Network）分类方法,通过使用大步距卷积层替代池化层,引入L2正则化、批量归一化（Batch Normalization,BN）、Dropout等一系列策略,在减少网络参数的同时有效防止过拟合现象。通过Pavia Centre和Pavia University两个公开高光谱数据集的实验测试,该算法大幅度降低了网络模型的参数和计算量,取得了99.01%和95.99%的分类精度。     

A new residual fusion classification method for hyperspectral images

In this paper, we propose a novel residual fusion classification method for hyperspectral image using spatial–spectral information, abbreviated as RFC-SS. The RFC-SS method first uses the Gabor texture features and the non-parametric weighted spectral features to describe the hyperspectral image from both aspects of spatial and spectral information. Then it applies the residual fusion method to save the useful information from different classification methods, which can greatly improve the classification performance. Finally, the test sample is assigned to the class that has the minimal fused residuals. The RFC-SS classification method is tested on two classical hyperspectral images (i.e. Indian Pines, Pavia University). The theoretical analysis and experimental results demonstrate that the RFC-SS classification method can achieve a better performance in terms of overall accuracy, average accuracy, and the Kappa coefficient when compared to the other classification methods.     

基于类别可分性的高光谱图像波段选择

高光谱遥感数据具有丰富的光谱信息,应用十分广泛,但其冗余的光谱信息有时会限制高光谱图像的分类等的精度以及计算复杂度.为了提高解译效率,高光谱图像降维不可或缺,这也是高光谱图像处理的研究热点之一.提出了一种基于类别可分性的高光谱图像波段选择方法(Endmember Separability Based band Selection,ESBB),该方法通过Mahalanobis距离最大化图像中各类地物的可分性来确定最优的波段组合.相较于其他监督波段选择算法,该方法不需要大量训练样本,不用对每个组合做分类处理.对波段选择后的结果进行分类的实验结果证明,该方法是一个快速有效的波段选择方法,可以得到一个较好的分类精度.     

融合BOVW和复杂网络的高光谱遥感图像分类

为挖掘高光谱遥感图像的深层光谱特征,获取优化特征空间以提高分类准确率,提出了一种基于视觉词典和复杂网络的高光谱遥感图像分类的光谱特征提取方法.通过改进视觉词典方法,使用K-Means方法计算各类样本的聚类中心作为词典,并计算各待测试样本的光谱像素值与词典光谱向量中相同光谱波段的差值,计算出单个待测样本点的词频直方图.同...