基于生成对抗网络的多聚焦图像融合

多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.     

基于对抗网络的彩色图像置乱方法研究

图像置乱是将图像转换为伪随机图像，一般作为图像加密或信息隐藏前的预处理环节，为了实现彩色图像的自动化置乱，提出了基于改进对抗网络的彩色图像置乱方法。方法构建了编码网络—解码网络结构模仿彩色图像置乱和复原过程，通过模型学习图像置乱，用patchGAN的判别网络实现图像各部分区域像素值分布判别。对提出的编解码损失函数、编码网络和解码网络的对抗损失函数和判别网络的对抗损失函数分别交替使用梯度下降法优化参数。对分辨率为256×256的彩色图像实验的结果表明，上述法能实现各种彩色图像的自动化置乱，并且模型具有较好的收敛性。和传统的Arnold变换，Logistic混沌置乱方法相比较，直观上本方法图像置乱效果更具隐蔽性；在多个判别指标下，所提方法置乱后图像与原始图像相似度更低，置乱程度更高，置乱效果有提升。     

基于改进生成对抗网络的图像自适应隐写模型

针对现有图像隐写模型存在网络训练不易收敛、梯度爆炸且生成样本质量差等问题,提出一种基于改进生成对抗网络的图像自适应隐写模型SWGAN-GP.将生成图像作为载体,使用HUGO自适应隐写算法进行信息隐藏;在损失函数中加入梯度惩罚,在网络结构中引入注意力机制,设置双判别器与生成器进行对抗训练.实验结果表明,该方法生成图像的I...     

使用VGG能量损失的单图像超分辨率重建

单幅图像的超分辨率重建（single image super-resolution,简称SR）是一项重要的图像合成任务.目前,在基于神经网络的SR任务中,常用的损失函数包括基于内容的重构损失和基于生成对抗网络（generative adversarial network,简称GAN）的对抗损失.但是,基于传统的GAN的超分辨率重建模型（SRGAN）在判别器接收高分辨率图像作为输入时,输出判别信号不稳定.为了缓解这个问题,在SRGAN以及常用的VGG重构损失框架上,设计了一个稳定的基于能量的辅助对抗损失,称为VGG能量损失.该能量损失使用重构损失中的VGG编码部分,针对VGG编码设计相应的解码器,构建一个U-Net自编码结构VGG-UAE,利用VGG-UAE的重构损失表示能量,并使用该能量函数为生成器提供梯度;基于追踪能量函数的思想,VGG-UAE使生成器生成的高分辨率样本追踪真实数据的能量流.实验部分验证了使用VGG能量损失将比使用传统的GAN损失可以生成更有效的高分辨率图像.     

一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。     

基于自注意力生成对抗网络的图像超分辨率重建

针对如何恢复重建后超分辨率图像的纹理细节问题,提出基于自注意力生成对抗网络的图像超分辨率重建模型(SRAGAN).在SRAGAN中,基于自注意力机制和残差模块相结合的生成器用于将低分辨率图像变换为超分辨率图像,基于深度卷积网络构成的判别器试图区分重建后的超分辨率图像和真实超分辨率图像间的差异.在损失函数构造方面,一方面...     

基于生成对抗网络的图像去雾算法

为了提高雾霾条件下拍摄到的模糊图像的质量,提出了一种基于生成对抗学习思想的卷积神经网络去雾算法.该卷积网络在生成模型部分将介质透射率和大气光值嵌入一个变量,进行了联合优化,避免了分离优化影响整体去雾性能的缺陷;在对抗模型部分,将生成模型部分的输出清晰图和真实的清晰图进行对比,从而判别生成的输出清晰图是否足够真实.为了生成更加逼真的清晰图像,引入了一种新的损失函数来优化网络参数,该损失函数同时纳入了图像的L₂损失和双向梯度损失、特征损失和判别器损失,从4个方面来保证去雾性能的良好表现.除此之外,在训练网络的过程中,使用了真实图像和合成有雾图像同时作为数据集,其中的合成图像在合成过程中采用引导滤波算法,这样可以使得合成的有雾图像更加接近于自然情况.最后,引入了更多的评价指标验证了所提方法.基于不同方法的实验数据和实验结果证明了本文方法在已有方法上的提升.     

一种基于谱归一化的两阶段堆叠结构生成对抗网络的文本生成图像模型

文本生成图像是机器学习领域非常具有挑战性的任务,虽然目前已经有了很大突破,但仍然存在模型训练不稳定以及梯度消失等问题。针对这些不足,在堆叠生成对抗网络(StackGAN)基础上,提出一种结合谱归一化与感知损失函数的文本生成图像模型。首先,该模型将谱归一化运用到判别器网络中,将每层网络梯度限制在固定范围内,相对减缓判别器网络的收敛速度,从而提高网络训练的稳定性;其次,将感知损失函数添加到生成器网络中,增强文本语义与图像内容的一致性。使用Inception score评估所提模型生成图像的质量。实验结果表明,该模型与原始StackGAN相比,具有更好的稳定性且生成图像更加逼真。     

PSWGAN-GP:改进梯度惩罚的生成对抗网络

生成对抗网络的出现对解决深度学习领域样本数据不足的研究起到了极大的促进作用。为解决生成对抗网络生成的图像出现轮廓模糊、前景背景分离等细节质量问题,提出一种改进梯度惩罚的Wasserstein生成对抗网络算法(PSWGAN-GP)。该算法在WGAN-GP的Wasserstein距离损失和梯度惩罚的基础上,在判别器中使用从VGG-16网络的3个池化层中提取的特征,并通过这些特征计算得出风格损失(Style-loss)和感知损失(Perceptual-loss)作为原损失的惩罚项,提升判别器对深层特征的获取和判别能力,对生成图像的细节进行修正和提升。实验结果表明,在生成器和判别器网络结构相同,并保证超参数相同的情况下,PSWGAN-GP的IS评分和FID评分相对于参与对比的其他图像生成算法有所提升,且可有效改善生成图片的细节质量。     

基于多任务对抗和抗噪对抗学习的人脸超分辨率算法

高倍率单幅人脸图像超分辨率重建是一项具有实用价值但困难的任务.在人脸超分辨率任务中,端到端网络超分辨率图像较模糊,图像真实性和人眼视觉效果较差.针对上述问题,文中提出基于多任务对抗和抗噪对抗学习的人脸超分辨率算法.算法分为端到端网络学习阶段和网络参数微调阶段.为了提高端到端学习效果,设计深度多任务拉普拉斯金字塔网络,并结合多任务对抗学习.主任务为端到端学习,子任务为优化对抗学习惩罚项函数.为了改进通过对抗学习并微调主任务网络参数后的效果,在对抗学习的判别器优化过程中,融入抗噪对抗学习.实验表明,文中算法能使人脸超分辨率图像更具有图像真实性,更符合人眼视觉习惯.     

基于生成对抗网络的单帧遥感图像超分辨率

受成像设备、传输条件等因素限制,遥感图像的清晰度难以保证。图像超分辨率技术旨在从低分辨率图像中恢复出高分辨率图像,对遥感图像的高质量解译具有重要意义。针对传统方法依赖多帧图像序列、重建结果过于平滑等问题,提出一种基于边界平衡生成对抗网络的单帧遥感图像超分辨方法。生成器与判别器均设计成带跳跃连接的端到端自编码器结构,为增强生成图像质量及加速网络收敛,使用了一种基于判别器重构误差的损失函数。在NWPU-RESISC45数据集上的实验结果表明,该方法能够提供更多的高频信息,重建结果最接近真实图像,相较于邻近插值和双三次插值方法,PSNR提升约2.70 dB,相较于其他基于深度卷积神经网络的方法,PSNR提升约0.72 dB。     

条件生成对抗遥感图像时空融合

目的 卫星遥感技术在硬件方面的局限导致获取的遥感图像在时间与空间分辨率之间存在矛盾,而时空融合提供了一种高效、低成本的方式来融合具有时空互补性的两类遥感图像数据（典型代表是Landsat和MODIS （moderate-resolution imaging spectroradiometer）图像）,生成同时具有高时空分辨率的融合数据,解决该问题。方法 提出了一种基于条件生成对抗网络的时空融合方法,可高效处理实际应用中的大量遥感数据。与现有的学习模型相比,该模型具有以下优点：1）通过学习一个非线性映射关系来显式地关联MODIS图像和Landsat图像;2）自动学习有效的图像特征;3）将特征提取、非线性映射和图像重建统一到一个框架下进行优化。在训练阶段,使用条件生成对抗网络建立降采样Landsat和MODIS图像之间的非线性映射,然后在原始Landsat和降采样Landsat之间训练多尺度超分条件生成对抗网络。预测过程包含两层：每层均包括基于条件生成对抗网络的预测和融合模型。分别实现从MODIS到降采样Landsat数据之间的非线性映射以及降采样Landsat与原始Landsat之间的超分辨率首建。结果 在基准数据集CIA （coleam bally irrigation area）和LGC （lower Gwydir catchment）上的结果表明,条件生成对抗网络的方法在4种评测指标上均达到领先结果,例如在CIA数据集上,RMSE （root mean squared error）、SAM （spectral angle mapper）、SSIM （structural similarity）和ERGAS （erreur relative global adimensionnelle desynthese）分别平均提高了0.001、0.15、0.008和0.065;在LGC数据集上分别平均提高了0.001 2、0.7、0.018和0.008 9。明显优于现有基于稀疏表示的方法与基于卷积神经网络的方法。结论 本文提出的条件生成对抗融合模型,能够充分学习Landsat和MODIS图像之间复杂的非线性映射,产生更加准确的融合结果。     

基于级联生成对抗网络的遥感图像去雾方法

针对图像训练对的去雾算法难以应对遥感图像中训练样本对不足,且模型泛化的问题,提出一种基于级联生成对抗网络（GAN）的遥感图像去雾方法。为解决成对遥感数据集的缺失,提出了学习雾生成的U-Net GAN（UGAN）和学习去雾的像素注意GAN（PAGAN）。所提方法通过UGAN学习如何使用未配对的清晰遥感图像和带雾遥感图像集在保留遥感图像细节的同时对无雾图像进行加雾处理,然后引导PAGAN学习如何正确地对此类图像进行去雾。为了减少生成的带雾遥感图像和去雾后遥感图像之间的差异,在PAGAN中加入自我注意机制,用生成器从低分辨率图像中所有位置的细节线索生成高分辨率细节特征,用判别器检查图像远端部分的细节特征是否彼此一致。与特征融合注意网络（FFANet）、门控上下文聚合网络（GCANet）和暗通道先验（DCP）等去雾方法相比,级联GAN方法无需大量成对数据来反复训练网络。实验结果表明该方法能够有效地去除雾和薄云,在目视效果和定量指标上均优于对比方法。     

基于反投影注意力网络的遥感影像超分辨率重建

近年来, 在诸如环境监测等一系列工作中, 遥感影像得到了广泛应用. 然而, 目前卫星传感器观测到的影像往往分辨率较低, 很难满足深入研究的需要. 超分辨率(SR)目的是提高图像分辨率, 同时提供更精细的空间细节, 完美地弥补了卫星图像的弱点. 因此, 本文提出了一种反投影注意力网络(back-projection attention network, BPAN)用于遥感图像的超分辨率重建, 该网络由反投影网络和初始残差注意块两部分组成. 在反投影网络中, 通过迭代误差反馈机制计算上下投影误差指导图像重建; 在初始残差注意块中, 引入初始模块融合局部多级特征为重建详细的纹理提供更丰富的信息, 以注意模块自适应地学习不同空间区域的重要性, 促进高频信息的恢复. 为了评价该方法的有效性, 在AID数据集上进行了大量的实验, 结果表明, 本文的网络模型提升了传统深度网络的重建性能, 且在视觉效果和客观指标方面有明显提升.     

基于U-Net的高分辨率遥感图像土地利用信息提取

随着现代遥感技术的迅速发展,遥感图像的质量和数量得到了显著的提升,新技术带来的高分辨率遥感图像所蕴含的信息也更加丰富,如何利用人工智能手段辅助挖掘这些丰富的信息也成为了遥感图像分析与理解的重要内容.与此同时,以深度卷积神经网络为代表的人工智能技术在图像处理领域大放异彩.得益于类人眼的分层卷积池化模型,深度卷积神经网络可...     

高分辨率遥感影像道路线性要素识别

为有效从高分辨率遥感影像中自动提取道路,提出利用线性要素间的拓扑关系识别道路线性要素的方法。提取影像中的线性要素并获取其邻域的光谱属性形成有向直线段;利用提出的道路线性要素识别模型,将满足条件的有向直线段聚类生成道路要素集;利用先验知识进一步验证。该方法主要使用道路线性要素的结构信息,适用于大范围、场景复杂的遥感影像,具有较高鲁棒性,目前该方法已应用于基于高分辨率遥感影像的GPS导航道路数据的生产和更新。     

基于方向梯度局部方差的分层遥感图像融合

为了充分利用各种遥感图像的信息．本文对以往图像融合技术进行了简要的概述，分析了各种方法的优缺点．给出了一种新的基于方向梯度局部方差的金字塔图像融合方法。将各源图像进行金字塔分解，得到多分辨率描述．建立方向梯度金字塔．采用局部方差准则融合源图像的各分解层．再进行金字塔分解的逆变换，得到融合图像。此外．利用信息熵等准则和其他融合方法进行比较．实验结果表明用此方法能得到更好的融合效果。     

基于深度学习的自然灾害遥感影像语义分割

自然灾害种类繁多, 通过遥感影像语义分割相对比较困难. 为了能够更好实现遥感影像分割, 本文提出一种基于生成对抗网络的3层遥感影像语义分割模型, 针对不同场景的解析, 基于全卷积神经网络FCN, 设计一种多层次的遥感语义分割框架. 有效对遥感图像语义分割进行处理, 从而提高了模型的分割精度. 实验表明利用这种模型是有效的, 特别是受损建筑的分割结果, mIoU为82.28%, 通过该模型与其他网络模型进行对比, 其性能评价指标明显优于其他网络模型. 最后, 通过对自然灾害各种场景影像进行分析, 为应急管理部门提供一份可靠的数据报告.     

基于多输入密集连接神经网络的遥感图像时空融合算法

为了解决地表反射率遥感卫星Landsat和MODIS影像的时空融合问题,文中提出基于多输入密集连接网络的遥感图像时空融合算法.首先提出多输入的密集连接网络,学习包含连续时刻间差异信息的过渡遥感影像.基于差异相似假设,融合网络学习得到的2幅过渡影像与已知的2幅高空间分辨率影像,得到最终的预测影像.对Landsat遥感影像和MODIS遥感影像的融合实验表明,文中算法在各项定量指标中均较优,最终的预测图像也可表明,文中算法对噪声具有较好的鲁棒性,能较好地恢复细节信息.     

基于CNN的高分遥感影像深度语义特征提取研究综述

近年来,深度学习作为计算机视觉的研究热点,在诸多方面得以发展与应用。特征提取是理解和分析高分遥感影像的关键基础。为促进高分遥感影像特征提取技术的发展,总结了深度学习模型在高分遥感影像特征提取技术的研究与发展,如:AlexNet,VGG-网和GoogleNet等卷积网络模型在深度语义特征提取中的应用。此外,重点分析和讨论了以卷积神经网络模型为基础的各类深度学习模型在高分遥感影像特征提取方面的应用与创新,如:迁移学习的应用;卷积神经网络(Convolutional Neural Network,CNN)模型结构的改变;CNN模型与其他模型结构的结合等方式,均提升了深度语义特征提取能力。最后,对卷积神经网络模型在高分遥感影像深度语义特征提取方面存在的问题以及后续可能的研究趋势进行了分析。