基于生成式对抗网络的遥感图像半监督语义分割

高分辨率遥感图像的语义分割问题是目前遥感图像处理领域中的研究热点之一。传统的有监督分割方法需要大量的标记数据,而标记过程又较为困难和耗时。针对这一问题,提出一种基于生成式对抗网络的半监督高分辨率遥感图像语义分割方法,只需要少量样本标签即可得到较好的分割结果。该方法为分割网络添加全卷积形式的辅助对抗网络,以助于保持高分辨率遥感图像分割结果中的标签连续性;更进一步,提出一种新颖的能够进行注意力选择的对抗损失,以解决分割结果较好时判别器约束的分割网络更新过程中存在的难易样本不均衡问题。在ISPRS Vaihingen 2D语义标记挑战数据集上的实验结果表明,与现有其它语义分割方法相比,所提出方法能够较大幅度地提高遥感图像的语义分割精度。     

基于深度学习的图像语义分割方法综述

图像语义分割技术是计算机视觉领域的核心研究内容 之一,在生产生活中有着广泛的应用需求。随着计算机性能的提升和深度学习技术的不断发展,研究者们对图像语义分割的实际效果和性能有着越来越高的研究热情。文章通过对图像语义分割方法的研究整理,梳理出现阶段图像语义分割研究的主要问题,针对这些主要问题整理了研究者们提出的解决方法和思路,介绍了语义分割领域常用的公共数据集以及算法性能评价标准,最后对各个算法进行性能的比较和评价,并对图像语义分割领域下一步的研究热点方向进行了展望。     

基于语义通信的低比特率图像语义编码方法

近年来森林火灾给环境与人类带来巨大的损失,传统基于卫星、无人机技术的探测手段效率低且成本高,而布置在山区等偏远地区的大规模传感器网络因性能受限,难以负载大数据量业务,尤其是图片等可以清楚提供现场周围环境变化的有效信息。针对以上问题,本文将基于深度学习与语义通信技术,提出一种图像语义编码方法,对火灾中传感器拍摄到的图片所包含的语义进行提取、编码、传输,在接收端利用对抗生成网络完成从语义到图片的重建,进而实现比传统图像压缩编码方法更加稳定且具有更高压缩比率,从而减轻了传感器网络的负载,其中,为了避免对复杂无线信道的学习,该方法采用成熟的LDPC码进行信道编码,以保证语义传输的可靠性。仿真结果表明,该方法能够实现比传统BPG图片压缩方法具有更低的压缩比特率和更高的清晰度。     

基于生成对抗网络的语义分割方法

在语义分割模型结构不变的前提下,为提升模型对图像分割的精确度,引入生成对抗网络结构用于训练语义分割模型(SS-GAN)。SS-GAN包含3个设计环节：构建全卷积网络(FCN)结构的生成模型,进行初步的图像分割;设计具备像素间高阶关系学习能力的对抗模型,提高生成模型的学习能力;加入对抗损失辅助生成模型学习,进一步促进生成网络自主学习像素间关系。在计算机视觉竞赛数据集(PASCAL VOC)和城市景观数据集(Cityscapes)上的实验结果表明,引入生成对抗网络后取得了更好的效果,2个数据集的交并比(IoU)指标分别提高了1.56%/1.17%和1.93%/1.55%。     

基于深度卷积网络的高分遥感图像语义分割

随着我国高分对地观测系统的不断发展,对高分影像智能化分析与处理的应用需求愈来愈多,基于深度学习语义分割的影像分类也受到高度关注。作为近景图像语义分割的热点模型,Deeplab网络在应用时取得了良好的效果。为了解决多尺度高分辨率遥感影像语义分割问题,本文首先利用空洞卷积扩大Atrous空间金字塔池化（ASPP）结构的感受野,然后对DeepLabv3进行改进并将其用于高分2号遥感影像的分类处理。我们以郴州地区的高分遥感影像为研究对方法进行了验证,首先对原始影像进行预处理,再对预处理图像进行数据增强与扩充,最后通过对不同参数条件下的分类结果进行对比,分析该模型的适应性和精确性。在我们的数据集中,本文方法的实验分类像素精度为88.2％,MIoU达到72.5％,得到了比Deeplab更好的分类效果。      

针对城市道路的图像语义分割

城市道路图像的语义分割具有很多的应用场景,如自动驾驶、图片或视频中广告的插入等。这些应用场景都要求分割算法具有较高的精确度,特别是在物体的边界处。此外,城市道路图像中具有很多尺度大小不一的目标,不同尺度的目标特别是小尺度的目标,会给精细化分割带来更多困难。针对以上问题,提出了一种基于编码器-解码器结构的语义分割网络。该模型改进ResNet-101作为骨干网络,以获得更好的特征提取能力,将低层次特征与高层次特征相融合,采用双三次插值作为上采样方法,以改进不同尺度目标边缘的分割精确性。使用针对城市道路场景的Cityscapes数据集设计相关的对比实验,实验结果证明了所提方法的有效性。     

基于深度卷积神经网络的气象雷达噪声图像语义分割方法

针对新一代多普勒气象雷达的散射回波图像受非降雨等噪声回波干扰导致精细化短时气象预报准确度降低的问题,该文提出一种基于深度卷积神经网络(DCNN)的气象雷达噪声图像语义分割方法。首先,设计一种深度卷积神经网络模型(DCNNM),利用MJDATA数据集的训练集数据进行训练,通过前向传播过程提取特征,将图像高维全局语义信息与局部特征细节融合;然后,利用训练误差值反向传播迭代更新网络参数,实现模型的收敛效果最优化;最后,通过该模型对气象雷达图像数据进行分割处理。实验结果表明,该文方法对气象雷达图像的去噪效果较好,与光流法、全卷积网络(FCN)等方法相比,该文方法对气象雷达图像中真实回波和噪声回波的识别准确率高,图像的像素精度较高。     

基于GAN的改进RPN输电线路细小金具缺陷检测方法

输电线路在常年使用过程中会受到外界环境的影响,各种部件可能出现不同程度的破损,这给电力系统的稳定运行带来了巨大挑战,因此,输电线路各部件的检测对电力系统稳定运行起着关键作用.随着无人机巡检的广泛应用,基于机器视觉和深度学习的目标检测技术在输电线路缺陷检测领域中的应用,针对输电线路细小金具图像质量差、样本数量少及类别不平...     

基于改进CycleGAN的ISAR图像超分辨方法

图像超分辨是解决ISAR欺骗干扰中由于模型样本不完备导致难以对大带宽ISAR实现高逼真假目标模拟的重要手段。利用生成对抗网络（GAN）可通过端到端映射实现ISAR图像的超分辨,然而,当测试输入样本与训练输入样本分辨率差异较大时,超分辨图像中会出现伪散射点从而导致目标失真。考虑到循环生成对抗网络（CycleGAN）对输入样本差异适应性较好,本文提出了一种基于改进CycleGAN的ISAR欺骗干扰超分辨样本生成方法,分别从损失函数、优化过程、判别器结构三方面对CycleGAN网络结构进行改进,加快了网络的收敛速度,同时对于输入分辨率差异较大的ISAR图像泛化性能更好。利用暗室测量数据验证了所提方法的有效性,与GAN方法相比,对于训练输入样本分辨率差异较大的测试输入样本,生成的超分辨样本散射点位置与真实数据具有更好的匹配效果。     

基于深度网络的图像语义分割综述

图像语义分割不仅预测一幅图像中的不同类别,同时还定位不同语义类别的位置,具有重要的研究意义和应用价值.本文阐述了图像语义分割最新的研究成果和方法,从三个角度综述了基于深度卷积神经网络的图像语义分割模型,分别是基于候选区域模型、基于全卷积网络模型和基于弱监督学习的语义分割模型,对这三类模型的方法和结构进行了详细的研究和分析.并在PASCAL VOC 2012数据集上对一些代表性的语义分割算法的性能进行了比较分析.     

一种基于U-Net生成对抗网络的低照度图像增强方法

在低照度环境下采集的图像具有低信噪比、低对比度及低分辨率等特点,导致图像难以识别利用.为了提升低照度图像的质量,本文提出一种基于U-Net生成对抗网络的低照度图像增强方法.首先利用U-Net框架实现生成对抗网络中的生成网络,然后利用该生成对抗网络学习从低照度图像到正常照度图像的特征映射,最终实现低照度图像的照度增强.实验结果表明,与主流算法相比,本文提出的方法能够更有效的提升低照度图像的亮度与对比度.     

Exploration of the Relation between Input Noise and Generated Image in Generative Adversarial Networks

In this paper, we propose a hybrid model aiming to map the input noise vector to the label of the generated image by the generative adversarial network (GAN). This model mainly consists of a pre-trained deep convolution generative adversarial network (DCGAN) and a classifier. By using the model, we visualize the distribution of two-dimensional input noise, leading to a specific type of the generated image after each training epoch of GAN. The visualization reveals the distribution feature of the input noise vector and the performance of the generator. With this feature, we try to build a guided generator (GG) with the ability to produce a fake image we need. Two methods are proposed to build GG. One is the most significant noise (MSN) method, and the other utilizes labeled noise. The MSN method can generate images precisely but with less variations. In contrast, the labeled noise method has more variations but is slightly less stable. Finally, we propose a criterion to measure the performance of the generator, which can be used as a loss function to effectively train the network.     

全局特征提取的全卷积网络图像语义分割算法

以全卷积神经网络为基础设计图像语义分割算法框架,设计全局特征提取模块提升高维语义特征的提取能力,引入带孔卷积算子保留图像细节并提升分割结果的分辨率.通过搭建端到端的图像语义分割算法框架进行训练,在可见光数据集上对算法框架进行性能评估,结果表明,本文方法在可见光图像上取得良好的语义分割性能和精度.本文还在不借助红外数据标注训练的情况下对红外图像进行分割,结果证明本文方法在典型红外目标如行人、车辆的分割中也有较好的表现.     

基于GAN和CNN-ELM的监控图像智能修复及检测方法

针对目前石化危险品装车过程中海量监控视频图像人为处理效率低下、模糊图像识别率低等问题,提出一种基于生成式对抗网络(GAN)和卷积神经网络(CNN)与极限学习机(ELM)相结合的监控模糊图像智能修复及检测方法.首先,使用深度学习网络作为 目标检测框架,利用GAN网络中生成器与判别器间的零和博弈对模糊图像进行复原,得到清晰完整的作业图像;其次,利用CNN自适应学习图像特征的能力,对修复后的图像进行自主特征提取;最后,将提取的图像特征输入ELM分类器中进行目标识别与分类,判断作业过程是否存在违规行为.试验结果表明:所提方法图像修复速度快,视觉效果自然,且目标识别准确率高,具有很好的泛化能力.     

一种基于改进的MobileNetV2网络语义分割算法

基于金字塔卷积神经网络的语义分割算法准确率很高,但是其计算资源消耗巨大、算法执行时间长、无法满足实时性要求.为了解决这个问题,本文做出了以下改进：（1）用MobileNet替换原网络的结构,减少了网络运算时间和内存开销;（2）引入编码器-解码器结构提高输出图像的分辨率,进一步细化分割结果;（3）针对高分辨率图像推断时间过长的问题,本文设计了多级图像输入方法,降低了网络推断高分辨率图像所消耗的时间.本文在VOC 2012数据集和Cityscapes数据集上进行了测试,并与FCN、SegNet、DeepLab、PSPNet以及DFN等语义分割模型对比.实验结果表明,本文设计的语义分割算法在VOC 2012数据集上达到了76.1%的mIoU,在Cityscapes数据集上达到了74.1%的mIoU,略低于传统语义分割算法;处理一张分辨率为1024×512的图片需要18ms,少于传统语义分割算法,满足了实时性要求,达到了准确率与计算资源消耗之间的平衡.     

基于改进生成对抗网络模型的红外与可见光图像融合

为增强融合图像的视觉效果,减少计算的复杂度,解决传统红外与可见光图像融合算法存在的背景细节丢失问题,提出了一种生成对抗网络框架下基于深度可分离卷积的红外与可见光图像融合方法。首先,在生成器中对源图像进行深度卷积与逐点卷积运算,得到源图像的特征映射信息;其次,通过前向传播的方式更新网络参数,得到初步的单通道融合图像;再次,在红外及可见光判别器中,使用深度可分离卷积分别对源图像与初步融合图像进行像素判别;最后,在损失函数的约束下,双判别器不断将更多的细节信息添加到融合图像中。实验结果表明,相比于传统的融合算法,该方法在信息熵、平均梯度、空间频率、标准差、结构相似性损失和峰值信噪比等评价指标上分别平均提高了1.63%、1.02%、3.54%、5.49%、1.05%、0.23%,在一定程度上提升了融合图像的质量,丰富了背景的细节信息。     

基于多通道GAN的图像去噪算法

针对图像采集和传输过程中所产生噪声导致后续图像处理能力下降的问题,提出基于生成对抗网络(GAN)的多通道图像去噪算法。所提算法将含噪彩色图像分离为RGB三通道,各通道基于具有相同架构的端到端可训练的GAN实现去噪。GAN生成网络基于U-net衍生网络以及残差块构建,从而可参考低级特征信息以有效提取深度特征进而避免丢失细节信息;判别网络则基于全卷积网络构造,因而可获得像素级分类从而提升判别精确性。此外,为改善去噪能力且尽可能保留图像细节信息,所构建去噪网络基于对抗损失、视觉感知损失和均方误差损失这3类损失度量构建复合损失函数。最后,利用算术平均方法融合三通道输出信息以获得最终去噪图像。实验结果表明,与主流算法相比,所提算法可有效去除图像噪声,且可较好地恢复原始图像细节。     

基于深度学习的语义分割网络

提出了一种基于深度学习的语义分割网络。该网络通过多孔卷积设计了一个能提取图像多尺度信息的空间金字塔模块,并通过大量实验探索了空间金字塔模块中多孔采样率和多尺度分支对于网络场景解析能力的影响。讨论了网络训练中不同超参数对于网络性能的影响。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络相比,本文设计的网络性能突出。最后,还对基于红外图像的语义分割进行了初步探索。