FGSC-23：面向深度学习精细识别的高分辨率光学遥感图像舰船目标数据集

目的 基于光学遥感图像的舰船目标识别研究广受关注,但是目前公开的光学遥感图像舰船目标识别数据集存在规模小、目标类别少等问题,难以训练出具有较高舰船识别精度的深度学习模型。为此,本文面向基于深度学习的舰船目标精细识别任务研究需求,搜集公开的包含舰船目标的高分辨率谷歌地球和GF-2卫星水面场景遥感图像,构建了一个高分辨率光学遥感图像舰船目标精细识别数据集（fine-grained ship collection-23,FGSC-23）。方法 将图像中的舰船目标裁剪出来,制作舰船样本切片,人工对目标类别进行标注,并在每个切片中增加舰船长宽比和分布方向两类属性标签,最终形成包含23个类别、4 052个实例的舰船目标识别数据集。结果 按1：4比例将数据集中各类别图像随机划分为测试集和训练集,并展开验证实验。实验结果表明,在通用识别模型识别效果验证中,VGG16（Visual Geometry Group 16-layer net）、ResNet50、Inception-v3、DenseNet121、MobileNet和Xception等经典卷积神经网络（convolutional neural network,CNN）模型的整体测试精度分别为79.88%、81.33%、83.88%、84.00%、84.24%和87.76%;在舰船目标精细识别的模型效果验证中,以VGG16和ResNet50模型为基准网络,改进模型在测试集上的整体测试精度分别为93.58%和93.09%。结论 构建的FGSC-23数据集能够满足舰船目标识别算法的验证任务。     

深度学习在遥感影像分类中的研究进展

随着遥感技术和计算机技术的不断发展,传统的遥感影像分类方法已不能满足如今遥感影像分类的需求。近年来,随着深度学习方面研究成果的不断涌现,它给遥感影像的分类提供了一种新的思路和方法。首先概述了遥感影像分类的发展和深度学习的基本概念,然后重点介绍了基于深度置信网、卷积神经网络和栈式自动编码器等深度学习模型在遥感影像分类中的研究进展,最后提出了目前研究中存在的问题及遥感影像分类的发展趋势。     

基于CNN的高分遥感影像深度语义特征提取研究综述

近年来,深度学习作为计算机视觉的研究热点,在诸多方面得以发展与应用。特征提取是理解和分析高分遥感影像的关键基础。为促进高分遥感影像特征提取技术的发展,总结了深度学习模型在高分遥感影像特征提取技术的研究与发展,如:AlexNet,VGG-网和GoogleNet等卷积网络模型在深度语义特征提取中的应用。此外,重点分析和讨论了以卷积神经网络模型为基础的各类深度学习模型在高分遥感影像特征提取方面的应用与创新,如:迁移学习的应用;卷积神经网络(Convolutional Neural Network,CNN)模型结构的改变;CNN模型与其他模型结构的结合等方式,均提升了深度语义特征提取能力。最后,对卷积神经网络模型在高分遥感影像深度语义特征提取方面存在的问题以及后续可能的研究趋势进行了分析。     

改进卷积网络的高分遥感图像城镇建成区提取

目的 城镇建成区是城镇研究重要的基础信息,也是实施区域规划、落实城镇功能空间布局的前提。但是遥感影像中城镇建成区的环境复杂,同时不同城镇建成区在坐落位置、发展规模等方面存在许多差异,导致其信息提取存在一定困难。方法 本文基于面向图像语义分割的深度卷积神经网络,使用针对特征图的强化模块和通道域的注意力模块,对原始DeepLab网络进行改进,并通过滑动窗口预测、全连接条件随机场处理方法,更准确地实现城镇建成区提取。同时,针对使用深度学习算法容易出现过拟合和鲁棒性不强的问题,采用数据扩充增强技术进一步提升模型能力。结果 实验数据是三亚和海口部分地区的高分二号遥感影像。结果表明,本文方法的正确率高于93%,Kappa系数大于0.837,可以有效地提取出大尺度高分辨率遥感影像中的城镇建成区,且提取结果最为接近实际情况。结论 针对高分辨率遥感卫星影像中城镇建成区的光谱信息多样化、纹理结构复杂化等特点,本文算法能在特征提取网络中获取更多特征信息。本文使用改进的深度学习方法,提出两种处理方法,显著提高了模型的精度,在实际大幅遥感影像的使用中表现优秀,具有重要的实用价值和广阔的应用前景。     

基于深度学习的复杂气象条件下海上船只检测

为了解决复杂海情环境下的不同种类和大小的舰船检测问题,提出一种实时的深度学习的目标检测算法。首先,提出了一种清晰图片和模糊图片（雨、雾等图片）判别的方法;然后,在YOLO v2的深度学习框架的基础上提出一种多尺度目标检测算法;最后,针对遥感图像舰船目标的特点,提出了一种改进的非极大值抑制和显著性分割算法,对最终的检测结果进一步优化。在复杂海情和气象条件下的舰船目标公开比赛的数据集上,实验结果表明,相比原始的YOLO v2,该方法的准确率提升了16%。     

图像超分辨率深度学习研究及应用进展

图像超分辨率重建是用低分辨率图像重建出对应的高分辨率图像的过程。目前,图像超分辨率技术已经成功应用于计算机视觉和图像处理领域。近年来,由于深度学习具有能够从大量数据中自动学习特征的能力,因此被广泛应用于图像超分辨率领域中。介绍了图像超分辨重建的背景,详细总结了用于图像超分辨率的深度学习模型,阐述了图像超分辨率技术在卫星遥感图像、医学影像、视频监控、工业检测任务方面的应用。总结了图像超分辨算法的当前研究现状以及未来发展方向。     

基于深度学习的遥感图像目标检测技术研究进展

目标检测是遥感图像信息提取领域中的研究热点之一,具有广泛的应用前景。近些年来,深度学习在计算机视觉领域的发展为海量遥感图像信息提取提供了强大的技术支撑,使得遥感图像目标检测的精确度和效率均得到了很大提升。然而,由于遥感图像目标具有多尺度、多种旋转角度、场景复杂等特点,在高质量标记样本有限的情况下,深度学习在遥感图像目标检测应用中仍面临巨大挑战。从尺度不变性、旋转不变性、复杂背景干扰、样本量少和多波段数据检测5个角度出发,总结了近几年基于深度学习的遥感图像目标检测方法。此外,对典型遥感图像目标的检测难点和方法进行分析和总结,并对公开的遥感图像目标检测数据集进行概述。最后阐述了遥感图像目标检测研究的未来趋势。     

多源卫星绿潮遥感信息提取易混淆因素分析

针对绿潮遥感信息提取过程中容易出现的几种易混淆因素,开展了多源卫星绿潮遥感信息提取易混淆因素分析研究。基于多源遥感卫星图像,分析了光学和微波遥感数据在提取绿潮过程中常见的几种易混淆因素。结果发现：（1）HJ 1卫星CCD遥感影像上,岛屿、船只、堤坝、云都是易混淆因素。在信息提取中,需结合基础地理资料或“天地图”,将岛屿识别出来,此方法同样适用于MODIS和SAR数据。对于堤坝、船只和有云覆盖的绿潮区域,则需要通过人机交互的方式进行识别。（2）MODIS遥感影像中散布的小面积云和条带噪声是易混淆因素,因此需在MODIS数据预处理中进行云掩膜和条带噪声去除。（3）ENVISAT ASAR遥感影像中船只是易混淆因素,需通过人机交互的方式进行区分。     

基于深度学习的卫星遥感图像边缘检测方法

为解决卫星遥感图像边缘模糊噪点过多,导致图像清晰度过低的问题,提出基于深度学习的卫星遥感图像边缘检测方法。利用Softmax分类器结构,提取边缘图像节点处的数据信息参量,遵循深度学习算法,完成对图像信息的卷积与池化处理,实现基于深度学习的卫星遥感图像识别。根据尺度空间定义原则,确定边缘检测特征点所处位置,再联合梯度信息熵计算结果,完成对卫星遥感图像的拼接处理。分别计算一阶微分边缘算子、二阶微分边缘算子的具体数值,确定梯度幅值的取值区间,总结已知数值参量,建立完整的双阈值表达式,完成基于深度学习的卫星遥感图像边缘检测方法的设计。实验结果表明,应用所提方法后卫星遥感图像边缘节点处信噪比指标增大,可有效控制模糊噪点对图像清晰度的影响,在卫星遥感图像边缘精准检测方面具有较强的实用性。     

基于遥感图像水体识别与检测研究综述

地表水的勘测对于海岸线变化、环境保护、防灾减灾、水质检测都有重要的意义,借助遥感图像可以快速、反复、精确地获取到地表水的时空分布特征。文章调研国内外学者在遥感图像水体识别方向的研究成果,简述基于遥感技术的水体识别方法。其中,阀值法通过对水体和背景地物的光谱曲线进行分析,选取适合的阈值进行图像分割,操作简单便利,存在信噪比低、易将水体与背景地物混淆的问题。决策树法和自动提取水体法解决了阈值法的显著缺点,然而很难在精确度上得到进一步的提升。近年来,随着深度学习的广泛应用,逐渐被用于遥感图像的水体提取,深度学习方法具有优秀的特征提取能力,在提取精度上有很大提升,然而深度学习过度依赖带有标签的样本数据,因此具有一定的局限性。对样本进行标记需要消耗大量的时间、人力,因此,无监督学习对于遥感图像的水体识别具有重要意义。     

主动迁移学习的海上任意方向船只目标检测

在基于深度学习的遥感图像目标检测任务中,船只目标通常呈现出任意方向排列的特性,而常见的水平框目标检测算法一般不能满足此类场景的应用需求。因此本文在单阶段Anchor-Free目标检测器CenterNet的基础上加入旋转角度预测分支,使其能输出旋转边界框,以用于海上船只目标的检测。同时针对海上船只遥感数据集仅有水平边界框标注,无法直接适用于旋转框目标检测,且人工手动标注旋转框标签成本较高的问题,提出一种主动迁移学习的旋转框标签生成方法。首先,提出一种水平框-旋转框约束筛选算法,通过水平真值边界框来对旋转预测框进行监督约束,筛选出检测精度较高的图像加入训练集,然后通过迭代这一过程筛选出更多的图像,最后通过标签类别匹配,完成对数据集的旋转框自动化标注工作。本文最终对海上船只遥感图像数据集BDCI中约65.59%的图片进行旋转框标注,并手动标注部分未标注的图片作为测试集,将本文方法标注的图片作为训练集进行验证,评估指标AP50达到90.41%,高于其他旋转框检测器,从而表明本文方法的有效性。     

联合显著性特征与卷积神经网络的遥感影像舰船检测

目的 针对高分辨率遥感影像舰船检测受云雾、海浪以及海岛等复杂因素干扰,存在虚警率高、漏检率高、目标检测和识别困难等问题,提出一种联合视觉显著性特征与卷积神经网络的海面舰船目标检测方法。方法 基于频率域相位谱显著性检测能够有效抑制高分辨率遥感影像上云层、海面杂波干扰的特点,计算影像多尺度显著图并进行加权融合。采用对数变换对融合后的图像进行空间域灰度增强以提高目标与背景的区分度,利用灰度形态学闭运算填充舰船目标孔洞,采用大津分割法来提取疑似舰船目标作为兴趣区域。最后构建舰船样本库,利用迁移学习的思想训练卷积神经网络模型,对所有兴趣区域切片进行分类判断和识别,得到最终检测结果。结果 利用多幅不同背景下的高分辨率遥感影像,分别从视觉显著性检测、舰船粗检测与船只类型识别3个方面进行实验验证,选取检测率、虚警率、识别率3个指标进行定量评价。结果表明,本文方法相比于其他方法能有效排除云雾、海岛等多种因素的干扰,检测率、虚警率、识别率分别为93.63%、3.01%、90.09%,明显优于其他算法,能够实现大范围影像上多种类型舰船的快速准确检测和识别。结论 本文将图像视觉显著性检测快速获取图像显著目标的特点与卷积神经网络在图像分类的优势相结合,应用于遥感影像的海域舰船目标检测,能够实现对复杂背景下舰船目标的检测和船只类型的精细化识别。     

基于深度学习的遥感图像茶园区域识别应用研究

得益于遥感技术的发展和深度学习在图像处理方面的进展,采用深度学习识别遥感图像的方法被广泛应用。与传统的统计农作物种植面积方法相比较,通过深度学习的方法来识别茶园种植区域,可以减少人工依赖,节约人力资源,实时获取数据,具有更高的时效性。数据来源于Bigmap,以贵州省卫星遥感图像为数据基础,提出了使用深度学习来识别茶园区域的应用方法。实验目标为从整张遥感图像中提取出茶园种植区域。首先对遥感图像进行数据预处理,然后采用人工目视解译的方法标注出茶园区域并制成数据集,将数据集导入神经网络进行训练获得网络模型,最后将验证图像放入到训练好的神经网络当中,获得验证结果;检测精确率为95.83%,检测召回率为85.00%。     

Single image super-resolution: a comprehensive review and recent insight

Super-resolution (SR) is a long-standing problem in image processing and computer vision and has attracted great attention from researchers over the decades. The main concept of SR is to reconstruct images from low-resolution (LR) to high-resolution (HR).It is an ongoing process in image technology, through up-sampling, de-blurring, and de-noising. Convolution neural network (CNN) has been widely used to enhance the resolution of images in recent years. Several alternative methods use deep learning to improve the progress of image super-resolution based on CNN. Here, we review the recent findings of single image super-resolution using deep learning with an emphasis on distillation knowledge used to enhance image super-resolution., it is also to highlight the potential applications of image super-resolution in security monitoring, medical diagnosis, microscopy image processing, satellite remote sensing, communication transmission, the digital multimedia industry and video enhancement. Finally, we present the challenges and assess future trends in super-resolution based on deep learning.     

基于生成对抗网络的机载遥感图像超分辨率重建

为解决机载遥感图像质量易受环境影响的问题,对其进行超分辨率重建,对现有深度学习机载遥感图像超分辨率重建方法存在的特征提取能力差、重建图像边缘平滑、模型训练困难的问题进行改进,增强图像重建效果。将生成对抗网络作为模型的整体框架,使用密集剩余残差块增强模型特征提取能力,增加跳跃连接,有效提取机载遥感图像的浅层和深层特征,引入沃瑟斯坦式生成对抗网络优化模型训练。该方法能够有效对机载遥感图像进行4倍重建,在峰值信噪比评价上较对比方法约有2 dB增益,重建出的机载遥感图像在视觉上更清晰、细节更丰富、边缘更锐利。实验结果表明,该方法有效提升了模型特征提取能力,优化了训练过程,重建的机载遥感图像效果较好。     

基于SSAE深度学习特征表示的高光谱遥感图像分类方法

针对遥感图像中高光谱数据的分类问题,提出一种基于堆叠稀疏自动编码器(SSAE)深度学习特征表示的高光谱遥感图像分类方法。首先,将光谱数据样本进行预处理和归一化。然后,将其输入到SSAE中进行特征表示学习,并通过网格搜索来获得最优网络参数,以此获得有效的特征表示。最后通过支持向量机(SVM)分类器对输入图像特征进行分类,最终实现遥感图像中像素的分类。在两个标准数据集上的实验结果表明,该方法能够实现准确的高光谱地物分类。     

局部显著特征下的光学遥感图像舷靠舰船检测

目的 在光学遥感图像中,针对舷靠舰船灰度和纹理特征与港口相近,传统方法检测效果不理想的问题,提出一种基于局部显著特征的舷靠舰船检测方法。方法 首先,对原始图像预处理得到海陆分割后的二值图像;然后,提取二值图像中的直线段作为局部显著特征检测舰船目标;再将直线段提取结果与舰首检测相结合,建立舷靠舰船检测模型;最后,通过计算舰船几何尺寸及环境信息分析确定舰船目标。结果 在两幅不同场景的光学遥感图像中验证本文方法并与其他算法进行对比,本文方法识别率可达100%,且不存在误检和漏检情况,相比于其他算法具有一定优势。在舰船背景复杂或停泊朝向不定时,文中方法可有效判别舰船停靠方向并对舰船目标进行正确标记。结论 在复杂背景环境及其他干扰下,应用本文方法检测舷靠舰船目标准确率高,鲁棒性强,具有较高适应性。     

基于深度卷积神经网络的油罐目标检测研究

油罐是用于储存油品的工业设施，常用在炼油厂等工业园中，通过卫星或航空遥感图像实现油罐目标的快速检测，可以实现对侵占生态保护红线的疑似工业园区的快速查找，为自然资源监管和生态环境保护提供科学技术支持。探讨了基于深度卷积神经网络在高分辨率遥感影像目标检测中的有效性，基于深度学习目标检测算法中具有代表性的Faster R-CNN（Convolutional Neural Network）和R-FCN（Region-based Fully Convolutional Network）框架，通过对ZF、VGG16、ResNet-50 3种网络模型进行训练和测试，实现了遥感影像上油罐目标的快速检测；通过修改锚点尺度和数量，丰富了候选框类型和数量，提升了油罐的目标检测精度，最优召回率接近80%。研究表明：深度卷积神经网络能够实现对高分辨率遥感影像中油罐目标的快速检测，为深度学习技术在遥感小目标的快速检测提供了实例和新的思路。     

深度学习在图像识别中的应用研究综述

深度学习作为图像识别领域重要的技术手段，有着广阔的应用前景，开展图像识别技术研究对推动计算机视觉及人工智能的发展具有重要的理论价值和现实意义，文中对深度学习在图像识别中的应用给予综述。介绍了深度学习的由来，具体分析了深度信念网络、卷积神经网络、循环神经网络、生成式对抗网络以及胶囊网络等深度学习模型，对各个深度学习模型的改进型模型逐一对比分析。总结近年来深度学习在人脸识别、医学图像识别、遥感图像分类等图像识别应用领域取得的研究成果并探讨了已有研究值得商榷之处，对深度学习在图像识别领域中的发展趋势进行探讨，指出有效使用迁移学习技术识别小样本数据，使用非监督与半监督学习对图像进行识别，如何对视频图像进行有效识别以及强化模型的理论性等是该领域研究的进一步方向。     

弱监督深度语义分割网络的多源遥感影像水体检测

目的 深度语义分割网络的优良性能高度依赖于大规模和高质量的像素级标签数据。在现实任务中,收集大规模、高质量的像素级水体标签数据将耗费大量人力物力。为了减少标注工作量,本文提出使用已有的公开水体覆盖产品来创建遥感影像对应的水体标签,然而已有的公开水体覆盖产品的空间分辨率低且存在一定错误。对此,提出采用弱监督深度学习方法训练深度语义分割网络。方法 在训练阶段,将原始数据集划分为多个互不重叠的子数据集,分别训练深度语义分割网络,并将训练得到的多个深度语义分割网络协同更新标签,然后利用更新后的标签重复前述过程,重新训练深度语义分割网络,多次迭代后可以获得好的深度语义分割网络。在测试阶段,多源遥感影像经多个代表不同视角的深度语义分割网络分别预测,然后投票产生最后的水体检测结果。结果 为了验证本文方法的有效性,基于原始多源遥感影像数据创建了一个面向水体检测的多源遥感影像数据集,并与基于传统的水体指数阈值分割法和基于低质量水体标签直接学习的深度语义分割网络进行比较,交并比（intersection-over-union,IoU）分别提升了5.5%和7.2%。结论 实验结果表明,本文方法具有收敛性,并且光学影像和合成孔径雷达（synthetic aperture radar,SAR）影像的融合有助于提高水体检测性能。在使用分辨率低、噪声多的水体标签进行训练的情况下,训练所得多视角模型的水体检测精度明显优于基于传统的水体指数阈值分割法和基于低质量水体标签直接学习的深度语义分割网络。