基于监督学习的单幅图像深度估计综述

单幅图像深度估计是三维重建中基于图像获取场景深度的重要技术,也是计算机视觉中的经典问题,近年来,基于监督学习的单幅图像深度估计发展迅速.文中介绍了基于监督学习的单幅图像深度估计及其模型和优化方法;分析了现有的参数学习、非参数学习、深度学习3类方法及每类方法的国内外研究现状及优缺点;最后对基于监督学习的单幅图像深度估计进行总结,得出了深度学习框架下的单幅图像深度估计是未来研究的发展趋势和重点.     

基于深度学习的图像语义分割方法综述

近年来,深度学习技术已经广泛应用到图像语义分割领域.主要对基于深度学习的图像语义分割的经典方法与研究现状进行分类、梳理和总结.根据分割特点和处理粒度的不同,将基于深度学习的图像语义分割方法分为基于区域分类的图像语义分割方法和基于像素分类的图像语义分割方法.把基于像素分类的图像语义分割方法进一步细分为全监督学习图像语义分割方法和弱监督学习图像语义分割方法.对每类方法的代表性算法进行了分析介绍,并详细总结了每类方法的基本思想和优缺点,系统地阐述了深度学习对图像语义分割领域的贡献.对图像语义分割相关实验进行了分析对比,并介绍了图像语义分割实验中常用公共数据集和性能评价指标.最后,预测并分析总结了该领域未来可能的研究方向及相应的发展趋势.     

基于深度学习的图像融合方法综述

图像融合技术旨在将不同源图像中的互补信息整合到单幅融合图像中以全面表征成像场景,并促进后续的视觉任务。随着深度学习的兴起,基于深度学习的图像融合算法如雨后春笋般涌现,特别是自编码器、生成对抗网络以及Transformer等技术的出现使图像融合性能产生了质的飞跃。本文对不同融合任务场景下的前沿深度融合算法进行全面论述和分析。首先,介绍图像融合的基本概念以及不同融合场景的定义。针对多模图像融合、数字摄影图像融合以及遥感影像融合等不同的融合场景,从网络架构和监督范式等角度全面阐述各类方法的基本思想,并讨论各类方法的特点。其次,总结各类算法的局限性,并给出进一步的改进方向。再次,简要介绍不同融合场景中常用的数据集,并给出各种评估指标的具体定义。对于每一种融合任务,从定性评估、定量评估和运行效率等多角度全面比较其中代表性算法的性能。本文提及的算法、数据集和评估指标已汇总至https://github.com/Linfeng-Tang/Image-Fusion。最后,给出了本文结论以及图像融合研究中存在的一些严峻挑战,并对未来可能的研究方向进行了展望。     

遥感影像小目标检测研究进展

独特的拍摄视角和多变的成像高度使得遥感影像中包含大量尺寸极其有限的目标,如何准确有效地检测这些小目标对于构建智能的遥感图像解译系统至关重要。本文聚焦于遥感场景,对基于深度学习的小目标检测进行全面调研。首先,根据小目标的内在特质梳理了遥感影像小目标检测的3个主要挑战,包括特征表示瓶颈、前背景混淆以及回归分支敏感。其次,通过深入调研相关文献,全面回顾了基于深度学习的遥感影像小目标检测算法。选取3种代表性的遥感影像小目标检测任务,即光学遥感图像小目标检测、SAR图像小目标检测和红外图像小目标检测,系统性总结了3个领域内的代表性方法,并根据每种算法使用的技术思路进行分类阐述。再次,总结了遥感影像小目标检测常用的公开数据集,包括光学遥感图像、SAR图像及红外图像3种数据类型,借助于3种领域的代表性数据集SODA-A（small object detection datasets）、AIR-SARShip和NUAA-SIRST（Nanjing University of Aeronautics and Astronautics,single-frame infrared small target）,进一步对主流的遥感影像目标检测算法在面对小目标时的性能表现进行横向对比及深入评估。最后,对遥感影像小目标检测的应用现状进行总结,并展望了遥感场景下小目标检测的发展趋势。     

基于多粒度特征蒸馏的遥感图像场景分类研究

深度神经网络广泛应用于遥感图像场景分类任务中并能大幅提高分类精度,但隐藏层数较少的神经网络在标记数据不足的遥感场景分类中泛化能力较低,而隐层较多的网络往往需要较大的计算量和模型存储空间,限制了其在嵌入式设备上的应用。提出一种针对遥感图像场景分类的多粒度特征蒸馏方法,将深度网络不同阶段的特征与最终的类别概率同时作为浅层模型的监督信号,使得浅层模型能够同时学习高级与低级的语义特征,从而提高浅层模型的分类性能与泛化能力。在UC Merced Land-Use和SIRI-WHU2个数据集上的实验结果表明,该方法能使模型在大幅降低网络参数量和计算量的情况下明显提高分类性能,与传统知识蒸馏方法相比,其分类精度更高。     

细粒度图像分类的深度学习方法

细粒度图像分类旨在从某一类别的图像中区分出其子类别,通常细粒度数据集具有类间相似和类内差异大的特点,这使得细粒度图像分类任务更加具有挑战性.随着深度学习的不断发展,基于深度学习的细粒度图像分类方法表现出更强大的特征表征能力和泛化能力,能够获得更准确、稳定的分类结果,因此受到了越来越多研究人员的关注和研究.首先,从细粒度图像分类的研究背景出发,介绍了细粒度图像分类的难点和研究意义.其次,从基于强监督和弱监督两个角度,综述了基于深度学习的细粒度图像分类算法的研究进展,并介绍了多种典型的分类性能优秀的算法.此外,进一步论述了目前关于YOLO、多尺度CNN和生成对抗网络(GAN)等前沿深度学习模型在细粒度图像识别方面的应用,并且对比了最新的相关细粒度图像的数据增强方法的分类效果以及在复杂场景下不同类型的细粒度识别方法的性能特点分析.最后,通过对算法的分类性能进行对比和总结,探讨了未来发展方向和面临的挑战.     

联合集成学习与EfficientNet的光学遥感图像场景分类

深度学习能够提高光学遥感图像场景分类的准确率和效率,但光学遥感图像语义丰富,部分场景仍存在易误分类的情况,同时由网络模型规模扩大带来的硬件要求过高、时间成本消耗过大等问题制约着深度学习网络模型的推广应用。为此,提出一种基于轻量化网络模型的光学遥感图像场景分类方法。通过EfficientNet网络提取图像特征,对图像特征进行复合提取以生成语义信息更丰富的新特征,利用多个子分类器构建集成学习模块解析新特征得到预分类结果,集成加权预分类结果以获得最终的分类结果。在AID和NWPU-RESISC45数据集上的实验结果表明,即使只训练20%的数据样本,该方法也能分别达到94.32%和93.36%的准确率,相对D-CNNs、CNN-CapsNet等方法,所提方法对易误分类场景有更好的分类效果,且参数量和浮点运算量大幅减少。     

基于RGB-D图像的语义场景补全研究综述

近年来随着计算机视觉领域的不断发展,三维场景的语义分割和形状补全受到学术界和工业界的广泛关注.其中,语义场景补全是这一领域的新兴研究,该研究以同时预测三维场景的空间布局和语义标签为目标,在近几年得到快速发展.对近些年该领域提出的基于RGB-D图像的方法进行了分类和总结.根据有无使用深度学习将语义场景补全方法划分为传统方法和基于深度学习的方法两大类.其中,对于基于深度学习的方法,根据输入数据类型将其划分为基于单一深度图像的方法和基于彩色图像联合深度图像的方法.在对已有方法分类和概述的基础上,对语义场景补全任务所使用的相关数据集进行了整理,并分析了现有方法的实验结果.最后,总结了该领域面临的挑战和发展前景.     

基于DBN模型的遥感图像分类

遥感图像分类是地理信息系统(geographic information system,GIS)的关键技术,对城市规划与管理起到十分重要的作用.近年来,深度学习成为机器学习领域的一个新兴研究方向.深度学习采用模拟人脑多层结构的方式,对数据从低层到高层渐进地进行特征提取,从而发掘数据在时间与空间上的规律,进而提高分类的准确性.深度信念网络(deep belief network,DBN)是一种得到广泛研究与应用的深度学习模型,它结合了无监督学习和有监督学习的优点,对高维数据具有较好的分类能力.提出一种基于DBN模型的遥感图像分类方法,并利用RADARSAT-2卫星6d的极化合成孔径雷达(synthetic aperture radar,SAR)图像进行了验证.实验表明,与支持向量机(SVM)及传统的神经网络(NN)方法相比,基于DBN模型的方法可以取得更好的分类效果.     

基于深度学习的遥感图像目标检测技术研究进展

目标检测是遥感图像信息提取领域中的研究热点之一,具有广泛的应用前景。近些年来,深度学习在计算机视觉领域的发展为海量遥感图像信息提取提供了强大的技术支撑,使得遥感图像目标检测的精确度和效率均得到了很大提升。然而,由于遥感图像目标具有多尺度、多种旋转角度、场景复杂等特点,在高质量标记样本有限的情况下,深度学习在遥感图像目标检测应用中仍面临巨大挑战。从尺度不变性、旋转不变性、复杂背景干扰、样本量少和多波段数据检测5个角度出发,总结了近几年基于深度学习的遥感图像目标检测方法。此外,对典型遥感图像目标的检测难点和方法进行分析和总结,并对公开的遥感图像目标检测数据集进行概述。最后阐述了遥感图像目标检测研究的未来趋势。     

基于U-Net的高分辨率遥感图像土地利用信息提取

随着现代遥感技术的迅速发展,遥感图像的质量和数量得到了显著的提升,新技术带来的高分辨率遥感图像所蕴含的信息也更加丰富,如何利用人工智能手段辅助挖掘这些丰富的信息也成为了遥感图像分析与理解的重要内容。与此同时,以深度卷积神经网络为代表的人工智能技术在图像处理领域大放异彩。得益于类人眼的分层卷积池化模型,深度卷积神经网络可以在图像分割和分类等任务上取得优异的结果。因此采用U-Net为代表的深度卷积神经网络对2 m的高分辨率遥感影像进行了特征提取、分割和分类,不同于传统基于手工设定图像特征的方法,U-Net可以自动对海量高分辨率的遥感图像进行特征提取,从而充分挖掘高分辨率遥感影像中复杂的非线性特征、光谱特征和纹理特征。实验结果表明：利用训练好的U-Net模型对新昌县土地利用分类计算时间为55.7 s,分类准确率可达90.95%,Kappa系数为0.86。U-Net模型可以快速、精确地提取高分辨率遥感影像中的地表覆盖特征,得到高精度的土地利用分类结果,说明将该模型应用于遥感影像土地利用分类提取有着广阔前景。     

An object-based and heterogeneous segment filter convolutional neural network for high-resolution remote sensing image classification

In recent years, object-based segmentation methods and shallow-model classification algorithms have been widely integrated for remote sensing image supervised classification. However, as the image resolution increases, remote sensing images contain increasingly complex characteristics, leading to higher intraclass heterogeneity and interclass homogeneity and thus posing substantial challenges for the application of segmentation methods and shallow-model classification algorithms. As important methods of deep learning technology, convolutional neural networks (CNNs) can hierarchically extract higher-level spatial features from images, providing CNNs with a more powerful recognition ability for target detection and scene classification in high-resolution remote sensing images. However, the input of the traditional CNN is an image patch, the shape of which is scarcely consistent with a given segment. This inconsistency may lead to errors when directly using CNNs in object-based remote sensing classification: jagged errors may appear along the land cover boundaries, and some land cover areas may overexpand or shrink, leading to many obvious classification errors in the resulting image. To address the above problem, this paper proposes an object-based and heterogeneous segment filter convolutional neural network (OHSF-CNN) for high-resolution remote sensing image classi?cation. Before the CNN processes an image patch, the OHSF-CNN includes a heterogeneous segment filter (HSF) to process the input image. For the segments in the image patch that are obviously different from the segment to be classified, the HSF can differentiate them and reduce their negative influence on the CNN training and decision-making processes. Experimental results show that the OHSF-CNN not only can take full advantage of the recognition capabilities of deep learning methods but also can effectively avoid the jagged errors along land cover boundaries and the expansion/shrinkage of land cover areas originating from traditional CNN structures. Moreover, compared with the traditional methods, the proposed OHSF-CNN can achieve higher classification accuracy. Furthermore, the OHSF-CNN algorithm can serve as a bridge between deep learning technology and object-based segmentation algorithms thereby enabling the application of object-based segmentation methods to more complex high-resolution remote sensing images.     

BoVSG: bag of visual SubGraphs for remote sensing scene classification

ABSTRACT

Remote sensing scene classification is gaining much more interest in the recent few years for many strategic fields such as security, land cover and land use monitoring. Several methods have been proposed in the literature and they can be divided into three main classes based on the features used: handcrafted features, features obtained by unsupervised learning and those obtained from deep learning. Handcrafted features are generally time consuming and suboptimal. Unsupervised learning based features which have been proposed later gave better results but their performances are still limited because they mainly rely on shallow networks and are not able to extract powerful features. Deep learning based features are recently investigated and gave interesting results. But, they cannot be usually used because of the scarcity of labelled remote sensing images and are also computationally expensive. Most importantly, whatever kind of feature is used, the neighbourhood information of them is ignored. In this paper, we propose a novel remote sensing scene representation and classification approach called Bag of Visual SubGraphs (BoVSG). First, each image is segmented into superpixels in order to summarize the image content while retaining relevant information. Then, the superpixels from all images are clustered according to their colour and texture features and a random label is assigned to each cluster that probably corresponds to some material or land cover type. Thus superpixels belonging to the same cluster have the same label. Afterwards, each image is modelled with a graph where nodes correspond to labelled superpixels and edges model spatial neighbourhoods. Finally, each image is represented by a histogram of the most frequent subgraphs corresponding to land cover adjacency patterns. This way, local spatial relations between the nodes are also taken into account. Resultant feature vectors are classified using standard classification algorithms. The proposed approach is tested on three popular datasets and its performance outperforms state-of-the-art methods, including deep learning methods. Besides its accuracy, the proposed approach is computationally much less expensive than deep learning methods.     

U-Net Neural Networks and Its Application in High Resolution Satellite Image Classification

High-resolution remote sensing images have precise geometric structure and spatial layout, but the spectral information is limited, which increases the difficulty of classifying similar features of spectral features. Aiming at the problem of high resolution remote sensing image classification, a U-Net convolutional neural network classification method based on deep learning is proposed. Based on the remote sensing image of the Ejina Oasis GF-2 in the lower reaches of the Heihe River, the U-Net model was used to extract the five types of land cover types of Populus euphratica, Tamarix chinensis, cultivated land, grassland and bare land. The overall classification accuracy and Kappa coefficient were 85.024% and 0.795 6 respectively. Compared with the traditional Support Vector Machine(SVM) and object-oriented method, the results show that compared with SVM and object-oriented method, the U-Net model is used to classify the high-resolution remote sensing, and the classification effect is better. The ground extracts the essential features of the features to meet the accuracy requirements.     

深度学习U-Net方法及其在高分辨卫星影像分类中的应用

高分辨率遥感影像有精确的几何结构和空间布局,但是光谱信息有限,增大了对光谱特征相似地物的分类难度。针对高分辨率遥感影像分类的问题,采用深度学习U-Net模型分类方法。基于黑河下游额济纳绿洲高分二号遥感影像,通过U-Net模型提取胡杨、柽柳、耕地、草地和裸地五种地物覆被类型,分类总体精度和Kappa系数分别为85.024%和0.795 6,并与传统的支持向量机（SVM, Support Vector Machine）和面向对象的分类方法比较,结果表明：相对于SVM和面向对象,基于U-Net模型的高分辨率卫星影像地物覆被分类,能够更好地对地物本质特征进行提取,分类效果较好,满足精度要求。     

深度学习对不同分辨率影像冬小麦识别的适用性研究

定量分析遥感影像尺度与分类精度之间的关系是进行土地覆盖分类的基础。深度学习具有从底层到高层特征非监督学习的能力，解决了传统分类模型中需要人工选择特征的问题。这种新型的分类方法的分类精度是否受到不同分辨率尺度影响，有待研究。利用深度卷积神经网络（Deep Convolutional Neural Network, DCNN）——金字塔场景分析网络（Pyramid Scene Parsing Network, PSPNet）进行4种分辨率（8、3.2、2和0.8 m）的米级、亚米级影像冬小麦分类。实验结果表明: PSPNet能够有效地进行大样本的学习训练，非监督提取出空间特征信息，实现“端—端”的冬小麦自动化分类。不同于传统分类器分类精度与分类尺度之间的关系，随着影像分辨率的逐步增高，地物表达特征越来越清晰，PSPNet识别的冬小麦精度会逐步增高，识别地块结果也越来越规整，不受分辨率尺度的影响。这对于选择甚高亚米级影像提高作物分类精度提供了实验基础。     

深度学习对不同分辨率影像冬小麦识别的适用性研究

定量分析遥感影像尺度与分类精度之间的关系是进行土地覆盖分类的基础。深度学习具有从底层到高层特征非监督学习的能力,解决了传统分类模型中需要人工选择特征的问题。这种新型的分类方法的分类精度是否受到不同分辨率尺度影响,有待研究。利用深度卷积神经网络（Deep Convolutional Neural Network, DCNN）——金字塔场景分析网络（Pyramid Scene Parsing Network, PSPNet）进行4种分辨率（8、3.2、2和0.8 m）的米级、亚米级影像冬小麦分类。实验结果表明: PSPNet能够有效地进行大样本的学习训练,非监督提取出空间特征信息,实现“端—端”的冬小麦自动化分类。不同于传统分类器分类精度与分类尺度之间的关系,随着影像分辨率的逐步增高,地物表达特征越来越清晰,PSPNet识别的冬小麦精度会逐步增高,识别地块结果也越来越规整,不受分辨率尺度的影响。这对于选择甚高亚米级影像提高作物分类精度提供了实验基础。     

成像光谱技术在土地利用动态遥感监测中的应用研究

随着数字化调查技术的发展，国土资源管理对土地利用动态遥感监测提出了更高的要求，目前主要采用的多光谱数据由于受光谱分辨率限制以及“同谱异物，同物异谱”现象的影响，难以满足管理需要。成像光谱数据具有较高光谱分辨率。在类别细分方面具有一定的优势，在当前土地利用动态遥感监测中具有一定的应用潜质。该文针对成像光谱数据特点，探索了与成像光谱数据相适应的土地利用动态遥感监测方法，提出了异常光谱检测法，该方法在试验区应用中取得了良好效果。     

深度学习在遥感影像分类中的研究进展

随着遥感技术和计算机技术的不断发展,传统的遥感影像分类方法已不能满足如今遥感影像分类的需求。近年来,随着深度学习方面研究成果的不断涌现,它给遥感影像的分类提供了一种新的思路和方法。首先概述了遥感影像分类的发展和深度学习的基本概念,然后重点介绍了基于深度置信网、卷积神经网络和栈式自动编码器等深度学习模型在遥感影像分类中的研究进展,最后提出了目前研究中存在的问题及遥感影像分类的发展趋势。     

基于WorldView-2影像和语义分割模型的小麦分类提取

为使用高分辨率遥感影像和深度学习语义分割模型实现快速准确的小麦种植空间信息提取,以WorldView-2遥感影像为数据源,制作尺度分别为128×128、256×256、512×512的样本数据集,对U-net和DeepLab3+语义分割模型的参数进行训练,建立小麦遥感分类模型;通过与极大似然和随机森林方法比较,检验深度学习分类效果。结果显示：①不同尺度样本训练得到的模型总体精度、Kappa系数分别在94%和0.82以上,模型精度稳定,样本尺度大小对小麦分类提取模型影响较小;②深度学习方法的小麦分类总精度和Kappa系数分别在94%和0.89以上,极大似然和随机森林则在92%和0.85以下,表明该研究建立的小麦遥感分类模型优于传统分类方法。研究结果可为高分辨率遥感影像作物种植信息的深度学习方法提取提供参考。