结合深度学习的单幅遥感图像超分辨率重建

目的 克服传统遥感图像超分辨率重建方法依赖同一场景多时相图像序列且需预先配准等缺点,解决学习法中训练效率低和过拟合问题,同时削弱插值操作后的块效应,增强单幅遥感图像超分辨率重建效果。方法 首先构造基于四层卷积的深度神经网络结构,并在结构中前三层卷积后添加参数修正线性单元层和局部响应归一化层进行优化,经过训练得到遥感图像超分辨率重建模型,其次,对多波段遥感图像的亮度空间进行双三次插值,然后使用该模型对插值结果进行重建,并在亮度空间重建结果指导下,使用联合双边滤波来提升其色度空间边缘细节。结果 应用该方法对实验遥感图像进行2倍、3倍、4倍重建时在无参考指标上均优于对比方法,平均清晰度提升约2.5个单位,同时取得了较好的全参考评价结果,在2倍重建时峰值信噪比较传统插值法提升了约2 dB,且平均训练效率较其他学习法提升3倍以上,所得遥感图像重建结果在目视效果上更加细致、自然。结论 实验结果表明,本文设计的网络抗过拟合能力强、训练效率高,重建时针对单幅遥感图像,无需依赖图像序列且不受波段影响,重建结果细节表现较好,具有较强的普适性。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

基于地表参数真实性的GF-1和SPOT-7多光谱影像质量评价

目的 遥感影像中地表信息表达真实程度决定了影像信息提取和定量化应用水平,传统的从像素灰度和视觉特性角度的影像质量评价方法难以评价影像对地表信息表达能力,本文从地表反射率和NDVI（normalized difference vegetation index）两种地表参数真实性角度评价GF-1和SPOT-7多光谱影像质量。方法 提出了一种基于地表参数真实性的多光谱影像质量评价方法,完成GF-1和SPOT-7卫星对实验区同步成像,地面同步测量大气光学特性和典型地物样区光谱,获取同步观测数据并对多光谱影像进行辐射误差处理,计算地物样区在影像上的反射率和NDVI,通过与地面实测光谱数据比较分析了地表参数真实性,评价GF-1和SPOT-7多光谱影像质量。结果 人工靶标中GF-1影像在4个波段反射率误差均在5%内,精度优于SPOT-7;植被地物中SPOT-7影像在蓝绿红波段反射率误差在4%内,近红外波段误差在15%内,NDVI误差在16%内,反射率和NDVI精度均优于GF-1;硬地地物中GF-1影像在4个波段反射率误差在6%内,精度优于SPOT-7;评价结果表明SPOT-7多光谱影像对植被类地物光谱表达真实度更高,GF-1对硬地类地物光谱表达真实度更高。结论 提出的基于地表参数真实性的遥感影像质量评价方法,能够有效地从地物光谱信息表达精度的角度评价影像质量。     

局部自适应的灰度图像彩色化

目的 现有的灰度图像彩色化方法为了保证彩色化结果在颜色空间上的一致性,往往采用全局优化的算法,使得图像边界区域易产生过渡平滑现象。为此提出一种局部自适应的灰度图像彩色化方法,在迁移过程中考虑局部邻域像素信息,同时自动调节邻域像素权重,在颜色正确迁移的同时保证清晰的边界信息。方法 首先结合SVM（support vector machine）和ISLIC（improved simple linear iterative clustering）算法获取彩色图像和灰度图像分类结果图;然后在分类基础上,确定灰度图像高置信度像素点,并根据图像纹理特征,在彩色图像中寻找灰度图像的像素匹配点;最后利用自适应权重均值滤波实现高置信度匹配像素点的颜色迁移,并利用迁移结果对低置信度像素点进行颜色扩散,以完成灰度图像彩色化。结果 实验结果显示,本文方法获得的彩色化迁移结果评分均高于3.5分,特别是局部放大区域评价结果均接近或高于4.0分,高于其他现有彩色化方法评价分数。表明本文方法不仅能够保证颜色迁移的准确性和颜色空间的一致性,同时也能获取颜色区分度高的边界细节信息。与现有的典型灰度图像彩色化方法相比,彩色化结果图在颜色迁移的正确性和抑制边界区域颜色的过渡平滑上都有更优的表现。结论 本文算法为灰度图像彩色化过程中抑制颜色越界问题提供了新的指导方法,能有效地应用于遥感、黑白图像/视频处理、医学图像着色等领域。     

广义统计区域合并的SAR图像浮筏养殖信息提取

目的 海水浮筏养殖是海域使用动态监测中的重要类型,合成孔径雷达（SAR）卫星遥感影像可以克服海洋气象环境的影响,有效反映浮筏养殖区域。由于浮筏养殖信息受乘性相干斑噪声污染严重,为了降低噪声敏感性,改进得到广义局部二值模式（GLBP）,进而将其用于改进广义统计区域合并算法（GSRM）,构建以GLBP_GSRM为核心的多特征集成模型,得到更具纹理一致性的超像素,实现浮筏养殖信息精确提取。方法 根据SAR数据的乘性噪声特性改进局部二值模式算子得到GLBP算子,将其加入GSRM的合并准则中,结合纹理信息的超像素分割能得到更具纹理一致性的超像素,有效抑制相干斑噪声。进而利用非下采样轮廓波变换得到轮廓信息丰富数据特征,使用FCS（fuzzy compactness and separation）算法聚类实现浮筏养殖信息的无监督提取。结果 实验选取辽宁省长海县邻近海域作为研究区域,针对C波段的Radarsat-2 SAR和X波段的TerraSAR图像,分别比较同一图像不同区域和不同图像同一区域的提取结果,结合实地现场调查结果表明所提模型对不同类型SAR图像均能精确无监督地提取浮筏养殖信息,分类精度均高于85%,明显优于经典无监督算法,验证模型的有效性。结论 所提模型充分集成纹理特征、空间特征和轮廓特征,有效解决相干斑噪声干扰信息提取的问题,针对不同类型SAR遥感图像,均能在复杂的海洋背景中实现有效地无监督浮筏养殖信息提取,提高海水养殖自动监测准确度。     

特征学习的单幅图像去雾算法

目的 雾霾天气使图像降质,严重影响军事、交通和安全监控等领域信息系统的正常运作,因此图像去雾具有重要研究意义。目前主流的单幅图像去雾算法主要利用各种与雾相关的颜色特征实现,但不同的颜色先验知识往往存在各自的场景局限性。为提高图像去雾的普适性,提出一种特征学习的单幅图像去雾方法。方法 首先通过稀疏自动编码机对有雾图像进行多尺度的纹理结构特征提取,同时抽取各种与雾相关的颜色特征。然后采用多层神经网络进行样本训练,得到雾天条件下纹理结构特征及颜色特征与场景深度间的映射关系,并估算出有雾图像的场景深度图。最后结合大气散射模型,根据场景深度图复原无雾图像。结果 与主流去雾算法的结果定性对比,复原后的图像细节更清晰,颜色更自然。采用均方误差和结构相似度定量评价各算法去雾结果与真实无雾图像的相似度,本文算法结果与真实无雾场景间的相似度最高,达到99.9%。结论 对实验结果的定性及定量分析表明,本文算法能有效获取有雾图像的场景深度,复原出视觉效果理想的无雾图像,且具有很好的场景普适性。     

Log-Gabor小波和分数阶多项式KPCA的火焰图像状态识别

目的 为了进一步提高锅炉燃烧火焰图像状态识别的性能,提出了一种基于Log-Gabor小波和分数阶多项式核主成分分析(KPCA)的火焰图像状态识别方法。方法 首先利用Log-Gabor滤波器组对火焰图像进行滤波,提取滤波后图像的均值和标准差,并构成纹理特征向量。然后使用分数阶KPCA方法对纹理特征向量进行降维,并将降维后的纹理特征向量输入支持向量机进行分类。结果 本文与基于Log-Gabor小波特征提取以及2种基于Gabor小波特征提取的方法相比,本文方法的分类识别正确率更高,分类精度为76%。同时,第1主分量方差比重与核函数参数d之间满足递增关系。本文方法能够准确地提取火焰图像纹理特征。结论 本文提出一种对锅炉燃烧火焰图像进行状态识别的方法,对提取的火焰图像纹理特征向量进行降维并进行分类,可以获得较高的分类精度。实验结果表明,本文方法分类精度较高,运行时间较短,具有良好的实时性。     

HSRS-SC:面向遥感场景分类的高光谱图像数据集

目的 场景分类是遥感领域一项重要的研究课题，但大都面向高分辨率遥感影像。高分辨率影像光谱信息少，故场景鉴别能力受限。而高光谱影像包含更丰富的光谱信息，具有强大的地物鉴别能力，但目前仍缺少针对场景级图像分类的高光谱数据集。为了给高光谱场景理解提供数据支撑，本文构建了面向场景分类的高光谱遥感图像数据集（hyperspectral remote sensing dataset for scene classification，HSRS-SC）。方法 HSRS-SC来自黑河生态水文遥感试验航空数据，是目前已知最大的高光谱场景分类数据集，经由定标系数校正、大气校正等处理形成。HSRS-SC分为5个类别，共1 385幅图像，且空间分辨率较高（1 m），波长范围广（380~1 050 nm），同时蕴含地物丰富的空间和光谱信息。结果 为提供基准结果，使用AlexNet、VGGNet-16、GoogLeNet在3种方案下组织实验。方案1仅利用可见光波段提取场景特征。方案2和方案3分别以加和、级联的形式融合可见光与近红外波段信息。结果表明有效利用高光谱影像不同波段信息有利于提高分类性能，最高分类精度达到93.20%。为进一步探索高光谱场景的优势，开展了图像全谱段场景分类实验。在两种训练样本下，高光谱场景相比RGB图像均取得较高的精度优势。结论 HSRS-SC可以反映详实的地物信息，能够为场景语义理解提供良好的数据支持。本文仅利用可见光和近红外部分波段信息，高光谱场景丰富的光谱信息尚未得到充分挖掘。后续可在HSRS-SC开展高光谱场景特征学习及分类研究。     

旋转骨架法在二值图像分形维数计算中的应用

目的 计盒法是一种计算二值图像分形维数的常用方法,传统方法如BCM（box-counting method）对无旋转的图像结构具有较理想的计算结果,但是对具有旋转的图像结构的拟合结果偏差较大,导致同一物体在不同旋转角度下的图像的计算结果存在较大差异。为了减小图像旋转对盒维数的影响,本文提出了一种计算二值位图分形维数的新方法——旋转骨架法。方法 将二值图像提取骨架,使位图转换为矢量图,利用遗传算法计算图像中物体的最小包容矩形和旋转角度,然后将矢量图进行旋转使其变为一个无旋转的图形,接下来采用多尺度的盒子覆盖矢量图形得到多个拟合点,最后按最小二乘法对拟合点进行拟合得到盒维数。与BCM方法相比,其核心工作与关键改进为骨架的提取、最小包容体的计算、矢量图的分形维数计算等过程。结果 对3种类型的图像进行了分析,在自相似的分形图像中,相比BCM方法,3幅图的平均误差分别降低了0.725 2%、3.060 5%和2.298 5%,变化幅度分别降低了0.057 3、0.088 3和0.085 9;在文字扫描图像中,相比BCM方法,变化幅度降低了0.012 75,平均拟合误差降低了0.001 28;在植物图像中,与BCM方法相比,分形维数的变化幅度降低了0.017 04,平均拟合误差降低了0.000 5。结论 该方法充分利用了位图易旋转、无厚度的特点,减小了图像旋转对盒维数的影响,评价结果优于BCM方法。     

结合Gabor滤波器和扩展LTP算子的无监督纹理图像分割

目的 现实中的纹理往往具有类型多样、形态多变、结构复杂等特点,直接影响到纹理图像分割的准确性。传统的无监督纹理图像分割算法具有一定的局限性,不能很好地提取稳定的纹理特征。本文提出了基于Gabor滤波器和改进的LTP（local ternary pattern）算子的针对复杂纹理图像的纹理特征提取算法。方法 利用Gabor滤波器和扩展LTP算子分别提取相同或相似纹理模式的纹理特征和纹理的差异性特征,并将这些特征融入到水平集框架中对纹理图像进行分割。结果 通过实验表明,对纹理方向及尺度变化较大的图像、复杂背景下的纹理图像以及弱纹理模式的图像,本文方法整体分割结果明显优于传统的Gabor滤波器、结构张量、拓展结构张量、局部相似度因子等纹理分割方法得到的结果。同时,将本文方法与基于LTP的方法进行对比,分割结果依然更优。在量化指标方面,将本文方法与各种无监督的纹理分割方法就分割准确度进行对比,结果表明,在典型的纹理图像上,本文方法准确度达到97%以上,高于其他方法的分割准确度。结论 提出了一种结合Gabor滤波器和扩展LTP算子的无监督多特征的纹理图像分割方法,能够较好地提取相似纹理模式的特征和纹理的差异性特征,且这些纹理特征可以很好地融合到水平集框架中,对真实世界复杂纹理图像能够得到良好的分割效果。     

多尺度分形维的星载舰船显著性检测

目的 星上的舰船检测需要在资源和时间受限条件下实现快速检测,并且对目标的种类和尺寸缺少先验信息的指导,更多时候还需要实现一景图像中不同尺寸舰船的检测,因此,星上舰船检测要求检测方法具有一定的自适应性,从而实现星上多变的检测场景。方法 针对这一问题,提出了一种多尺度分形维的检测方法,可以实现一景遥感图像中不同尺寸舰船目标的检测。首先,针对差分盒算法受盒子尺寸约束的限制使分形维数的计算精度受到影响的问题提出了一种改进算法,改进算法增加了拟合直线的点对数目并引入了拟合误差剔除误差点对,提高了分形维特征计算的精确度。结果 在提高了分形维计算精度的基础上,新算法利用自然物体在不同尺度上具有的自相似性,通过多尺度分形维的计算并借鉴视觉显著性中c-s算子来排除背景对目标的干扰,突出舰船目标。实验结果表明,新算法能够有效检测出一景图像中不同尺寸的舰船,优于双参数CFAR算法的检测结果。结论 本文提出的多尺度分形维的检测算法可以实现对一景图像中不同尺寸舰船目标的检测,在保证一定检测率的同时有效降低了目标检测的虚警率。     

分形理论在遥感中的应用

论述了分形理论在遥感中的三个应用方面:①分析遥感图像的结构信息量,包括不同图像、不同地物类型;②辅助遥感图像分类,对光谱分类的结果利用分形理论进行检验或确定类型;③模拟遥感图像,根据真实图像的分维,利用分形表面产生算法并产生模拟遥感图像。     

骨髓细胞显微图像的分形特征分析

为了更好地完成骨髓细胞图像的分类识别,在对临床血液学及细胞学图谱中的细胞图像进行切分的基础上,提出了一种基于分形维数和图像重心的算法,用来提取每一细胞图像的分维特征.由于图像的纹理不仅表现在图像结构上具有某种统计意义的相似性,还反映在彩色分布方面,因此,可从骨髓细胞的真彩色图像中提取一个新的彩色识别分量图像C,并与HIS彩色空间的饱和度分量图像S一起进行分维特征提取.实验数据表明,由于不同类型骨髓细胞图像的分形参数具有不同程度的差异,因此分形参数对于某些类别的骨髓细胞具有较好的区分能力.     

Fractal analysis of remotely sensed images: A review of methods and applications

Mandelbrot's fractal geometry has sparked considerable interest in the remote sensing community since the publication of his highly influential book in 1977. Fractal models have been used in several image processing and pattern recognition applications such as texture analysis and classification. Applications of fractal geometry in remote sensing rely heavily on estimation of the fractal dimension. The fractal dimension (D) is a central construct developed in fractal geometry to describe the geometric complexity of natural phenomena as well as other complex forms. This paper provides a survey of several commonly used methods for estimating the fractal dimension and their applications to remote sensing problems. Methodological issues related to the use of these methods are summarized. Results from empirical studies applying fractal techniques are collected and discussed. Factors affecting the estimation of fractal dimension are outlined. Important issues for future research are also identified and discussed.     

一种基于纹理域神经网络的彩色卫星图像分析方法

描述了一种利用纹理域神经网络,通过监督的学习方法来调整和权重,将预处理后成的彩色卫星图像中的纹理信息块进行分类,从而达到在彩色卫星图像中将有用的色彩块分析出来的目的,给出了纹理域的预处理过程,阐述了对原彩色图像进行颜色映射和量化的目标和方法;讨论了纹理域神经网络的构造方法及算法;最后给出了用以上方法对彩色卫星图像进行分类的实验结果,实验证明该方法对彩色卫星图像有较好的分类作用。     

Saliency detection based on self-adaptive multiple feature fusion for remote sensing images

ABSTRACT

Saliency detection has been revealed an effective and reliable approach to extract the region of interest (ROI) in remote sensing images. However, most existing saliency detection methods employing multiple saliency cues ignore the intrinsic relationship between different cues and do not distinguish the diverse contributions of different cues to the final saliency map. In this paper, we propose a novel self-adaptively multiple feature fusion model for saliency detection in remote sensing images to take advantage of this relationship to improve the accuracy of ROI extraction. First, we take multiple feature channels, namely colour, intensity, texture and global contrast into consideration to produce primary feature maps. Particularly, we design a novel method based on dual-tree complex wavelet transform for remote sensing images to generate texture feature pyramids. Then, we introduce a novel self-adaptive multiple feature fusion method based on low-rank matrix recovery, in which the significances of feature maps are ranked by the low rank constraint recovery, and subsequently multiple features’ contributions are allocated adaptively to produce the final saliency map. Experimental results demonstrate that our proposal outperforms the state-of-the-art methods.     

无监督纹理遥感图像分形分割仿真

针对无监督纹理遥感图像分形分割时,仅利用光谱信息,没有充分利用遥感图像中的纹理信息造成过分割或是欠分割的问题,提出结合光谱信息和纹理信息的无监督遥感图像分形分割方法。方法首先借助于双边滤波算法建立双边滤波模型,对无监督遥感图像进行平滑处理,利用边缘检测算子获取无监督遥感图像的纹理梯度和光谱梯度,保留遥感图像的纹理信息。将图像纹理梯度和光谱梯度的内积范数作为K-means算法的距离测度,针对K-means算法易陷入局部寻优问题,将遗传算法与K-means算法相结合实现全局寻优,完成无监督纹理遥感图像分形分割。通过在高分辨率遥感图像上的分割对比实验,证明上述方法能充分利用遥感图像的光谱和纹理信息,分割效果良好。     

一种基于数学形态学的分形维数估计方法

对于分形维数的估计是基于分形理论的纹理图像分割算法中最重要的环节。由于使用固定划分的规则网格，常用的基于盒计数的分形维数估计算法及其各种改进方法的误差较大；而传统的形态学维数估计算法虽然在准确性上有一定提高．但其时间复杂度偏高。为此提出了一种基于可变结构元的数学形态学分形维数估计方法(VSEM)。该方法将灰度图像视为一个三维空间中的曲面，使用一组不同尺度的结构元分别度量该曲面．根据度量结果与尺度之间满足的指数率来估计图像表面的分形维数。通过恰当的选择结构元和使用递推技术得到不同尺度下的膨胀结果，新方法成功地弥补了现有算法的不足。本文使用了一组合成纹理和一组自然纹理来评估几种常见的分形维数估计算法。结果显示，本文提出的新方法能够在较小的时间复杂度下，得到更为精确的估计结果。最后，将该方法应用于遥感图像的分割。与其他常用的分形分割算法相比，使用该方法估计的分形维数和图像的临域均值作为特征能够得到更好的分割结果。在对比分析和分割实验中表现出的良好性能说明本文提出的分形维数估计算法可以有效地应用于纹理图像分割。     

特征点和不变矩结合的遥感图像飞机目标识别

传统的飞机目标识别算法一般是通过目标分割,然后提取不变特征进行训练来完成目标的识别。但是,对于实际情况比较复杂的遥感图像飞机目标,至今没有一种适合多种机型的分割和识别算法。针对现有识别算法的不足,本研究提出一种基于特征点空间分布、颜色不变矩和Zernike不变矩相结合的遥感图像飞机目标识别算法。方法：首先,对预处理后的遥感图像和模板图像进行小波变换,在低分辨率图像下采用圆投影特征进行粗匹配,确定候选目标;粗匹配结束后,提取高分辨率图像的多尺度Harris-laplace角点,并画出Delaunay三角网,同时提取出颜色不变矩和Zernike不变矩;然后使用欧氏距离作为这三种特征的相似性度量,并和样本图像进行加权匹配;最后选取欧式距离最小的图像作为最终的识别目标。结果：实验表明,本文算法飞机检测精度比现有算法高2.2%,飞机识别精度比现有算法高1.4%-10.4%。该算法能从遥感图像中精确识别出十大飞机目标,并对背景、噪声、视角变化等多种干扰具有良好的鲁棒性。结论：提出了一种基于特征点空间分布、颜色不变矩和Zernike不变矩相结合的飞机识别算法,该算法使用了图像的多种信息,包括特征点和不变矩,有效地克服了使用单一特征无法描述多种信息的不足。实验结果表明,本文采用基于特征点和不变矩的飞机识别算法比其他算法具有更强的抗干扰能力和识别精度。