融合卷积神经网络的遥感图像全色锐化

在遥感图像全色锐化中，传统的成分替换（CS）和多分辨率分析（MRA）方法的线性注入模型没有考虑用于全色锐化传感器的相对光谱响应，而基于深度学习的方法对原图像特征的提取不足会导致融合结果中的光谱和空间信息的丢失。针对以上问题，提出一种结合传统与深度学习方法的全色锐化方法 CMRNet。首先，将CS和MRA与卷积神经网络（CNN）相结合以实现非线性从而提高全色锐化方法性能；其次，设计残差通道（RC）块实现多尺度特征信息的融合提取，并利用通道注意力（CA）自适应地为不同通道的特征图分配不同的权值，从而学习更有效的信息。在QuickBird和GF1卫星数据集上对CMRNet进行训练和测试，实验结果表明，在降尺度QuickBird和GF1数据集上，与经典方法 PanNet相比，CMRNet的峰值信噪比（PSNR）分别提高了5.48%和9.62%，其他指标也均有显著提高。可见，CMRNet能实现较好的全色锐化效果。     

遥感图像全色锐化的卷积神经网络方法研究进展

随着计算机科学、遥感科学和大数据科学等领域的迅速发展,基于卷积神经网络的方法在图像处理、计算机视觉等任务上发挥着越来越重要的作用。而在遥感图像全色锐化领域,卷积神经网络由于其优秀的融合效果,已得到研究学者的广泛关注并有大量的研究成果产生。尽管如此,依然有一些亟待解决的问题,例如缺乏全色锐化数据集的仿真细节描述、公平公开的训练—测试数据集、简单易懂的统一代码编写框架等。对此,本文主要从以下几方面回顾当前遥感图像全色锐化问题在卷积神经网络方面的一些进展,并针对前述问题发布相关数据集和代码编写框架。1)详细介绍7种典型的基于卷积神经网络的全色锐化方法,并在统一数据集上进行公平比较(包括与典型传统方法的比较);2)详细介绍训练—测试数据集的仿真细节,并发布相关卫星(如WorldView-3, QuickBird, GaoFen2,WorldView-2)的全色锐化训练—测试数据集;3)针对本文介绍的7种基于卷积神经网络的方法,发布基于Pytorch深度学习库的Python代码统一编写框架,便于后来初学者入门、开展研究以及公平比较;4)发布统一的全色锐化传统—深度学习方法MATLAB测试软件包,...     

TM多光谱与SPOT 全色遥感图像融合算法对比

融合技术是遥感数据处理中一种重要的方法。而TM多光谱与SPOT全色图像是遥感融合最为普遍的选择。为了对比分析不同方法在融合TM多光谱与SPOT全色图像上的效果,提出基于色彩空间的HSV变换、基于算数技术的Brovey变换和Gram—Schmidt波谱锐化3种融合方法相结合,实现了对同一传感器的全色和多光谱数据融合。试验表明:就空间信息量而言,经过HSV变换的图像具有最大的空间信息,但其光谱保真能力最差;Brovey变换最大限度保持了原始图像的光谱信息,而空间信息的详细程度较差;Gram-Schmidt波谱锐化后的影像不仅保持了多光谱影像的光谱信息,同时又保持了高光谱全色影像的空间细节信息,是一种较好的图像融合方法。     

基于NSCT和自适应PCNN的遥感图像融合方法

以全色和多光谱遥感图像为研究对象,提出一种基于非下采样Contourlet变换(NSCT)和自适应脉冲耦合神经网络(PC-NN)的遥感图像融合方法;该方法首先对全色图像和进行过IHS变换的多光谱图像的亮度分量进行NSCT变换,得到低频子带系数和各带通子带系数;其次对低频子带系数采取一种基于边缘的方法以得到融合图像的低频子带系数;然后采用以各带通子带系数的梯度作为PCNN的链接强度β的PCNN图像融合方法来确定融合图像的各带通子带系数;最后经过NSCT逆变换和IHS逆变换得到融合图像;实验结果表明,此方法更好地保留了原遥感图像中的有用信息,并提高了融合图像的质量。     

地球观测1号高光谱与全色图像融合的最佳方法

受制于成像原理及制造技术等因素,航天高光谱遥感图像的空间分辨率相对较低,为此提出将高光谱图像与高空间分辨率图像进行融合处理,设计最佳的增强高光谱遥感图像空间分辨率的融合算法。针对地球观测1号(EO-1)Hyperion高光谱图像和高级陆地成像仪（ALI）全色波段图像的特点,从9种具体遥感图像融合算法中选用4种融合算法开展山区与城市的数据融合实验,即Gram-Schmidt光谱锐化融合法、平滑调节滤波(SFIM)变换融合法、加权平均法（WAM）融合法和小波变换（WT）融合法,并分别从定性、定量和分类精度三方面对这些方法的融合效果进行综合评价与对比分析,从而确定适合EO-1高光谱与全色图像融合的最佳方法。实验结果显示：从图像融合效果看,在所采用的4种融合方法中,Gram-Schmidt光谱锐化融合法的效果最好;从图像分类效果看,基于融合图像的分类效果要优于基于源图像的分类效果。理论分析与实验结果均表明：Gram-Schmidt光谱锐化融合法是一种较为理想的高光谱与高空间分辨率遥感图像的融合算法,为提高高光谱遥感图像的清晰度、可靠性及图像的地物识别和分类的准确性提供有力的支持。     

小波系数指导的全色锐化网络

针对现有全色锐化网络无法同时兼顾空间信息与光谱信息保留的问题,提出一种基于小波系数指导的由融合网络和指导网络组成的全色锐化网络。融合网络分别提取PAN和MS图像的多级特征,并在同一级别进行特征的选择和融合,融合后的特征分别用于指导后一级别特征的提取;指导网络用于学习HRMS与已知的输入图像的小波系数之间的映射关系,并利用学习到的映射对融合网络的输出提供额外的监督。实验结果表明,该方法能够在保留MS图像光谱信息的同时恢复尽可能多的空间信息。在模拟数据集和真实数据集上的对比实验也表明,该方法融合效果优于其他传统方法和深度学习方法,具有一定的实用价值。     

一种基于小波变换的多尺度图像融合方法

近年来图像的数据融合技术在图像处理领域中得到了广泛的重视和应用。如何对同一目标的多源遥感图像数据进行有效的融合，最大限度地利用多源遥感数据中的有用信息，提高系统的正确识别、判断和决策能力，是遥感数据融合研究的重要内容之一。在小波变换金字塔结构的基础上，提出了一种基于小波变换的多尺度图像融合方法，对热红外与可见光图像进行了融合处理。实验结果表明，该融合方法十分有效，获得的融合图像更符合人们的视觉特性，更有利于机器视觉。     

一种基于残差的遥感图像融合新方法

针对遥感图像融合问题,提出了一种基于残差的遥感图像融合新方法。该方法借助于主成分分析(principal component analysis,PCA),通过对多光谱图像的残差图像和全色图像的残差图像进行融合来恢复出多光谱图像的高分辨率残差图像,以实现多光谱图像和全色图像的融合。实验结果的主观视觉效果和客观统计参数分析都表明,新方法不仅较大地增强了融合图像的空间细节表现能力,而且很好地保留了多光谱图像的光谱信息,其性能优于现有的HIS(hue-intensity-saturation)变换融合方法、PCA融合方法和小波变换(wavelet transform,WT)融合方法。     

基于PCA和数据融合的遥感图像数字水印算法

提出了一种向遥感图像中嵌入水印以保护其版权的算法。算法将数据融合技术和数字水印技术相结合,首先将全色图像进行小波分解,提取图像分解后的第三级低频边缘特征,利用PCA变换得到边缘特征的第一主分量作为水印信息,将水印与第三级中频进行融合;然后进行小波逆变换得到重构图像;最后采用小波变换和PCA融合法将含有水印的全色图像和多光谱图像相融合。提取水印时使用独立分量分析(ICA)方法。实验表明,该算法可以保护遥感图像的版权和进行真伪认证,且不破坏原始遥感图像的信息和特征,是有效可行的。     

天空地一体化热红外遥感图像仿真算法研究

遥感图像仿真对航天传感器前期技术论证以及遥感应用模型算法开发起到了重要作用。针对国内外热红外对地观测计划蓬勃发展的同时对热红外遥感模拟图像提出了迫切需求,提出了天空地一体化热红外遥感图像仿真算法。采用集地面场景模拟、大气辐射模拟、遥感器模拟于一体的全链路热红外遥感图像仿真模拟方法,实现了星载推扫式热红外遥感图像仿真;设计并开发了天地一体化热红外遥感图像仿真系统,同时对模拟出的热红外遥感图像进行了几何和辐射方面的评价和分析。实验效果表明,该算法可为热红外遥感器的性能评价与数据预处理算法预研究提供强大模拟数据支撑。     

人工神经网络遥感分类方法研究现状及发展趋势探析

从人工神经网络技术本身出发,概括了其在遥感分类中的研究现状,分析了人工神经网络遥感分类方法与其它分类方法相比具有的优势,介绍了人工神经网络遥感分类的一些主要应用,并进一步对人工神经网络遥感分类方法的发展趋势进行了展望。     

仿真图像作为模板的遥感影像小目标检测方法

随着传感器技术和航空遥感技术的不断进步,遥感影像的质量和数量也得到了极大的提高,而遥感影像中的目标检测是理解和分析遥感影像所面临的一个基本问题。针对神经网络在遥感影像小目标检测任务中难以提取足够多的有效特征、遥感小目标易受云雾遮挡等问题,提出了一种基于仿真图像模板匹配的方法,通过特征融合的方式成功地将该方法应用于遥感影像小目标检测任务。成像仿真技术生成的仿真图像包含了更多的遥感小目标特征,如几何形状、材质等。在与深度学习结合之后,更多的特征可以提升神经网络检测遥感影像小目标的准确率。实验结果表明将基于仿真图像的模板匹配方法应用于深度学习之后,对于遥感影像小目标检测取得了较好的效果,尤其是针对受到云雾等天气干扰的小目标。     

基于PST相位约束和稀疏表示的MS和PAN影像融合算法

在基于多光谱(MS)影像和全色(PAN)遥感影像融合中,提高融合影像质量的一个关键问题是如何有效提取PAN影像的纹理特征信息,并有针对性地对MS影像进行信息注入.因此,文中提出基于相位拉伸变换(PST)相位约束的MS和PAN影像稀疏融合算法.首先对MS和PAN影像进行高斯滤波.对于中低频信息,基于PST相位差对影像中边缘和纹理区域的敏感性,通过高频信息PST的相位差获得融合权重约束.对于高频信息,通过学习PAN影像的高频信息获得训练字典,并利用字典对MS和PAN影像的高频信息进行稀疏表示和融合,提高融合高频信息的准确度.算法在一定程度上克服传统融合方法对边缘纹理区域融合效果较差和光谱信息扭曲等现象,取得更好的融合效果.大量仿真实验验证算法的有效性.     

改进的基于深度学习的遥感图像分类算法

针对传统的基于深度学习的遥感图像分类算法未能有效融合多种深度学习特征，且分类器性能欠佳的问题，提出一种改进的基于深度学习的高分辨率遥感图像分类算法。首先，设计并搭建一个七层卷积神经网络；其次，将高分辨率遥感图像样本输入到该网络中进行网络训练，得到最后两个全连接层输出作为遥感图像两种不同的高层特征；再次，针对该网络第五层池化层输出，采用主成分分析（PCA）进行降维，作为遥感图像的第三种高层特征；然后，将上述三种高层特征通过串联的形式进行融合，得到一种有效的基于深度学习的遥感图像特征；最后，设计了一种基于逻辑回归的遥感图像分类器，可以对遥感图像进行有效分类。与传统基于深度学习的遥感图像分类算法相比，所提算法分类准确率有较高提升。实验结果表明，该算法在分类准确率、误分类率和Kappa系数上表现优异，能实现良好的分类效果。     

全卷积神经网络下的多光谱遥感影像分割

目的 传统的遥感影像分割方法需要大量人工参与特征选取以及参数选择,同时浅层的机器学习算法无法取得高精度的分割结果。因此,利用卷积神经网络能够自动学习特征的特性,借鉴处理自然图像语义分割的优秀网络结构,针对遥感数据集的特点提出新的基于全卷积神经网络的遥感影像分割方法。方法 针对遥感影像中目标排列紧凑、尺寸变化大的特点,提出基于金字塔池化和DUC（dense upsampling convolution）结构的全卷积神经网络。该网络结构使用改进的DenseNet作为基础网络提取影像特征,使用空间金字塔池化结构获取上下文信息,使用DUC结构进行上采样以恢复细节信息。在数据处理阶段,结合遥感知识将波段融合生成多源数据,生成植被指数和归一化水指数,增加特征。针对遥感影像尺寸较大、采用普通预测方法会出现拼接痕迹的问题,提出基于集成学习的滑动步长预测方法,对每个像素预测14次,每次预测像素都位于不同图像块的不同位置,对多次预测得到的结果进行投票。在预测结束后,使用全连接条件随机场（CRFs）对预测结果进行后处理,细化地物边界,优化分割结果。结果 结合遥感知识将波段融合生成多源数据可使分割精度提高3.19%;采用基于集成学习的滑动步长预测方法可使分割精度较不使用该方法时提高1.44%;使用全连接CRFs对预测结果进行后处理可使分割精度提高1.03%。结论 针对宁夏特殊地形的遥感影像语义分割问题,提出基于全卷积神经网络的新的网络结构,在此基础上采用集成学习的滑动步长预测方法,使用全连接条件随机场进行影像后处理可优化分割结果,提高遥感影像语义分割精度。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

基于多输入密集连接神经网络的遥感图像时空融合算法

为了解决地表反射率遥感卫星Landsat和MODIS影像的时空融合问题,文中提出基于多输入密集连接网络的遥感图像时空融合算法.首先提出多输入的密集连接网络,学习包含连续时刻间差异信息的过渡遥感影像.基于差异相似假设,融合网络学习得到的2幅过渡影像与已知的2幅高空间分辨率影像,得到最终的预测影像.对Landsat遥感影像和MODIS遥感影像的融合实验表明,文中算法在各项定量指标中均较优,最终的预测图像也可表明,文中算法对噪声具有较好的鲁棒性,能较好地恢复细节信息.     

联合知识与CNN的遥感影像目标检测研究综述

目标检测是遥感影像智能解译的重要内容,是将影像转换为信息的关键环节。基于知识的方法是遥感影像目标检测的传统经典方法,而基于卷积神经网络的深度学习方法则是近年来逐步兴起并迅速大范围应用的主流方法。介绍了基于几何知识、上下文知识、辅助知识、综合知识的方法,以及一阶段、两阶段的卷积神经网络方法,重点论述了联合知识与卷积神经网络的新方法,并对改进遥感影像数据集、调整算法网络框架、实现目标上下文推理等三种具体应用形式进行了详细介绍。对联合知识与卷积神经网络方法的遥感影像目标检测方法进行了展望。     

基于并联卷积神经网络的无人机遥感影像建筑区域测量

无人机遥感影像覆盖范围广,难以区分建筑区域与背景区域,导致无人机遥感影像建筑区域测量结果可靠性下降;以解决这一问题作为研究目标,提出了一种基于并联卷积神经网络的无人机遥感影像建筑区域测量方法;获取无人机遥感影像,通过静态输出、图像融合、去雾等环节完成遥感影像预处理;构建并联卷积神经网络,通过网络训练传播提取预处理后无人机遥感影像建筑区域边缘特征,经过特征匹配实现无人机遥感影像中建筑区域识别,结合面积计算结果得到建筑区域的测量结果;经过精度性能测试实验得出结论,在有雾和无雾环境下所提方法与传统区域测量方法相比的建筑区域测量误差分别降低了0.505 km²和0.305 km²,说明该方法的测量结果可靠性更高,可以广泛应用在无人机遥感影像建筑区域测量领域。     

Panchromatic and multi-spectral image fusion for new satellites based on multi-channel deep model

With the launch and rapid development of new satellites such as WorldView-3, the bands number of multi-spectral images from new satellites is greatly increased. However, the spectral matching between the panchromatic image and multi-spectral images is deteriorated with the existing image fusion methods. In this paper, a novel method based on the multi-channel deep model is proposed to fuse images for new satellites. The deep model is implemented by convolutional neural networks and trained on each band to reduce the impact of spectral range mismatch. The proposed method also preserves the detailed information in multi-spectral images, which is ignored by the traditional methods. It also effectively alleviates the inconvenience for obtaining the remote sensing images by the data augmentation processing. In addition, it reduces the randomness of manual setting parameters using the parameter self-learning. Visual and quantitative assessments of fusion results show that the proposed method clearly improves the fusion quality compared to the state-of-the-art methods.