结合深度学习与条件随机场的遥感图像分类

目的 为进一步提高遥感影像的分类精度,将卷积神经网络（CNN）与条件随机场（CRF）两个模型结合,提出一种新的分类方法。方法 首先采用CNN对遥感图像进行预分类,并将其类成员概率定义为CRF模型的一阶势函数;然后利用高斯核函数的线性组合定义CRF模型的二阶势函数,用全连接的邻域结构代替常见的4邻域或8邻域;接着加入区域约束,使用Mean-shift分割方法得到超像素,通过计算超像素的后验概率均值修正各像素的分类结果,鼓励连通区域结果的一致性;最后采用平均场近似算法实现整个模型的推断。结果 选用3组高分辨率遥感图像进行地物分类实验。本文方法不仅能抑制更多的分类噪声,同时还可以改善过平滑现象,保护各类地物的边缘信息。实验采用类精度、总体分类精度OA、平均分类精度AA,以及Kappa系数4个指标进行定量分析,与支持向量机（SVM）、CNN和全连接CRF相比,最终获得的各项精度均得到显著提升,其中,AA提高3.28个百分点,OA提高3.22个百分点,Kappa提高5.07个百分点。结论 将CNN与CRF两种模型融合,不仅可以获得像元本质化的特征,而且同时还考虑了图像的空间上下文信息,使分类更加准确,后加入的约束条件还能进一步保留地物目标的局部信息。本文方法适用于遥感图像分类领域,是一种精确有效的分类方法。     

利用多尺度SVM-CRF模型的极化SAR图像建筑物提取

极化SAR图像中建筑物相关特征的不充分利用将影响建筑物提取的有效性或引发错误。为解决该问题,提出了一种利用多尺度SVM-CRF模型的极化SAR图像建筑物提取方法。在图像最优分割的基础上,将基于像素的SVM-CRF模型扩展到面向对象的多尺度SVM-CRF模型,使之能同时有效地描述建筑物突出的"面状"特征及其层次、空间上下文相关性。同时,考虑对建筑物描述特征利用不充分所引起的类别模糊问题,使用随机森林算法实现多特征的选择,形成更有效的特征组合以优化SVM-CRF模型中的特征向量。采用Oberpfaffenhofen地区E-SAR数据进行了实验,定性和定量的结果验证了该方法的有效性和准确性。     

一种多尺度特征关联网络的遥感影像场景分类方法

针对遥感影像场景分类中提取特征信息不准确以及融合冗余信息的问题,提出一种多尺度特征关联网络的遥感影像场景分类方法。首先,利用ResNet18提取多尺度影像特征,并在特征金字塔结构中引入空洞卷积和多头自注意力模块关注各层有效信息,以增强语义信息和抑制周围噪声;其次,使用多特征关联模块来增强关键特征信息,对各层使用全局平均池化并加和,得到特征向量;最后,采用全连接层进行分类。该方法在NWPU数据集上的总体分类精度为90.51%,相比VGG＿VD16-MSCP、VGG＿VD16-SAFF以及DTDCNN等网络分别提升1.58%、2.65%和6.39%。结果表明,文章所用的多尺度融合方式能够更好地提取特征地物并抑制周围背景,从而取得更高的遥感影像场景分类精度。     

基于空间特征重标定网络的遥感图像场景分类

为充分利用遥感图像的场景信息,提高场景分类的正确率,提出一种基于空间特征重标定网络的场景分类方法。采用多尺度全向高斯导数滤波器获取遥感图像的空间特征,通过引入可分离卷积与附加动量法构建特征重标定网络,利用全连接层形成的瓶颈结构学习特征通道间的相关性,对多尺度空间特征进行权重筛选以实现特征重标定,并结合卷积神经网络训练得到最终的分类结果。实验结果表明,该方法在UCM_LandUse与机载SAR图像数据上的分类正确率分别达到94.76%和95.38%,与MNCC、MS-DCNN、PCA-CNN等算法相比,其遥感图像分类精度与泛化能力显著提升。     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

基于超像素的条件随机场图像分类

针对图模型在推导和参数估计中时间复杂度较高的问题,在条件随机场(CRF)中引入了超像素的概念,提出了一种基于超像素的CRF图像分类方法。该方法首先通过均值漂移算法将图像过分割成小的均匀区域（称为超像素）,然后以超像素为节点、空间相邻的节点以边连接建立图模型,给出了相应的CRF的定义,实现了模型的参数估计和推导。实验结果表明,基于超像素的CRF模型在得到较好分类结果的同时,极大地缩短了运行时间,提高了效率。     

基于融合分层条件随机场的道路分割模型

为了在道路检测中结合图像的多尺度特征以及点云的空间结构特征,使检测算法能有效地排除道路场景中的阴影、光线等干扰,本文提出一种基于融合分层条件随机场的图像和点云融合的道路分割模型．首先,利用Meanshift算法产生多个尺度的超像素分割,建立基于图像的多尺度分层条件随机场．将点云数据投影到图像平面,再建立基于点云的多尺度分层条件随机场．在条件随机场的像素层和点云层之间建立连接,构造多尺度的融合模型．然后,针对多尺度融合模型中图像层的每一层和点云层的每一层,分别提取对应尺度的图像特征或点云特征．每一层用梯度提升树算法根据提取的特征训练1个分类器,利用每一层的分类器得到对应层的数据项代价．最后,使用α扩张算法对融合模型进行联合优化求解．在KITTI Road数据集上的实验结果表明,该方法具有良好的道路检测性能．     

基于仿射不变离散哈希和条件随机场的遥感图像目标检测

建立了一种结合仿射不变离散哈希（Affined-invariant discrete hashing, AIDH）和条件随机场（Confidential random field, CRF）的模型,实现遥感图像的目标检测。对遥感图像进行超像素分割,构建适用于CRF的以超像素块为顶点的无向图结构。以超像素块作为测试样本,使用AIDH学习方法作为CRF一元势函数,生成初始类别标签。采用Potts模型构建CRF的二元势函数进行标签的再学习,平滑目标邻域信息,解决目标检测中的漏判问题。最后,使用基于凸壳边界的方法生成最小外接目标框作为目标检测结果。实验表明,本文方法在目标检测的精度和效率上取得了较好的平衡。     

基于双向门控尺度特征融合的遥感场景分类

针对遥感影像数据集的图像在形状、纹理和颜色上存在较大差别,以及因拍摄高度和角度不同存在的尺度差异导致遥感场景分类精度不高的问题,提出利用主动旋转聚合来融合不同尺度的特征,并通过双向门控提高底层特征与顶层特征互补性的特征融合补偿卷积神经网络（FAC-CNN）。该网络利用图像金字塔为原始图像生成不同尺度图像后将其输入到分支网络中来提取多尺度特征,并提出主动旋转聚合的方式来融合不同尺度的特征,使融合后的特征具有方向信息,从而提高模型对不同尺度输入以及不同旋转输入的泛化能力,实现模型分类精度的提升。FAC-CNN比基于VGGNet的注意循环卷积网络（ARCNet-VGGNet）和门控双向网络（GBNet）在西北工业大学遥感场景图像分类数据集（NWPU-RESISC）上准确率分别提升了2.05个百分点与2.69个百分点,在航空影像数据集（AID）上准确率分别提升了3.24个百分点与0.86个百分点。实验结果表明,FAC-CNN能有效解决遥感影像数据集存在的问题,提高遥感场景分类的精度。     

基于上下文感知和超像素后处理的多光谱图像分类

高质量的地物类别提取是大量地学应用的基础。现有的基于像素的分类方法没有充分挖掘多光谱遥感图像中的上下文关联信息,且分类后的标签图像容易产生破碎。为了提升高分辨率遥感图像的分类精度,本文提出一种基于上下文感知网络和超像素后处理的多光谱图像分类方法。该方法利用新设计的卷积神经网络模型来更好地学习多光谱图像中的空间上下文信息。超像素后处理使用小区域分割和投票的策略来合并结构上关联的区域,以避免破碎标签的产生。本文方法在高分一号卫星数据上进行测试,并与6个分类算法进行比较。实验结果表明本文方法在精度和视觉效果上都优于比对算法。另外,对基于新模型分类后的结果进行超像素后处理,不仅减少了分类结果的破碎度,也进一步提升了图像的分类精度。     

联合一二阶池化网络学习的遥感场景分类

目前大多数池化方法主要是从一阶池化层或二阶池化层提取聚合特征信息,忽略了多种池化策略对场景的综合表示能力,进而影响到场景识别性能。针对以上问题,提出了联合一二阶池化网络学习的遥感场景分类模型。首先,利用残差网络ResNet-50的卷积层提取输入图像的初始特征。接着,提出基于特征向量相似度的二阶池化方法,即通过特征向量间的相似度求出其权重系数来调制特征值的信息分布,并计算有效的二阶特征信息。同时,引入一种有效的协方差矩阵平方根逼近求解方法,以获得高阶语义信息的二阶特征表示。最后,基于交叉熵和类距离加权的组合损失函数训练整个网络,从而得到富于判别性的分类模型。所提方法在AID（50%训练比例）、NWPU-RESISC45 （20%训练比例）、CIFAR-10和CIFAR-100数据集上的分类准确率分别达到96.32%、93.38%、96.51%和83.30%,与iSQRT-COV方法相比,分别提高了1.09个百分点、0.55个百分点、1.05个百分点和1.57个百分点。实验结果表明,所提方法有效提高了遥感场景分类性能。     

基于多尺度特征融合的土地利用分类算法

针对土地利用分类中高空间分辨率遥感图像已标注样本少和传感器高度变化导致地物形变等问题,提出一种基于多尺度特征融合的土地利用分类算法。通过对多个卷积层特征进行多尺度自适应融合,降低地物形变对分类精度造成的影响。为进一步提高分类精度,利用预训练网络提取的深度特征对多尺度特征融合部分和全连接层进行预训练,采用增广数据集对整个网络进行微调。实验结果表明,自适应融合方法改善了融合效果,有效提高了土地利用分类的精度。     

结合像元形状特征分割的高分辨率影像面向对象分类

针对高分辨率遥感影像空间分辨率高,结构形状、纹理、细节信息丰富等特点,提出一种新的融合特征的面向对象影像分类方法来提取城市空间信息。基本过程包含以下4个方面:①提取影像的几何纹理等结构;②融合几何与纹理特征的面向对象影像分割;③提取对象的形状、纹理和光谱特征,并优选最佳特征子集;④最后基于支持向量机(SVM)完成面向对象的影像分类。通过对福州IKONOS影像数据实验,结果表明融入影像特征后的分割效果明显优于原始影像的分割结果,而信息最大化(mRMR)的特征选择能够快速地获得较好的特征子集。通过与eCognition最邻近分类方法比较,表明本文方法的分类总体精度大约提高了6%,效果显著。     

基于加权策略的高分辨率遥感图像目标检测

针对遥感图像目标检测任务中存在的目标尺度差异大、检测精度低等问题,提出了一种基于加权策略的改进YOLOv3遥感图像目标检测模型。为提高对遥感图像中小目标的检测精度,增加具有较小感受野的特征图像的检测分支。设计了一种多尺度特征图像自适应加权融合方法,通过挖掘特征提取网络的表征能力,综合利用多尺度特征提高了目标检测精度。采用DIOR数据集的4类目标构建了一个新的遥感图像目标检测数据集,并进行了改进模型的训练与测试。实验结果表明,改进后的模型取得了80.25%的平均精度均值（mean Average Precision,mAP）,相比于改进前提高了8.2%。将训练模型对RSOD、UCAS-AOD、NWPU VHR-10数据集进行测试,验证了改进模型具有较好的适应性。     

基于独立分量分析的高光谱遥感影像决策树分类

为解决高光谱遥感影像波段众多所带来的信息丰富与“维数灾难”间的矛盾并提高分类精度,针对传统特征选择方法信息损失大的缺陷,基于EO-1 Hyperion高光谱遥感影像,采用独立分量分析(ICA)和决策树分类(DTC)方法联合运作流程,开展影像的地物分类实验研究,提出了ICA-DTC模型。首先运用ICA方法对影像进行特征提取,并以所提取的独立分量特征及其他地理辅助要素组成分类指标集;继而选择适当的指标组合和阈值设定判别规则,建立DTC模型进行影像的地物分类;最后将分类结果与传统最大似然分类法进行比对。结果显示：从分类的总体精度看,前者可达89.34%,高出后者18.8%;从单一地物的分类精度看,前者仅水体的精度略低于后者,而其他11种地物的精度都高于后者。理论分析与实验结果均表明,ICA-DTC模型可有效提高复杂地形条件下的地物分类精度。     

基于显著性特征和角度信息的遥感图像目标检测

遥感图像中的目标具有密集性、多尺度和多角度等特性,这使得遥感图像多类别目标检测成为一项具有挑战性的课题。因此,文中提出了一种新的端到端的遥感图像目标检测框架。该框架通过提取显著性特征和不同卷积通道之间的相互关系来增强目标信息,抑制非目标信息,从而提高特征的表示能力。同时,在不增加模型参数的情况下,在卷积模块中添加多尺度特征模块来捕获更多的上下文信息。为了解决遥感图像中目标角度多变这一问题,该框架在区域建议网络中加入了角度信息,得到有角度的矩形候选框,并在训练过程中添加注意力损失函数来引导网络学习显著性特征。该框架在公开的遥感图像数据集上进行了相关验证,在水平任务框和方向任务框上的实验结果证明了所提方法的有效性。     

基于脉冲卷积神经网络稀疏表征的高分辨率遥感图像场景分类方法

遥感图像场景分类对土地资源管理具有重要意义,然而高分辨率遥感图像中地物分布复杂,图像中存在着与当前场景无关的冗余信息,会对场景的精确分类造成影响.对此,提出一种基于脉冲卷积神经网络(SCNN)稀疏表征的场景分类方法.从稀疏表征出发,利用脉冲神经元的稀疏脉冲输出特性,设计脉冲卷积神经网络,去除遥感图像中与场景无关的冗余信息,实现对图像的稀疏表征;提出基于脉冲输出交叉熵损失函数的反向传播算法,在该算法的基础上利用梯度下降训练脉冲卷积神经网络,优化网络参数,实现遥感图像场景分类;通过实验验证方法的有效性,将所提出方法应用于Google和UCM两个遥感图像数据集,并与传统的卷积神经网络(CNN)进行对比.实验结果表明,所提出方法可以对遥感图像进行稀疏表征,实现场景分类;相对于卷积神经网络,所提出方法在遥感图像场景分类任务上更具有优势.     

基于强监督部件模型的遥感图像目标检测

针对遥感图像中由于背景复杂、目标外观多样和方向任意而导致的检测精度不高的问题,提出一种基于强监督的部件模型方法。该方法针对目标的每个方向范围训练子模型,同时训练集除了标注出目标的外接矩形,还标注出每个部件的位置及其语义。模型训练时,首先,通过对训练集图像建立多尺度方向梯度直方图(HOG)特征金字塔,且根据目标部件标注信息采用最小生成树(MST)算法初始化模型结构;其次通过隐支持向量机(LSVM)方法训练出多个对应不同方向区域的子模型,每个子模型由一个目标滤波器和多个两倍分辨率的部件滤波器,以及位置关系模型组成,多个子模型最终合并成用来检测的混合模型。目标检测时,类似地建立多尺度特征金字塔,然后利用训练滤波器模型在特征金字塔上以滑动窗口的方式计算匹配响应得分,对响应得分设置阈值且采用非极大值抑制(NMS)算法来获得优化后的检测结果。该方法在自建的遥感数据集上目标检测精度达到了89.4%,对比弱监督部件模型(DPM)、分类器模板集成(Exemplar-SVMs)和方向梯度直方图-支持向量机(HOG-SVM)方法中的最高精度,所提方法提升了4个百分点。实验结果表明,所提算法能够在解决方向和背景复杂问题上有一定的提升,而且可以应用于机场军事飞机目标检测。