CNN-Transformer结合对比学习的高光谱与LiDAR数据协同分类

针对高光谱图像（hyperspectral images, HSI）与LiDAR数据多模态分类任务中的跨模态信息表达和特征对齐等问题,提出一种基于对比学习CNN-Transformer高光谱和LiDAR数据协同分类网络（Contrastive Learning based CNN-Transformer Network, CLCT-Net）。CLCT-Net通过由ConvNeXt V2 Block构成的共有特征提取模块,获得不同模态间的共性特征,解决异构传感器数据之间语义对齐的问题。构建了包含空间-通道分支和光谱上下文分支的双分支HSI编码器,以及结合频域自注意力机制的LiDAR编码器,以获取更丰富的特征表示。利用集成对比学习进行分类,进一步提升多模态数据协同分类的精度。在Houston 2013和Trento数据集上的实验结果表明,相较于其他高光谱图像和LiDAR数据分类模型,本文所提模型获得了更高的地物分类精度,分别达到了92.01%和98.90%,实现了跨模态数据特征的深度挖掘和协同提取。     

高光谱图像分类的研究进展

高光谱图像分类是利用高光谱数据图谱合一且光谱信息丰富的特点,对图像中的每个像素进行分门别类,以达到对地物目标进行高精度分类和自动化识别的目的,是对地观测的重要组成部分。在分析高光谱图像特点的基础上,本文从普通机器学习和深度学习这两方面对高光谱图像像素级分类的研究进展及效果进行总结、评述和比较,通过具体实验的结果对比,直观地展现各种算法的优劣。针对高光谱分类问题,本文从两个方面对今后的研究方向及发展前景进行了分析和展望。一方面,在算法研究上,高光谱图像分类算法可在保证分类精度的前提下降低算法的复杂度,利用多源遥感数据、多特征综合、多尺度复合,提升小样本、少参数分类模型的分类精度,适应智能化、快速化高光谱遥感对地观测的发展要求;另一方面要紧密结合市场应用需求,重视高光谱图像在实际中的应用,研究具有市场竞争力的高效分类算法,提升高光谱图像分类在遥感技术应用领域的竞争力。     

高光谱遥感图像空谱联合分类方法研究

在遥感影像研究领域里,高光谱数据分类是一个热点问题。近年来,在这个问题上涌现出很多研究方法,然而,大多数方法都是用浅层的方法提取原始数据的特征。将深度学习的方法引入高光谱图像分类中,提出一种新的基于深信度网络(DBN)的特征提取方法和图像分类架构用于高光谱数据分析。将谱域-空域特征提取和分类器相结合提高分类精度。使用高光谱数据进行实验,结果表明该分类器优于当前的一些先进的分类方法。此外,本文还揭示了深度学习系统在高光谱图像分类研究中具有的巨大潜力。     

基于VAE-MSGAN网络的复杂细节图像生成方法

生成式对抗网络被广泛应用于图像生成领域,但其在图像生成时模型不易收敛,导致生成图像的局部细节易出现背景模糊问题.将变分自动编码器与生成式对抗网络相结合,在两者图像生成方面优势相结合的基础上,引入多尺度判别器,提出了VAE-MSGAN网络模型.通过不同尺度的卷积核可以提取到更加丰富的特征信息,并通过加入批标准化(BN)层与特征融合处理,从而加快网络的收敛速度,有利于特征信息的重利用,再将两者提取到的特征信息进行融合,最后将改进的正则化方法应用到目标函数中,减小网络复杂度和过拟合,提升了GAN模型的训练稳定性和图像的局部细节生成质量.对设计的图像生成算法基于Ubuntu16.04环境下利用Tensorflow深度学习框架进行了实现和仿真.对比在不同军事图像类别上的图像生成质量,通过交叉验证证明生成图像与真实图像在深度学习分类器下分类准确率基本一致,验证了所设计网络模型的有效性.     

深度网络与FSVM集成学习的卫星云图云分类

准确的云分类模型对气象监测有重要的意义,传统机器学习云分类模型依赖手工特征提取,容易受噪声数据影响,模型泛化能力较差.深度网络分类模型能自动学习图像深度特征,但是对于图像边缘与细节分类效果不佳.本文针对上述问题进行研究.首先提取Himawari-8卫星云图光谱特征、纹理特征用以训练模糊支持向量机(Fuzzy Suppo...     

面向工业生产场景的轻量级玻璃瓶分类检测方法

在玻璃瓶生产线上,现有的玻璃瓶分类主要依赖于人工目力识别,其模式难以适应智能化生产制造;另一方面,深度学习模型复杂度高,难以在资源受限的设备上部署。为此,借鉴MobileNet模型,使用深度可分离卷积和倒残差结构,融合注意力机制,提出一种轻量级网络模型,并使用知识蒸馏来学习深度网络模型ResNet,在保证模型性能的同时压缩了模型的大小。除此以外,在图片采集阶段使用遮光处理,排除了光照因素对模型的干扰。实验证明,方法可以在玻璃瓶生产线上精准识别玻璃瓶种类,在测试集中的平均识别准确率达99.6%,识别速度达18ms,同时模型复杂度大大降低,可以部署在低配置的工业设备中。     

面向高光谱图像分类的半监督双流网络

为了提取高光谱图像中的深度鉴别特征,往往需要大量标记样本,但是高光谱图像样本标定困难,基于高光谱图像的“图谱合一”特性提出一种基于深度-流形学习的半监督双流网络。该网络用卷积网络和神经网络分别提取少量标记样本以及大量无标记样本中的空-谱联合特征,然后分别构建基于监督图和非监督图的流形重构图模型,以挖掘其中的本征流形结构。在此基础上设计了基于均方误差和流形学习的联合损失函数,以协同度量流形边界和空-谱概率残差,实现双流网络的一体化反馈和优化,进而实现地物分类。在WHU-Hi龙口和黑河高光谱数据集上实验的总体分类精度分别达到97.53%和96.79%,有效提升了地物分类能力。     

融合多尺度特征卷积神经网络的多光谱图像压缩方法

不同于普通图像压缩,多光谱图像压缩除了需要去除空间冗余同时还需要去除光谱间冗余,近年来研究表明端到端的卷积神经网络模型在图像压缩方面具有很好的性能,但对于多光谱图像压缩其编解码器并不能有效解决同时高效提取到多光谱图像空间和光谱间特征的问题,同时也会忽略图像局部特征信息。针对以上问题,本文提出了一种融合多尺度特征卷积神经网络的多光谱图像压缩方法。所提出网络在压缩模型的编解码器中嵌入了可以提取出不同尺度下空间和光谱间特征信息的多尺度特征提取模块,以及可以用来捕捉局部空间信息和光谱信息的空间光谱间非对称卷积模块。实验表明,与传统算法如JPEG2000和3D-SPIHT以及深度学习方法相比,在Landsat-8的7波段和Sentinel-2的8波段数据集上所提出模型的峰值信噪比(PSNR)指标高于传统算法1-2dB。在平均光谱角度(MSA)指标的衡量下,所提出的模型在Landsat-8数据集上优于传统算法约8×10^-3 rad,在Sentinel-2数据集上优于传统算法约2×10^-3 rad。满足了多光谱图像压缩对空间和光谱间特征提取以及局部特征提取...     

CNN融合PCA-DT模型的金属缺陷识别研究

针对金属缺陷识别分类,传统机器学习需要人工提取特征,而深度学习需要大量样本的问题,本文针对中小规模缺陷数据集提出了一种基于浅层的卷积神经网络（CNN）和决策树（DT）的金属缺陷分类方法。利用卷积神经网络提取特征,通过决策树分类,实现缺陷分类。引入主成分分析（PCA）方法对特征向量降维,减小过拟合并提升算法识别分类效率。为验证本文方法的通用性,除图像缺陷数据外还引入非图像缺陷数据。实验结果表明,本文方法除了能分类图像缺陷也能分类非图像缺陷,且在识别率等3个评价指标上本文方法优于传统机器学习方法,与深度学习方法持平,但在分类消耗时间上少于深度学习。     

有限训练样本下的多尺度空洞密集网络高光谱影像分类

为了在有限训练样本情况下充分提取高光谱影像的空间光谱特征,提高分类精度,提出一种结合空洞卷积和密集网络 的高光谱影像分类方法。 首先,构建多尺度空洞特征提取模块,引入不同数量的空洞卷积层和普通卷积层通过级联的方式增大 模型的感受野,并提取多尺度特征。 然后,在多尺度空洞特征提取模块之间建立密集连接,实现特征复用的同时缓解梯度消失 问题,而模块内部无密集连接,避免构建深度网络而导致网络参数过多的问题。 最后,将得到的特征依次通过池化层,全连接层 和 Softmax 层完成分类。 另外,本文在全连接层后加入 dropout 正则化防止出现过拟合。 在 Indian Pines 和 WHU-Hi-Longkou 数 据集上与经典分类方法进行对比,本文方法 OA 分别为 98. 75% 和 98. 82% 。 实验结果表明,本文设计的网络模型在有限训练样 本情况下,分类效果最优。