多尺度特征融合与极限学习机结合的交通标志识别

针对卷积神经网络只能使用相同尺寸图像和卷积核的网络进行特征提取,导致提取的特征不全面,在交通标志识别中因车载摄像头与交通标志的位置不断变化影响交通标志的识别精度等问题,提出了一种基于多尺度特征融合与极限学习机结合的交通标志识别方法。首先,将预训练适应3种不同尺寸图像的网络模型作为实验的初始模型;然后,融合3个网络模型构建多尺度卷积神经网络,将3个预训练网络的参数级联到融合模型的全连接层,对融合模型的全连接层进行训练,采用随机梯度下降算法更新网络参数;最后,将融合后的模型作为特征提取器提取特征,把提取到的多尺度特征送入极限学习机,实现交通标志识别。实验采用德国交通标志数据库(GTSRB)对算法性能进行测试,实验结果显示,多尺度特征融合与极限学习机结合的网络识别精度为99.23%,识别速度为46ms。相对于预训练的网络,网络的分类精度分别提高了2.35%,3.22%,3.74%。多尺度特征融合能够有效提取交通标志图像的特征信息,极限学习机可以提高分类精度和分类时间,该方法能满足交通标志识别的准确性和实时性的要求。     

基于多维度特征遥感图像分类方法的研究北大核心CSCD

为了解决传统高光谱图像分类方法精度低、计算成本高及未能充分利用空-谱信息的问题,本文提出一种基于多维度并行卷积神经网络(multidimensional parallel convolutional neural network,3D-2D-1D PCNN)的高光谱图像分类方法。首先,该算法利用不同维度卷积神经网络(convolutional neural network,CNN)提取高光谱图像信息中的空-谱特征、空间特征及光谱特征;之后,采用相同并行卷积层将组合后的空-谱特征、空间特征及光谱特征进行特征融合;最后,通过线性分类器对高光谱图像信息进行精准分类。本文所提方法不仅可以提取高光谱图像中更深层次的空间特征和光谱特征信息,同时能够将光谱图像不同维度的特征进行融合,减小计算成本。在Indian Pines、Pavia Center和Pavia University数据集上对本文算法和4种传统算法进行对比实验,结果表明,本文算法均得到最优结果,分类精度分别达到了99.210%、99.755%和99.770%。     

基于显著性特征和DCNN的高分遥感影像场景分类

高分遥感影像的场景分类是解译遥感影像信息的重要工作之一.为了准确提取出目标信息,针对高分遥感影像场景分类中存在的背景复杂、目标多样、目标信息与背景信息难以区分等问题,提出了一种基于显著性特征和深度卷积神经网络(DCNN)的高分遥感影像场景分类方法.首先,利用K-means聚类与超像素分割算法得到影像的颜色空间分布与颜色对比图,融合不同对比图,以得到显著图.然后,通过对数变换增强显著图中的特征,采用自适应阈值分割方法提高目标的区分度并划分出目标区域和背景区域,以提取出感兴趣区域.最后,构建了一种用于提取深层语义特征的DCNN模型,并将得到的特征输入网络模型中进行训练和分类.实验结果表明,本方法能有效区分主要目标信息与背景信息,减少无关信息的干扰,在UC-Merced数据集和WHU-RS数据集上的分类精度分别为96.10％和95.84％.     

基于多层特征上下文编码网络的遥感图像场景分类

遥感图像场景分类问题是目前遥感图像处理领域中的研究热点之一。卷积神经网络(Convolutional Neural Networks,CNNs)具有强的特征提取能力,已被广泛应用于遥感图像场景分类中。然而,目前的方法并没有充分考虑并利用CNN不同层间的互补信息和遥感图像的空间上下文信息,导致其相应的分类精度有待提高。针对上述问题,提议一种多层特征上下文编码网络,并将其用于解决遥感图像场景分类问题。所提议网络由两部分组成:1)密集连接的主干网络;2)多尺度上下文编码模块。前者用于融合CNN不同层的特征信息,后者用于对蕴含在多层特征中的空间上下文信息进行编码利用。在两个大规模遥感图像数据集上的实验结果表明,与现有的遥感图像场景分类方法相比,所提出的网络框架取得了显著的分类精度提升。     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network, CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种 基于残差网络的多层特征匹配生成对抗网络模型。提出的模型引入残差网络以挖掘高光谱图 像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分 利用网络的各层特征。提出的算法在Indian Pines、Pavia University和Salinas数据集 上的分类精度分别达到了97.6%,99.3%,99.1%,与径向基函数支持向量机(radial basis function-support vector machine, RBF-SVM)、堆叠自动编码器(stacked autoencoder, SAE)、深度置信网络(deep belief network, DBN)、PPF-CNN (CNN based on pixel-pair feature)、CNN和三维卷积网络 (three-dimensional convolutional neural network, 3D-CNN)方法相比较,其分类精度具有明显的提高。实验结果表明,提出的方法是一种有效 的高光谱图像分类方法。     

基于混合残差密集网络的电路板红外图像超分重建北大核心CSCD

红外图像普遍存在分辨率低、细节模糊和视觉效果差的问题,使其难于直接应用在PCB故障诊断系统中。针对这一问题,本文提出了一种可充分利用红外图像层次特征的混合残差密集网络超分辨率重建算法。首先,使用卷积神经网络提取原始低分辨率图像的浅层特征信息;其次,设计多路径混合残差密集连接块,进一步提取更丰富的深层特征信息;最后,引入全局特征融合与残差学习自适应的学习并整合全局特征信息,应用转置卷积上采样完成红外图像的超分辨率重建。实验结果表明,本文算法能够有效提高重建后红外图像分辨率,使细节信息得到改善、视觉效果得到提升。基于公共/自建数据集得到的重建后图像峰值信噪比和结构相似性指标分别达到42.17 dB/39.32 dB和0.9503/0.9466,优于文中列举的双三次内插法、SRCNN和ESPCN模型,重建性能得到明显提高。     

结合金字塔和局部二值模式的遥感图像分类

在住宅区遥感图像分类中,为了克服尺度变化和旋转变化带来的影响,提出一种结合金字塔原理和局部二值模式的图像分类算法。首先对原始住宅区遥感图像进行多次下采样以构建不同尺度的空间金字塔;然后利用局部二值模式提取不同尺度遥感图像的纹理特征,以消除旋转变化的影响;最后将不同尺度下的纹理特征融合到一起,利用支持向量机对住宅区遥感图像进行分类。在标准图像数据集上的实验结果表明,低尺度纹理特征将会降低住宅区遥感图像的分类精度,与单尺度纹理特征相比,多尺度融合的纹理特征提高了遥感图像分类精度,平均高达4.77%。     

基于改进DeepLabV3+的遥感影像语义分割方法

针对普通卷积神经网络在遥感图像分割中小目标识别度不高、分割精度低的问题，提出了一种结合特征图切分模块和注意力机制模块的遥感影像分割网络AFSM-Net。首先在编码阶段引入特征图切分模块，对每个切分的特征图进行放大，通过参数共享的方式进行特征提取；然后，将提取的特征与网络原输出图像进行融合；最后，在网络模型中引入注意力机制模块，使其更关注图像中有效的特征信息，忽略无关的背景信息，从而提高模型对小目标物体的特征提取能力。实验结果表明，所提方法的平均交并比达到86.42%，相比于DeepLabV3+模型提升了3.94个百分点。所提方法充分考虑图像分割中小目标的关注度，提升了遥感图像的分割精度。     

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。     

基于卷积神经网络融合编码与解码特征的降水强度识别

为高效地利用红外降雨图进行雨量强度分类，提出了一个融合编码与解码卷积特征的雨量强度识别模型。引入编码与解码卷积于深度卷积神经网络分类模型中，在减少局部信息丢失的同时提取深层次的雨纹信息特征。于编码、解码卷积模块中考虑多尺度感受野卷积，融合不同范围的局部特征，同时在解码时融合相同尺度的编码与解码卷积特征图，提高特征利用率，从而构建一种融合编码与解码卷积特征的雨量强度识别模型。所提模型的分类精度优于主流卷积神经网络框架，分类正确率最高达到了91.7%，且消融实验结果验证了编码与解码模块的有效性。     

基于深度卷积特征的场景全局与局部表示方法

场景识别是计算机视觉研究中的一项基本任务.与图像分类不同,场景识别需要综合考虑场景的背景信息、局部场景特征以及物体特征等因素,导致经典卷积神经网络在场景识别上性能欠佳.为解决此问题,文中提出了一种基于深度卷积特征的场景全局与局部表示方法.此方法对场景图片的卷积特征进行变换从而为每张图片生成一个综合的特征表示.使用CAM...     

3维卷积递归神经网络的高光谱图像分类方法

为了针对高光谱图像中空间信息与光谱信息的不同特性进行特征提取，提出一种3维卷积递归神经网络(3-D-CRNN)的高光谱图像分类方法。首先采用3维卷积神经网络提取目标像元的局部空间特征信息，然后利用双向循环神经网络对融合了局部空间信息的光谱数据进行训练，提取空谱联合特征，最后使用Softmax损失函数训练分类器实现分类。3-D-CRNN模型无需对高光谱图像进行复杂的预处理和后处理，可以实现端到端的训练，并且能够充分提取空间与光谱数据中的语义信息。结果表明，与其它基于深度学习的分类方法相比，本文中的方法在Pavia University与Indian Pines数据集上分别取得了99.94%和98.81%的总体分类精度，有效地提高了高光谱图像的分类精度与分类效果。该方法对高光谱图像的特征提取具有一定的启发意义。     

基于双重注意力机制的遥感图像场景分类特征表示方法

针对遥感图像场景分类面临的类内差异性大、类间相似性高导致的部分场景出现分类混淆的问题,该文提出了一种基于双重注意力机制的强鉴别性特征表示方法。针对不同通道所代表特征的重要性程度以及不同局部区域的显著性程度不同,在卷积神经网络提取的高层特征基础上,分别设计了一个通道维和空间维注意力模块,利用循环神经网络的上下文信息提取能力,依次学习、输出不同通道和不同局部区域的重要性权重,更加关注图像中的显著性特征和显著性区域,而忽略非显著性特征和区域,以提高特征表示的鉴别能力。所提双重注意力模块可以与任意卷积神经网络相连,整个网络结构可以端到端训练。通过在两个公开数据集AID和NWPU45上进行大量的对比实验,验证了所提方法的有效性,与现有方法对比,分类准确率取得了明显的提升。     

基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法

针对多源遥感图像的差异性和互补性问题,该文提出一种基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法。首先利用卷积神经网络分别进行光学图像和SAR图像的特征提取,设计空间注意力和光谱注意力组成的注意力模块分析特征重要程度,生成不同特征的权重进行特征融合增强,同时减弱对无效信息的关注,从而提高光学和SAR图像融合分类精度。通过在两组光学和SAR图像数据集上进行对比实验,结果表明所提方法取得更高的融合分类精度。     

基于深度卷积神经网络和多核学习的遥感图像分类方法

为解决传统遥感图像分类方法特征提取过程复杂、特征表现力不强等问题,该文提出一种基于深度卷积神经网络和多核学习的高分辨率遥感图像分类方法。首先基于深度卷积神经网络对遥感图像数据集进行训练,学习得到两个全连接层的输出将作为遥感图像的两种高层特征;然后采用多核学习理论训练适合这两种高层特征的核函数,并将它们映射到高维空间,实现两种高层特征在高维空间的自适应融合;最后在多核融合特征的基础上,设计一种基于多核学习-支持向量机的遥感图像分类器,对遥感图像进行精确分类。实验结果表明,与目前已有的基于深度学习的遥感图像分类方法相比,该算法在分类准确率、误分类率和Kappa系数等性能指标上均有所提升,在实验测试集上3个指标分别达到了96.43%, 3.57%和96.25%,取得了令人满意的结果。     

A novel convolutional neural network architecture of multispectral remote sensing images for automatic material classification

For real-world simulation, terrain models must combine various types of information on material and texture in terrain reconstruction for the three-dimensional numerical simulation of terrain. However, the construction of such models using the conventional method often involves high costs in both manpower and time. Therefore, this study used a convolutional neural network (CNN) architecture to classify material in multispectral remote sensing images to simplify the construction of future models. Visible light (i.e., RGB), near infrared (NIR), normalized difference vegetation index (NDVI), and digital surface model (DSM) images were examined.This paper proposes the use of the robust U-Net (RUNet) model, which integrates multiple CNN architectures, for material classification. This model, which is based on an improved U-Net architecture combined with the shortcut connections in the ResNet model, preserves the features of shallow network extraction. The architecture is divided into an encoding layer and a decoding layer. The encoding layer comprises 10 convolutional layers and 4 pooling layers. The decoding layer contains four upsampling layers, eight convolutional layers, and one classification convolutional layer. The material classification process in this study involved the training and testing of the RUNet model. Because of the large size of remote sensing images, the training process randomly cuts subimages of the same size from the training set and then inputs them into the RUNet model for training. To consider the spatial information of the material, the test process cuts multiple test subimages from the test set through mirror padding and overlapping cropping; RUNet then classifies the subimages. Finally, it merges the subimage classification results back into the original test image.The aerial image labeling dataset of the National Institute for Research in Digital Science and Technology (Inria, abbreviated from the French Institut national de recherche en sciences et technologies du numérique) was used as well as its configured dataset (called Inria-2) and a dataset from the International Society for Photogrammetry and Remote Sensing (ISPRS). Material classification was performed with RUNet. Moreover, the effects of the mirror padding and overlapping cropping were analyzed, as were the impacts of subimage size on classification performance. The Inria dataset achieved the optimal results; after the morphological optimization of RUNet, the overall intersection over union (IoU) and classification accuracy reached 70.82% and 95.66%, respectively. Regarding the Inria-2 dataset, the IoU and accuracy were 75.5% and 95.71%, respectively, after classification refinement. Although the overall IoU and accuracy were 0.46% and 0.04% lower than those of the improved fully convolutional network, the training time of the RUNet model was approximately 10.6 h shorter. In the ISPRS dataset experiment, the overall accuracy of the combined multispectral, NDVI, and DSM images reached 89.71%, surpassing that of the RGB images. NIR and DSM provide more information on material features, reducing the likelihood of misclassification caused by similar features (e.g., in color, shape, or texture) in RGB images. Overall, RUNet outperformed the other models in the material classification of remote sensing images. The present findings indicate that it has potential for application in land use monitoring and disaster assessment as well as in model construction for simulation systems.     

空谱结构保持的高光谱图像分类

高光谱遥感图像具有特征（波段）数多、冗余度高等特点,因此特征选择成为高光谱分类的研究热点。针对此问题,提出了空间结构与光谱结构同时保持的高光谱数据分类算法。考虑高光谱图像的物理特性,首先对图像进行加权空谱重构,使图像的空间结构信息自动融入光谱特征,形成空谱特征集;对利用最小二乘回归模型保存数据集的全局相似性结构的基础上,加入局部流形结构正则项,使挑选的特征子集更好地保存数据集的内在本质结构;讨论了窗口大小和正则参数对分类精度的影响。对Indian Pines、PaviaU和Salinas数据集的实验表明,该算法得到的特征子集的总体分类精度达到93.22%、96.01%和95.90%。该算法不仅充分利用了高光谱图像的空间结构信息,而且深入挖掘了数据集的内在本质结构,从而得到更有鉴别性的特征子集,相比传统方法明显提高了分类精度。     

基于深度学习与特征融合的人脸识别算法

卷积神经网络在人脸识别研究上有较好的效果,但是其提取的人脸特征忽略了人脸的局部结构特征。针对此问题,文中提出一种基于深度学习与特征融合的人脸识别方法。该算法将局部二值模式信息与原图信息相结合作为SDFVGG网络的输入,使得提取的人脸特征更加丰富且更具表征能力。其中,SDFVGG网络是将VGG网络进行深浅特征相融合后的网络。在CAS-PEAL-R1人脸数据库上的实验表明,将网络深浅特征相融合与在卷积神经网络中加入LBP图像信息与原图信息相融合的特征信息对于提高人脸识别准确率非常有效,可得到优于传统算法和一般卷积神经网络的最高98.58%人脸识别率。     

基于深度学习的红外遥感信息自动提取

为了提高红外遥感图像地物 信息自动提取的精确性,同时避免人工提取遥感 信息的低效性,提出了一种基于UNet深度学习模型 的遥感信息提取算法。该算法用于从红外遥感图像中分割 出5类地物信息(包括道路、建筑、树木、农田和水 体)。首先,对分辨率高但数量较少的训练数 据进行小像幅的随机裁剪,并对其进行相应的数据增 强处理。然后搭建UNet深度学习模型,并用它 自动提取遥感图像的特征信息。采用交叉熵损失函数 以及Adam反向传播优化算法对该模型进行训练,并对测 试样本中的5幅遥感图像进行精确的地物信息提取。最后,运 用Jaccard指数对测试结果进行精度评定。实验结果表明,该 方法对高分辨率红外遥感图像信息和可见光 遥感图像信息进行了充分融合,对于不同种类地物 的定位和分类都取得了较高精度。