基于改进稀疏栈式编码的车型识别

为了提高稀疏栈式编码对车型识别确率,提出了一种基于改进稀疏栈式编码的车型识别方法。使用逐层无监督方法来训练网络结构,并从大量的无标记的数据集中学习得到特征字典,在稀疏栈式编码的基础上引入卷积和池化模块,把学习得到的特征字典作为卷积核,通过对含有车辆的图像进行卷积和池化操作获得图像的特征图;最后通过使用softmax分类器在少量标签数据集上进行有监督的微调。在BIT-Vehicle数据集上的实验结果表明,改进后的算法优于传统稀疏栈式编码算法,在标注较少的数据集中,识别的准确率优于神经网络算法。     

基于反卷积特征提取的深度卷积神经网络学习

在深度卷积神经网络的学习过程中,卷积核的初始值通常是随机赋值的.另外,基于梯度下降法的网络参数学习法通常会导致梯度弥散现象.鉴于此,提出一种基于反卷积特征提取的深度卷积神经网络学习方法.首先,采用无监督两层堆叠反卷积神经网络从原始图像中学习得到特征映射矩阵;然后,将该特征映射矩阵作为深度卷积神经网络的卷积核,对原始图像进行逐层卷积和池化操作;最后,采用附加动量系数的小批次随机梯度下降法对深度卷积网络微调以避免梯度弥散问题.在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,所提出方法可有效提高图像分类精度.     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

基于双池化特征加权结构CNN的图像分类

传统的池化方式会造成特征信息丢失,导致卷积神经网络中提取的特征信息不足。为了提高卷积神经网络在图像分类过程中的准确率,优化其学习性能,本文在传统池化方式的基础上提出一种双池化特征加权结构的池化算法,利用最大池化和平均池化2种方式保留更多的有价值的特征信息,并通过遗传算法对模型进行优化。通过训练不同池化方式的卷积神经网络,研究卷积神经网络在不同数据集上的分类准确率和收敛速度。实验在遥感图像数据集NWPU-RESISC45和彩色图像数据集Cifar-10上对采用几种池化方式的卷积神经网络分类结果进行对比验证,结果分析表明：双池化特征加权结构使得卷积神经网络的分类准确率有很大程度的提高,同时模型的收敛速度得到进一步提高。     

联合Fisher核编码和卷积神经网络的影像场景分类

针对高分辨率遥感影像场景分类中使用中、低层特征不能有效表达高分影像的语义信息,造成分类精度不高的问题,提出了一种联合Fisher核编码和卷积神经网络的高分影像场景分类方法。首先利用Fisher核编码框架提取影像的中层语义特征,然后利用深度卷积神经网络提取影像高层语义特征,最后融合中、高层特征利用支持向量机进行分类。实验采用迁移学习方法来克服深度卷积神经网络对训练数据量的需求。实验数据采用UC-Merced 21类和WHURS 19类2个高分影像数据集。实验结果表明,中、高层融合特征包含更丰富的场景信息,增加了目标的可区分性,相比已有方法,该方法能够有效提高分类精度;迁移学习方法能够克服深度卷积神经网络对训练数据量的依赖性。     

一种基于深度学习的表情识别方法

针对人脸表情识别鲁棒性差,容易受身份信息干扰的问题,提出一种具有局部并行结构的深度神经网络识别算法。首先使用稀疏自编码算法训练得到不同尺度的卷积核,然后提取卷积核特征并作池化处理,使特征具有一定的平移不变性,最后采用与表情相关的7个并行的4层网络得到最终的分类结果。实验结果表明,在标准的人脸表情识别库上进行独立测试时,本文提出的局部并行深度神经网络的表情识别方法对测试集的人不出现在训练集中的情况有较好表现,相比其他算法更具有实用性。     

基于TSNE和多尺度稀疏自编码的高光谱图像分类

针对高光谱图像存在维数“灾难”、特征以及空间信息利用不足的问题,结合深度学习、流形学习及多尺度空间特征的最新进展,提出了一种TSNE和多尺度稀疏自编码网络的高光谱图像分类算法。利用TSNE算法对高光谱图像进行降维,再对每个像元的邻域进行多尺度空间特征提取,利用加入空谱联合信息的像元训练稀疏自编码网络模型并通过softmax分类器进行分类,减少计算复杂度,提高分类精确度。通过对Indian Pines及Pavia University两组数据进行实验,结果表明,提出的算法与其他五种算法相比分类效果更好。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

基于栈式自编码的水体提取方法

为了进一步提高利用遥感图像进行水体提取的准确率和自动化程度,提出一种基于栈式自编码(SAE)深度神经网络的水体提取方法。通过堆叠稀疏自编码器构建深度网络模型,使用逐层贪婪训练法依次训练每层网络,从像素层面无监督学习特征,避免传统神经网络等方法需进行人工特征分析与选取的问题;用学习到的特征结合相应的样本标签有监督训练softmax分类器;利用反向传播(BP)算法微调优化整个模型。采用塔里木河ETM+数据进行实验,基于SAE的水体提取方法准确率达到94.73%,比支持向量机(SVM)和反向传播(BP)神经网络方法分别高出3.28%和4.04%。实验结果表明,所提方法能有效提高水体提取的精度。     

深度卷积神经网络在计算机视觉中的应用研究综述

随着大数据时代的到来,含更多 隐含层的深度卷积神经网络(Convolutional neural networks, CNNs)具有更复杂的网络结构,与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的 成绩。本文首先简要介绍深度学习和卷积神经网络的兴起与展,概述卷积神经网络的基本模型结构、卷积特征提取和池化操作。然后综述了基于深度学习的卷积神经网络模型在图像分类、物体检测、姿态估计、图像分割和人脸识别等多个计算机视觉应用领域中的研究现状 和发展趋势,主要从典型的网络结构的构建、训练方法和性能表现3个方面进行介绍。最后对目前研究中存在的一些问题进行简要的总结和讨论,并展望未来发展的新方向。     

Using convolutional features and a sparse autoencoder for land-use scene classification

In this article, we propose a novel approach based on convolutional features and sparse autoencoder (AE) for scene-level land-use (LU) classification. This approach starts by generating an initial feature representation of the scenes under analysis from a deep convolutional neural network (CNN) pre-learned on a large amount of labelled data from an auxiliary domain. Then these convolutional features are fed as input to a sparse AE for learning a new suitable representation in an unsupervised manner. After this pre-training phase, we propose two different scenarios for building the classification system. In the first scenario, we add a softmax layer on the top of the AE encoding layer and then fine-tune the resulting network in a supervised manner using the target training images available at hand. Then we classify the test images based on the posterior probabilities provided by the softmax layer. In the second scenario, we view the classification problem from a reconstruction perspective. To this end we train several class-specific AEs (i.e. one AE per class) and then classify the test images based on the reconstruction error. Experimental results conducted on the University of California (UC) Merced and Banja-Luka LU public data sets confirm the superiority of the proposed approach compared to state-of-the-art methods.     

基于主动深度学习的高光谱影像分类

针对当前高光谱遥感影像分类人工标注样本费时费力,大量未标注样本未得到有效利用以及主要利用光谱信息而忽视空间信息等问题,提出了一种空-谱信息与主动深度学习相结合的高光谱影像分类方法。首先利用主成分分析对原始影像进行降维,在此基础上提取像素的一正方形小邻域作为该像素的空间信息并结合其原始光谱信息得到空谱特征。然后,通过稀疏自编码器得到原始数据的稀疏特征表达,并通过逐层无监督学习稀疏自编码器构建深度神经网络,输出原始数据的深度特征,将其连接到softmax分类器,利用少量标记样本以监督学习的方式完成模型的精调。最后,利用主动学习算法选择最不确定性样本对其进行标注,并加入至训练样本以提高分类器的分类效果。分别对PaviaU影像和PaviaC影像进行分类实验的结果表明,该方法在少量标记样本情况下,相对于传统方法能有效地提高分类精度。     

基于粒子群优化的深度神经网络分类算法

针对神经网络分类算法中节点函数不可导,分类精度不够高等问题,提出了一种基于粒子群优化(PSO)算法的深度神经网络分类算法.使用深度学习中的自动编码机,结合PSO算法优化权值,利用自动编码机对输入样本数据进行编解码,为提高网络分类精度,以编码机本身的误差函数和Softmax分类器的代价函数加权求和共同作为PSO算法的评价函数,使编码后的数据更加适应分类器.实验结果证明:与其他传统的神经网络相比,在邮件分类问题上,此分类算法有更高的分类精度.     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

Latent Space Representational Learning of Deep Features for Acute Lymphoblastic Leukemia Diagnosis

Acute Lymphoblastic Leukemia (ALL) is a fatal malignancy that is featured by the abnormal increase of immature lymphocytes in blood or bone marrow. Early prognosis of ALL is indispensable for the effectual remediation of this disease. Initial screening of ALL is conducted through manual examination of stained blood smear microscopic images, a process which is time-consuming and prone to errors. Therefore, many deep learning-based computer-aided diagnosis (CAD) systems have been established to automatically diagnose ALL. This paper proposes a novel hybrid deep learning system for ALL diagnosis in blood smear images. The introduced system integrates the proficiency of autoencoder networks in feature representational learning in latent space with the superior feature extraction capability of standard pretrained convolutional neural networks (CNNs) to identify the existence of ALL in blood smears. An augmented set of deep image features are formed from the features extracted by GoogleNet and Inception-v3 CNNs from a hybrid dataset of microscopic blood smear images. A sparse autoencoder network is designed to create an abstract set of significant latent features from the enlarged image feature set. The latent features are used to perform image classification using Support Vector Machine (SVM) classifier. The obtained results show that the latent features improve the classification performance of the proposed ALL diagnosis system over the original image features. Moreover, the classification performance of the system with various sizes of the latent feature set is evaluated. The retrieved results reveal that the introduced ALL diagnosis system superiorly compete the state of the art.     

无监督混阶栈式稀疏自编码器的图像分类学习

目前多数图像分类的方法是采用监督学习或者半监督学习对图像进行降维,然而监督学习与半监督学习需要图像携带标签信息。针对无标签图像的降维及分类问题,提出采用混阶栈式稀疏自编码器对图像进行无监督降维来实现图像的分类学习。首先,构建一个具有三个隐藏层的串行栈式自编码器网络,对栈式自编码器的每一个隐藏层单独训练,将前一个隐藏层的输出作为后一个隐藏层的输入,对图像数据进行特征提取并实现对数据的降维。其次,将训练好的栈式自编码器的第一个隐藏层和第二个隐藏层的特征进行拼接融合,形成一个包含混阶特征的矩阵。最后,使用支持向量机对降维后的图像特征进行分类,并进行精度评价。在公开的四个图像数据集上将所提方法与七个对比算法进行对比实验,实验结果表明,所提方法能够对无标签图像进行特征提取,实现图像分类学习,减少分类时间,提高图像的分类精度。     

Conditional variance penalties and domain shift robustness

Machine Learning - When training a deep neural network for image classification, one can broadly distinguish between two types of latent features of images that will drive the classification. We...     

Design and development of an indoor navigation system using denoising autoencoder based convolutional neural network for visually impaired people

A challenging area of research is the development of a navigation system for visually impaired people in an indoor environment such as a railway station, commercial complex, educational institution, and airport. Identifying the current location of the users can be a difficult task for those with visual impairments. The entire selection of the navigation path depends upon the current location of the user. This work presents a detailed analysis of the recent user positioning techniques and methodologies on the indoor navigation system based on the parameters, such as techniques, cost, the feasibility of implementation, and limitations. This paper presents a denoising auto encoder based on the convolutional neural network (DAECNN) to identify the present location of the users. The proposed approach uses the de-noising autoencoder to reconstruct the noisy image and the convolution neural network (CNN) to classify the users' current position. The proposed method is compared with the existing deep learning approaches such as deep autoencoder, sparse autoencoder, CNN, multilayer perceptron, radial basis function neural network, and the performances are analyzed. The experimental findings indicate that the DAECNN methodology works better than the existing classification approaches.