卷积神经网络模型发展及应用

深度学习是机器学习和人工智能研究的最新趋势,作为一个十余年来快速发展的崭新领域,越来越受到研究者的关注.卷积神经网络(CNN)模型是深度学习模型中最重要的一种经典结构,其性能在近年来深度学习任务上逐步提高.由于可以自动学习样本数据的特征表示,卷积神经网络已经广泛应用于图像分类、目标检测、语义分割以及自然语言处理等领域....     

基于卷积神经网络的图像隐写分析方法

为了提高卷积神经网络(CNN)在图像隐写分析领域的分类效果,构建了一个新的卷积神经网络模型（steganalysis-convolutional neural networks,S-CNN）进行隐写分析。该模型采用两层卷积层和两层全连接层,减少了卷积层的层数;通过在激活函数前增加批量正规化层对模型进行优化,避免了模型在训练过程中陷入过拟合;取消池化层,减少嵌入信息的损失,从而提高模型的分类效果。实验结果表明,相比传统的图像隐写分析方法,该模型减少了隐写分析步骤,并且具有较高的隐写分析准确率。     

深度卷积神经网络的X射线焊缝缺陷研究

针对X射线焊缝的缺陷识别难度较高且难以分类这一问题,在典型CUDA-CONVNET卷积神经网络(CNN)的基础上,改进并设计了一种深度CNN结构.以图像预处理作为基础,在保证最大限度提取原始图像的焊缝特征的前提下,对CNN的层次架构及参数设定开展了研究;通过与支持向量机(SVM)识别算法对比,进一步评估提出的深度学习方式,研究结果表明:改进后的深度CNN结构及其算法对于大样本的图像特征表达与识别能力有一定的优势,运算样本与错误率成反比,网络结构具有较高的图像分类识别正确率.     

RMFS-CNN：遥感图像分类深度学习新框架

现有卷积神经网络（convolutional neural network,CNN）利用卷积层和激活函数的叠加,构建复杂非线性函数拟合输入数据到输出标签的转换关系,这种端到端的学习方式严重影响了CNN特征图与先验知识的融合,导致其对训练样本数量和质量敏感,同时增加了CNN特征图可解释性难度。本文从深度学习建模方式角度出发,以遥感图像特征表达及其可解释性为切入点,搭建传统遥感图像先验知识与CNN的桥梁,分析阐述了黎曼流形特征空间（Riemannian manifold feature space,RMFS）对CNN可解释性、特征演化规律等方面的促进作用;提出融合CNN与RMFS构建RMFS-CNN遥感图像分类新框架,以RMFS为特征过渡平台,一方面利用其线性特征分布规律降低CNN对传统图像特征的学习难度,另一方面定义能够突显图像先验知识的表达范式,提高CNN对可解释性特征的学习能力,以达到利用RMFS对先验知识（特征）表达的优异性能提高CNN遥感图像分类特征利用效率的目的;以RMFS特征表达范式为基础定义控制CNN特征学习偏好的损失函数,进而发展具有良好特征解释性的CNN分类模型及可控的模型训练方法;最后指出构建RMFS-CNN分类框架的可行性及该框架对遥感图像分类和深度学习理论发展方面的理论贡献与应用价值。     

基于深度代价敏感CNN的年龄估计算法

针对年龄估计中样本数量不平衡及不同类间发生误分类时付出代价不同的问题,将代价敏感性嵌入深度学习框架中,提出基于深度代价敏感CNN的年龄估计算法.首先为每个年龄类别分别建立损失函数,解决训练样本的不平衡问题.然后,定义代价向量以反映不同类之间发生误分类而付出的代价差异性,构造逆交叉熵误差函数.最后,融合上述方法,为卷积神经网络(CNN)构造一个损失函数,使CNN在训练阶段学习针对年龄估计的鲁棒人脸表征.在不同种族的年龄估计标准图像集上的实验验证文中算法的有效性.     

图像分类卷积神经网络的特征选择模型压缩方法

深度卷积神经网络(convolutional neural networks, CNN)作为特征提取器(feature extractor, CNN--FE)已被广泛应用于许多领域并获得显著成功. 根据研究评测可知CNN--FE具有大量参数, 这大大限制了CNN--FE在如智能手机这样的内存有限的设备上的应用. 本文以AlexNet卷积神经网络特征提取器为研究对象, 面向图像分类问题, 在保持图像分类性能几乎不变的情况下减少CNN--FE模型参数量. 通过对AlexNet各层参数分布的详细分析, 作者发现其全连接层包含了大约99%的模型参数, 在图像分类类别较少的情况, AlexNet提取的特征存在冗余. 因此, 将CNN--FE模型压缩问题转化为深度特征选择问题, 联合考虑分类准确率和压缩率, 本文提出了一种新的基于互信息量的特征选择方法, 实现CNN--FE模型压缩. 在公开场景分类数据库以及自建的无线胶囊内窥镜(wireless capsule endoscope, WCE)气泡图片数据库上进行图像分类实验. 结果表明本文提出的CNN--FE模型压缩方法减少了约83%的AlexNet模型参数且其分类准确率几乎保持不变.     

图像分类卷积神经网络的特征选择模型压缩方法（英文）

深度卷积神经网络(convolutional neural networks,CNN)作为特征提取器(feature extractor,CNN-FE)已被广泛应用于许多领域并获得显著成功.根据研究评测可知CNN-FE具有大量参数,这大大限制了CNN-FE在如智能手机这样的内存有限的设备上的应用.本文以AlexNet卷积神经网络特征提取器为研究对象,面向图像分类问题,在保持图像分类性能几乎不变的情况下减少CNN-FE模型参数量.通过对AlexNet各层参数分布的详细分析,作者发现其全连接层包含了大约99%的模型参数,在图像分类类别较少的情况,AlexNet提取的特征存在冗余.因此,将CNN-FE模型压缩问题转化为深度特征选择问题,联合考虑分类准确率和压缩率,本文提出了一种新的基于互信息量的特征选择方法,实现CNN-FE模型压缩.在公开场景分类数据库以及自建的无线胶囊内窥镜(wireless capsule endoscope,WCE)气泡图片数据库上进行图像分类实验.结果表明本文提出的CNN-FE模型压缩方法减少了约83%的AlexNet模型参数且其分类准确率几乎保持不变.     

基于循环卷积神经网络的单目视觉里程计

提出了一种基于卷积长短期记忆(LSTM)网络和卷积神经网络(CNN)的单目视觉里程计方法,命名为LSTMVO(LSTM visual odometry).LSTMVO采用无监督的端到端深度学习框架,对单目相机的6-DoF位姿以及场景深度进行同步估计.整个网络框架包含位姿估计网络以及深度估计网络,其中位姿估计网络是以端到端方式实现单目位姿估计的深度循环卷积神经网络(RCNN),由基于卷积神经网络的特征提取和基于循环神经网络(RNN)的时序建模组成,深度估计网络主要基于编码器和解码器架构生成稠密的深度图.同时本文还提出了一种新的损失函数进行网络训练,该损失函数由图像序列之间的时序损失、深度平滑度损失和前后一致性损失组成.基于KITTI数据集的实验结果表明,通过在原始单目RGB图像上进行训练,LSTMVO在位姿估计精度以及深度估计精度方面优于现有的主流单目视觉里程计方法,验证了本文提出的深度学习框架的有效性.     

基于卷积神经网络的遥感图像分类研究

遥感图像分类是模式识别技术在遥感领域的具体应用,针对遥感图像处理中的分类问题,提出了一种基于卷积神经网络(convolutional neural networks,CNN)的遥感图像分类方法,并针对单源特征无法提供有效信息的问题,设计了一种多源多特征融合的方法,将遥感图像的光谱特征、纹理特征、空间结构特征等按空间维度以向量或矩阵的形式进行有效融合,以此训练CNN模型。实验表明,多源多特征相融合能够加快模型收敛速度,有效提高遥感图像的分类精度;与其他分类方法相比,CNN能够取得更高的分类精度,获得更优的分类效果。     

融合关系特征的半监督图像分类方法研究

半监督深度学习模型具有泛化能力强,所需样本数较少等特点,经过10多年的发展,在理论和实际应用方面都取得了巨大的进步,然而建模样本内部“隐含”关系时模型缺乏解释性以及构造无监督正则化项难度较大等问题限制了半监督深度学习的进一步发展。针对上述问题,从丰富样本特征表示的角度出发,构造了一种新的半监督图像分类模型—融合关系特征的半监督分类模型（semi-supervised classification model fused with relational features,SCUTTLE）,该模型在卷积神经网络模型(convolutional neural networks,CNN)基础上引入了图卷积神经网络(graph convolutional networks,GCN),尝试通过GCN模型来提取CNN模型各层的低、高级特征间的关系,使得融合模型不仅具有特征提取能力,而且具有关系表示能力。通过对SCUTTLE模型泛化性能进行分析,进一步说明了该模型在解决半监督相关问题时的有效性。数值实验结果表明,三层CNN与一层GCN的融合模型在CIFAR10、CIFAR100、SVHN 3种数据集上与CNN监督学习模型的精度相比均可提升5%~6%的精度值,在最先进的ResNet、DenseNet、WRN（wide residual networks）与GCN的融合模型上同样证明了本文所提模型的有效性。     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络(CNN)在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution(SSSConv);该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

基于卷积神经网络的图像分类算法综述

卷积神经网络（CNN）是目前基于深度学习的计算机视觉领域中重要的研究方向之一。它在图像分类和分割、目标检测等的应用中表现出色,其强大的特征学习与特征表达能力越来越受到研究者的推崇。然而,CNN仍存在特征提取不完整、样本训练过拟合等问题。针对这些问题,介绍了CNN的发展、CNN经典的网络模型及其组件,并提供了解决上述问题的方法。通过对CNN模型在图像分类中研究现状的综述,为CNN的进一步发展及研究方向提供了建议。     

基于深度度量学习的电机故障诊断

深度学习以其强大的自适应特征提取和分类能力在机械大数据处理方面取得了丰硕的成果，由于电机结构的复杂性，其信号表现出的非平稳、非线性和复杂多样等特点，使得传统分类方法中的Softmax分类器+交叉熵损失函数对电机故障诊断力不从心。根据电机信号非平稳、数据量大等特点，结合短时傅里叶变换(STFT)与深度学习中的卷积神经网络(CNN)算法和Triplet Loss三元组思想，提出了深度度量学习电机故障诊断方法。该方法能将电机故障信号转换成时频谱图，同时构建CNN，将预处理后的样本用于CNN的训练，采用Triplet Loss作为损失函数度量故障数据高维特征间的距离，并结合标签有监督地微调整个网络，从而实现准确的电机故障诊断。实验表明该方法在处理复杂数据时能够度量特征在高维空间中的距离，高效完成故障诊断任务，弥补了交叉熵函数的不足。     

基于卷积神经网络的机械故障诊断技术综述

针对传统机械故障诊断方法难以解决人工提取不确定性的问题,提出了大量深度学习的特征提取方法,极大地推动了机械故障诊断的发展。作为深度学习的典型代表,卷积神经网络（CNN）在图像分类、目标检测、图像语义分割等领域都取得了重大的发展,在机械故障诊断领域也有大量文献发表。为了进一步了解利用CNN的方法进行机械故障诊断的问题,首先简单介绍了CNN的相关理论,然后从数据输入类型、迁移学习、预测等方面对CNN在机械故障诊断中的应用进行了归纳总结,最后展望了CNN及其在机械故障诊断应用中的发展方向。     

基于深度学习的鱼类分类算法研究

回顾近年来国内外对鱼类分类的研究进展,指出传统方法存在的缺陷。深度学习是目前图像分类的主流方法。研究基于卷积神经网络CNN(Convolutional Neural Network)的鱼类分类模型,并以该模型为基础,进一步提出利用迁移学习,以预训练网络的特征结合SVM算法(Pre CNN+SVM)的混合分类模型。实验以Fish4-Knowledge(F4 K)作为数据集,使用Tensor Flow训练网络模型。实验结果表明,利用Pre CNN+SVM算法,取得了98.6%的准确率,较传统方法有显著提高。对于小规模数据集,有效解决了需要人工提取特征的不可迁移性。     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

基于图像融合的表情识别研究

为提高表情识别精度,结合传统的深度卷积神经网络,提出一种基于深度度量融合算法的表情识别模型。首先通过DCNN(Dynamic Convolution Neural Network,深度卷积神经网络)模块对人脸图像特征进行学习,然后同步优化Softmax分类损失函数和三元组损失函数。在三元组损失函数优化方面,提出一种对称三元组损失函数Lw,以避免不完整判断问题,最后以CK+等作为数据来源,通过上述模型对表情进行识别。结果表明,本改进的表情识别方法,可有效辨识高兴、厌恶和藐视等表情,但对恐惧、生气等表情识别精度不高;与其他表情识别算法相比,本识别算法识别精度最高,达到97.86%,具有很大识别优势。     

基于小波分解卷积神经网络的病理图像分类

组织病理图像分析是癌症诊断的"金标准",在患者的预后治疗中起到至关重要的作用.目前在AI医学影像领域,利用CNN(Convolutional Neural Network)网络对数字病理图像的分类已经成为研究热点.但是传统CNN网络中广泛使用最大/平均池化(Max/Average pooling)模块,不可避免的丢失了大量病理图像中的特征信息,造成分类准确率低且模型不易收敛.因此,本文提出一种基于小波分解卷积神经网络的病理图像分类方法(Wavelet Decomposition Convolutional Neural Networks,WDCNN),该方法能够使传统CNN模型学习到频域信息,它将小波变换的多尺度分析引入到CNN模型中,利用小波分解代替传统的池化层,相比于最大值和平均值池化减少了特征的丢失.鉴于空域与频域具有不同的特性,将小波分解后的高频分量通过捷径连接的方式添加到下一层,弥补了在池化过程中丢失的细节特征信息.本文在Camelyon16数据集上评估了不同的池化方法和不同小波基函数在病理图像分类方面的性能.根据实验结果表明,引入小波分解的CNN模型能够提升网络的分类准确率.     

并行交叉的深度卷积神经网络模型

目的 图像分类与识别是计算机视觉领域的经典问题,是图像检索、目标识别及视频分析理解等技术的基础。目前,基于深度卷积神经网络(CNN)的模型已经在该领域取得了重大突破,其效果远远超过了传统的基于手工特征的模型。但很多深度模型神经元和参数规模巨大,训练困难。为此根据深度CNN模型和人眼视觉原理,提出并设计了一种深度并行交叉CNN模型(PCCNN模型)。方法 该模型在Alex-Net基础上,通过两条深度CNN数据变换流,提取两组深度CNN特征;在模型顶端,经过两次混合交叉,得到1024维的图像特征向量,最后使用Softmax回归对图像进行分类识别。结果 与同类模型相比,该模型所提取的特征更具判别力,具有更好的分类识别性能;在Caltech101上top1识别精度达到63%左右,比VGG16高出近5%,比GoogLeNet高出近10%;在Caltech256上top1识别精度达到46%以上,比VGG16高出近5%,比GoogLeNet高出2.6%。结论 PCCNN模型用于图像分类与识别效果显著,在中等规模的数据集上具有比同类其他模型更好的性能,在大规模数据集上其性能有待于进一步验证;该模型也为其他深度CNN模型的设计提供了一种新的思路,即在控制深度的同时,提取更多的特征信息,提高深度模型性能。     

深度卷积神经网络在计算机视觉中的应用研究综述

随着大数据时代的到来,含更多 隐含层的深度卷积神经网络(Convolutional neural networks, CNNs)具有更复杂的网络结构,与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的 成绩。本文首先简要介绍深度学习和卷积神经网络的兴起与展,概述卷积神经网络的基本模型结构、卷积特征提取和池化操作。然后综述了基于深度学习的卷积神经网络模型在图像分类、物体检测、姿态估计、图像分割和人脸识别等多个计算机视觉应用领域中的研究现状 和发展趋势,主要从典型的网络结构的构建、训练方法和性能表现3个方面进行介绍。最后对目前研究中存在的一些问题进行简要的总结和讨论,并展望未来发展的新方向。