基于残差的优化卷积神经网络服装分类算法

针对目前服装分类算法在解决多类别服装分类问题时分类精度一般的问题,提出了一种基于残差的优化卷积神经网络服装分类算法,在网络中使用了如下三种优化方法:(1)调整批量归一化层、激活函数层与卷积层在网络中的排列顺序;(2)"池化层+卷积层"的并行池化结构;(3)使用全局均值池化层替换全连接层。经过由香港中文大学多媒体实验室提供的多类别大型服装数据集(DeepFashion)和标准数据集CIFAR-10上的实验表明,所提出的网络模型在处理图片的速度和分类精度方面都优于VGGNet和AlexNet,且得到了目前为止已知的在DeepFashion数据集上最好的分类准确率。该网络也可以更好地应用于目标检测和图像分割领域。     

基于跨连卷积神经网络的性别分类模型

为提高性别分类准确率, 在传统卷积神经网络(Convolutional neural network, CNN)的基础上, 提出一个跨连卷积神经网络(Cross-connected CNN, CCNN)模型. 该模型是一个9层的网络结构, 包含输入层、6个由卷积层和池化层交错构成的隐含层、全连接层和输出层, 其中允许第2个池化层跨过两个层直接与全连接层相连接. 在10个人脸数据集上的性别分类实验结果表明, 跨连卷积网络的准确率均不低于传统卷积网络.     

基于中间图特征提取的卷积网络双标准剪枝

卷积神经网络（CNN）在计算和存储上存在大量开销,为了使CNN能够在算力和存储能力较弱的嵌入式等端设备上进行部署和运行,提出一种基于中间图特征提取的卷积核双标准剪枝方法。在卷积层后插入中间图互信息特征提取框架,分析卷积核的特征提取能力,结合批量归一化层的缩放因子对卷积核的综合重要性进行评估,获取更为稀疏的CNN模型。针对全连接层存在大量冗余节点的问题,提出一种基于节点相似度与K-means++聚类的全连接层剪枝方法,聚类相似度较高的节点,并对剪枝后的连接层权重进行融合,在一定程度上弥补因剪枝所造成的精度损失。在CIFAR10和CIFAR100数据集上的实验结果表明,使用该剪枝方法对ResNet56网络进行剪枝,在损失0.19%分类精度的情况下能够剪掉48.2%的参数量以及46.7%的浮点运算量,对于VGG16网络,能够剪掉94.5%的参数量以及64.4%的浮点运算量,分类精度仅下降0.01%。与VCNNP、PF等剪枝方法相比,所提剪枝方法能够在保持模型准确率几乎不变的情况下,对CNN的参数量和计算量进行更大比例的裁剪。     

基于深度卷积神经网络的心音分类算法

针对现有心音分类算法普适性差、依赖于对基本心音的精确分割、分类模型结构单一等问题,提出采用大量未经过精确分割的心音二维特征图训练深度卷积神经网络(CNN)的方法;首先采用滑动窗口方法和梅尔频率系数对心音信号进行预处理,得到大量未经过精确分割的心音特征图;然后利用深度CNN模型对心音特征图进行训练和测试;根据卷积层间连接方式的不同,设计了 3种深度CNN模型:基于单一连接的卷积神经网络、基于跳跃连接的卷积神经网络、基于密集连接的卷积神经网络;实验结果表明,基于密集连接的卷积神经网络比其他两种网络具备更大的潜力;与其他心音分类算法相比,该算法不依赖于对基本心音的精确分割,且在分类准确率、敏感性和特异性方面均有提升.     

基于卷积神经网络的图像隐写分析方法

为了提高卷积神经网络(CNN)在图像隐写分析领域的分类效果,构建了一个新的卷积神经网络模型（steganalysis-convolutional neural networks,S-CNN）进行隐写分析。该模型采用两层卷积层和两层全连接层,减少了卷积层的层数;通过在激活函数前增加批量正规化层对模型进行优化,避免了模型在训练过程中陷入过拟合;取消池化层,减少嵌入信息的损失,从而提高模型的分类效果。实验结果表明,相比传统的图像隐写分析方法,该模型减少了隐写分析步骤,并且具有较高的隐写分析准确率。     

联合中间层的深度卷积神经网络模型

针对当前卷积神经网络（Convolutional Neural Networks,CNN）模型通常将网络最后一层的输出作为特征表示,未能充分利用网络中间层的不足,提出了一种联合中间层的CNN模型（Intermediate Layers Connected-CNN,ILC-CNN）。该模型以AlexNet为基础,首先联合前、中、末端卷积层,通过深度连接方式连接;接着通过池化层、全连接层等操作得到描述图像的特征向量;通过辅助分类器训练方式保证了中间层特征的有效性,使模型得以成功训练。测试结果表明,该模型在图像分类与识别任务中效果显著,其提取的特征更具辨识度,具有比其他模型更高的识别精度。     

基于深度卷积神经网络End-to-End模型的亲属关系认证算法

针对如何利用人脸图像进行亲属关系认证的问题,提出基于深度卷积神经网络End-to-End模型的亲属关系认证算法.首先,构建一个包含卷积层、全连接层和soft-max分类层的深度卷积神经网络模型.卷积层可以提取亲子图像的隐性特征,全连接层可以将提取的隐性特征映射为亲属关系认证的二分类问题,soft-max分类层可以直接判断该对样本是否具有亲属关系.然后,将成对的标记训练数据输入网络进行迭代,优化深度网络模型参数,直至损失曲线稳定.最后,利用训练完毕的深度网络模型对输入测试图像对进行分类判决,通过统计得到最终的准确率.在KinFaceWI和KinFaceWII数据库上的结果显示,相比以往的亲属关系认证算法,文中模型具有更好的性能.     

基于深度度量学习的电机故障诊断

深度学习以其强大的自适应特征提取和分类能力在机械大数据处理方面取得了丰硕的成果，由于电机结构的复杂性，其信号表现出的非平稳、非线性和复杂多样等特点，使得传统分类方法中的Softmax分类器+交叉熵损失函数对电机故障诊断力不从心。根据电机信号非平稳、数据量大等特点，结合短时傅里叶变换(STFT)与深度学习中的卷积神经网络(CNN)算法和Triplet Loss三元组思想，提出了深度度量学习电机故障诊断方法。该方法能将电机故障信号转换成时频谱图，同时构建CNN，将预处理后的样本用于CNN的训练，采用Triplet Loss作为损失函数度量故障数据高维特征间的距离，并结合标签有监督地微调整个网络，从而实现准确的电机故障诊断。实验表明该方法在处理复杂数据时能够度量特征在高维空间中的距离，高效完成故障诊断任务，弥补了交叉熵函数的不足。     

全卷积神经网络的字符级文本分类方法

传统卷积神经网络文本分类模型全连接层参数过多易引发过拟合问题,为此,将图像分割中的全卷积思想首次引入字符级文本分类任务中,不仅避免了过拟合问题,而且通过卷积层替换全连接层减少了参数数量,从而加快了模型收敛速度。文本分类问题中单词、短语等层面的处理方式存在获取文本信息不充分的问题。使用字符级全卷积神经网络进行文本分类,充分获取文本信息,并在卷积池化层后添加局部响应归一化层（LRN）,提高了模型的总体性能。通过使用多指标在测试数据集中进行模型评估,充分验证了该模型的有效性,与其他模型相比,提出的模型在二分类与多分类任务中具有更好的分类性能。     

基于多尺度卷积核CNN的脑电情绪识别

针对传统的人工特征选取需要耗费大量时间和精力的问题,本文在传统卷积神经网络(convolutional neural networks,CNN)模型的基础上,提出了一种基于多尺度卷积核CNN的特征提取与分类方法,并在脑电情绪识别分类上进行了验证.本文首先进行了通道选择方面的研究,其次使用多尺度卷积核CNN模型对提取了微分熵(differential entropy feature,DE)特征的脑电数据进行情绪三分类实验,相比于传统的CNN模型,多尺度卷积核CNN模型在卷积层中采用多个尺度的卷积核,同时从高维度与低维度对脑电信号进行二次特征提取.实验结果表明,预处理数据在33通道的情绪分类平均准确率为89.72％,几乎接近全通道的平均准确率;多尺度卷积核CNN在微分熵特征上的情绪三分类取得了98.19％的平均分类准确率,实验结果证明了该模型的有效性和鲁棒性.     

基于改进CNN的年龄和性别识别

人脸图像的年龄和性别识别是人脸分析的重要任务,在真实多变场景下完成识别依然面临挑战。改进深度卷积神经网络（Convolutional Neural Network,CNN）,将首层大尺寸卷积核替换为级联3[×]3卷积核;采用跨连卷积层融合中层和高层抽象特征;加入Batch Normalization（BN）层,设置较高的学习率和较小的Dropout比率;采用1[×]1卷积核与全局平均池化（Global Average Pooling）取代全连接层。实验表明,所提方法与主流的年龄性别识别方法比较具有较好的识别率,在Adience数据集上,年龄识别精度达到89.8%,性别识别精度达到93.3%。     

基于高低维度特征融合的双通道卷积神经网络

为了充分利用图像中所隐藏的特征信息,提出将低级维度特征融合在全连接层,构建出融合了高低级维度特征的双通道卷积神经网络。首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,使提取得到的初级和高级特征图在全连接层上进行融合,融合后的数据输入到Softmax分类器进行分类。不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本文模型获得了较高的分类准确率。     

基于轻量级特征融合卷积网络的图像分类算法

传统卷积神经网络存在卷积核单一、网络结构复杂和参数冗余的问题。提出一种轻量级特征融合卷积神经网络MS-FNet。在融合模块中采用多路结构以增加卷积神经网络的宽度,通过不同尺寸的卷积核对输入特征图进行处理,提高网络在同一层中提取不同特征的能力,并在每次卷积后采用批归一化、ReLU等方法去除冗余特征。此外,使用卷积层代替传统的全连接层,从而加快模型的训练速度,缓解因参数过多造成的过拟合现象。实验结果表明,MS-FNet可在降低错误率的同时,有效减少网络参数量。     

无人机目标分类的深度卷积网络设计与优化

针对传统无人机目标分类方法效率低、特征提取能力不足和适应性差等问题,通过对无人机自身特点和现有分类方法的分析,提出了引入注意力机制优化深度卷积神经网络的无人机分类方法.设计多组对比实验,根据实验效果设计出模型结构为3层卷积层、3层池化层、2层全连接层的卷积神经网络进行训练,得到最优的无人机目标分类模型,再引入卷积注意力模块对特征图元素进行加强和抑制,引入批归一化层加速模型收敛,提升泛化能力.实验结果表明:引入卷积注意力模块和批归一化层优化后的无人机目标分类模型的识别率达到92.44％,较优化前提升1.5％,相比于其它神经网络模型具有识别率高、收敛速度快的优点,可以基本满足实际场景中无人机目标分类的要求.     

多重水印快速加密技术在图象深度传感器中的应用

本文研究了金融电子票据中高效率的快速多重数字水印加密在图象深度传感器中的应用方法,针对票据中的数字、签名等关键内容容易被篡改的问题,针对关键区域进行卷积神经网络的识别和水印加密。首先,利用卷积神经网络识别票据中的关键信息区域,以减少水印加密的运算数据量,提高金融票据自动处理效率。在传统的网络结构中,由于CNN的卷积池化操作,使得粗粒度和边缘信息丢失,CNN网络中最顶层的信息维度偏低,易导致过拟合。针对上述问题,本文提出利用票据图及其差分特征,构建适合CNN网络的多通道图像输入特征,充分挖掘图像内在特征;然后进一步改进传统的CNN网络结构,把所有卷积层的输出连接为一层,构成包含各层信息的融合特征,输入网络的全连接层进行分类识别。实验结果表明,改进后的CNN识别算法,相较传动CNN、DNN等算法,其性能均有明显提升,能够更加高效的进行多个关键区域的内容识别,从而高效的进行多重数字水印的加密,提高金融票据处理的安全性和运算效率。     

基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

Land-use scene classification based on a CNN using a constrained extreme learning machine

ABSTRACT

Classifying land-use scenes from high-resolution remote-sensing imagery with high quality and accuracy is of paramount interest for science and land management applications. In this article, we proposed a new model for land-use scene classification by integrating the recent success of convolutional neural network (CNN) and constrained extreme learning machine (CELM). In the model, the fully connected layers of a pretrained CNN have been removed. Then, CNN works as a deep and robust convolutional feature extractor. After normalization, deep convolutional features are fed to the CELM classifier. To analyse the performance, the proposed method has been evaluated on two challenging high-resolution data sets: (1) the aerial image data set consisting of 30 different aerial scene categories with sub-metre resolution and (2) a Sydney data set that is a large high spatial resolution satellite image. Experimental results show that the CNN-CELM model improves the generalization ability and reduces the training time compared to state-of-the-art methods.