基于残差的优化卷积神经网络服装分类算法

针对目前服装分类算法在解决多类别服装分类问题时分类精度一般的问题,提出了一种基于残差的优化卷积神经网络服装分类算法,在网络中使用了如下三种优化方法:(1)调整批量归一化层、激活函数层与卷积层在网络中的排列顺序;(2)"池化层+卷积层"的并行池化结构;(3)使用全局均值池化层替换全连接层。经过由香港中文大学多媒体实验室提供的多类别大型服装数据集(DeepFashion)和标准数据集CIFAR-10上的实验表明,所提出的网络模型在处理图片的速度和分类精度方面都优于VGGNet和AlexNet,且得到了目前为止已知的在DeepFashion数据集上最好的分类准确率。该网络也可以更好地应用于目标检测和图像分割领域。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于改进深度残差网络的低功耗表情识别

为了提高表情识别率并降低表情识别的功耗,提出一种基于改进深度残差网络的表情识别方法。残差学习在解决深度卷积神经网络退化问题、使网络层次大幅加深的同时,进一步增加了网络的功耗。为此,引入具有生物真实性的激活函数来代替已有的整流线性单元(Rectified Linear Units,ReLU)函数, 并将其作为卷积层激活函数对深度残差网络进行改进。该方法不仅提高了残差网络的精度,而且训练出的网络权重可直接作为与该深度残差网络具有相同结构的深度脉冲神经网络的权重。将该深度脉冲神经网络部署在类脑硬件上时,其能够以较高的识别率和较低的能耗进行表情识别。     

基于反卷积特征提取的深度卷积神经网络学习

在深度卷积神经网络的学习过程中,卷积核的初始值通常是随机赋值的.另外,基于梯度下降法的网络参数学习法通常会导致梯度弥散现象.鉴于此,提出一种基于反卷积特征提取的深度卷积神经网络学习方法.首先,采用无监督两层堆叠反卷积神经网络从原始图像中学习得到特征映射矩阵;然后,将该特征映射矩阵作为深度卷积神经网络的卷积核,对原始图像进行逐层卷积和池化操作;最后,采用附加动量系数的小批次随机梯度下降法对深度卷积网络微调以避免梯度弥散问题.在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,所提出方法可有效提高图像分类精度.     

一种基于并联卷积神经网络的InSAR相位滤波方法

为了提高InSAR干涉相位图的质量以及改善密集条纹区域的边缘信息保持效果,提出了一种基于并联卷积神经网络的InSAR相位滤波方法。该方法通过多个并联的卷积神经网络提取多尺度相位信息的特征层以及传统卷积神经网络结构的滤波层,将不连续跳变的干涉相位转换至连续的正、余弦分量,并送入到并联卷积网络中进行残差学习,最后输出相位残差并完成相位滤波。通过仿真实验与实测数据验证了该方法的有效性。分析结果表明,该方法的各项评价指标均优于Boxcar滤波、非局部均值滤波和Goldstein滤波,可用于实际的InSAR数据处理中,提高干涉相位质量。     

一种改进残差网络的服装图像识别模型

传统的服装多类别分类方法主要是人工提取图像的颜色、纹理、边缘等特征,这些人工选取特征方法过程繁琐且分类精度较低。深度残差网络可通过增加神经网络的深度获得较高的识别精度被广泛地应用于各个领域。为提高服装图像识别精度问题,提出一种改进深度残差网络模型：改进残差块中卷积层、调整批量归一化层与激活函数层中的排列顺序;引入注意力机制;调整网络卷积核结构。该网络结构在标准数据集Fashion-MNIST和香港中文大学多媒体实验室提供的多类别大型服装数据集（DeepFashion）上进行测试,实验结果表明,所提出的网络模型在服装图像识别分类精度上优于传统的深度残差网络。     

自适应融合残差网在图像分类中应用研究

针对卷积神经网络存在随着网络深度增加导致优化困难,识别正确率降低、泛化性能差等问题,在Res Net(残差网络)基础上,提出了一种基于softmax全连接自适应门控网络融合模型.该方法在隐层网络深度达到一定层数后,设置多种卷积核尺寸作为独立网络输出,通过softmax全连接门控网络输出各模型选择概率,融合多种卷积尺寸残差网输出作为模型最终输出.实验表明,本文提出的融合残差网络模型更适合于多类别、精细化数据集,与单网络模型相比,在训练集上具有更好的收敛性,在测试集上具有更好的泛化性能.     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

基于残差的改进卷积神经网络图像分类算法

现有深度残差网络作为一种卷积神经网络的变种,由于其良好的表现,被应用于各个领域,深度残差网络虽然通过增加神经网络深度获得了较高的准确率,但是在相同深度情况下,仍然有其他方式提升其准确率.本文针对深度残差网络使用了三种优化方法：（1）通过卷积网络进行映射实现维度填充;（2）构建基于SELU激活函数的残差模块（3）学习率随迭代次数进行衰减.在数据集Fashion-MNIST上测试改进后的网络,实验结果表明：所提出的网络模型在准确率上优于传统的深度残差网络.     

结合自注意力和残差的BiLSTM_CNN文本分类模型

双向长短期记忆网络（BiLSTM）和卷积神经网络（CNN）很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制（self_attention）和残差网络（ResNet）的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。     

基于迭代训练和集成学习的图像分类方法

针对卷积神经网络提取特征信息不完整导致图像分类方法分类精度不高等问题,利用深度学习的方法搭建卷积神经网络模型框架,提出一种基于迭代训练和集成学习的图像分类方法。利用数据增强对图像数据集进行预处理操作,在提取图像特征时,采用一种迭代训练卷积神经网络的方式,得到充分有效的图像特征,在训练分类器时,采用机器学习中集成学习的思想。分别在特征提取后训练分类器,根据各分类器贡献的大小,赋予它们不同的权重值,取得比单个分类器更好的性能,提高图像分类的精度。该方法在Stanford Dogs、UEC FOOD-100和CIFAR-100数据集上的实验结果表明了其较好的分类性能。     

基于深度残差网络和GRU的SqueezeNet模型的交通路标识别

Existing traffic road sign recognition methods are all based on convolutional neural networks. As the number of the model network layers increases, the recognition accuracy will also be improved, but there are still some problems such as the reduction of efficiency and the increase of the number of parameters. Therefore, an improved SqueezeNet model combining deep residual network with GRU neural network (SqueezeNet IR GRU) is proposed. In order to enhance the learning efficiency, ELU function is used as the activation function. To avoid the disappearance of gradients when the network layer is too deep, a deep residual network is introduced to guarantee the stability of the model, GRU neural network that can memorize the important past features is utilized. Experiments were performed on the Cafir 10 and GTSRB datasets, and their recognition accuracy rates are above 99.13% and 88.25%respectively. The experimental results show that the SqueezeNet IR GRU model not only reduces the parameter amount greatly, but also its convergence, stability and recall rate are all much better than others.     

基于高低维度特征融合的双通道卷积神经网络

为了充分利用图像中所隐藏的特征信息,提出将低级维度特征融合在全连接层,构建出融合了高低级维度特征的双通道卷积神经网络。首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,使提取得到的初级和高级特征图在全连接层上进行融合,融合后的数据输入到Softmax分类器进行分类。不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本文模型获得了较高的分类准确率。     

改进的卷积神经网络单幅图像超分辨率重建

针对经典的基于卷积神经网络的单幅图像超分辨率重建方法网络较浅、提取的特征少、重建图像模糊等问题，提出了一种改进的卷积神经网络的单幅图像超分辨率重建方法，设计了由密集残差网络和反卷积网络组成的新型深度卷积神经网络结构。原始低分辨率图像输入网络，利用密集残差学习网络获取更丰富的有效特征并加快特征梯度流动，其次通过反卷积层将图像特征上采样到目标图像大小，再利用密集残差学习高维特征，最后融合不同卷积核提取的特征得到最终的重建图像。在Set5和Set14数据集上进行了实验，并和Bicubic、K-SVD、SelfEx、SRCNN等经典重建方法进行了对比，重建出的图像在整体清晰度和边缘锐度方面更好，另外峰值信噪比（PSNR）平均分别提高了2.69?dB、1.68?dB、0.74?dB和0.61?dB。实验结果表明，该方法能够获取更丰富的细节信息，得到更好的视觉效果，达到了图像超分辨率的增强任务。     

糖尿病性视网膜图像的深度学习分类方法

目的 糖尿病性视网膜病变（DR）是目前比较严重的一种致盲眼病,因此,对糖尿病性视网膜病理图像的自动分类具有重要的临床应用价值。基于人工分类视网膜图像的方法存在判别性特征提取困难、分类性能差、耗时费力且很难得到客观统一的医疗诊断等问题,为此,提出一种基于卷积神经网络和分类器的视网膜病理图像自动分类系统。方法 首先,结合现有的视网膜图像的特点,对图像进行去噪、数据扩增、归一化等预处理操作;其次,在AlexNet网络的基础上,在网络的每一个卷积层和全连接层前引入一个批归一化层,得到一个网络层次更复杂的深度卷积神经网络BNnet。BNnet网络用于视网膜图像的特征提取网络,对其训练时采用迁移学习的策略利用ILSVRC2012数据集对BNnet网络进行预训练,再将训练得到的模型迁移到视网膜图像上再学习,提取用于视网膜分类的深度特征;最后,将提取的特征输入一个由全连接层组成的深度分类器将视网膜图像分为正常的视网膜图像、轻微病变的视网膜图像、中度病变的视网膜图像等5类。结果 实验结果表明,本文方法的分类准确率可达0.93,优于传统的直接训练方法,且具有较好的鲁棒性和泛化性。结论 本文提出的视网膜病理图像分类框架有效地避免了人工特征提取和图像分类的局限性,同时也解决了样本数据不足而导致的过拟合问题。     

基于轻量自动残差缩放网络的图像超分辨率重建

近年来,由于深度卷积神经网络的出色性能,深度学习已成为图像超分辨率领域的研究热点,已经有许多具有很深结构的大型模型被提出。而在实际应用中,普通个人计算机或智能终端的硬件显然不适合大规模深度神经网络模型。提出了一种针对单幅图像超分辨率且具有自动残差缩放功能的轻量级网络(ARSN),与许多基于深度学习的方法相比,它的层和参数更少。此外,该网络中有特殊的残差块和跳跃连接用来进行残差缩放以及全局和局部残差学习。根据测试数据集结果,该网络在重建质量和运行速度上都达到了非常优异的性能。所提出的网络在性能、速度和硬件消耗方面均取得了良好的效果,具有较高的实用价值。     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务。通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果。但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题。提出一种新的模型,利用双向长短时记忆网络（Bi_LSTM）和卷积神经网络（CNN）混合提取文本的上下文语义信息和局部特征信息去丰富图卷积网络（GCN）的文本表示,从而弥补图卷积网络的不足,同时使用图池化层筛选出重要节点帮助卷积神经网络捕获文本深层局部特征信息,使得模型能更好的表示文本信息。通过在3个英文数据集上的实验结果表明,该模型相比于基线模型有较好的分类效果。