基于反卷积特征提取的深度卷积神经网络学习

在深度卷积神经网络的学习过程中,卷积核的初始值通常是随机赋值的.另外,基于梯度下降法的网络参数学习法通常会导致梯度弥散现象.鉴于此,提出一种基于反卷积特征提取的深度卷积神经网络学习方法.首先,采用无监督两层堆叠反卷积神经网络从原始图像中学习得到特征映射矩阵;然后,将该特征映射矩阵作为深度卷积神经网络的卷积核,对原始图像进行逐层卷积和池化操作;最后,采用附加动量系数的小批次随机梯度下降法对深度卷积网络微调以避免梯度弥散问题.在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,所提出方法可有效提高图像分类精度.     

基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能。提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,该方法能有效压缩网络模型规模并降低计算复杂度,尤其在SVHN数据集上,压缩后的VGG-16网络模型在参数量和浮点运算量分别减少97.3%和91.2%的情况下,图像分类准确率仅损失了0.57个百分点。     

面向轻量级卷积网络的激活函数与压缩模型

因卷积神经网络参数膨胀,导致模型训练时占用大量的计算资源和存储资源,从而限制其在边缘终端上的应用。依据深度可分离卷积模型MobileNet V1的设计思路,结合自门控函数和ReLU函数的特点,构建一种改进的激活函数和压缩神经网络模型MobileNet-rhs。将ReLU函数和swish函数分别作为分段线性函数,设计激活函数ReLU-h-swish,通过优化卷积单元结构,解决模型训练过程中难以激活部分神经元的问题,以减少特征信息丢失。构建一种剔除卷积核的压缩模型,从模型深处自下而上剔除2ⁿ个卷积核,减少逐点卷积的参数量。在CIFAR-10和CIFAR-100数据集上进行实验,结果表明,引入ReLU-h-swish函数构建MobileNet-rhs模型的Top-1分类准确率为80.38%。相比MobileNet-rhs模型,压缩后MobileNet-rhs模型的参数量减少17.9%,其Top-1分类准确率仅降低2.28个百分点。此外,利用Tensorflow将该模型部署在安卓平台上,实现图像分类相册的应用。     

基于迭代训练和集成学习的图像分类方法

针对卷积神经网络提取特征信息不完整导致图像分类方法分类精度不高等问题,利用深度学习的方法搭建卷积神经网络模型框架,提出一种基于迭代训练和集成学习的图像分类方法。利用数据增强对图像数据集进行预处理操作,在提取图像特征时,采用一种迭代训练卷积神经网络的方式,得到充分有效的图像特征,在训练分类器时,采用机器学习中集成学习的思想。分别在特征提取后训练分类器,根据各分类器贡献的大小,赋予它们不同的权重值,取得比单个分类器更好的性能,提高图像分类的精度。该方法在Stanford Dogs、UEC FOOD-100和CIFAR-100数据集上的实验结果表明了其较好的分类性能。     

基于边缘检测的卷积核数量确定方法

针对卷积神经网络中卷积核数量多凭经验确定的问题,提出了一种统计图像边缘信息来确定卷积核数量的方法。首先,采用边缘检测算子对训练图像进行边缘检测,并依据卷积层的卷积核尺寸对边缘图像进行边缘块提取;然后,统计提取到的边缘块以获得边缘特征矩阵;最后,计算边缘特征矩阵各列的方差,将方差排序且归一化,选择方差较大部分边缘类型的个数作为卷积核数量。在Mnist和Chars74K数据集上的实验结果表明,本文方法能依数据集特点自适应地确定卷积核数量,构造的卷积神经网络模型大小适应于特定数据集,且能获得较高分类准确率。     

一种并行不对称空洞卷积模块

构建卷积神经网络要耗费大量的人力资源,且训练过程中需要消耗大量的算力资源.利用空洞卷积代替卷积神经网络中的池化操作,能有效增加感受野,降低运算复杂度,但是空洞卷积会带来空间层次和信息连续性的丢失.本文提出了一种并行不对称空洞卷积模块,该模块能够补全空洞卷积所丢失的信息,可以嵌入到现有的卷积神经网络中,代替3×3卷积进行网络训练,从而加速网络的收敛,提高网络的性能.实验结果表明,利用本文所提出的并行不对称空洞卷积模块,可以显著提高不同网络在CIFAR-10等数据集上的分类效果.     

基于高低维度特征融合的双通道卷积神经网络

为了充分利用图像中所隐藏的特征信息,提出将低级维度特征融合在全连接层,构建出融合了高低级维度特征的双通道卷积神经网络。首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,使提取得到的初级和高级特征图在全连接层上进行融合,融合后的数据输入到Softmax分类器进行分类。不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本文模型获得了较高的分类准确率。     

基于矩阵分解的卷积神经网络改进方法

针对传统卷积神经网络（CNN）在训练过程中优化难度高的问题,提出基于矩阵分解的CNN改进方法。首先,通过矩阵分解将模型卷积层在训练期间的卷积核参数张量转换为多个参数矩阵的乘积,形成过参数化;其次,将这些额外的线性参数加入网络的反向传播,并与模型的其他参数同步更新,以改善梯度下降的优化过程;完成训练后,将矩阵乘积重新还原为标准卷积核参数,从而使推理期间前向传播的计算复杂度与改进前保持一致。选用简化QR分解和简化奇异值分解（SVD）,在CIFAR-10数据集上进行分类效果实验,并用不同的图像分类数据集和初始化方式作进一步的泛化实验。实验结果表明,基于矩阵分解的VGG和残差网络（ResNet）对7个不同深度模型的分类准确率均高于原网络模型,可见矩阵分解方法可以让CNN更快地达到较高的分类准确率,最终收敛得到更好的局部最优。     

一种高精度微孔板浑浊度识别网络

提出一种基于卷积神经网络的高精度微孔板浑浊度分类算法。该算法主要将传统图像处理技术与卷积神经网络技术相结合,通过传统图像处理算法将圆孔从自然拍摄的微孔板图像中切割下来,并将切割下来的圆孔图像制作成圆孔数据集,用于网络模型的训练、评估和测试。同时,通过深度学习技术,设计并训练多个基于深度可分离卷积核的卷积神经网络模型,然后筛选出评估准确率最高的浑浊度分类模型,应用于圆孔识别系统,从而可提高研究人员的工作效率。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

Convolutional adaptive denoising autoencoders for hierarchical feature extraction

Convolutional neural networks (CNNs) are typical structures for deep learning and are widely used in image recognition and classification. However, the random initialization strategy tends to become stuck at local plateaus or even diverge, which results in rather unstable and ineffective solutions in real applications. To address this limitation, we propose a hybrid deep learning CNN-AdapDAE model, which applies the features learned by the AdapDAE algorithm to initialize CNN filters and then train the improved CNN for classification tasks. In this model, AdapDAE is proposed as a CNN pre-training procedure, which adaptively obtains the noise level based on the principle of annealing, by starting with a high level of noise and lowering it as the training progresses. Thus, the features learned by AdapDAE include a combination of features at different levels of granularity. Extensive experimental results on STL-10, CIFAR-10, andMNIST datasets demonstrate that the proposed algorithm performs favorably compared to CNN (random filters), CNNAE (pre-training filters by autoencoder), and a few other unsupervised feature learning methods.     

基于区域分解的快速卷积神经网络学习策略研究

为加快卷积神经网络的训练,该研究提出一种受区域分解方法启发的新型学习策略。将该方 法应用于残差网络(ResNet)进行图像分类时,使用 ResNet32 可获得最佳结果。进一步地,将 ResNet32 分成 4 个子网络,其中每个子网具有 0.47 M 参数,此为原始 ResNet32 的 1/16,从而简化了学习过程。 此外,由于可以并行训练子网络,因此在使用 CIFAR-10 数据集进行分类任务时,计算时间可以从 8.53 h (通过常规学习策略)减少到 5.65 h,分类准确性从 92.82％ 提高到 94.09％。CIFAR-100 和 Food-101 数 据集也实现了类似的改进。实验结果显示,所提出的学习策略可以大大减少计算时间,并提高分类的 准确性。这表明所提出的策略可以潜在地应用于训练带有大量参数的卷积神经网络。     

改进型的batch normalization:BNalpha

针对提高卷积神经网络(convolutional neural network,CNN)在图像识别方向的训练速度和识别准确率进行了研究.从BN(batch normalization)着手,通过新增参数对BN的仿射变换进行具体调节,并提出一种改进型的BN——BNalpha.除去带有某些特定结构的神经网络,相对于原始的BN,BNalpha可以在不增加运算复杂度的前提下,提升神经网络的训练速度和识别准确度.通过对BN仿射变换的参数进行分析和对比,尝试解释BN在网络中的运行机理,并以此说明BNalpha相对于BN的改进为何生效.最后通过CIFAR-10和CIFAR-100数据集以及不同类型的卷积神经网络结构对BNalpha和BN进行对比实验分析,实验结果表明BNalpha能够进一步提升训练速度和识别准确度.     

SRNET: A Shallow Skip Connection Based Convolutional Neural Network Design for Resolving Singularities

Convolutional neural networks (CNNs) have shown tremendous progress and performance in recent years. Since emergence, CNNs have exhibited excellent performance in most of classification and segmentation tasks. Currently, the CNN family includes various architectures that dominate major vision-based recognition tasks. However, building a neural network (NN) by simply stacking convolution blocks inevitably limits its optimization ability and introduces overfitting and vanishing gradient problems. One of the key reasons for the aforementioned issues is network singularities, which have lately caused degenerating manifolds in the loss landscape. This situation leads to a slow learning process and lower performance. In this scenario, the skip connections turned out to be an essential unit of the CNN design to mitigate network singularities. The proposed idea of this research is to introduce skip connections in NN architecture to augment the information flow, mitigate singularities and improve performance. This research experimented with different levels of skip connections and proposed the placement strategy of these links for any CNN. To prove the proposed hypothesis, we designed an experimental CNN architecture, named as Shallow Wide ResNet or SRNet, as it uses wide residual network as a base network design. We have performed numerous experiments to assess the validity of the proposed idea. CIFAR-10 and CIFAR-100, two well-known datasets are used for training and testing CNNs. The final empirical results have shown a great many of promising outcomes in terms of performance, efficiency and reduction in network singularities issues.

     

Deep topology network: A framework based on feedback adjustment learning rate for image classification

Convolutional Neural Network (CNN) has demonstrated its superior ability to achieve amazing accuracy in computer vision field. However, due to the limitation of network depth and computational complexity, it is still difficult to obtain the best classification results for the specific image classification tasks. In order to improve classification performance without increasing network depth, a new Deep Topology Network (DTN) framework is proposed. The key idea of DTN is based on the iteration of multiple learning rate feedback. The framework consists of multiple sub-networks and each sub-network has its own learning rate. After the determined iteration period, these learning rates can be adjusted according to the feedback of training accuracy, in the feature learning process, the optimal learning rate is updated iteratively to optimize the loss function. In practice, the proposed DTN framework is applied to several state-of-the-art deep networks, and its performance is tested by extensive experiments and comprehensive evaluations of CIFAR-10 and MNIST benchmarks. Experimental results show that most deep networks can benefit from the DTN framework with an accuracy of 99.5% on MINIST dataset, which is 5.9% higher than that on the CIFAR-10 benchmark.     

自动化张量分解加速卷积神经网络

近年来,卷积神经网络（CNN）展现了强大的性能,被广泛应用到了众多领域.由于CNN参数数量庞大,且存储和计算能力需求高,其难以部署在资源受限设备上.因此,对CNN的压缩和加速成为一个迫切需要解决的问题.随着自动化机器学习（AutoML）的研究与发展,AutoML对神经网络发展产生了深远的影响.受此启发,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN加速模型,有效地解决了张量分解中,人工选择秩带来的误差问题,能够有效地提升CNN的压缩和加速效果.通过在MNIST和CIFAR-10数据集上的严格测试,与原网络相比,在MNIST数据集上准确率稍微下降了0.35%,模型的运行时间获得了4.1倍的大幅提升;在CIFAR-10数据集上,准确率稍微下降了5.13%,模型的运行时间获得了0.8倍的大幅提升.     

面向运动想象脑电图识别的镜卷积神经网络

目的 脑电图（electroencephalogram,EEG）是一种灵活、无创、非侵入式的大脑监测方法,广泛应用于运动想象脑机接口系统中,运动想象脑电图识别精度是决定系统性能的关键因素。然而由于脑电图采集时间长、个体差异大等原因,导致单个受试者可用于模型训练的样本数量少,严重影响了卷积神经网络在脑电图识别任务中的表现。为此,本文提出一种镜卷积神经网络（mirror convolutional neural network,MCNN）模型,使用集成学习与数据扩增方法提高运动想象脑电图识别精度。方法 在训练阶段,基于源脑电通过互换左右侧脑电通道构造镜像脑电,并与源脑电一起用于源卷积网络训练,有效扩增了训练样本;在预测阶段,复制已训练源卷积网络作为镜像卷积网络,将测试集中的源脑电输入源卷积网络,构造的镜像脑电输入镜像卷积网络,集成源卷积网络与镜像卷积网络输出的类别预测概率,形成最终类别预测。结果 为了验证模型的有效性和通用性,基于3种不同运动想象脑电图识别卷积网络模型分别构造镜卷积网络,并在第4届脑机接口大赛2a与2b数据集上进行实验验证。实验结果与原始模型相比,运动想象四分类和二分类准确率分别平均提高了4.83%和4.61%,显著提高了识别精度。结论 本文面向运动想象脑电图识别,提出了镜卷积神经网络模型,通过集成学习与数据扩增方法提高运动想象识别精度,有效改善了运动想象脑机接口性能。     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络(CNN)在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution(SSSConv);该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。