基于无效卷积核权值回退的神经网络优化方法

在神经网络模型训练过程中,存在部分卷积核退化为无效卷积核,在神经网络推理过程失去作用的问题。针对该问题,提出了一种仅使用单个模型就能在训练过程中激活无效卷积核,提高模型性能的方法。首先将初始模型训练至收敛时刻;然后通过L1正则和卷积核相关性两种方式衡量卷积核的有效性;最后将无效卷积核的权值回退到模型训练的初期阶段并对模型进行重训练。在CIFAR-10、CIFAR-100等图像分类的数据集上的实验结果表明,无论是在残差网络还是在轻量级网络上,提出的方法都能有效地恢复无效卷积核,提高神经网络模型精度。相比之前的方法,该方法在低代价下达到了最佳效果,在图像分类任务上平均提高了0.93%的准确率。     

基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能。提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,该方法能有效压缩网络模型规模并降低计算复杂度,尤其在SVHN数据集上,压缩后的VGG-16网络模型在参数量和浮点运算量分别减少97.3%和91.2%的情况下,图像分类准确率仅损失了0.57个百分点。     

基于Tensorflow对卷积神经网络的优化研究

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在[x]负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。     

降低参数规模的卷积神经网络模型压缩方法

针对卷积神经网络模型参数规模越来越大导致难以在计算与存储资源有限的嵌入式设备上大规模部署的问题,提出一种降低参数规模的卷积神经网络模型压缩方法。通过分析发现,卷积层参数量与输入输出特征图数量以及卷积核大小有关,而全连接层参数数量众多且难以大幅减少。通过分组卷积减少输入输出特征图数量,通过卷积拆分减小卷积核大小,同时采用全局平均池化层代替全连接层的方法来解决全连接层参数数量众多的问题。将上述方法应用于LeNet5和AlexNet进行实验,实验结果表明通过使用组合压缩方法对LeNet5模型进行最大压缩后,参数规模可减少97%,识别准确率降低了不到2个百分点,而压缩后的AlexNet模型参数规模可减少95%,识别准确率提高了6.72个百分点,在保证卷积神经网络精度的前提下,可大幅减少模型的参数量。     

面向图像目标识别的轻量化卷积神经网络

传统图像目标识别模型通常使用结构复杂、层数更深的神经网络以提升其在计算机视觉领域的准确率,但该类模型存在对计算机算力要求过高、占用内存较大、无法部署在手机等小型计算机上的问题。提出一种轻量化卷积神经网络ConcatNet,采用特征拼接的方式,通过多支路并行将通道注意力机制与深度可分离卷积相结合,在增强有效特征权重的基础上,降低模型的参数量和复杂度,实现网络的轻量化。在网络输出阶段,采用先筛选再混洗的方式提高模型的识别精度。利用全局平均池化和全局随机池化提取中间特征图的信息,其中全局平均池化可以较好地保留背景信息,全局随机池化按概率值选取特征,具有较强的泛化性,两者相结合能够减少信息的丢失。在CIFAR-10、CIFAR-100等数据集上的实验结果表明,与MobileNetV2等轻量化神经网络相比,ConcatNet网络在保持Top-1和Top-5精度相当的情况下,将参数量和计算复杂度均降低了约50%,极大降低了对承载设备的要求。     

基于改进卷积神经网络的电力通信网故障诊断研究

针对当前电力通讯网络故障诊断方法及时性差、准确率低和自我学习能力差等缺陷,提出基于改进卷积神经网络的电力通信网故障诊断方法,结合ReLU和Softplus两个激活函数的特点,对卷积神经网络原有激活函数进行改进,使其同时具备光滑性与稀疏性;采用ReLU函数作为作为卷积层与池化层的激活函数,改进激活函数作为全连接层激活函数的结构模型,基于小波神经网络模型对告警信息进行加权操作,得到不同告警类型和信息影响故障诊断和判定的权重,进一步提升故障诊断的准确率;最后通过仿真试验可以看出,改进卷积神经网络相较贝叶斯分类算法与卷积神经网络具有较高的准确率和稳定性,故障诊断准确率达到99.1%,准确率标准差0.915%,为今后电力通讯网智能化故障诊断研究提供一定的参考。     

基于改进的卷积神经网络的道路井盖缺陷检测研究

道路井盖缺陷检测对于道路维护与安全至关重要,论文提出了一种改进的卷积神经网络算法,可实现井盖缺陷的快速、准确检测。算法对卷积神经网络的激活函数模型进行了改进,针对Relu激活函数在输入小于零时输出设为零,导致部分缺陷信息丢失问题,设计了MReLu和BReLu两种改进激活函数。在此基础上,为了增强神经网络模型的特征表达能力,提出了双层激活函数模型。最后,在公共数据集MNIST,CIFAR-10上进行了比较实验,网络主要参数有批处理大小(batch size)为32,最大迭代次数为1000次,学习率为0.0001,每经过5000次迭代衰减50%。实验结果表明,基于改进后的激活函数和应用双层激活函数所构造的卷积神经网络,大大减少了训练参数,不仅收敛速度更快,而且可以更加有效地提高分类的准确率。     

基于改进的卷积神经网络光学薄膜缺陷识别

为对光学薄膜缺陷图像进行准确识别分类,提出一种基于改进的卷积神经网络光学薄膜缺陷图像识别方法。为突出输入图像中的缺陷信息,采用改进的LBP算法对图像进行预处理。从三个方面对传统的卷积神经网络进行改进:为了解决单通道卷积神经网络对图像特征提取不充分的问题,构建双通道卷积神经网络;改进传统的ReLU激活函数,避免模型出现欠拟合现象;使用支持向量机(SVM)代替Softmax分类器,提高计算效率和准确率。光学薄膜缺陷图像仿真识别实验表明,所提方法分类平均准确率高达93.2%,训练时间为964 s,充分验证了所提方法的鲁棒性和有效性。     

卷积神经网络中SPReLU激活函数的优化研究

由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将"S"型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Soft-plus三种激活函数优点,提出了一种新型激活函数SPReLU.实验结果表明,SPReLU函数在性能上优于其他激活函数,收敛速度快,能有效降低训练误差,缓解梯度消失和神经元死亡等问题,能够有效地提高文本分类模型的准确性.     

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法.设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小.使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情...     

基于信息融合策略的卷积神经网络剪枝方法

针对现有结构化剪枝方法过度依赖预训练模型和直接丢弃不重要卷积核的信息造成了明显的性能下降的问题,提出一种基于信息融合策略的卷积神经网络剪枝方法（APBM）,以较小精度损失降低模型复杂度、实现模型加速。首先APBM方法引入信息熵概念以表示卷积核的相似度分布,并使用分布之间的相对熵动态衡量卷积核的重要程度;同时在训练的前向传播中采用信息融合策略：融合非重要卷积核信息与重要卷积核信息,以减少剪枝过程中的信息损失和提高剪枝的容错性。在CIFAR10和CIFAR100数据集上进行验证和对比实验。实验结果表明：相对于HRank、Polarization、SWP等剪枝算法,APBM方法训练时间更少、模型压缩率更高,精度保持最佳。在基于CIFAR10的剪枝任务中,对VGG16和ResNet56分别剪掉92.74%和48.84%的参数量;在基于CIFAR100的剪枝任务中,对VGG16和ResNet56分别剪掉72.91%和44.18%的参数量。     

基于生成对抗网络的知识蒸馏数据增强

在图像分类和工业视觉检测过程中,缺陷样本量少导致神经网络分类器训练效率低及检测精度差,直接采用原始的离散标签又无法使网络分类器学习到不同类别间的相似度信息。针对上述问题,在区域丢弃算法的基础上,提出一种基于生成对抗网络的知识蒸馏数据增强算法。使用补丁对丢弃区域进行填补,减少区域丢弃产生的非信息噪声。在补丁生成网络中,保留生成对抗网络的编码器-解码器结构,利用编码器卷积层提取特征,通过解码器对特征图上采样生成补丁。在样本标签生成过程中,采用知识蒸馏算法中的教师-学生训练模式,按照交叉检验方式训练教师模型,根据教师模型生成的软标签对学生模型的训练进行指导,提高学生模型对特征的学习能力。实验结果表明,与区域丢弃算法相比,该算法在CIFAR-100、CIFAR-10数据集图像分类任务上的Top-1 Err、Top-5 Err分别降低3.1、0.8、0.5、0.6个百分点,在汽车转向器轴承数据集语义分割任务上的平均交并比和识别准确率分别提高2.8、2.3个百分点。     

一种并行不对称空洞卷积模块

构建卷积神经网络要耗费大量的人力资源,且训练过程中需要消耗大量的算力资源.利用空洞卷积代替卷积神经网络中的池化操作,能有效增加感受野,降低运算复杂度,但是空洞卷积会带来空间层次和信息连续性的丢失.本文提出了一种并行不对称空洞卷积模块,该模块能够补全空洞卷积所丢失的信息,可以嵌入到现有的卷积神经网络中,代替3×3卷积进行网络训练,从而加速网络的收敛,提高网络的性能.实验结果表明,利用本文所提出的并行不对称空洞卷积模块,可以显著提高不同网络在CIFAR-10等数据集上的分类效果.     

基于改进型C3D神经网络的动作识别技术

Facebook提出的C3D三维卷积神经网络虽然能达到良好的视频动作识别准确率,但是在速度方面还有很大的改进余地,而且训练得到的模型过大,不便于移动设备使用。本文利用小型卷积核能够减少参数的特点,对已有网络结构进行优化,提出一种新的动作识别方案,将原C3D神经网络常用的3×3×3卷积核分解成深度卷积和点卷积（1×1×1卷积核）,并且在UCF101数据集和ActivityNet数据集训练测试。结果表明,与原C3D网络进行对比：改进后的C3D网络准确率比C3D提升了2.4%,在速度方面比C3D提升了12.9%,模型大小压缩到原来的25.8%。     

基于Octave卷积的混合精度神经网络量化方法

浮点数位宽的深度神经网络需要大量的运算资源,这导致大型深度神经网络难以在低算力场景（如边缘计算）上部署。为解决这一问题,提出一种即插即用的神经网络量化方法,以压缩大型神经网络的运算成本,并保持模型性能指标不显著下降。首先,基于Octave卷积将输入特征图的高频和低频成分进行分离;其次,分别对高低频分量应用不同位宽的卷积核进行卷积运算;第三,使用不同位宽的激活函数将高低频卷积结果量化至相应位宽;最后,混合不同精度的特征图来获得该层卷积结果。实验结果证实了所提方法压缩模型的有效性,在CIFAR-10/100数据集上,将模型压缩至1+8位宽时,该方法可保持准确率指标的下降小于3个百分点;在ImageNet数据集上,使用该方法将ResNet50模型压缩至1+4位宽时,其正确率指标仍高于70%。     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

改进MobileNet的图像分类方法研究

针对神经网络结构的特征提取能力不足以及在包含复杂图像特征的数据集上分类准确率不高的问题,本文提出了一种对MobileNet神经网络的改进策略(L-MobileNet)。将原标准卷积形式替换为深度可分离卷积形式,并将深度卷积层得到的特征图执行取反操作,通过深度卷积融合层传递至下一层;采用Leaky ReLU激活函数代替原ReLU激活函数来保留图像中更多的正负特征信息,并加入类残差结构避免梯度弥散现象。与6种方法进行对比,实验结果表明:L-MobileNet在数据集Cifar-10、Cifar-100(coarse)、Cifar-100(fine)和Dogs vs Cats上平均准确率和最高准确率都取得了最佳结果。