卷积神经网络混合截断量化

量化是压缩卷积神经网络、加速卷积神经网络推理的主要方法.现有的量化方法大多将所有层量化至相同的位宽,混合精度量化则可以在相同的压缩比下获得更高的准确率,但寻找混合精度量化策略是很困难的.为解决这种问题,提出了一种基于强化学习的卷积神经网络混合截断量化方法,使用强化学习的方法搜索混合精度量化策略,并根据搜索得到的量化策略混合截断权重数据后再进行量化,进一步提高了量化后网络的准确率.在ImageNet数据集上测试了ResNet18/50以及MobileNet-V2使用此方法量化前后的Top-1准确率,在COCO数据集上测试了YOLOV3网络量化前后的mAP.与HAQ, ZeroQ相比, MobileNet-V2网络量化至4位的Top-1准确率分别提高了2.7%和0.3%;与分层量化相比, YOLOV3网络量化至6位的mAP提高了2.6%.     

基于权重关联性的卷积神经网络模型剪枝方法

模型剪枝是深度学习领域对模型进行压缩加速的一种有效方法.目前结构化的剪枝方法仅对整个过滤器的权重进行评估,但当一个过滤器被移除后,依赖过滤器而存在的关联权重也会被移除,现有的方法并没有考虑这部分权重的重要性,忽略了权重关联性.同时,通过试错的方式来得到每层的剪枝比例,工作量较大.针对上述问题,本文提出一种基于权重关联性...     

基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能.提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器.在CIFAR-10、CIFAR-...     

基于字典学习的卷积神经网络压缩方法

为解决深度卷积神经网络模型占用存储空间较大的问题,提出一种基于K-SVD字典学习的卷积神经网络压缩方法。用字典中少数原子的线性组合来近似表示单个卷积核的参数,对原子的系数进行量化,存储卷积核参数时,只须存储原子的索引及其量化后的系数,达到模型压缩的目的。在MNIST数据集上对LeNet-C5和CIFAR-10数据集上对DenseNet的压缩实验结果表明,在准确率波动不足0.1%的情况下,将网络模型占用的存储空间降低至12%左右。     

基于均方误差的8位深度神经网络量化

为模型量化后具有更高的准确度,提出以量化均方误差(QMSE)为指标的确定量化系数的方法,针对量化后性能损失严重的小型网络,进一步提出更新统计参数(USP)的方法。QMSE将量化过程中的舍入和截断操作产生的噪声相结合,以此作为选取合适量化系数的指标;USP通过更新批次归一化层中的均值和方差,矫正模型量化产生的均值和方差偏移。实验结果表明,在不进行重训练的情况下,使用QMSE+USP对常见的深度神经网络量化,模型性能优于其它算法。     

基于通道剪枝和量化的卷积神经网络压缩方法

为提升辅助维修技术在实际工程应用中的性能,解决嵌入式设备性能有限,难以实现实时物体识别任务这一问题,以提高轻量级卷积神经网络在嵌入式平台中的识别速度为目标,提出一种基于通道剪枝和量化的综合卷积神经网络压缩方法.以MobileNet V3模型进行实验,其结果表明,该卷积神经网络压缩方法有效压缩了网络结构,在识别精度损失可接受的情况下,实现了目标物体在嵌入式平台上的实时识别.     

基于残差量化卷积神经网络的人脸识别方法

针对大规模人脸识别问题,基于残差学习的超深卷积神经网络模型能取得比其他方法更高的识别精度,然而模型中存在的海量浮点参数需要占用大量的计算和存储资源,无法满足资源受限的场合需求.针对这一问题,本文设计了一种基于网络参数量化的超深残差网络模型.具体在Face-ResNet模型的基础上,增加了批归一化层和dropout层,加深了网络层次,对网络模型参数进行了二值量化,在模型识别精度损失极小的情况下,大幅压缩了模型大小并提升了计算效率.通过理论分析与实验验证了本文设计方法的有效性.     

面向移动平台的轻量级卷积神经网络架构

针对深度神经网络在移动平台上存在准确度低、过拟合等问题,提出一种轻量级的卷积神经网络架构。将3×3的深度可分离卷积替换SqueezeNet网络模型基本模块Fire中的标准3×3卷积核,并构建SparkNet的网络结构,替换模型卷积得到网络变形结构。实验结果表明,与SqueezeNet网络结构相比,该架构可以提高网络模型的计算速度,有效降低网络模型规模并减少参数数量。     

基于FPGA的卷积神经网络定点加速

针对卷积神经网络（CNN）在资源受限的硬件设备上运行功耗高及运行慢的问题，提出一种基于现场可编程门阵列（FPGA）的CNN定点计算加速方法。首先提出一种定点化方法，并且每层卷积设计不同的尺度参数，使用相对散度确定位宽的长度，以减小CNN参数的存储空间，而且研究不同量化区间对CNN精度的影响；其次，设计参数复用方法及流水线计算方法来加速卷积计算。为验证CNN定点化后的加速效果，采用了人脸和船舶两个数据集进行验证。结果表明，相较于传统的浮点卷积计算，所提方法在保证CNN精度损失很小的前提下，当权值参数和输入特征图参数量化到7-bit时，在人脸识别CNN模型上的压缩后的权重参数文件大小约为原来的22%，卷积计算加速比为18.69，同时使FPGA中的乘加器的利用率达94.5%。实验结果表明了该方法可以提高卷积计算速度，并且能够高效利用FPGA硬件资源。     

基于深度卷积自编码神经网络的手写数字识别研究

针对提高不同笔体下的手写识别准确率进行了研究,将深度卷积神经网络与自动编码器相结合,设计卷积自编码器网络层数,形成深度卷积自编码神经网络。首先采用双线性插值方法分别对MNIST数据集与一万幅自制中国大学生手写数字图片进行图像预处理,然后先使用单一MNIST数据集对深度卷积自编码神经网络进行训练与测试;最后使用MNIST与自制数据集中5 000幅混合,再次训练该网络,对另外5 000幅进行测试。实验数据表明,所提深度卷积自编码神经网络在MNIST测试集正确率达到99.37%,有效提高了准确率;且5 000幅自制数据集模型测试正确率达99.33%,表明该算法实用性较强,在不同笔体数字上得到了较高的识别准确率,模型准确有效。     

深度卷积神经网络的汽车车型识别方法

针对现有汽车车型识别方法计算量大、提取特征复杂等问题,提出一种基于深度卷积神经网络的汽车车型识别方法。该方法借助于深度学习,对经典的卷积神经网络做出改进并得到由多个卷积层和次抽样层构成的深度卷积神经网络。根据五种车型的分类结果,表明该方法在识别率方面较传统方法有明显的提高。实验还研究了网络层数、卷积核大小、特征维数对深度卷积神经网络的性能和识别率的影响。     

基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

基于卷积神经网络和贝叶斯分类器的句子分类模型

针对传统句子分类模型存在特征提取过程复杂且分类准确率较低等不足,利用当下流行的基于深度学习模型的卷积神经网络在特征提取上的优势,结合传统句子分类方法提出一种基于卷积神经网络和贝叶斯分类器的句子分类模型。该模型首先利用卷积神经网络提取文本特征,其次利用主成分分析法对文本特征进行降维,最后利用贝叶斯分类器进行句子分类。实验结果表明在康奈尔大学公开的影评数据集和斯坦福大学情感分类数据集上,所提出的方法优于只使用深度学习的模型或传统句子分类模型。     

糖尿病性视网膜图像的深度神经网络分类方法

针对传统的视网膜图像处理步骤复杂、泛化性差、缺少完整的自动识别系统等问题,提出了一套完整的基于深度神经网络的视网膜图像自动识别系统。首先,对图像进行去噪、归一化、数据扩增等预处理;然后,设计了紧凑的神经网络模型——CompactNet,CompactNet继承了AlexNet的浅层结构参数,深层网络参数则根据训练数据进行自适应调整;最后,针对不同的训练方法和不同的网络结构进行了性能测试。实验结果表明,CompactNet网络的微调方法要优于传统的网络训练方法,其分类指标可以达到0.87,与传统直接训练相比高出0.27;对于LeNet,AlexNet和CompactNet三种网络模型,CompactNet网络模型的分类准确率最高;并且通过实验证实了数据扩增等预处理方法的必要性。     

基于多通道卷积神经网的实体关系抽取

针对实体关系抽取任务中,传统基于统计学习的方法构建特征费时费力、现有深度学习方法依赖单一词向量的表征能力的问题,提出多通道卷积神经网模型。首先使用不同的词向量将输入语句进行映射,作为模型不同通道的输入;然后使用卷积神经网自动提取特征;最后通过softmax分类器输出关系类型,完成关系抽取任务。和其他模型相比,该模型可以获取输入语句更丰富的语义信息,自动学习出更具有区分度的特征。在SemEval-2010 Task 8 数据集上的实验结果表明提出的多通道卷积神经网模型较使用单一词向量的模型更适合处理关系抽取任务。     

结合肤色模型和卷积神经网络的手势识别方法

在手势识别研究过程中,人工选取特征难以适应手势的多变性。提出了一种结合肤色模型和卷积神经网络的手势识别方法,对采集的不同背景下的手势图像,首先用肤色高斯模型分割出手势区域,然后采用卷积神经网络建立手势的识别模型,该模型融合了手势特征提取和分类过程,模拟视觉传导和认知,有效避免了人工特征提取的主观性和局限性。识别模型以手势区域的灰度信息为输入,同时利用权值共享和池化等技术减少网络权值个数,降低了模型的复杂度。实验结果表明,卷积神经网络（CNN）方法能够有效进行特征学习,在不同数据集下对手势的平均识别率都达到95%以上,与传统方法进行对比实验,表明该方法具有较高的识别率和实时性。     

基于深度卷积神经网络的图像检索算法研究

为解决卷积神经网络在提取图像特征时所造成的特征信息损失,提高图像检索的准确率,提出了一种基于改进卷积神经网络LeNet-L的图像检索算法。首先,改进LeNet-5卷积神经网络结构,增加网络结构深度。然后,对深度卷积神经网络模型LeNet-L进行预训练,得到训练好的网络模型,进而提取出图像高层语义特征。最后,通过距离函数比较待检图像与图像库的相似度,得出相似图像。在Corel数据集上,与原模型以及传统的SVM主动学习图像检索方法相比,该图像检索方法有较高的准确性。经实验结果表明,改进后的卷积神经网络具有更好的检索效果。     

基于卷积神经网络的焊缝表面缺陷检测方法

针对工业激光焊接中,采用传统方法进行焊缝质量检测效率低下的问题,提出了一种基于卷积神经网络的工业钢板表面焊缝缺陷检测方法;首先基于卷积神经网络,搭建了一个多分类模型框架,并分析了各层中所用到的函数及相关参数;然后基于工业数控机床和工业相机进行了焊缝数据采集,并对这些数据进行了分类、增强、扩增等前期预处理;最后基于数控机器轴,采用滑动窗口检测的形式采集实际待测图像,并通过实验对比了传统的机器学习算法在该类图像数据中的性能评估;经实验证实,通过卷积神经网络训练得到的多分类模型,焊缝缺陷检测精度能达到97%以上,且每张待测图像的测试时间均在300 ms左右,远超机器学习算法,在准确性和实时性上均能达到实际工业要求。