基于权重关联性的卷积神经网络模型剪枝方法

模型剪枝是深度学习领域对模型进行压缩加速的一种有效方法.目前结构化的剪枝方法仅对整个过滤器的权重进行评估,但当一个过滤器被移除后,依赖过滤器而存在的关联权重也会被移除,现有的方法并没有考虑这部分权重的重要性,忽略了权重关联性.同时,通过试错的方式来得到每层的剪枝比例,工作量较大.针对上述问题,本文提出一种基于权重关联性...     

基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度（APG）、轻量级网络设计、非结构化剪枝和神经网络结构搜索（NAS）等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。     

基于联合动态剪枝的深度神经网络压缩算法

作为模型压缩的一个分支,网络剪枝算法通过移除深度神经网络中不重要的参数来降低计算消耗;然而,永久性的剪枝会导致模型容量不可逆转的损失.针对该问题,提出了一种联合动态剪枝的算法来综合分析卷积核与输入图像的特征.一方面,将部分卷积核置零,并允许其在训练过程中更新,直到网络收敛之后再永久性移除被置零的卷积核.另一方面,采样输...     

基于YOLOv3的卷积层结构化剪枝

针对YOLOv3等卷积神经网络使用更多的卷积层结构且卷积核尺寸大小统一的特点,提出一种卷积层结构化剪枝计算的参数压缩方法。基于卷积层权值参数,设计度量卷积层重要性公式,评估卷积层相对整个网络重要性,计算卷积层重要度并对得分进行排序,制定稀疏值分配策略,再训练模型操作保证模型性能不降低,并得到各个卷积层分配的稀疏值以及卷积过滤器,完成模型的结构化剪枝计算。在Darknet上实现YOLOv3卷积层结构化剪枝的参数压缩方法,不仅将YOLOv3参数压缩1.5倍,且计算量减少了1.6倍。     

基于Octave卷积的混合精度神经网络量化方法

浮点数位宽的深度神经网络需要大量的运算资源,这导致大型深度神经网络难以在低算力场景(如边缘计算)上部署.为解决这一问题,提出一种即插即用的神经网络量化方法,以压缩大型神经网络的运算成本,并保持模型性能指标不显著下降.首先,基于Octave卷积将输入特征图的高频和低频成分进行分离;其次,分别对高低频分量应用不同位宽的卷积...     

无偏稀疏正则化的双策略结构神经网络压缩

虽然深度神经网络模型的性能十分出色,但目前网络存在规模庞大、权重冗余度高的问题。同时,现有对网络权重剪枝的正则子估测偏差大。因此,本文提出无偏稀疏正则化的双策略结构神经网络压缩。首先,本文将神经网络所连接权重视为一组,提出采用估测值偏差小的非线性拉普拉斯函数,构建组间无偏结构稀疏正则子和组内无偏结构稀疏正则子,对冗余神经元和剩余神经元的冗余权重分别进行稀疏约束,构建无偏稀疏正则化的双策略结构神经网络压缩模型。其次,针对所设计的无偏稀疏正则化的网络压缩优化难题,本文采用近端算子技术获得无偏稀疏正则子的闭式解,进而设计基于近端梯度下降法的反向传播算法,实现神经网络准确的结构压缩。最后,通过在数据集MNIST、 FashionMNIST和Cifar-10进行实验验证,本文所提出的无偏稀疏正则子的双策略结构神经网络压缩不仅收敛速度快于目前主流正则子。而且在压缩率保持一致的情况下,相比已有的方法识别精度平均提升2.3%,在识别保持精度基本一致的情况下,相对已有方法平均提升11.5%的压缩率。     

结合剪枝与流合并的卷积神经网络加速压缩方法

深度卷积神经网络因规模庞大、计算复杂而限制了其在实时要求高和资源受限环境下的应用,因此有必要对卷积神经网络现有的结构进行优化压缩和加速。为了解决这一问题,提出了一种结合剪枝、流合并的混合压缩方法。该方法通过不同角度去压缩模型,进一步降低了参数冗余和结构冗余所带来的内存消耗和时间消耗。首先,从模型的内部将每层中冗余的参数剪去;然后,从模型的结构上将非必要的层与重要的层进行流合并;最后,通过重新训练来恢复模型的精度。在MNIST数据集上的实验结果表明,提出的混合压缩方法在不降低模型精度前提下,将LeNet-5压缩到原来的1/20,运行速度提升了8倍。     

基于卷积神经网络的正则化方法

正则化方法是逆问题求解中经常使用的方法.准确的正则化模型在逆问题求解中具有重要作用.对于不同类型的图像和图像的不同区域,正则化方法的能量约束形式应当不同,但传统的L1,L2正则化方法均基于单一先验假设,对所有图像使用同一能量约束形式.针对传统正则化模型中单一先验假设的缺陷,提出了基于卷积神经网络的正则化方法,并将其应用于图像复原问题.该方法的创新之处在于将图像复原看作一个分类问题,利用卷积神经网络对图像子块的特征进行提取和分类,然后针对不同特征区域采用不同的先验形式进行正则化约束,使正则化方法不再局限于单一的先验假设.实验表明基于卷积神经网络的正则化方法的图像复原结果优于传统的单一先验假设模型.     

卷积神经网络模型剪枝结合张量分解压缩方法

针对卷积神经网络（CNN）拥有巨大的参数量及计算量,限制了其在嵌入式系统等资源受限设备上应用的问题,提出了基于统计量的网络剪枝结合张量分解的神经网络压缩方法,其核心思想是以均值和方差作为评判权值贡献度的依据。首先,以Lenet5为剪枝模型,网络各卷积层的均值和方差分布以聚类方式分离出提取特征较弱的滤波器,而使用保留的滤波器重构下一层卷积层;然后,将剪枝方法结合张量分解对更快的区域卷积神经网络（Faster RCNN）进行压缩,低维卷积层采取剪枝方法,而高维卷积层被分解为三个级联卷积层;最后,将压缩后的模型进行微调,使其在训练集上重新达到收敛状态。在PASCAL VOC测试集上的实验结果表明,所提方法降低了Faster RCNN模型54%的存储空间而精确率仅下降了0.58%,同时在树莓派4B系统上达到1.4倍的前向计算加速,有助于深度CNN模型在资源受限的嵌入式设备上的部署。     

基于自适应分层阈值判断的神经网络模型压缩

面对多样化的应用环境,卷积神经网络（CNN）的架构深度不断增加以提升精度,但同时需要大量的计算参数和网络存储。针对CNN卷积层参数冗余和运算效率低的问题,提出一种基于分层阈值的自适应动态剪枝方法。设计自适应分层阈值判断算法,对批归一化层的尺度因子进行聚类分析,自适应地找到每层的分类断点并据此确定最终阈值,利用该阈值修剪正则化后的输入模型,从而避免根据经验人为定义固定阈值,减小模型尺寸和运行时占用的内存。分别采用该方法和LIU等提出的使用固定阈值且全局修剪的方法对VGGNet、ResNet、DenseNet和LeNet模型进行压缩,并在CIFAR、SVHN和MNIST数据集上测试模型性能。实验结果表明,该方法能够在模型精度与剪枝率之间找到最优平衡,剪枝后模型的测试错误率较对比方法降低0.02~1.52个百分点,同时自适应分层阈值判断算法也能避免对比方法在全局修剪时减去整个层的问题。     

基于卷积神经网络的标识牌识别技术

目前而言,我国标识识别技术正处于飞速发展阶段,具体体现在处理精度、再现性、灵活性、适用面、信息压缩等方面,但是,在实际发展过程中,该技术的发展还是受到了实际需求的限制.深度学习模型运算量大,难以在轻量级嵌入式设备上运行,工业生产中噪声种类繁多复杂,影响识别准确性.针对上述问题,本文提出一种基于卷积神经网络的标识识别技术,利用改进的Canny边缘检测算法,来增强对边缘信息提取时的鲁棒性,实现在高噪声环境下对标识牌精准提取.另外为了进一步提高识别准确率,本文利用CNN和椭圆拟合相结合的思路,把模型识别结果和椭圆拟合结果相结合来判别识别的准确性,在增加少量运算量的同时提高识别准确率.     

基于改进卷积神经网络与集成学习的人脸识别算法

针对复杂卷积神经网络(CNN)在中小型人脸数据库中的识别结果容易出现过拟合现象,提出一种基于改进CNN网络与集成学习的人脸识别算法。改进CNN网络结合平面网络和残差网络的特点,采用平均池化层代替全连接层,使得网络结构简单且可移植性强。在改进CNN网络的基础上,利用基于投票法的集成学习策略将所有个体学习器结果凸组合为最终结果,实现更准确的人脸识别。实验结果表明,该算法在Color FERET、AR和ORL人脸数据库上的识别准确率分别达到98.89%、99.67%和100%,并且具有较快的收敛速度。     

基于卷积神经网络的结构化非平衡数据分类算法

卷积神经网络具有高效的特征提取能力和较少的参数量,被广泛应用于图像处理、目标跟踪、自然语言等领域。针对传统分类模型对于结构化非平衡数据分类效果较差的问题,提出一种基于卷积神经网络的二分类结构化非平衡数据分类算法。设计结构化数据处理算法Data-Shuffle,将原始非平衡一维结构化数据转换为三维数组形式的多通道非平衡数据,为卷积神经网络提供更多的特征值,通过改进的VGG网络构建适合非平衡数据的网络结构卷积组,以提取不同的特征。在此基础上,提出更新权重加权采样算法UWSCNN,在每个迭代次数之后,根据模型的训练结果对易错样本进行重新加权,以优化训练结果。在adult、shoppers和diabetes数据集上的实验结果表明,相比逻辑回归、随机森林等传统机器学习模型,所提的Data-Shuffle算法的F1值提升了1%~19%,G-mean提升了2%~24%,相比SMOTECNN、BSMOTECNN、SMOTECNN+CS等采样算法,所提的UWSCNN算法对非平衡数据的分类效果提升了1%~13%,有效提高模型对非平衡数据的分类性能。     

基于卷积神经网络的直线描述方法研究

为提高直线特征匹配的可靠性,提出一种基于卷积神经网络(CNN)学习的直线特征描述方法.构建用于网络学习的大规模直线数据集,该数据集包含约20.8万对匹配直线对,每条直线用其周围的局部图像块表征.将图像块输入CNN,利用HardNet网络结构提取特征,使用三元组损失函数进行训练,输出强鲁棒性的直线特征描述子.实验结果表明...     

基于孪生卷积神经网络的图像融合

传统的图像融合算法多有计算复杂程度高、不能有效提取图像纹理等不足,为了弥补以上传统算法,提出了一种基于孪生卷积神经网络（Siamese Convolutional Neural Network,Siamese CNN）的图像融合方法.首先,用孪生卷积神经网络生成一个权重图,该权重图包含了来自两个待融合图像的全部像素信息.然后,用图像金字塔对像素以多尺度的方式进行融合,并且采用了局部相似性策略自适应调整分解系数的融合模式.最后,和现存的几种图像融合的方法进行了对比.实验证明,该方法有较好的融合效果,具有一定的可实用性.     

基于K-Means和CNN的用户短期电力负荷预测

随着电力物联网的不断发展,用户级电力负荷预测在电力需求侧管理中呈现出日益重要的作用.为了提高用户级电力负荷预测的性能,本文提出一种基于K-means聚类与卷积神经网络特征提取的短期电力负荷预测模型.首先,利用K-means将用户聚为两类:对于日相关性强的用户,将相邻时刻和日周期的历史负荷作为输入,采用CNN模型提取特征进行预测;对于日相关性弱的用户,仅将相邻时刻的历史负荷输入到CNN模型进行预测.为了验证所提出算法的性能,我们在实际的用户负荷数据上做了实验,并与随机森林、支持向量回归机进行对比,结果表明本文所构建模型的预测平均绝对百分误差降低了20%以上.     

基于循环卷积神经网络的POMDP值迭代算法

基于卷积神经网络的部分可观测马尔科夫决策过程(POMDP)值迭代算法QMDP-net在无先验知识的情况下具有较好的性能表现,但其存在训练效果不稳定、参数敏感等优化难题.提出基于循环卷积神经网络的POMDP值迭代算法RQMDP-net,使用门控循环单元网络实现值迭代更新,在保留输入和递归权重矩阵卷积特性的同时增强网络时序...     

基于k近邻的多尺度超球卷积神经网络学习

以卷积神经网络（CNN）为代表的深度学习模型主要面向图像、语音等均匀采样的同质欧氏空间数据,通常不适用于大量存在于工业等领域的异质、非均匀稀疏采样的结构化数据。针对异质、非均匀稀疏采样结构化数据集的预测任务,提出一种基于k近邻（kNN）算法和CNN的超球卷积神经网络学习模型。通过kNN预处理建立各样本在高维属性空间中的结构关系,将样本邻域内各样本的标记作为其属性重构样本集合,实现数据属性集从异质到同质的转化,进而通过合理设计CNN的卷积窗,有效提取和利用各样本的邻域空间中样本的标记分布特征,完成对未知样本的预测。在不同邻域尺度、软硬标记以及混淆非混淆等条件下进行实验,结果表明,该模型预测准确率达到98.04%,其准确率和召回率较FC-CNN、CNN、kNN和Radar-CNN算法分别提升0.28%~1.66%和4.78%~31.92%。     

卷积神经网络的短文本分类方法

短文本分类是自然语言处理的一个研究热点.为提高文本分类精度和解决文本表示稀疏问题,提出了一种全新的文本表示（N-of-DOC）方法.采用Word2Vec分布式表示一个短语,将其转换成的向量作为卷积神经网络模型的输入,经过卷积层和池化层提取高层特征,输出层接分类器得出分类结果.实验结果表明,与传统机器学习（K近邻,支持向量机,逻辑斯特回归,朴素贝叶斯）相比,提出的方法不仅能解决中文文本向量的维数灾难和稀疏问题,而且在分类精度上也比传统方法提高了4.23%.