基于滤波器裁剪的卷积神经网络加速算法

针对卷积神经网络（CNN）模型的压缩和加速问题,提出基于滤波器裁剪的新型卷积神经网络模型加速算法. 通过计算卷积层中滤波器的标准差值衡量该滤波器的重要程度,裁剪对神经网络准确率影响较小的滤波器及对应的特征图,可以有效地降低计算成本. 与裁剪权重不同,该算法不会导致网络稀疏连接,不需要应用特殊的稀疏矩阵计算库. 基于CIFAR-10数据集的实验结果表明,该滤波器裁剪算法能够对VGG-16和ResNet-110模型加速30%以上,通过微调继承的预训练参数可以使结果接近或达到原始模型的精度.     

二维矩阵卷积的并行计算方法

为了提高卷积神经网络模型中二维矩阵卷积的计算效率,基于FT2000多核向量处理器研究二维矩阵卷积的并行实现方法.通过使用广播指令将卷积核元素广播至向量寄存器,使用向量LOAD指令加载卷积矩阵行元素,并通过混洗操作将不易并行化的矩阵卷积操作变成可以向量化的乘加操作,实现了通过减少访存、充分复用已取数据的方式来提高算法的执行效率.设计卷积矩阵规模变化、卷积核规模不变和卷积矩阵规模不变、卷积核规模变化2种常用矩阵卷积计算方式,并对比分析不同计算方式对算法执行效率的影响.基于服务器级多核CPU和TI6678进行实验对比,实验结果显示,FT2000比多核CPU及TI6678具有更好的计算优势,相比多核CPU最高可加速11 974倍,相比TI6678可加速21倍.     

测量报告数据的谱分析压缩算法

针对网络带宽难以满足海量测量报告传输要求,定义了测量数据的谱,并提出了测量报告数据的谱分析压缩算法.该算法通过分析测量数据的谱,提出了对数据完成两次排序的预处理方案,减少了数据冗余的间隔距离,以期提高上下文的命中率.其次,该压缩算法构建了测量数据的多个上下文模型,并作为单层神经网络的输入结点.神经网络通过对每个上下文模型的预测概率线性组合,得到对下一比特的预测概率,并用真实的下一比特来调整对应输入结点的权重,提高匹配历史信息的概率.实验结果表明,在采用该压缩算法后,算法的运行时间明显减小,压缩率随被压缩数据量的增大而提高.与其他通用压缩算法相比,该算法能有效提高测量数据的压缩率,从而达到减少网络数据传输量的目的.     

权重量化的深度神经网络模型压缩算法

深度神经网络模型通常存在大量的权重参数,为了减少其对存储空间的占用,提出权重量化的深度神经网络模型压缩算法。在前向传播过程中,使用一个四值滤波器将全精度权重量化为2、1、-1和-2四种状态,以进行高效的权重编码。最小化全精度权重与缩放后四值权重的L₂距离,以获得精确的四值权重模型。使用一个32位二进制数对16个四值权重进行编码压缩,以大幅度压缩模型。在MNIST、CIFAR-10和CIFAR-100数据集上的实验表明,该算法分别获得了6.74%、6.88%和6.62%的模型压缩率,与三值权重网络的相同,但准确率分别提升了0.06%、0.82%和1.51%。结果表明,该算法可提供高效、精确的深度神经网络模型压缩。     

基于TensorFlow的车牌字符识别方法

全连接神经网络将车牌字符图像以一维矩阵的形式进行矩阵运算,忽略了图像自身的特性,且一旦图像像素过多,神经网络的参数规模会急剧增加,常规的神经网络很难训练.基于TensorFlow深度学习框架搭建一种卷积神经网络训练模型,在自制的大小为40×32像素点车牌字符灰度图像数据集基础上,使用搭建的神经网络模型训练得到较好的训练效果,利用多次卷积和池化层提取特征,与全连接神经网络相比极大减少节点数量,提高识别的精准度.通过不同识别算法的准确率对比可见,卷积神经网络对中文、英文和数字的识别更加准确,模型的鲁棒性和泛化能力有很大提高.     

神经网络方法对心电信号主元压缩算法的改进

根据主元分析和神经网络的原理，描述了用主元分析的方法对输入信号的特征进行提取，并利用神经网络算法，实现ECG信号压缩的可行性。从压缩后信号重构的保真性和压缩计算复杂性两个角度出发，给出了压缩＼重建的实验结果并分析讨论。文中的压缩算法将原始动态心电数据映射为主元分析特征参数存储，比常规的直接压缩或压缩算法有更高的压缩比。选取5个主元表示一个心动周期的特征，其压缩比可达到30：1，均方根误差比PRD为4．75％。该ECG压缩算法克服了直接用主元分析法压缩数据时，要计算维数巨大相关矩阵的困难。实验证明，该方法在保留ECG信号临床信息的同时，具有较好的压缩效果。     

采用卷积神经网络的小幅文本图像重聚焦算法

针对文本图像拍摄过程中的散焦模糊问题,提出一种基于卷积神经网络的图像重聚焦算法．首先分析了传统的维纳滤波方法,并对其进行变形;然后将频域相除转化为循环卷积,并将该卷积核进行奇异值分解,从而将二维卷积转化为一维卷积．在重点考虑循环卷积、一维卷积核的基础上,设计出了一种新的卷积神经网络结构．该网络结构不但能够模拟维纳滤波的去散焦模糊过程,还能在不显式计算散焦模糊核的情况下恢复图像,并具有良好的抗噪声性能．同时,该卷积神经网络还具有收敛快、参数不敏感的良好特点．     

基于改进胶囊神经网络的示功图诊断模型

针对传统胶囊神经网络特征提取结构单一,模型参数量大以及动态路由算法中相似度衡量粗糙等问题,该文提出一种改进的胶囊神经网络.应用Fire Module模块,将网络中特征图通道数先进行压缩,再通过多尺度的卷积核提取特征信息,进而提升网络的特征提取能力和减少网络模型的参数.将Dropout思想引入胶囊神经网络来增加模型的多样...     

二维ESPRIT算法参数的快速配对

针对二维ESPRIT算法的参数估计问题,为了简化算法的复杂度,提高参数配对的速度,提出了一种新的二维ESPRIT参数配对方法.该方法利用矩阵、矩阵的特征值及特征值对应的特征向量三者之间的关系,只需对包含信号到达角信息的2个矩阵中的1个进行1次特征值分解以及简单的除法运算就可以实现参数的自动配对,无需经过多次矩阵变换.在保证二维ESPRIT算法参数估计性能的前提下,该方法简化了参数的配对过程.计算机仿真验证了该方法的有效性.     

基于模型压缩算法改进YOLOv4-tiny模型的车辆检测技术研究

基于卷积神经网络参数冗余较大的问题，提出一种基于模型压缩算法改进YOLOv4-tiny的车辆检测方法，以提高检测速度。首先，通过特征图矩阵的秩判断通道对网络模型的重要程度，对模型的通道剪枝，减少模型的参数数量；其次，对局部样本点进行采样提取，使用知识蒸馏算法，使模型的精度得到回升。实验结果表明，改进后的YOLOv4-tiny网络模型检测精度仅损失2.9%的情况下，模型参数减少了51.1%;部署在Jeston Nano设备上运行，每秒帧率FPS提升了93.7%。     

一维卷积神经网络实时抗噪故障诊断算法

针对旋转机械智能诊断方法计算量大和抗噪能力差的问题,在经典模型LeNet-5的基础上提出基于一维卷积神经网络的故障诊断算法.采用全局平均池化层代替传统卷积神经网络中的全连接层,在降低模型计算量的同时,降低模型参数数量和过拟合的风险;利用随机破坏后的时域信号进行训练以提高其抗噪能力;采用改进后的一维卷积核和池化核直接作用于原始时域信号,将特征提取和故障分类合二为一,通过交替的卷积层和池化层实现原始信号自适应特征提取,结合全局平均池化层完成故障分类.利用轴承数据和齿轮数据进行实验验证并对比经典模型LeNet-5、BP神经网络和SVM.结果表明:采用全局平均池化层可有效降低模型计算量,提高模型在低信噪比条件下的诊断精度,采用随机破坏输入训练策略可显著提升模型的抗噪诊断能力;改进后的模型可以实现噪声环境下准确、快速和稳定的故障诊断.通过t-SNE可视化分析说明了模型在特征学习上的有效性.     

卷积神经网络在核小体定位识别中的应用

为更准确识别核小体定位,本文提出一种基于Z曲线理论(Z-Curve)的卷积神经网络(CNN)方法,称为ZCN方法.ZCN方法以Z曲线三维坐标矩阵表示核小体序列特征,通过十倍交叉验证,进行卷积神经网络方法进行模型训练和验证,使用标准评估指标进行性能评价.结果表明:ZCN方法在酵母中具有良好的识别效能,敏感性Sn、准确性S...     

基于PSO-ConvK卷积神经网络的肺部肿瘤图像识别

针对卷积核随机初始化以及梯度下降法训练卷积神经网络易陷入局部最值问题,提出粒子群算法优化卷积核(particle swarm optimization-convolution kernel, PSO-ConvK)的图像识别方法。使用参数迁移法构造卷积神经网络,并提取卷积核,利用PSO不断更新粒子的速度和位置,寻找全局最优值以初始化卷积核,将其传递到卷积神经网络,用肺部肿瘤数据训练卷积神经网络,结合梯度下降法修正网络权重,使得PSO算法的全局优化能力与梯度下降法的局部搜索能力相结合。试验通过批次大小、迭代次数以及网络层数3个角度验证方法的有效性,并与高斯函数优化卷积核进行对比。结果显示, PSO优化卷积核的识别率始终高于随机化卷积核和高斯卷积核,识别率最终达到98.3%,具有一定的可行性和优越性。     

基于卷积定理的人脸验证CNN模型加速

针对人脸验证系统中复杂卷积神经网络(convolutional neural network,CNN)模型的计算负担大、运算速度慢的问题,提出使用卷积定理来加速人脸特征提取中的CNN卷积层计算,从而提升人脸验证的速度.卷积定理中,空域中的卷积运算等价于频域中的乘积运算.将耗时的卷积计算转化为频域中的乘积计算后,可能会显著减少计算量,且无精度损失.分析了用卷积定理计算卷积的时间复杂度,给出了卷积定理加速的适用条件.在进行傅里叶变换后,详细探讨了如何高效、并行地计算频域中的乘积求和,以便利用现有的并行线性代数运算库,充分发挥图形处理单元(graphics processing uni,GPU)的并行计算能力.实验结果表明:该方法对人脸验证取得了明显的加速效果,具有一定实用价值.     

基于图卷积神经网络的城市交通态势预测算法

为了实时准确地预测城市交通流量,提高城市交通态势感知和预测准确度,提出一种改进的时空图卷积深度神经网络算法：基于自由流动可达矩阵的时空图卷积深度神经网络（FAST-GCN）. 利用图卷积神经网络有效表达城市复杂路网的结构特性,引入自由流动可达矩阵来挖掘复杂路网的时空依赖性,从而提高交通态势预测准确度;对交通流速及站点地理位置数据进行数据预处理;在现有的时空图卷积深度神经网络算法的基础上,增加基于自由流动可达矩阵的图卷积模块,以有效挖掘城市交通路网的独特空间特征;通过一个全连接的输出层输出交通流预测结果;在真实世界数据集PeMS上对算法效果进行验证. 结果表明,采用提出的FAST-GCN算法能够有效获取交通路网独特的物理特性,从而捕获交通数据的时空依赖性,优于时空图卷积（STGCN）等基线算法,其在45 min的预测准确率最好可提高5.656%;相比基线模型,所提算法能够适应大规模路网的交通流预测,且具有可扩展性.     

基于后验信息修正的自适应交互多模型跟踪算法

针对目标运动状态变化较大甚至发生突变时,传统交互式多模型算法跟踪精度和稳定性会显著下降的问题,提出了一种在线辨识马尔可夫概率转移矩阵参数的基于后验信息修正的自适应交互多模型跟踪算法,该方法在滤波的过程中,根据不匹配模型误差压缩率的变化自适应调整先验的马尔可夫转移概率矩阵的参数,切换过程中较多地压缩不匹配模型的信息,放大匹配模型的信息,大大提高了系统的收敛速度.通过对仿真结果分析表明,论文提出的算法具有可靠、计算简便、快速等特点,模型滤波精度较高,具有一定的理论价值和实用价值.     

初始化卷积神经网络的主成分洗牌方法

为了更好地初始化卷积神经网络,提出了一种初始化卷积核的有效方法,称为主成分洗牌方法.该方法首先对第1个卷积层的每个输入特征图的所有感受野进行采样,再对采样得到的图像块按输入特征图分别进行主成分分析,利用主成分分析得到的投影矩阵初始化该层卷积核,最后按上述过程依次对各层卷积核进行初始化.使用该方法在MNIST与CIFAR-10数据集上进行卷积层初始化实验.实验结果表明:与目前常用的随机初始化算法、Xavier初始化算法相比,该方法在提高网络的训练速度和测试集正确率方面均具有优越性.     

基于Gram矩阵的T-CNN时间序列分类方法

时间序列分类是流式数据事件分析和数据挖掘的基础.针对现有方法损失时间属性、分类准确率低、效率低等问题，提出基于Gram矩阵的T-CNN时间序列分类方法.该方法对时间序列进行小波阈值去噪，过滤正态曲线噪声，提出基于Gram矩阵的无损时间域图像转换方法，保留事件全部信息.改进时间序列CNN分类方法，在卷积层计算引入Toeplitz卷积核矩阵，实现矩阵乘积替换卷积运算.引入Triplet网络思想，构建T-CNN分类模型，通过计算同类事件与不同类事件间的相似度优化CNN的平方损失函数，提高T-CNN模型梯度下降的收敛速率及分类准确性.实验表明，相比现有方法，T-CNN时间序列分类方法能够提高35%的分类准确率、35%的分类精确率及40%的分类效率.     

基于双正交小波的ECG信号自适应压缩编码算法

提出1种基于Bior4.4双正交小波的ECG信号压缩算法,在频率域上对小波系数进行连续分割,采用自适应的十进制至二进制数据格式转换机制来编码小波系数.从MIT-BIH数据库中选择8种不同的ECG信号作为测试数据,算法的平均均方根误差比(PRD)在0.05%～4.70%之间,平均压缩率(CR)在1.5∶1～33∶1之间.实验结果表明本算法具有压缩率高、计算复杂度低、编码速度快的特点.     

基于多尺度卷积神经网络的交通标志识别方法

为了提升交通标志自动识别的精度,提出一种基于多尺度CNN的交通标志识别方法(TSR -MSCNN算法).该方法采用三阶段卷积神经网络,融合了低阶、中阶和高阶3种不同尺度的特征,并串联了多个小卷积层用以代替单个较大卷积层.通过对全连接层的神经元个数、Dropout参数、卷积核尺寸等网络超参数进行选比实验,获得了最佳的网络超参数.利用德国交通标志基准数据库(GTSRB)对不同算法进行测试表明,本文提出的算法在较小的网络参数量下能够有效提取交通标志特征,获取的识别准确率达到99.76%,且显著优于传统卷积神经网络方法和多尺度特征方法的识别准确率,因此本文算法在图像识别领域有良好的应用价值.