一种高性能可重构深度卷积神经网络加速器

由于深度卷积神经网络的卷积层通道规模及卷积核尺寸多样,现有加速器面对这些多样性很难实现高效计算。为此,基于生物脑神经元机制提出了一种深度卷积神经网络加速器。该加速器拥有类脑神经元电路的多种分簇方式及链路组织方式,可以应对不同通道规模。设计了3种卷积计算映射,可以应对不同卷积核大小;实现了局部存储区数据的高效复用,可大量减少数据搬移,提高了计算性能。分别以目标分类和目标检测网络进行测试,该加速器的计算性能分别达498.6×10 ⁹次/秒和571.3×10 ⁹次/秒;能效分别为582.0×10 ⁹次/(秒·瓦)和651.7×10 ⁹次/(秒·瓦)。     

基于改进CNN的阀门泄漏超声信号识别方法

为了检测输气管道阀门泄漏，对改进AlexNet网络结构进行了研究，提出了基于改进卷积神经网络（CNN）的阀门泄漏超声信号识别方法.针对泄漏信号短时稳定的窄带线谱特征，从图像邻域信息密度角度出发，将卷积核形状由图像识别领域通常使用的"正方形"改进为"扁横状".同时，对AlexNet层数进行优化，重新确定卷积核和全连接层神经元数目，并选择小尺寸卷积核，在减少参数量的同时增加网络容量和模型复杂度，防止模型出现过拟合.分别建立二分类和不同泄漏量下的多分类模型，通过输气管道实验平台采集阀门泄漏数据集，生成对应时频图样本，包括不同阀门开度、不同管道压力下的泄漏及背景声信号.结果表明，对比传统的CNN分类模型，改进CNN分类模型在测试集上取得了更高的识别性能.     

管道漏磁图像的卷积核信息熵相似度约束方法

为了提高卷积神经网络中卷积核对管道漏磁图像的特征学习能力,提出一种基于信息熵相似度约束的卷积核优化方法.建立一种信息熵相似度约束规则,通过判定条件对权值相近或相似度过高的卷积核进行优化.搭建实验平台并建立样本数据库进行实验,该方法可优化其特征提取能力,得到具有区分目标和背景语义信息能力的优化卷积核.结果表明,优化卷积核对目标具有较强的特征提取能力,能提高网络分类准确率和工作效率,实验结果与理论分析具有很好的一致性.     

采用卷积神经网络的小幅文本图像重聚焦算法

针对文本图像拍摄过程中的散焦模糊问题,提出一种基于卷积神经网络的图像重聚焦算法．首先分析了传统的维纳滤波方法,并对其进行变形;然后将频域相除转化为循环卷积,并将该卷积核进行奇异值分解,从而将二维卷积转化为一维卷积．在重点考虑循环卷积、一维卷积核的基础上,设计出了一种新的卷积神经网络结构．该网络结构不但能够模拟维纳滤波的去散焦模糊过程,还能在不显式计算散焦模糊核的情况下恢复图像,并具有良好的抗噪声性能．同时,该卷积神经网络还具有收敛快、参数不敏感的良好特点．     

基于PSO-ConvK卷积神经网络的肺部肿瘤图像识别

针对卷积核随机初始化以及梯度下降法训练卷积神经网络易陷入局部最值问题,提出粒子群算法优化卷积核(particle swarm optimization-convolution kernel, PSO-ConvK)的图像识别方法。使用参数迁移法构造卷积神经网络,并提取卷积核,利用PSO不断更新粒子的速度和位置,寻找全局最优值以初始化卷积核,将其传递到卷积神经网络,用肺部肿瘤数据训练卷积神经网络,结合梯度下降法修正网络权重,使得PSO算法的全局优化能力与梯度下降法的局部搜索能力相结合。试验通过批次大小、迭代次数以及网络层数3个角度验证方法的有效性,并与高斯函数优化卷积核进行对比。结果显示, PSO优化卷积核的识别率始终高于随机化卷积核和高斯卷积核,识别率最终达到98.3%,具有一定的可行性和优越性。     

基于非监督预训练的结构优化卷积神经网络

针对典型卷积神经网络卷积核由经验设置且网络结构固定不变难以后期再学习的问题,基于稀疏自编码器（Sparse Autoencoder, SAE）和卷积神经网络（Convoutional Neural Network, CNN）,提出新的CNN模型。该模型通过SAE预训练CNN网络的卷积核,提取有效特征;并在典型CNN结构基础上增加一条网络支路,使得后续再学习时只更新支路权值,记忆已有特征并增加新特征。文中模型在MNIST数据集上迭代更新10次网络权值可以使测试识别率达到97.65%;在手写汉字数据集HCL2000中的简单字,中等字,复杂字及相似字上的测试正确率能达93%以上;50个训练样本,250个测试样本时,相似字识别率可达80.36%;比典型CNN及传统手写汉字识别方法更具泛化性。实验表明所提出方法可有效应用于手写字等图像识别应用中。     

基于多视图并行的可配置卷积神经网络加速器设计

针对商用CPU的专用许可证授权费用高和卷积神经网络性能提升等问题,提出了一种基于多视图并行且具有可配置性的卷积神经网络加速器设计,同时结合RISC-V构建该加速器的片上系统。首先,扩展一组适用高速协加速器的控制访问接口和数据访问接口。其次,卷积神经网络各运算单元以多视图并行与结构复用实现。视图并行的不同组合将影响卷积单元硬件电路结构,因此多视图并行可通过复用基本运算结构来完成。池化单元由行池化和列池化子单元构成,且共享行池化的运算结构。对于全连接单元,采用调整全连接运算参数的方法来适应卷积单元的硬件结构,从而完成模型间的复用。然后,针对不同运算单元的硬件结构设计不同寄存器组,并结合开源RISC-V处理实现多种网络模型。最后,将卷积神经网络各运算单元分别部署在不同平台,计算运算时间、吞吐量和速度等。实验结果表明,提出方法的卷积加速比是CPU的189倍, VGG16的卷积运算吞吐量可达178GOP/s。因此,利用多视图并行能够达到加速效果,且以配置寄存器方式可实现不同网络模型。     

一种改进的卷积神经网络SAR目标识别算法

针对卷积神经网络在标签数据不足条件下易发生的过拟合现象及噪声条件下的合成孔径雷达目标识别问题,提出了一种改进的卷积神经网络目标识别算法．首先利用数据增强技术扩增训练集,以提高网络泛化能力;其次利用零相位成分分析对目标进行特征提取,得到一组特征集对卷积神经网络进行预训练．为优化网络结构,防止过拟合现象,在网络中采用了修正线性单元、Dropout、正则化、单位卷积核等稀疏性技术．实验表明,算法对各类目标及其变形目标子类具有较好的识别性能,并对噪声有较强的鲁棒性,是一种有效的目标识别算法．     

卷积神经网络的优化在车牌号识别上的运用

通过与传统神经网络对比,分析了利用卷积神经网络(CNN)进行车牌号图像识别中的特征提取过程,提出了优化卷积和池化的过程来提高算法的收敛速度和准确率。运用Py Charm环境建立了改进后的车牌号识别模型,并通过实验验证了其正确性与识别速度。通过BP神经网络、传统Le Net-5 CNN和改进后的CNN对相同的字符集进行对比分析实验,得出了改进后的CNN模型的优势。     

基于多量子滤波器的QCNN算法预测厌氧消化性能

厌氧消化是可再生能源生产中一种具有前景的技术,沼气是由有机废物通过厌氧消化产生的生物能源,预测厌氧消化产生的沼气产量并进行管控是必要的。设计了一种具有短期记忆的多量子滤波器量子卷积神经网络,利用参数化变分量子电路接受数据“时间窗”以模拟短期记忆,并在多量子滤波结构中舍弃过多的线路迭代和参数数量使其具有更高的表达性。在量子线路框架中,设计了最优的卷积、池化层线路,能够更好地提取特征因子中的隐藏状态;同时对废物管理数据进行严格的预处理,通过指数平滑去除特征中趋势和季节性。该算法的精度达到了83.30%,比CNN模型精度提升了8%,RMSE和MAE值也均优于ANN、KNN、CNN等经典模型。     

基于串并行卷积门阀循环神经网络的短文本特征提取与分类

针对短文本数据特征少、提供信息有限,以及传统卷积神经网络（convolutional neural network,CNN）和循环神经网络（recurrent neural network,RNN）对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元（gated recurrent unit,GRU）作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明：去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text-CNN、G-Dropout、F-Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。     

基于卷积神经网络的中文财经新闻分类方法

针对目前财经领域内新闻数据杂乱无章、缺乏自动高效管理等问题,提出一种基于卷积神经网络的中文财经新闻分类方法。收集大规模财经新闻语料,通过无监督学习方法训练获得一个广义通用的财经类词向量模型,将词向量引入到卷积神经网络模型训练中实现有效分类。与传统方法相比,基于卷积神经网络的中文财经新闻分类方法网络模型结构简单,针对小样本集也能表现优异的性能,不仅能有效解决中文财经新闻分类问题,还可充分证明卷积神经网络在处理文本分类问题中的有效性。     

基于双重残差网络的地震数据随机噪声压制

地震信号的随机噪声压制是地震信号处理中的重要问题.卷积神经网络(Convolutional Neural Network,CNN)近两年在地震信号去噪领域展现其巨大的潜力.该方法可以突破先验约束,从大量的数据中学习噪声模式,可以高效智能地实现地震数据去噪.为了进一步提高去噪效果,本文提出基于双重残差结构的CNN网络地震...     

基于滤波器裁剪的卷积神经网络加速算法

针对卷积神经网络（CNN）模型的压缩和加速问题,提出基于滤波器裁剪的新型卷积神经网络模型加速算法. 通过计算卷积层中滤波器的标准差值衡量该滤波器的重要程度,裁剪对神经网络准确率影响较小的滤波器及对应的特征图,可以有效地降低计算成本. 与裁剪权重不同,该算法不会导致网络稀疏连接,不需要应用特殊的稀疏矩阵计算库. 基于CIFAR-10数据集的实验结果表明,该滤波器裁剪算法能够对VGG-16和ResNet-110模型加速30%以上,通过微调继承的预训练参数可以使结果接近或达到原始模型的精度.     

基于多尺度卷积神经网络的交通标志识别方法

为了提升交通标志自动识别的精度,提出一种基于多尺度CNN的交通标志识别方法(TSR -MSCNN算法).该方法采用三阶段卷积神经网络,融合了低阶、中阶和高阶3种不同尺度的特征,并串联了多个小卷积层用以代替单个较大卷积层.通过对全连接层的神经元个数、Dropout参数、卷积核尺寸等网络超参数进行选比实验,获得了最佳的网络超参数.利用德国交通标志基准数据库(GTSRB)对不同算法进行测试表明,本文提出的算法在较小的网络参数量下能够有效提取交通标志特征,获取的识别准确率达到99.76%,且显著优于传统卷积神经网络方法和多尺度特征方法的识别准确率,因此本文算法在图像识别领域有良好的应用价值.     

基于卷积定理的人脸验证CNN模型加速

针对人脸验证系统中复杂卷积神经网络(convolutional neural network,CNN)模型的计算负担大、运算速度慢的问题,提出使用卷积定理来加速人脸特征提取中的CNN卷积层计算,从而提升人脸验证的速度.卷积定理中,空域中的卷积运算等价于频域中的乘积运算.将耗时的卷积计算转化为频域中的乘积计算后,可能会显著减少计算量,且无精度损失.分析了用卷积定理计算卷积的时间复杂度,给出了卷积定理加速的适用条件.在进行傅里叶变换后,详细探讨了如何高效、并行地计算频域中的乘积求和,以便利用现有的并行线性代数运算库,充分发挥图形处理单元(graphics processing uni,GPU)的并行计算能力.实验结果表明:该方法对人脸验证取得了明显的加速效果,具有一定实用价值.     

基于深度学习的洗衣机异常音检测

基于卷积神经网络框架,提出一种洗衣机异音识别模型,根据卷积神经网络显著特征提取能力和平移不变性,学习洗衣机的异音特征,实现生产线洗衣机的异音自动智能识别。给出完整的过程解决训练数据集的建立、数据样本不平衡等问题。提出一种用于数据增强的网络模型——音频深度卷积生成对抗网络解决训练样本的稀缺性问题。该模型对传统的深度卷积生成对抗网络进行改进,以更好地适应工业音频的生成。利用该模型能够对原始数据进行扩展,生成洗衣机异音增强数据集,在该数据集的基础上进行卷积神经网络训练,经测试准确率达到0.999。利用添加背景噪声信号的数据集测试洗衣机异音识别模型的泛化能力,正确识别率达到0.902,表明该网络在识别洗衣机异音方面具有良好的鲁棒性。     

二维矩阵卷积的并行计算方法

为了提高卷积神经网络模型中二维矩阵卷积的计算效率,基于FT2000多核向量处理器研究二维矩阵卷积的并行实现方法.通过使用广播指令将卷积核元素广播至向量寄存器,使用向量LOAD指令加载卷积矩阵行元素,并通过混洗操作将不易并行化的矩阵卷积操作变成可以向量化的乘加操作,实现了通过减少访存、充分复用已取数据的方式来提高算法的执行效率.设计卷积矩阵规模变化、卷积核规模不变和卷积矩阵规模不变、卷积核规模变化2种常用矩阵卷积计算方式,并对比分析不同计算方式对算法执行效率的影响.基于服务器级多核CPU和TI6678进行实验对比,实验结果显示,FT2000比多核CPU及TI6678具有更好的计算优势,相比多核CPU最高可加速11 974倍,相比TI6678可加速21倍.     

自适应深度卷积神经网络模型构建方法

针对传统卷积神经网络(CNN)模型构建过度依赖经验知识、参数多、训练难度大等缺点,同时鉴于复杂多类问题的CNN模型构建策略的重要价值,提出一种自适应深度CNN模型构建方法.首先,将初始网络模型的卷积层和池化层设置为仅含一幅特征图;然后,以网络收敛速度为评价指标,对网络进行全局扩展,全局扩展后,根据交叉验证样本识别率控制网络展开局部扩展,直到识别率达到预设期望值后停止局部网络学习;最后,针对新增训练样本,通过拓展新支路实现网络结构的自适应增量学习.通过图像识别实验验证了所提算法在网络训练时间和识别效果上的优越性.     

基于CNN的突发事件预警系统的设计与实现

为提高城市恐怖威胁突发事件的监测预警效率,设计了一套基于改进型卷积神经网络（CNN）的恐怖威胁预警系统。系统对采集的恐怖威胁突发事件进行威胁度评估。相对于现有文本评估方法,提出结合改进型词频-逆文本频率的卷积神经网络用于评估威胁和监测预警。并通过对研判期间内事件的威胁度分析,划分了恐怖威胁等级。通过数据的可视化实现为相关部门提供监测预警信息。模型对比测试和实际运行结果表明,该系统相比于已有的CNN模型及区域型卷积神经网络（RCNN）模型,综合评估的精确度分别提升了5.4%和3%。