面向训练的卷积神经网络加速器设计

随着深度神经网络的广泛应用,对神经网络模型的训练速度需求也不断增长,各类面向训练的加速器应运而生。然而,在训练过程的各阶段,同一个层展现出了巨大的计算差异,计算差异性使得单一数据流结构的加速器在某些阶段的处理上达不到最高的效率。而图形处理器(GPU)等通用性设计通常不能充分地利用各阶段操作的特性使得利用率较低。为了解决这个问题,本文针对卷积神经网络(CNN)训练不同阶段的操作,分别提出了高效的执行方案,设计了一个统一的加速器处理单元硬件结构,能够将所有阶段的执行方案高效地映射到其上运行,并以这个统一的处理单元为基础实现了一个高效的支持训练的卷积神经网络加速器。实验结果显示,基于4个常用的卷积神经网络模型,卷积层训练的前向过程、反向过程的运算资源利用率分别达到了77.6%、67.3%,相比于现有主流的利用Tensor核心加速深度学习任务的GPU,运算资源利用率提高了45.1%和41.7%。     

面向稀疏卷积神经网络的CGRA加速器研究

本文针对规模日益增长和演变迅速的稀疏卷积神经网络(CNN)应用,提出一款高能效且灵活的加速结构DyCNN来提升其性能和能效。DyCNN基于兼具灵活性和高能效的粗粒度可重构架构(CGRA)设计,可以利用其指令的高并行性来高效支持CNN的操作。DyCNN使用基于数据感知的指令动态过滤机制来滤除各计算单元中由于稀疏CNN中权值静态稀疏性和激活值动态稀疏性产生的大量无效计算和访存指令,使它们能像执行稠密网络一样高效复用一组指令。此外DyCNN利用基于负载感知的动静结合负载调度策略解决了稀疏导致的负载不均衡问题。实验结果表明,DyCNN运行稀疏CNN与运行密集CNN相比实现了平均1.69倍性能提升和3.04倍能效提升,比先进的GPU(cuSPARSE)和Cambricon-X上的解决方案分别实现了2.78倍、1.48倍性能提升和35.62倍、1.17倍能效提升。     

基于改进动态配置的FPGA卷积神经网络加速器的优化方法

卷积神经网络(CNN)已广泛应用于各种计算机视觉任务,基于GPU的卷积神经网络加速器往往存在功耗较高、体积较大和成本较高的问题。针对上述问题,文中提出一种基于改进动态配置的现场可编程门阵列(FPGA)卷积神经网络加速器的优化方法。使用高层次综合工具,在引入分割参数的基础上,通过在资源约束情况下基于流水线结构的层间模块复用,采用8-16位动态定点设计方案,以有限的硬件资源实现性能优化的卷积神经网络硬件结构,提升计算效率的同时缩短了开发周期。利用该方法在ZCU102平台上构建实现了AlexNet网络和VGG网络。在最大精度损失0.63%的条件下,将加速器性能分别从46.3 fps和37.2 fps提高到290.7 fps和54.4 fps,计算能效分别达到了TITAN-X的1.78倍和3.89倍。实验数据充分说明,采用改进动态配置的优化方法,利用高层次综合工具进行开发的FPGA卷积加速器,既满足了计算实时性的要求,同时也解决了功耗和体积问题,验证了本方法的有效性。     

基于改进鲸鱼算法优化LSTM的滚动轴承故障诊断

适应性动量(Adam)估计优化器易使深度长短时记忆神经网络(long short-term memory,LSTM)陷入局部极小值,导致故障诊断精度过低;鲸鱼算法(whale optimization algorithm,WOA)的寻优区域过大,导致寻优效率过低。针对上述两问题,将WOA进行改进(improved whale optimization algorithm,IWOA),并优化LSTM,提出IWOA-LSTM新方法。所提方法将WOA赋予动量驱动功能,继承了LSTM中的Adam优化器动量项,可优化细胞权值的搜索区域,进而提高权值寻优效率;将其与Adam优化器联合优化更新权值矩阵,以跳出局部最小值,提高故障诊断精度。此外,还系统地分析了学习效率和迭代次数对IWOA-LSTM的诊断精度影响,实现高效的故障诊断分析。通过分析实测滚动轴承内圈、外圈和滚动体三种故障可知,IWOA-LSTM的故障诊断效率分别较浅层BP神经网络(BPNN)、深度卷积神经网络(convolutional neural network,CNN)、深度门限循环单元神经网络(gated recurrent unit,GRU)、LSTM、WOA优化的LSTM(WOA-LSTM)高出了47.60%,38.06%,37.62%,26.82%,22.71%,且实现高达97%的诊断精度。     

基于轻量级CNN与主动学习的工件疵病识别方法研究

应用图像识别技术实现工件疵病自动检测可以提高效率,降低人工成本。卷积神经网络(CNN)具有很强的特征提取能力,广泛应用于图像识别等领域。但是,已提出的网络模型普遍存在参数量和计算量巨大,以及海量工件数据集中、人工标注成本高等缺点,很难应用于工件疵病的实时自动识别。本文提出了一种基于轻量级CNN与主动学习的工件疵病识别方法,该方法通过深度可分离卷积和反转残差卷积构建一种轻量级卷积神经网络,并在识别过程中采用主动学习方法不断添加标注样本。实验表明,提出的方法识别精度达到98.3%,并且能节省18.8%的人力标注成本。     

基于小波散射卷积神经网络的结构损伤识别

损伤识别是结构状态评估领域的关键问题之一，对确保结构安全性有重要意义。深度学习算法在基于振动的结构损伤识别方面带来了许多突破，但从海量数据中挖掘结构损伤关键信息仍是亟待解决的技术难题。该研究提出了基于一维卷积神经网络(one-dimensional-convolutional neural network, 1D-CNN)深度学习的结构多类型损伤识别模型，采用小波散射变换对1D-CNN架构第一层卷积滤波器进行替换，通过散射系数实现输入层原始数据降维与特征提取，结合CNN卷积层、激活层和池化层实现监测数据特征增强处理。在此基础上，结合1D-CNN全连接层与Softmax函数实现特征数据分类，从而实现结构多类型损伤定位与定量高效识别。通过钢桁架结构和斜拉桥两种数值模型对上述框架进行了验证。结果表明：与普通卷积神经网络模型相比，基于小波散射卷积神经网络的结构损伤识别精度显著提升，损伤分类准确率达95.0%以上。随着传感数据环境噪声比例的增加，小波散射卷积神经网络损伤分类准确率虽略有下降，但仍保持较高精准度，说明该方法具有较强的鲁棒性抗噪能力。     

基于遗传算法的神经网络等价模型构建

神经网络模型结构作为深度学习的重要组成部分,在很大程度上决定着深度学习的性能表现。而目前基于深度学习的应用,大部分都由经典的网络模型修改而来。由于无法获得原神经网络模型结构,本文根据原模型的输入输出数据以及经典的神经网络模型结构,构建了原模型的预测模型。该方法主要通过对预测模型的结构参数进行编码,并利用遗传算法(GA)进行选择、交叉、变异操作,从而构建出原模型的等价模型。对于同一输入数据,等价模型和原模型的输出基本保持一致。本文提出的构建方法在图像分类、信号调制类型分类和网络链路预测领域均取得了较好的效果。     

基于双结构深度学习的滚动轴承故障智能诊断

大型转动机械在工业生产过程中,轴承故障频发,呈现出一种"大数据"的特性,并且现场获取的故障数据往往是不完备和无标签的,亟需开发具有自学习能力的诊断算法。针对该研究提出一种基于双结构深度学习的轴承故障类型与损伤程度的智能诊断算法。该方法使用不完备的数据建模,分为故障类型自学习网络和故障损伤等级识别网络两个结构。对轴承故障信号进行形态学滤波,抑制部分噪声,增强信号的脉冲特征;对消噪后信号进行S变换得到时频图,获取故障类型的共性特征;并将时频图作为卷积神经网络(CNN)的输入,利用网络的相似性度量在目标空间对同类型样本汇聚、不同类型样本分离,实现对轴承故障类型的分类与新故障类型的自学习。将实现故障类型分类的信号经归一化处理后作为深度置信网络(DBN)的输入,利用DBN对微小故障的敏感性对不同损伤程度的差异特征进行提取,之后将提取的特征作为贝叶斯分类器的输入,依据后验概率判别规则实现故障损伤等级自主识别。将该方法应用于西储大学实验平台的滚动轴承故障数据,结果表明,该方法在不完备数据建模的情况下,不仅能完成故障类型与损伤等级的准确分类,而且还能实现故障自学习和损伤等级自增长,增强了诊断过程的智能...     

大数据下的深度学习研究

给出了大数据和机器学习的子领域——深度学习的概念,阐述了深度学习对获取大数据中的有价值信息的重要作用。描述了大数据下利用图像处理单元(GPU)进行并行运算的深度学习框架,对其中的大规模卷积神经网络(CNN)、大规模深度置信网络(DBN)和大规模递归神经网络(RNN)进行了重点论述。分析了大数据的容量、多样性、速率特征,介绍了大规模数据、多样性数据、高速率数据下的深度学习方法。展望了大数据背景下深度学习的发展前景,指出在不远的将来,大数据与深度学习融合的技术将会在计算机视觉、机器智能等多个领域获得突破性进展。     

基于深度学习的动态场景相机姿态估计方法

针对现有增强现实技术中应用较为广泛的基于标识物的定位注册方法的不足,提出了一种在不断变化运动的复杂动态场景下估计相机连续运动的3维姿态的方法。基于深度神经网络对输入图像序列建立端到端的学习模型,将卷积神经网络(CNN)作为高层特征提取器,同时利用长短期记忆神经网络(LSTM)建立视频连续帧之间的时序关系,完成相机连续运动的3维姿态估计,从而避免了相机快速运动及场景不断运动变换导致图像特征提取效果不好的情况。另一方面,通过迁移学习的方法来预测未知视频序列的相机3维姿态信息,解决了原始数据量不够的问题。在公共数据集上的实验结果表明,相对于PoseNet,基于连续视频序列的输入,其预测精度得到一定的提升。     

基于多传感器信号和卷积神经网络的滚动轴承故障诊断

针对滚动轴承故障信号非平稳非线性且易受背景噪声干扰的特点,结合深度学习的优势,提出了一种基于卷积神经网络(CNN)的滚动轴承故障诊断法。将不同故障下多个传感器测得的1维(1D)振动信号转化为2维(2D)灰度图像作为网络输入,并将其分为训练集和测试集;将训练集输入卷积神经网络进行训练,自动提取其中的特征;测试集被用于验证学习完毕的网络的有效性,实现滚动轴承故障识别。该方法不依赖于人为经验和信号处理技术进行预先的信号特征提取,实验数据分析表明,相比于经典的支持向量机和概率神经网络方法,提出的方法识别准确率更高且更稳定。     

基于MDFF与ISSA的滚动轴承故障声发射诊断

针对滚动轴承早期、复合故障难以准确诊断与智能诊断模型超参数确定严重依赖专家先验知识问题,提出一种基于多维深度特征融合(multi-dimensional depth feature fusion, MDFF)与改进麻雀搜索算法(improved sparrow search algorithm, ISSA)的滚动轴承故障声发射诊断方法。用一维卷积与线性瓶颈反向残差二维卷积神经网络构建多输入卷积神经网络(convolution neural network, CNN)结构的诊断模型,模型输入为滚动轴承声发射信号及其小波时频图,提出基于布伦纳梯度和信噪比的质量指标,在108种小波基中筛选出最佳时频图以提升输入数据质量。接着,采用特征金字塔网络将模型的一、二维低层与高层特征融合,建立深度融合的诊断模型。然后,将交叉混沌映射、自适应权重及融合的随机游走策略引入麻雀搜索算法中,以自适应获取MDFFCNN最优超参数。试验表明,对比近期多个主流智能诊断算法,所提方法可避免人工选择诊断模型超参数,对滚动轴承早期尤其复合故障具有更高的诊断精度和稳定性,模型诊断过程的智能化水平得到了进一步提高。     

基于CNN-BiLSTM-Attention的股价预测模型

股价预测问题一直是金融市场中的重要问题之一,准确的预测股价对量化交易具有重要意义。随着深度神经网络的发展,神经网络预测模型与其他算法的混合模型使用最广泛。该文提出一种新型的混合模型——CNN-BiLSTM-Attention模型。该模型首先使用CNN对股票数据特征进行特征提取,再使用双向LSTM模型进行预测,最后使用Attention机制对数据特征进行权重的更改,并对LSTM模型输出层输出向量与对应的权重相乘并求和。试验结果表明,与单独的LSTM、LSTM-Attention和CNN-BiLSTM相比,其具有更高的可靠性。     

基于NVDLA与FPGA结合的神经网络加速器平台设计

随着深度神经网络对算力的需求不断增加,传统通用处理器在完成推理运算过程中出现了性能低、功耗高的缺点,因此通过专用硬件对深度神经网络进行加速逐步成为了深度神经网络的重要发展趋势。现场可编程门阵列(FPGA)具有重构性强、开发周期短以及性能优越等优点,适合用作深度神经网络的硬件加速平台。英伟达深度学习加速器(NVDLA)是英伟达开源的神经网络硬件加速器,其凭借自身出色的性能被学术界和工业界高度认可。本文主要研究NVDLA在FPGA平台上的优化映射问题,通过多种优化方案高效利用FPGA内部的硬件资源,同时提高其运行性能。基于搭建的NVDLA加速器平台,本文实现了对RESNET-50神经网络的硬件加速,完成了在ImageNet数据集上的图像分类任务。研究结果表明,优化后的NVDLA能显著提高硬件资源使用效率,处理性能最高可达30.8 fps,实现了较边缘中央处理器(CPU)加速器平台28倍的性能提升。     

跨断层独塔斜拉桥的非线性地震响应特性研究

提出了一种基于层叠式残差长短时记忆神经网络(residual long short-term memory neural network, ResLSTM)的数据驱动建模方法,实现桥梁非线性地震响应预测。该方法利用长短时记忆(long short-term memory, LSTM)网络在长序列回归中的优势,并采用残差连接结构降低深度神经网络中的梯度回传难度,提高了有限数据下的深度网络预测性能。同时,通过采用层叠式序列结构,降低深度神经网络隐藏层节点数目,进一步提升深度神经网络的预测精度。随后,通过两跨预应力混凝土连续梁桥与组合梁斜拉桥的数值算例对该方法进行验证。神经网络的训练样本与测试样本均源自桥梁有限元模型的增量动力分析结果。此外,采用该方法成功预测了美国Meloland Overpass桥的地震响应,并与历史监测数据进行对比验证。结果表明：ResLSTM网络是一种鲁棒性良好、计算效率高的非线性地震响应预测方法,能够利用少量数据快速准确地预测桥梁结构在地震作用下的动力响应,在桥梁抗震性能评价中具有重要的应用潜力。

     

SCMA-D2D混合网络卷积自编码器

为满足物联网通信大连接、低功耗的需求,高效利用有限的频谱资源成为一项重要的挑战。在应用了稀疏码分多址接入(SCMA)技术的蜂窝网络中增加设备对设备(D2D)用户对,两者共享频谱资源,可以进一步提高频谱利用率,满足大规模连接和低功耗的通信需求。然而,当不同类型的用户共享相同的频谱资源时会导致严重的用户间干扰,导致多用户检测精度降低,译码复杂度增高。本文使用卷积神经网络(CNN)进行SCMA-D2D混合网络自编码器设计,通过端到端的联合训练,设计出合适的神经网络结构。用CNN单元实现混合网络的编码,学习SCMA蜂窝用户和D2D用户的有效码本;将混合网络的多用户检测问题建模为一个基于共享层机制的多任务分类解码问题,建立多用户分类解码器。实验结果表明,本文提出的自编码器能够生成对系统适应性更强的码本,结合接收端的多任务分类解码器能够有效地提高整个混合网络系统的误码率性能,同时减小译码计算复杂度。     

深度学习在多天气分类算法中的研究与应用

针对目前多天气识别分类问题,提出了一种基于深度学习和计算机视觉的天气现象自动分类算法。采集并建立了一个包括雾霾、沙尘、雨、雪、霜、露6类天气的适用于任意场景的多天气现象数据集,改善了目前已见报数据集规模小、种类单一、只面向特定场景的情况;同时采用密集连接和池化均衡的结构搭建深度卷积神经网络(CNN)模型,训练并挖掘天气数据的特征与内在规律,用深度学习方法实现天气现象的自动分类。实验结果表明:相比传统计算机视觉算法,该算法解决了严重依靠特征提取、适用场景单一问题;且比大多数深度网络模型参数更少、识别准确性更高,算法泛化性能大幅提升。     

基于卷积神经网络和LSTM循环神经网络的客户复购预测方法

通常一个销售代表会有数百名客户.销售代表无法定量预测哪位客户最近有下单需求,所以多采用轮询或者主观直觉的方式决定每天的回访客户名单.本文以深度学习的思路,把销售代表的历史回访记录作为输入数据,以卷积神经网络(CNN)和循环神经网络(RNN)为基础模型,让模型学习客户复购行为的内在逻辑以便指导初级销售代表的每日回访工作....     

基于细胞神经网络鲁棒性的彩色图像边缘检测

根据细胞神经网络(CNN)数学模型,提出一种新的彩色图像边缘检测方法。新方法继承了CNN的优点,解决了CNN现有算法不能直接检测彩色图像边缘的问题。该方法充分利用图像中的颜色信息,通过欧几里得距离度量像素之间的差异,使CNN方程可以在RGB彩色空间中进行运算。对CNN模板进行理论分析和鲁棒性研究,提出一个实现彩色图像边缘检测功能要求的CNN鲁棒性定理,为设计相应的CNN模板参数提供了解析判据。实验结果表明,该方法可以对彩色图像进行有效的边缘提取,定量评价验证了CNN边缘检测定位准确的优点。     

基于SENet双路径多尺度特征融合的ECT图像重建

针对单一神经网络在电容层析成像图像重建过程中难以捕捉复杂、深层电容向量特征的问题，提出一种基于压缩激励网络(squeeze-and-excitation networks, SENet)双路径多尺度特征融合的电容层析成像图像重建算法。构建多尺度密集深度空洞卷积模块，使模型获得更大的局部感受野的同时可以保持较低计算复杂度，并实现多尺度特征融合，以捕获电容向量的多尺度细节特征，增强模型的表征能力；采用残差神经网络解决深层网络提取特征时出现的退化现象，并添加SENet模块重新标定电容特征张量所属通道对应权重，校准特征响应。形成具有双向特征提取能力的双通道多特征融合的混合模型，以更好的拟合电容张量与介电常数之间的非线性映射关系。试验结果表明，BSFF算法相对于Landweber迭代算法、CNN算法等具有更高的图像重建质量，更好的鲁棒性。