卷积神经网络混合截断量化

量化是压缩卷积神经网络、加速卷积神经网络推理的主要方法.现有的量化方法大多将所有层量化至相同的位宽,混合精度量化则可以在相同的压缩比下获得更高的准确率,但寻找混合精度量化策略是很困难的.为解决这种问题,提出了一种基于强化学习的卷积神经网络混合截断量化方法,使用强化学习的方法搜索混合精度量化策略,并根据搜索得到的量化策略混合截断权重数据后再进行量化,进一步提高了量化后网络的准确率.在ImageNet数据集上测试了ResNet18/50以及MobileNet-V2使用此方法量化前后的Top-1准确率,在COCO数据集上测试了YOLOV3网络量化前后的mAP.与HAQ, ZeroQ相比, MobileNet-V2网络量化至4位的Top-1准确率分别提高了2.7%和0.3%;与分层量化相比, YOLOV3网络量化至6位的mAP提高了2.6%.     

一种超低损失的深度神经网络量化压缩方法

深度神经网络(deep neural network,简称DNN)量化是一种高效的模型压缩方法,使用少量位宽表示模型计算过程中的参数和中间结果数据.数据位宽会直接影响内存占用、计算效率和能耗.以往的模型量化研究缺乏有效的定量分析,这导致量化损失难以预测.提出了一种超低损失的DNN量化方法(ultra-low loss ...     

面向深度卷积网络的多目标神经演化算法

传统的深度卷积神经网络设计方法依赖于人工设计以及反复试错,只能采用形式单一的网络结构,导致其参数过分冗余,乘法次数巨大.为了自动化地设计出结构灵活多变,网络规模及计算量较小的深度卷积神经网络,本文提出了一种面向深度卷积网络的多目标神经演化算法.该算法将深度神经网络表达成有向图,使用神经演化和多目标优化算法实现了深度、计算量和识别率下的多目标同时优化,同时还引入了线性规划用于将基因编码翻译为卷积层的配置参数,使得演化算法可以自动调整各个网络层的具体配置.演化得到的模型其最深路径上含有36个卷积层,CIFAR-100上Top5精度为86.1%,Top1精度为60.2%,与识别率相近的网络相比,具有结构新颖,乘法次数低等特点.综上,本文提出的方法能够自动生成一系列各具特色的深度神经网络,可根据在深度、计算量和识别率3个指标上的不同应用需求选择适合的深度神经网络,为深度神经网络部署于资源受限的无线传感器网络上提供了一种快速、经济、自动化的设计方法.     

基于忆阻器的PIM结构实现深度卷积神经网络近似计算

忆阻器(memristor)能够将存储和计算的特性融合,可用于构建存储计算一体化的PIM(processing-in-memory)结构.但是,由于计算阵列以及结构映射方法的限制,基于忆阻器阵列的深度神经网络计算需要频繁的AD/DA转换以及大量的中间存储,导致了显著的能量和面积开销.提出了一种新型的基于忆阻器的深度卷积神经网络近似计算PIM结构,利用模拟忆阻器大大增加数据密度,并将卷积过程分解到不同形式的忆阻器阵列中分别计算,增加了数据并行性,减少了数据转换次数并消除了中间存储,从而实现了加速和节能.针对该结构中可能存在的精度损失,给出了相应的优化策略.对不同规模和深度的神经网络计算进行仿真实验评估,结果表明,在相同计算精度下,该结构可以最多降低90%以上的能耗,同时计算性能提升约90%.     

自动化张量分解加速卷积神经网络

近年来,卷积神经网络（CNN）展现了强大的性能,被广泛应用到了众多领域.由于CNN参数数量庞大,且存储和计算能力需求高,其难以部署在资源受限设备上.因此,对CNN的压缩和加速成为一个迫切需要解决的问题.随着自动化机器学习（AutoML）的研究与发展,AutoML对神经网络发展产生了深远的影响.受此启发,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN加速模型,有效地解决了张量分解中,人工选择秩带来的误差问题,能够有效地提升CNN的压缩和加速效果.通过在MNIST和CIFAR-10数据集上的严格测试,与原网络相比,在MNIST数据集上准确率稍微下降了0.35%,模型的运行时间获得了4.1倍的大幅提升;在CIFAR-10数据集上,准确率稍微下降了5.13%,模型的运行时间获得了0.8倍的大幅提升.     

深度卷积神经网络的目标检测算法综述

目标检测是计算机视觉中的核心任务之一,在智能视频监控、自动化监测、工业检测等领域应用广泛。近些年来,随着深度学习的快速发展,基于深度卷积神经网络的目标检测算法逐渐替代了传统的目标检测算法,成为了该领域的主流算法。介绍了目标检测算法的常用数据集和性能评价指标,介绍了卷积神经网络的发展,重点分析比较了两阶段目标检测算法和单阶段目标检测算法,展望了基于深度卷积神经网络的目标检测算法未来的发展。     

基于并行深度卷积神经网络的图像美感分类

随着计算机和社交网络的飞速发展, 图像美感的自动评价产生了越来越大的需求并受到了广泛关注. 由于图像美感评价的主观性和复杂性, 传统的手工特征和局部特征方法难以全面表征图像的美感特点, 并准确量化或建模. 本文提出一种并行深度卷积神经网络的图像美感分类方法, 从同一图像的不同角度出发, 利用深度学习网络自动完成特征学习, 得到更为全面的图像美感特征描述; 然后利用支持向量机训练特征并建立分类器, 实现图像美感分类. 通过在两个主流的图像美感数据库上的实验显示, 本文方法与目前已有的其他算法对比, 获得了更好的分类准确率.     

平行视觉框架下深度卷积神经网络可视化分析

深度学习方法在计算机视觉领域取得了很大的发展,多种深度卷积神经网络在实际的目标检测中取得了很好的应用效果,但均存在网络可解释性较差的问题。通过将特征图反向映射到输入图像的像素空间,来对网络的特征图进行可视化分析;在平行视觉研究框架下,分别采用真实和人工绝缘子图像样本来分析网络的特征响应,最后依据可视化结果对网络参数进行调整。研究结果表明,人工图像中绝缘子的占比、角度和位置对网络的特征响应和分类正确率均有不同程度的影响,根据真实和人工绝缘子图像的特征图可视化结果来对网络的结构和参数进行调整,能够较好地提升网络的性能。     

FAQ-CNN:面向量化卷积神经网络的嵌入式FPGA可扩展加速框架

卷积神经网络(convolutional neural network, CNN)模型量化可有效压缩模型尺寸并提升CNN计算效率.然而,CNN模型量化算法的加速器设计,通常面临算法各异、代码模块复用性差、数据交换效率低、资源利用不充分等问题.对此,提出一种面向量化CNN的嵌入式FPGA加速框架FAQ-CNN,从计算、通信和存储3方面进行联合优化,FAQ-CNN以软件工具的形式支持快速部署量化CNN模型.首先,设计面向量化算法的组件,将量化算法自身的运算操作和数值映射过程进行分离;综合运用算子融合、双缓冲和流水线等优化技术,提升CNN推理任务内部的并行执行效率.然后,提出分级编码与位宽无关编码规则和并行解码方法,支持低位宽数据的高效批量传输和并行计算.最后,建立资源配置优化模型并转为整数非线性规划问题,在求解时采用启发式剪枝策略缩小设计空间规模.实验结果表明,FAQ-CNN能够高效灵活地实现各类量化CNN加速器.在激活值和权值为16 b时,FAQ-CNN的加速器计算性能是Caffeine的1.4倍;在激活值和权值为8 b时,FAQ-CNN可获得高达1.23TOPS的优越性能.     

Deep Convolutional Neural Network Approach for COVID-19 Detection

Coronavirus disease 2019 (Covid-19) is a life-threatening infectious disease caused by a newly discovered strain of the coronaviruses. As by the end of 2020, Covid-19 is still not fully understood, but like other similar viruses, the main mode of transmission or spread is believed to be through droplets from coughs and sneezes of infected persons. The accurate detection of Covid-19 cases poses some questions to scientists and physicians. The two main kinds of tests available for Covid-19 are viral tests, which tells you whether you are currently infected and antibody test, which tells if you had been infected previously. Routine Covid-19 test can take up to 2 days to complete; in reducing chances of false negative results, serial testing is used. Medical image processing by means of using Chest X-ray images and Computed Tomography (CT) can help radiologists detect the virus. This imaging approach can detect certain characteristic changes in the lung associated with Covid-19. In this paper, a deep learning model or technique based on the Convolutional Neural Network is proposed to improve the accuracy and precisely detect Covid-19 from Chest Xray scans by identifying structural abnormalities in scans or X-ray images. The entire model proposed is categorized into three stages: dataset, data pre-processing and final stage being training and classification.     

Deep Imitation Learning for Autonomous Vehicles Based on Convolutional Neural Networks

Providing autonomous systems with an effective quantity and quality of information from a desired task is challenging. In particular, autonomous vehicles, must have a reliable vision of their workspace to robustly accomplish driving functions. Speaking of machine vision, deep learning techniques, and specifically convolutional neural networks, have been proven to be the state of the art technology in the field. As these networks typically involve millions of parameters and elements, designing an optimal architecture for deep learning structures is a difficult task which is globally under investigation by researchers. This study experimentally evaluates the impact of three major architectural properties of convolutional networks, including the number of layers, filters, and filter size on their performance. In this study, several models with different properties are developed,equally trained, and then applied to an autonomous car in a realistic simulation environment. A new ensemble approach is also proposed to calculate and update weights for the models regarding their mean squared error values. Based on design properties,performance results are reported and compared for further investigations. Surprisingly, the number of filters itself does not largely affect the performance efficiency. As a result, proper allocation of filters with different kernel sizes through the layers introduces a considerable improvement in the performance.Achievements of this study will provide the researchers with a clear clue and direction in designing optimal network architectures for deep learning purposes.     

一种基于动态量化编码的深度神经网络压缩方法

近年来深度神经网络（Deep neural network,DNN）从众多机器学习方法中脱颖而出,引起了广泛的兴趣和关注.然而,在主流的深度神经网络模型中,其参数数以百万计,需要消耗大量的计算和存储资源,难以应用于手机等移动嵌入式设备.为了解决这一问题,本文提出了一种基于动态量化编码（Dynamic quantization coding,DQC）的深度神经网络压缩方法.不同于现有的采用静态量化编码（Static quantitative coding,SQC）的方法,本文提出的方法在模型训练过程中同时对量化码本进行更新,使码本尽可能减小较大权重参数量化引起的误差.通过大量的对比实验表明,本文提出的方法优于现有基于静态编码的模型压缩方法.     

基于跨连卷积神经网络的性别分类模型

为提高性别分类准确率, 在传统卷积神经网络(Convolutional neural network, CNN)的基础上, 提出一个跨连卷积神经网络(Cross-connected CNN, CCNN)模型. 该模型是一个9层的网络结构, 包含输入层、6个由卷积层和池化层交错构成的隐含层、全连接层和输出层, 其中允许第2个池化层跨过两个层直接与全连接层相连接. 在10个人脸数据集上的性别分类实验结果表明, 跨连卷积网络的准确率均不低于传统卷积网络.     

GShuttle: Optimizing Memory Access Efficiency for Graph Convolutional Neural Network Accelerators

Journal of Computer Science and Technology - Graph convolutional neural networks (GCNs) have emerged as an effective approach to extending deep learning for graph data analytics, but they are...     

基于级联卷积神经网络的机器人平面抓取位姿快速检测

针对任意姿态的未知不规则物体,提出一种基于级联卷积神经网络的机器人平面抓取位姿快速检测方法．建立了一种位置-姿态由粗到细的级联式两阶段卷积神经网络模型,利用迁移学习机制在小规模数据集上训练模型,以R-FCN（基于区域的全卷积网络）模型为基础提取抓取位置候选框进行筛选及角度粗估计,并针对以往方法在姿态检测上的精度不足,提出一种Angle-Net模型来精细估计抓取角度．在Cornell数据集上的测试及机器人在线抓取实验结果表明,该方法能够对任意姿态、不同形状的不规则物体快速计算最优抓取点及姿态,其识别准确性和快速性相比以往方法有所提高,鲁棒性和稳定性强,且能够泛化适应未训练过的新物体．     

深度卷积神经网络的多GPU并行框架

近年来,深度卷积神经网络在图像识别和语音识别等领域被广泛运用,取得了很好的效果。深度卷积神经网络是层数较多的卷积神经网络,有数千万参数需要学习,计算开销大,导致训练非常耗时。针对这种情况,本文提出深度卷积神经网络的多GPU并行框架,设计并实现模型并行引擎,依托多GPU的强大协同并行计算能力,结合深度卷积神经网络在训练中的并行特点,实现快速高效的深度卷积神经网络训练。      

卷积神经网络中的注意力机制综述

注意力机制因其优秀的效果与即插即用的便利性,在深度学习任务中得到了越来越广泛的应用。主要着眼于卷积神经网络,对卷积网络注意力机制发展过程中的各种主流方法进行介绍,并对其核心思想与实现过程进行提取与总结,同时对每种注意力机制方法进行实现,针对同型号辐射源设备实测数据进行对比实验与结果分析,并依据主流方法的思想与实验的结果总结并阐述了卷积网络中的注意力机制的研究现状与未来其发展方向。     

用于大规模图像识别的特深卷积网络

卷积网络深度对大规模图像识别的准确性有不可忽视的影响.使用具有非常小(3×3)卷积滤波器的架构,我们对深度不断增长的网络进行了全面评估.通过将深度推到16–19重量层可以实现对现有技术配置的显着改进.通过比对其他卷积滤波器架构的卷积网络,我们验证了我们提出的网络对大规模图像识别的改进效果.同时为了避免训练数据集内在的偏倚,我们还使用了其他数据集对网络进行了验证,在这些数据集中,它们可以获得最先进的结果.     

面向嵌入式的卷积神经网络硬件加速器设计

近年来,随着神经网络模型越来越复杂,针对卷积神经网络推理计算所需内存空间过大,限制其在嵌入式设备上部署的问题,提出一种动态多精度定点数据量化硬件结构,使用定点数代替训练后推理过程中的浮点数执行卷积运算.结果表明,采用16位动态定点量化和并行卷积运算硬件架构,与静态量化策略相比,数据准确率高达97.96％,硬件单元的面积...     

大权值抑制策略用于训练卷积神经网络

卷积神经网络(Convolutional Neural Network,CNN)是深度学习研究的重要方向,因其模型复杂且训练困难,所以设计更好的CNN训练方法一直是研究热点。针对训练好的CNN模型,分析了其参数权值对训练结果的影响,确认权值越大的连接参数对模型性能的影响也越大,且整个模型的性能主要由极少数的大权值参数决定。据此,提出了CNN的权值抑制训练方法(Weight Restrain of CNN,WR-CNN),该方法调整了模型训练时的权值更新策略,设置一个与权值大小相关的抑制系数,用该系数调整反向传播时的权值增量幅度,达到控制大权值连接参数分布的目的。在不同实验条件下,该方法将CNN模型的错误率降低1.8%～5.0%,模型对大权值参数的敏感性明显降低,模型泛化能力和鲁棒性均得到改善,另外,该方法也可用于对已训练好的网络模型进行再优化。