面向混合量化CNNs的可重构处理器设计

为了解决已有卷积神经网络(convolution neural networks, CNNs)加速器,因无法适应混合量化CNN模型的计算模式和访存特性而引起加速器效率低的问题,设计了可适应混合量化模型的可重构计算单元、弹性片上缓存单元和宏数据流指令集。其中,采用了可根据CNN模型结构的重构多核结构以提高计算资源利用率,采用弹性存储结构以及基于Tile的动态缓存划分策略以提高片上数据复用率,采用可有效表达混合精度CNN模型计算和可重构处理器特性的宏数据流指令集以降低映射策略的复杂度。在Ultra96-V2平台上实现VGG-16和ResNet-50的计算性能达到216.6和214 GOPS,计算效率达到0.63和0.64 GOPS/DSP。同时,在ZCU102平台上实现ResNet-50的计算性能可达931.8 GOPS,计算效率可达0.40 GOPS/DSP,相较于其他类似CNN加速器,计算性能和计算效率分别提高了55.4%和100%。     

一种新的深度卷积神经网络的SLU函数

修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据"输出均值接近零的激活函数能够提升神经网络学习性能"原理对其进行改进,提出SLU(softplus linear unit)函数.首先,对负数输入部分进行softplus处理,使得负数输入时SLU函数的输出为负,从而输出平均值更接近于零,减缓了偏移现象;其次,为保证梯度平稳,对SLU的参数进行约束,并固定正数部分的参数;最后,根据SLU对正数部分的处理调整负数部分的参数,确保激活函数在零点处连续可导,信息得以双向传播.设计深度自编码模型在数据集MINST上进行无监督学习,设计网中网卷积神经网络模型在数据集CIFAR-10上进行监督学习.实验结果表明,与ReLU及其相关改进单元相比,基于SLU函数的神经网络模型具有更好的特征学习能力和更高的学习精度.     

基于卷积神经网络的页岩重构方法

岩石的内部结构复杂,虽然利用扫描电镜可获得精确的高分辨率页岩孔隙结构,但是实验成本高,耗时长,不便于大规模运用。针对这一问题,提出了基于无监督卷积神经网络的页岩重构方法,结合页岩图像软数据,进行了页岩重构。实验证明该方法只需要少量的真实页岩数据即可获得较好的重构结果;与经典的数值重构方法 Snesim和Filtersim方法相比,该方法耗时更少,具有一定优势。     

一种高度并行的卷积神经网络加速器设计方法

为实现卷积神经网络数据的高度并行传输与计算,生成高效的硬件加速器设计方案,提出了一种基于数据对齐并行处理、多卷积核并行计算的硬件架构设计和探索方法. 该方法首先根据输入图像尺寸对数据进行对齐预处理,实现数据层面的高度并行传输与计算,以提高加速器的数据传输和计算速度,并适应多种尺寸的输入图像;采用多卷积核并行计算方法,使不同的卷积核可同时对输入图片进行卷积,以实现卷积核层面的并行计算;基于该方法建立硬件资源与性能的数学模型,通过数值求解,获得性能与资源协同优化的高效卷积神经网络硬件架构方案. 实验结果表明: 所提出的方法,在Xilinx Zynq XC7Z045上实现的基于16位定点数的SSD网络(single shot multibox detector network)模型在175 MHz的时钟频率下,吞吐量可以达到44.59帧/s,整板功耗为9.72 W,能效为31.54 GOP/(s·W);与实现同一网络的中央处理器(CPU)和图形处理器(GPU)相比,功耗分别降低85.1%与93.9%;与现有的其他卷积神经网络硬件加速器设计相比,能效提升20%~60%,更适用于低功耗嵌入式应用场合.     

自适应深度卷积神经网络模型构建方法

针对传统卷积神经网络(CNN)模型构建过度依赖经验知识、参数多、训练难度大等缺点,同时鉴于复杂多类问题的CNN模型构建策略的重要价值,提出一种自适应深度CNN模型构建方法.首先,将初始网络模型的卷积层和池化层设置为仅含一幅特征图;然后,以网络收敛速度为评价指标,对网络进行全局扩展,全局扩展后,根据交叉验证样本识别率控制网络展开局部扩展,直到识别率达到预设期望值后停止局部网络学习;最后,针对新增训练样本,通过拓展新支路实现网络结构的自适应增量学习.通过图像识别实验验证了所提算法在网络训练时间和识别效果上的优越性.     

一种新的动态部分可重构设计方法及实现

由于FPGA既保留了ASIC的速度性能,又兼具了通用处理器的灵活性,逐渐成为计算机体系结构研究的热点。基于FPGA的动态部分可重构技术,充分利用了FPGA芯片的硬件资源,减少了重配置时间,大大提高了系统效率。该文介绍了一种新的动态部分可重构设计方法,并在VirtexⅡPro FPGA上进行验证。     

一种可重构机器人运动学求解方法

针对可重构机器人没有统一的运动学求解形式问题,提出通过构形平面匹配方法求解可重构机器人的运动学.采用改进形式的D-H建模方法,可自动形成可重构机器人运动学模型;将机器人在目标点的位形分解成若干个构形平面,通过三级构形平面的匹配,可求得具有单一串连形式可重构机器人运动学逆解;对搭建的6自由度机器人和8自由度机器人构形的运动学进行实例仿真.仿真结果表明,采用有限个构形平面匹配方法能够求解出可重构机器人运动学,验证了算法的正确性和实用性.     

基于多视图并行的可配置卷积神经网络加速器设计

针对商用CPU的专用许可证授权费用高和卷积神经网络性能提升等问题,提出了一种基于多视图并行且具有可配置性的卷积神经网络加速器设计,同时结合RISC-V构建该加速器的片上系统。首先,扩展一组适用高速协加速器的控制访问接口和数据访问接口。其次,卷积神经网络各运算单元以多视图并行与结构复用实现。视图并行的不同组合将影响卷积单元硬件电路结构,因此多视图并行可通过复用基本运算结构来完成。池化单元由行池化和列池化子单元构成,且共享行池化的运算结构。对于全连接单元,采用调整全连接运算参数的方法来适应卷积单元的硬件结构,从而完成模型间的复用。然后,针对不同运算单元的硬件结构设计不同寄存器组,并结合开源RISC-V处理实现多种网络模型。最后,将卷积神经网络各运算单元分别部署在不同平台,计算运算时间、吞吐量和速度等。实验结果表明,提出方法的卷积加速比是CPU的189倍, VGG16的卷积运算吞吐量可达178GOP/s。因此,利用多视图并行能够达到加速效果,且以配置寄存器方式可实现不同网络模型。     

一种多尺度嵌套卷积神经网络模型

卷积神经网络模型要求训练图像与测试图像在空间尺度上一致.为弱化这一限制,对卷积层特征提取器进行多尺度改进,提出了一种尺度不变卷积神经网络模型,以自动适应输入图像在平面空间上的尺度变化.同时,将多层Maxout网络嵌入新模型中,以进一步提高特征提取能力,提高图像识别与分类的准确性.实验测试结果表明,该模型提高了传统卷积神经网络模型的尺度不变性和分类精度.     

基于卷积神经网络的图像精度深度优化

传统的图像精度深度优化方法优化后的图像精度仍然较差,为此设计一种基于卷积神经网络的图像精度深度优化方法.采用目标监测方法提取图像目标区域特征,对图像的原始特征提取,利用深度学习框架生成多个特征图表示图像信息,并对图像像素集分割,固定待提高精度的图像,利用卷积神经网络修复图像,以实现图像增强,完成基于卷积神经网络的图像精...     

High performance multiply-accumulator for the convolutional neural networks accelerator

The multiply-accumulator (MAC) in existing convolutional neural network(CNN) accelerators generally have some problems, such as a large area, a high power consumption and a long critical path. Aiming at these problems, this paper presents a high-performance MAC based on transmission gates for CNN accelerators. This paper proposes a new data accumulation and compression structure suitable for the MAC, which reduces the hardware overhead. Moreover, we propose a new parallel adder architecture. Compared with the Brent Kung adder, the proposed adder reduces the number of gate delay stages and improves the calculation speed without causing an increase in hardware resources. In addition, we use the advantages of the transmission gate to optimize each unit circuit of the MAC. The 16-by-8 fixed-point high performance MAC based on the methods presented in this paper has a critical path delay of 1.173ns, a layout area of 9049.41μm2, and an average power consumption of 4.153mW at 800MHz under the SMIC 130nm tt corner. Compared with the traditional MAC, the speed is increased by 37.42%, the area is reduced by 47.84%, and the power consumption is reduced by56.77% under the same conditions.     

一种基于深度卷积网络的鲁棒头部姿态估计方法

针对头部姿态估计方法受特征提取限制导致姿态估计效果不佳的问题,提出使用深度卷积网络自动学习有效特征并进行分类的头部姿态估计方法。首先,利用DCNN非线性映射和自动提取图像结构信息的能力,设计一个深度卷积网络实现对姿态鲁棒特征的提取;然后再将提取的特征用于分类器训练并最终实现头部姿态估计。在Pointing’04和FacePix数据库上的测试结果表明,本文设计的深度卷积网络能有效的进行特征学习,避免了人工设计特征的不足,与现有的基于人工设计特征方法相比,本文方法在两个数据库上达到的预测平均绝对误差分别为4.05〫和2.04〫,充分证实了本文算法的稳定性和可靠性。     

一种基于深度神经网络的停车位检测算法开发

协同分析和处理跨模态数据一直是现代人工智能领域的难点和热点,其主要挑战是跨模态数据具有语义和异构鸿沟. 近年来,随着深度学习理论和技术的快速发展,基于深度学习的算法在图像和文本处理领域取得了极大的进步,进而产生了视觉问答(visual question answering, VQA)这一课题. VQA系统利用视觉信息和文本形式的问题作为输入,得出对应的答案,核心在于协同理解和处理视觉、文本信息. 因此,对VQA方法进行了详细综述,按照方法原理将现有的VQA方法分为数据融合、跨模态注意力和知识推理3类方法,全面总结分析了VQA方法的最新进展,介绍了常用的VQA数据集,并对未来的研究方向进行了展望.

     

深度连续卷积神经网络模型构建与性能分析

为了提升卷积神经网络特征提取能力,设计了一种基于连续卷积的深度卷积神经网络模型.该模型采用小尺度的卷积核来更细致地提取局部特征,并借助连续的两个卷积层增加模型的非线性表达能力,结合Dropout技术降低神经元之间的相互依赖,利用抑制网络过拟合对模型进行优化.人脸表情、手写数字字符和彩色图像的目标识别实验表明,在图像较为复杂时,该模型在识别的准确性和泛化性能上比手工特征提取方法及一般的2、3层卷积结构具有明显的优势.     

一种识别表情序列的卷积神经网络

传统的人脸表情识别方法需要人为指定特征训练方向,卷积神经网络方法虽然可以自动训练分类特征,但是存在无法识别表情序列的弊端．针对此问题,运用一种多网络融合技术,使构建的网络能够对表情序列进行识别．网络构建方法为:首先构建多个卷积神经网络,使每个网络处理一帧图片;然后将处理结果在融合层进行融合;最后通过一个分类器输出识别结果．在CK+人脸表情数据库上,分别对3帧、4帧和5帧表情序列进行实验,均获得了较高的识别率．     

神经网络技术在设备故障诊断中的应用进展

概述了国内外设备故障诊断的发展状况、神经网络在设备故障诊断的发展状况．对于复杂的故障，单一的神经网络诊断很难得出准确结果，考虑到旋转机械故障的复杂性，因而将集成神经网络应用于机械故障诊断中．考虑到设备故障的复杂性，利用集成神经网络对旋转机械故障进行诊断并对集成神经网络在设备故障诊断中的应用进行了预测．     

深部开采岩爆预测的神经网络方法

岩爆是深部高地应力岩石地下工程中的一种常见灾害,其影响因素间存在着极其复杂的非线性关系.在综合分析各种因素的基础上,选取开采深度、围岩最大切向应力与岩石单轴抗压强度比值、岩石单轴抗压强度和抗拉强度比值、岩石冲击性倾向指数作为岩爆预测的评判指标.应用人工神经网络方法,建立了岩爆预测的计算模型,利用国内外一些岩石地下工程资料作为学习样本和测试样本对模型进行训练.结果表明,将开采深度作为一个因素输入,结果更接近于实际,为深部开采岩爆预测提供了科学依据.     

基于神经网络深基坑桩排支护及地表沉降研究

基于人工神经网络原理,构筑深基坑桩排支护设计及地层沉降的多级神经网络,对深基坑桩排支护设计的参数进行设计和优化,对地表沉降进行分析,应用结果表明,该方法可靠性强,有较高的实用价值和应用前景。     

材料机械性能预测及模拟退火算法优化

将人工神经网络用于建立高Ｃｏ－Ｎｉ二次硬化钢的性能预测模型,在此基础上,对此类钢合金含量改变时的性能进行了预测,并与实验结果相比较,获得了满意的结果,另外采用模拟退火算法对高Ｃｏ－Ｎｉ二次硬化钢的性能进行了多指标优化,从而为材料性能的优化研究探索了一条崭新的途径。