基于粗粒度数据流架构的稀疏卷积神经网络加速

卷积神经网络(convolutional neural network,CNN)在图像处理、语音识别、自然语言处理等领域实现了很好的性能.大规模的神经网络模型通常遭遇计算、存储等资源限制,稀疏神经网络的出现有效地缓解了对计算和存储的需求.尽管现有的领域专用加速器能够有效处理稀疏网络,它们通过算法和结构的紧耦合实现高能效,却丧失了结构的灵活性.粗粒度数据流架构通过灵活的指令调度可以实现不同的神经网络应用.基于该架构,密集卷积规则的计算特性使不同通道共享相同的一套指令执行,然而稀疏网络中存在权值稀疏,使得这些指令中存在0值相关的无效指令,而现有的指令执行方式无法自动跳过它们从而产生无效计算.同时在执行不规则的稀疏网络时,现有的指令映射方法造成了计算阵列的负载不均衡.这些问题阻碍了稀疏网络性能的提升.基于不同通道共享一套指令的前提下,根据稀疏网络的数据和指令特征增加指令控制单元实现权值数据中0值相关指令的检测和跳过,同时使用负载均衡的指令映射算法解决稀疏网络中指令执行不均衡问题.实验表明:与密集网络相比稀疏网络实现了平均1.55倍的性能提升和63.77％的能耗减少.同时比GPU(cuSparse)和Cambricon-X实现的稀疏网络分别快2.39倍(Alexnet)、2.28倍(VGG16)和 1.14倍(Alexnet)、1.23倍(VGG16).     

基于动态指令基因的病毒防护方法研究

提出基于动态指令基因的病毒防护模型。读取被检测程序运行过程中在处理器以及存储器中的数据流,通过滑动窗口实时动态扫描该数据流,计算出程序指令基因(有效指令结构的指纹数据),将程序指令基因与预置的破坏性指令数据库进行散列运算,从而识别是否为病毒程序。此模型解决了目前世界上无法达到与程序同步执行过程中的实时动态检测的问题,在防御计算机病毒实验过程中取得了较好的应用效果。     

融合多类型特征的特定领域实体识别研究

特定领域实体具有分布稀疏、类型有限、领域性强等特点,与普通命名实体具有较大差别,在使用神经网络模型构建识别模型中面临训练语料规模有限、带标实体稀疏等困难。以武器装备名识别为例,研究深度学习框架下,词性、句法和领域知识融入神经网络模型的方法和效果。实验结果表明,在融入词性和领域知识后,武器装备名识别的F值分别提升了0.97%与9.5%。此外,通过在不同语料规模下进行实验并定量分析不同类型特征的分布特点,初步给出造成不同类型特征对深度学习模型有着不同支持作用的原因。     

基于GRU＿LSTM及RL算法的伪随机指令生成器

在CPU验证过程中,传统伪随机指令生成器通过生成大量合法无序的指令序列,从而实现功能覆盖率或代码覆盖率的验证目标。然而,没有趋向针对性的指令生成,为达到指标需要耗费大量的人力及时间成本。该文以一款基于精简指令集(RISC-V)自研核心为例,在基于通用验证方法学(Universal Verification Methodology, UVM)的验证平台上设计出一种伪随机指令生成器,并针对普通伪随机指令生成器覆盖率低、收敛速度慢的问题,建立GRU＿LSTM算法模型,并结合强化学习(Reinforcement Learning, RL)算法构建新算法模型RLGRU＿LSTM应用于伪随机指令生成过程,并且针对RL方向决策,提出了基于霍夫曼编码的CPU指令包编码方式训练opcode分布,同时融合了CPU指令类型和指令间执行顺序因素,快速捕获人工定向验证预料不到的验证盲点,有效加快了代码覆盖率达到预期的进程。该文着重描述伪随机指令生成器及RLGRU＿LSTM算法对模型训练过程的指导。实验结果表明,与直接使用伪随机指令生成技术相比,该方法在约定伪随机指令条目下,相比传统伪随机方法能提高约19%的覆盖...     

8051、ARM和DSP指令周期的测试与分析

在实时嵌入式控制系统中,指令周期对系统的性能有至关重要的影响。介绍几种最常用的微控制器的工作机制,采用一段循环语句对这几种微控制器的指令周期进行测试,并进行分析比较。分析结论对系统控制器的选择有一定的指导作用。     

基于深度强化学习的掼蛋扑克博弈求解

在不确定信息的复杂环境下进行决策是现实中人们经常面对的困难之一,因此具有能够进行良好决策的能力被视为人工智能的重要能力之一.而游戏类型的博弈作为对现实世界的一种高度抽象,具有良定义、易检验算法优劣等特点,成为研究的主流.其中以掼蛋为代表的扑克类博弈不仅具有他人手牌未知这样的难点,还由于可选出牌动作与他人手牌情况数量庞大等特点,难以进行高效求解.因此,提出了一种软深度蒙特卡洛（soft deep Monte Carlo,SDMC）求解方法.该方法能够更好地融合领域知识,加快策略学习速度,并采用软动作采样策略调整实时决策,提升策略胜率.所提出的SDMC方法训练出的策略模型参加第2届“中国人工智能博弈算法大赛”时获得冠军.与第1届比赛冠军策略和第2届其他策略模型的实验对比证明了该方法在解决掼蛋扑克博弈中的有效性.     

分簇式VLIW密码专用处理器的编译器后端优化研究

密码专用处理器常采用分簇式超长指令字(Very Long Instruction Word, VLIW)架构,其性能的发挥依赖于编译器的实现.当前对于通用VLIW架构的编译后端优化方案,在密码专用处理器上都有一定的不适应性.为此,本文提出了一种面向密码专用处理器的、同时进行簇指派、指令调度和寄存器分配的编译器后端优化方法.构造“定值-引用”链,求解变量的候选寄存器类型集合交集,确定其寄存器类型;实时评估可用资源,进行基于优先级的指令选择和基于平衡寄存器压力的簇指派;改进线性扫描算法,基于变量的“待引用次数”列表进行实时的寄存器分配.实验结果表明,本方法能够提升生成代码的性能,且算法是非启发式的,减小了编译所需的时间.     

基于深度神经网络的个性化混合商品推荐模型

针对推荐系统广泛采用的协同过滤算法存在的稀疏性和冷启动问题,提出了一种基于深度神经网络和动态协同滤波的推荐模型.该模型采用预训练BERT模型结合双向GRU从用户和商品评论中提取隐含特征向量,利用耦合CNN构建评分预测矩阵,通过动态协同滤波融入用户兴趣变化的时间特征.在亚马逊公开数据集上进行实验,结果表明该模型提高了商品评分预测的准确性.     

MOb-GRU神经网络工业软测量建模方法与输出预测

由于工业过程具有强非线性、动态特性与慢时变性, 其完整性建模相对较难. 针对工业过程的现有软测量技术并未综合考虑过程的非线性和动态特性, 本文提出了一种依赖模型阶次的GRU(MOb–GRU)神经网络软测量模型, 针对非线性动态过程进行全动态建模. 首先, 在MOb–GRU的结构选择上, 本文根据所研究实际对象的动态特性复杂程度确定网络的总模块数. 另外, MOb–GRU能灵活设置反向更新的单元数, 这种设置打破了传统GRU只能从第1个模块开始输出的限制. 其次, 为使记忆网络以较快的速率收敛到最优, 本文分别设计了基于自适应学习率和学习率矩阵的网络训练算法. 接着, 仿真实验分别选取了典型的单变量与多变量非线性动态过程, 并采用MOb–GRU神经网络对其进行建模和预测. 最后, 仿真结果证实了MOb–GRU网络结构的合理性以及训练算法的高效性.     

RoboCup中基于神经网络的阵型策略在线学习

在RoboCup仿真2D系统中,智能体很难在实时动态不确定的环境中做出正确的决策,因此研究学习不可预测的对手阵型策略跑位是迫切需要的。本文在RoboCup仿真2D项目程序设计中提出利用神经网络权值直接确定法在线学习对手阵型策略,并设计学习对手阵型策略的神经网络模型,最后利用在线教练实时训练神经网络的模型。实验结果建立学习对手阵型的神经网络模型,并把训练好的模型加入防守策略中,有效提高了智能体的防守能力,增强了球队的整体技能。     

贵阳方言工厂指令识别

针对贵阳工厂环境下口头任务对接缺乏依据性、出现事故难于追责的问题,引入深度学习模型改善贵阳方言工厂指令识别效果.自制贵阳方言工厂指令数据集,搭建指令识别系统,依次训练六种模型,其中包括拥有9层隐藏层的深度神经网络.在同一测试集下,系统随训练的进行逐渐提升性能,在DNN模型下识别错误率降至最低,远低于单音素模型识别错误率...     

RTS游戏中用户行为的神经网络预测模型

即时战略游戏(简称RTS游戏)中,用户的行为由于游戏自身庞大的决策空间而难以预测.针对这个问题,提出了通过对RTS游戏的对战记录进行分析,建立5种结构的神经网络模型来预测用户行为的方法.模型考虑了不同时间片的状态对于决策行为的影响,设计了单时间片输入和双时间片输入的神经网络,并与基于动态贝叶斯网络的模型进行了比较.实验结果表明,基于单时间片输入的神经网络模型能够更加快速地完成训练过程并达到满意的预测准确度.     

GRU递归神经网络对股票收盘价的预测研究

股票市场是个多变且复杂的非线性动力学系统,股票价格是个具有时序性的数据,基于此选用具有时间记忆功能的GRU（Gated Recurrent Unit）递归神经网络模型来处理时间序列数据的预测问题。本文选取上证中18支证券行业股票的日收盘价数据,该数据截止日期为2017年12月29日,每支股票数据量为1000天。本文作了2个实证研究,一方面用GRU递归神经网络预测未来10天的股票日收盘价,实证结果表明,GRU递归神经网络的测试误差和验证误差都比其余2个模型得到的同种类型的误差要小,而GRU递归神经网络在预测未来10天日收盘价的精度达到了98.3%,体现了GRU强大的学习能力和泛化能力。另一方面,对比序列长度分别为240天、120天以及60天时,GRU递归神经网络的测试误差、预测收盘价的方差以及验证误差。结果表明面对不同序列长度的数据集,GRU预测精度都很高,序列长度为240天的GRU模型得到的测试结果的方差明显低于其他2个,说明其稳定性更好。     

基于NN-Attention的中文短文本摘要

在以往的Attention模型中, 只采用了Bidirectional-RNN, BRNN对上下文信息是有效的, 但是无法提取文本的高维特征, 所以引入了CNN. 因为基于矩阵变换的Attention模型无法对CNN抽取的特征进行表征, 所以采用全连接神经网络对Attention模型进行改进, 提出了NN-Attention. 为了加速模型的训练, 采用的循环神经网络为GRU. 实验采用CSTSD数据集, 并用TensorFlow完成模型的构建. 实验结果表明, 该模型在CSTSD数据集中可以较好地实现文本摘要的自动生成.     

SF-CNN在驾驶行为识别中的应用研究

为了减少不良驾驶行为的潜在危险,通过智能手机内置传感器对驾驶行为进行实时监测,辅助驾驶者安全驾驶,提出了一种优化特征分布的无监督特征学习算法模型——稀疏滤波-卷积神经网络模型（Sparse Filter-Convolutional Neural Network,SF-CNN）。该方法利用移动终端在车辆行驶中采集的三轴加速度数据,通过稀疏滤波进行范数联合约束,得到紧凑的初级特征表达,将该表达矩阵作为卷积神经网络首层的输入,进行非线性分类来识别驾驶行为。实验结果表明,稀疏滤波-神经网络的识别模型对驾驶行为具有更高的识别率和鲁棒性,优于传统神经网络模型,对辅助驾驶系统的效能评价有重要的理论意义。     

基于正则化GRU模型的洪水预测

针对传统神经网络模型在洪水预测过程中存在准确性低、过拟合等问题,本文以赣江流域外洲水文站每月平均水位为研究对象,提出基于正则化GRU神经网络的洪水预测模型来提高洪水预报精度.选用relu函数作为整个神经网络的输出层激活函数,将弹性网正则化引入到GRU模型中,对网络中输入权重w实施正则化处理,以提升GRU模型的泛化性能,并将该模型应用于外洲水文站每月平均水位的拟合及预测.实验对比表明,弹性网正则化优化后的模型预测拟合程度较高,合格率提高了9.3%,计算出的均方根误差较小.     

基于整数线性规划的VLIW DSP指令分簇调度

在分簇VLIW DSP上,指令分簇是一项对程序性能有重要影响的编译优化,但现有的指令分簇算法只能处理顺序的程序区域,且难以获得最佳的分簇方案。针对这些问题,提出一种基于整数线性规划的统一指令分簇与指令调度的方法。该方法使用零一决策变量表示函数中指令的分簇、指令的局部调度以及簇间传输指令的全局调度,并将指令之间的依赖关系和对处理器资源的竞争关系构造为线性约束,最终得到一个以最小化函数的估计执行时间为目标的整数线性规划模型。实验结果表明,求解该模型得到的分簇调度方案对程序性能的优化显著强于现有算法,并且求解模型所耗费的时间是可接受的。     

一种基于全局代表点的快速最小二乘支持向量机稀疏化算法

非稀疏性是最小二乘支持向量机（Least squares support vector machine,LS-SVM）的主要不足,因此稀疏化是LS-SVM研究的重要内容.在目前LS-SVM稀疏化研究中,多数算法采用的是基于迭代选择的稀疏化策略,但是时间复杂度和稀疏化效果还不够理想.为了进一步改进LS-SVM稀疏化方法的性能,文中提出了一种基于全局代表点选择的快速LS-SVM稀疏化算法（Global-representation-based sparse least squares support vector machine,GRS-LSSVM）.在综合考虑数据局部密度和全局离散度的基础上,给出了数据全局代表性指标来评估每个数据的全局代表性.利用该指标,在全部数据中,一次性地选择出其中最具有全局代表性的数据并构成稀疏化后的支持向量集,然后在此基础上求解决策超平面,是该算法的基本思路.该算法对LS-SVM的非迭代稀疏化研究进行了有益的探索.通过与传统的迭代稀疏化方法进行比较,实验表明GRS-LSSVM具有稀疏度高、稳定性好、计算复杂度低的优点.     

基于图嵌入和GRU的兴趣点推荐模型

下一个兴趣点推荐是基于位置的社交网络(Location-Based Social Network,LBSN)的重要服务之一,其不仅可以帮助用户寻找其感兴趣的目的 地,还能帮助商家提高潜在的收入.目前已有算法提出采用用户行为序列信息以及兴趣点信息进行推荐,但其没有很好地利用兴趣点辅助信息,因此无法缓解冷启动与数据稀疏问题.本文提出了一种基于图嵌入与GRU (Gated Recurrent Unit)的兴趣点推荐模型GE-GRU (Graph Embedding-Gated Recurrent Unit).GE-GR首先通过图嵌入的方法,将兴趣点本身与其辅助信息相融合,得到信息丰富的深层次兴趣点向量,再将其输入到神经网络中,利用GRU对用户近期兴趣偏好进行建模得到用户Embedding表示,最后根据兴趣点排序列表进行下一个兴趣点推荐.本文在一个真实的数据集Foursquare中超过48万条签到记录上进行了实验,采用Accuracy@k指标进行评估,实验结果表明,GE-GRU相比于GRU、LSTM (Long Short-Term Memory)在Accuracy@10上分别有3％和7％的提升.     

基于神经网络的机电伺服系统非线性控制

针对机电伺服系统精确动力学模型难以获取以及系统状态信息的测量易受噪声影响的问题,设计一种基于指令滤波与神经网络相结合的非线性反步控制算法,该算法能够有效地补偿未建模动态和外部扰动对机电伺服系统的影响.首先,引入指令滤波器来获取已知信号的微分估计并处理噪声;其次,利用神经网络估计未知的系统动态,包括未建模的摩擦和外部干扰;然后,神经网络权值的更新律通过梯度下降算法在线实现,没有离线学习阶段;最后,利用李雅普诺夫函数分析方法证明闭环系统的稳定性.为验证所提出算法的有效性,在机电伺服实验平台上进行大量对比实验,实验结果表明,所提出的算法具有良好的控制效果,对系统不确定性和外部干扰具有良好的鲁棒性.