基于可解释性分析的深度神经网络优化方法

近年来,深度神经网络（deep neural network,DNN）在众多领域取得了广泛应用,甚至在安全关键系统中已经可以代替人类作出决策,如自动驾驶和智慧医疗等,这对DNN的可靠性提出了更高的要求.由于DNN具有复杂的多层非线性网络结构,难以理解其内部预测机制,也很难对其进行调试.现有的DNN调试工作主要通过修改DNN的参数和扩增数据集提升DNN性能,以达到优化的目的.然而直接调整参数难以控制修改的幅度,甚至使模型失去对训练数据的拟合能力;而无指导地扩增训练数据则会大幅增加训练成本.针对此问题,提出了一种基于可解释性分析的DNN优化方法（optimizing DNN based on interpretability analysis,OptDIA）.对DNN的训练过程及决策行为进行解释分析,根据解释分析结果,将原始数据中对DNN决策行为产生不同程度影响的部分以不同概率进行数据变换以生成新训练数据,并重训练DNN,以提升模型性能达到优化DNN的目的.在使用3个数据集训练的9个DNN模型上的实验结果表明,OptDIA可以将DNN的准确率提升0.39～2.15个百分点,F1-score...     

一种超低损失的深度神经网络量化压缩方法

深度神经网络(deep neural network,简称DNN)量化是一种高效的模型压缩方法,使用少量位宽表示模型计算过程中的参数和中间结果数据.数据位宽会直接影响内存占用、计算效率和能耗.以往的模型量化研究缺乏有效的定量分析,这导致量化损失难以预测.提出了一种超低损失的DNN量化方法(ultra-low loss ...     

DNN模型对汉语电话录音识别的研究与比较

深度神经网络DNN(Deep Neural Network)是近年机器学习理论中被诸多研究者广泛关注的语音识别模型.DNN模型利用DNN的学习能力可提升对噪声和口音的鲁棒性,在很多大规模语音识别任务中都超过了GMM模型.本文基于DNN与HMM特点,提取40维的MFCC特征向量后,利用DNN的每个输出节点估计HMM每个状...     

鱼群涌现机制下集群机器人运动强化的迁移控制

采用鱼群模型驱动多智能体可以涌现出优良的运动特性,但是,由于机器人与真实鱼类相比具有较大的差异性,使得鱼群模型难以应用于真实机器人系统.为此,提出一种结合深度学习与强化学习的迁移控制方法,首先,使用鱼群运动数据训练深度网络(deep neural network, DNN)模型,以此作为机器人成对交互的基础;然后,连接强化学习的深度确定性策略梯度方法(deep deterministic policy gradient, DDPG)来修正DNN模型的输出,设计集群最大视觉尺寸方法挑选关键邻居,从而将DNN+DDPG模型拓展到多智能体的运动控制.集群机器人运动实验表明:所提出方法能使机器人仅利用单个邻居信息就能形成可靠、稳定的集群运动,与单纯DNN直接迁移控制相比,所提出DNN+DDPG控制框架既可以保存原有鱼群运动的灵活性,又能增强机器人系统的安全性与可控性,使得该方法在集群机器人运动控制领域具有较大的应用潜力.     

基于DT及PCA的DNN入侵检测模型

当今入侵检测领域作为一个重要领域,虚警率高、检测率低、处理速度慢、特征维度高等问题正困扰着从事这一领域的专家学者.为了解决这些问题,提出基于决策树(DT)与深度神经网络(DNN)以及主成分分析(PCA)的入侵检测模型DT-PCA-DNN,在相对高的检测率和相对低的虚警率的基础上提高入侵检测系统(IDS)的处理速度.为缩小整体数据量达到加快处理速度的目的,首先利用DT对数据初步判别.将DT判别为入侵的数据,存入临时训练样本集以再训练优化DT以及DNN,而DT判别为正常的数据,删除所添加正常标签后用PCA降低数据维度并送入DNN进行二次判别以得出最终结果.DT使用浅层结构以防止过多正常数据被判定为入侵数据,导致后续DNN二次处理时不能有效提高整体准确率.DNN采用简化神经网络计算过程的ReLU激活函数以及收敛速度更快的adam优化算法以加快数据处理速度.经过在NSL-KDD数据集上的二分类及五分类实验验证,相比于其他的应用深度学习的入侵检测方法,所提出模型能够在实现相对高的检测率的同时具有更加迅速的检测速度,有效解决了入侵检测的实时性问题.     

深度神经网络模型版权保护方案综述

深度神经网络(deep neural network, DNN)等新兴技术以前所未有的性能在工业互联网安全中得到广泛发展和应用.然而,训练DNN模型需要在目标应用程序中捕获大量不同场景的专有数据、广泛的计算资源,以及在专家的协助下调整网络拓扑结构并正确训练参数.因此,DNN模型应当作为有价值的知识产权,从技术上保护其不被非法复制、重新分发或滥用.受经典水印技术被用于保护与多媒体内容相关的知识产权的启发,神经网络水印是目前最受研究者关注的DNN模型版权保护方法.迄今为止,学术界对神经网络水印在DNN模型知识产权保护中的应用尚缺乏完整描述.调研了近5年CCF推荐期刊和会议等关于该领域的相关工作,从水印的嵌入和提取的视角,将神经网络水印在原有的白盒水印和黑盒水印分类的基础上,扩充了灰盒水印和无盒水印2种分类,对白盒水印和黑盒水印方法根据其水印嵌入的不同思路和不同任务模型进行了更详细的分类总结,并对4类水印方法的性能进行了对比.最后,探讨了神经网络水印未来面临的挑战和可研究的方向,旨在为学者进一步推动基于神经网络水印的DNN模型版权保护的发展提供指导.     

基于组合DNN的语音分离方法

近年来,随着深度学习的发展,深层模型被越来越多的学者用于语音分离.其中,以深度神经网络(Deep Neural Networks,DNN)为代表的深度学习在语音分离领域表现出了强大的优势.为了更好的提高目标语音的质量,我们提出一种基于组合DNN的语音分离方法(CE_DNN).首先把两种不同的训练集放入DNN中进行训练,得到了两种不同参数的DNN训练模型,然后将测试数据放入两种训练模型后得到的输出结果进行结合,并且将不同类型的噪声与纯净语音进行混合,再配以噪声的不同输入信噪比进行试验.实验结果表明,与DNN语音分离系统相比,CE_DNN不仅可以很好的提高理想二值掩蔽(IBM)中的HIT-FA指标(命中率-误报率),还可以提高语音目标的短时客观语音可懂度(STOI).     

SDN中基于信息熵与DNN的DDoS攻击检测模型

软件定义网络(software defined networking, SDN)解耦了网络的数据层与控制层,同时控制器也面临“单点失效”的危险.攻击者可以发起分布式拒绝服务攻击(distributed denial of service, DDoS)使控制器失效,影响网络安全.为解决SDN中的DDoS流量检测问题,创新性地提出了基于信息熵与深度神经网络(deep neural network, DNN)的DDoS检测模型.该模型包括基于信息熵的初检模块和基于深度神经网络DNN的DDoS流量检测模块.初检模块通过计算数据包源、目的IP地址的信息熵值初步发现网络中的可疑流量,并利用基于DNN的DDoS检测模块对疑似异常流量进行进一步确认,从而发现DDoS攻击.实验表明：该模型对DDoS流量的识别率达到99%以上,准确率也有显著提高,误报率明显优于基于信息熵的检测方法.同时,该模型还能缩短检测时间,提高资源使用效率.     

基于模型的深度学习通信信号鲁棒识别算法

深度学习现在是计算机视觉和自然语言处理的热门话题.在许多应用中,深度神经网络(DNN)的性能都优于传统的方法,并且已经成功应用于调制分类和无线电信号表示等任务的学习.近几年研究发现深度神经网络极易受到对抗性攻击,对“对抗性示例”缺乏鲁棒性.笔者就神经网络的通信信号识别算法的鲁棒性问题,将经过PGD攻击的数据看作基于模型...     

面向GPU集群的动态资源调度方法

深度神经网络（deep neural network,DNN）已广泛应用于人类社会的许多领域.大规模的DNN模型可显著提高识别精度，然而在单个GPU设备上训练大规模的DNN模型需要耗费大量的时间.因此，如何借助分布式深度学习（distributed deep learning,DDL）技术，在GPU集群上并行地训练多DNN模型已受到工业界和学术界的广泛关注.基于此，提出一种面向GPU集群的动态资源调度（dynamic resource scheduling,DRS）方法，解决异构带宽环境下具有截止时间要求的多DNN任务调度问题.具体来说，首先基于Ring-AllReduce通信方式构建资源-时间模型，以衡量DDL任务在不同资源方案下的运行时间；然后基于截止时间需求构建了资源-性能模型，以实现高效的资源利用；最后，结合上述资源-时间和资源-性能模型设计了DRS算法，为多DNN任务训练实现资源方案决策.在DRS算法中融入最近截止时间原则进行实际资源分配，并利用资源迁移机制减少调度过程中出现的资源碎片场景的影响.在4个NVIDIA GeForce RTX 2 080 Ti的GPU集群上的异构...     

一种基于分布式编码的同步梯度下降算法

基于数据并行化的异步随机梯度下降(ASGD)算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率.提出基于分布式编码的同步随机梯度下降(SSGD)算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间,并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量...     

基于边缘计算的分支神经网络模型推断延迟优化

针对云服务器上深度神经网络（DNN）模型推断任务延迟过高的问题,提出基于边缘计算的分支神经网络部署模型。分析了边缘计算场景中深度神经网络的分布式部署问题,证明该问题是NP-难的。设计了一种基于分支定界思想的部署算法（DBB）,选择合适的边缘计算节点部署模型以减少推断任务的延迟。设计并实现了选择节点退出（SNE）算法,为不同任务选择合适的边缘计算节点来退出推断任务。仿真实验结果表明,与在云端部署神经网络模型的方法相比,基于边缘计算的分支神经网络模型的推断延迟平均降低了36%。     

A survey on privacy inference attacks and defenses in cloud-based Deep Neural Network

Deep Neural Network (DNN), one of the most powerful machine learning algorithms, is increasingly leveraged to overcome the bottleneck of effectively exploring and analyzing massive data to boost advanced scientific development. It is not a surprise that cloud computing providers offer the cloud-based DNN as an out-of-the-box service. Though there are some benefits from the cloud-based DNN, the interaction mechanism among two or multiple entities in the cloud inevitably induces new privacy risks. This survey presents the most recent findings of privacy attacks and defenses appeared in cloud-based neural network services. We systematically and thoroughly review privacy attacks and defenses in the pipeline of cloud-based DNN service, i.e., data manipulation, training, and prediction. In particular, a new theory, called cloud-based ML privacy game, is extracted from the recently published literature to provide a deep understanding of state-of-the-art research. Finally, the challenges and future work are presented to help researchers to continue to push forward the competitions between privacy attackers and defenders.     

基于SGMM和DNN结合提高音素识别率的研究

为降低声学特征在语音识别系统中的音素识别错误率,提高系统性能,提出一种子空间高斯混合模型和深度神经网络结合提取特征的方法,分析了子空间高斯混合模型的参数规模并在减少计算复杂度后将其与深度神经网络串联进一步提高音素识别率。把经过非线性特征变换的语音数据输入模型,找到深度神经网络结构的最佳配置,建立学习与训练更可靠的网络模型进行特征提取,通过比较音素识别错误率来判断系统性能。实验仿真结果证明,基于该系统提取的特征明显优于传统声学模型。     

SIES: A Novel Implementation of Spiking Convolutional Neural Network Inference Engine on Field-Programmable Gate Array

Neuromorphic computing is considered to be the future of machine learning,and it provides a new way of cognitive computing.Inspired by the excellent performance of spiking neural networks(SNNs)on the fields of low-power consumption and parallel computing,many groups tried to simulate the SNN with the hardware platform.However,the efficiency of training SNNs with neuromorphic algorithms is not ideal enough.Facing this,Michael et al.proposed a method which can solve the problem with the help of DNN(deep neural network).With this method,we can easily convert a well-trained DNN into an SCNN(spiking convolutional neural network).So far,there is a little of work focusing on the hardware accelerating of SCNN.The motivation of this paper is to design an SNN processor to accelerate SNN inference for SNNs obtained by this DNN-to-SNN method.We propose SIES(Spiking Neural Network Inference Engine for SCNN Accelerating).It uses a systolic array to accomplish the task of membrane potential increments computation.It integrates an optional hardware module of max-pooling to reduce additional data moving between the host and the SIES.We also design a hardware data setup mechanism for the convolutional layer on the SIES with which we can minimize the time of input spikes preparing.We implement the SIES on FPGA XCVU440.The number of neurons it supports is up to 4000 while the synapses are 256000.The SIES can run with the working frequency of 200 MHz,and its peak performance is 1.5625 TOPS.     

基于深度神经网络和联邦学习的网络入侵检测

在高速网络环境中,对复杂多样的网络入侵进行快速准确的检测成为目前亟待解决的问题。联邦学习作为一种新兴技术,在缩短入侵检测时间与提高数据安全性上取得了很好的效果,同时深度神经网络（DNN）在处理海量数据时具有较好的并行计算能力。结合联邦学习框架并将基于自动编码器优化的DNN作为通用模型,建立一种网络入侵检测模型DFC-NID。对初始数据进行符号数据预处理与归一化处理,使用自动编码器技术对DNN实现特征降维,以得到DNN通用模型模块。利用联邦学习特性使得多个参与方使用通用模型参与训练,训练完成后将参数上传至中心服务器并不断迭代更新通用模型,通过Softmax分类器得到最终的分类预测结果。实验结果表明,DFC-NID模型在NSL-KDD与KDDCup99数据集上的准确率平均达到94.1%,与决策树、随机森林等常用入侵检测模型相比,准确率平均提升3.1%,在攻击类DoS与Probe上,DFC-NID的准确率分别达到99.8%与98.7%。此外,相较不使用联邦学习的NO-FC模型,DFC-NID减少了83.9%的训练时间。     

基于TPU和FPGA的深度学习边缘计算平台的设计与实现

针对深度神经网络为了追求准确度对计算资源造成的巨大消耗,与边缘计算平台所处的受限环境之间的矛盾,探究利用FPGA逻辑资源搭建神经网络张量处理器(TPU),通过配合ARM CPU实现全新的边缘计算架构,不仅实现对深度神经网络模型的加速计算以及准确度的提升,还对功耗进行明显优化.该架构下,压缩后的MobileNet-V1网...     

类脑超大规模深度神经网络系统

大规模神经网络展现出强大的端到端表示能力和非线性函数的无限逼近能力,在多个领域表现出优异的性能,成为一个重要的发展方向.如自然语言处理(NLP)模型GPT,经过几年的发展,目前拥有1750亿网络参数,在多个NLP基准上到达最先进性能.然而,按照现有的神经网络组织方式,目前的大规模神经网络难以到达人脑生物神经网络连接的规...     

Research on environmental landscape design based on virtual reality technology and deep learning

Virtual Reality (VR) provides immersive visualization and intuitive interaction. The VR is used to enable any biomedical profession to develop a deep learning (DL) model for image classification. The Deep Neural Network (DNN) models can be used as a powerful tool for data analysis, but they are also challenging to understand and develop. To make deep learning more convenient and fast operation, it have established a landscape of DNN development environment based on virtual reality. In this environment, users can move concrete objects only to build neural networks with their own hands. It automatically transforms these configurations into a trainable model and reports on the real-time test dataset. In addition to realizing the insights users are developing into DNN models, it has also visually enriched the virtual environmental landscape objects with the parts of the model. In this way bridge the gap between professionals in different disciplines, providing a new perspective on the model analysis and data interaction. This system further demonstrates that learning and visualization technologies developed in Shenzhen can benefit from integrating virtual reality.     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。