基于可解释性分析的深度神经网络优化方法

近年来,深度神经网络（deep neural network,DNN）在众多领域取得了广泛应用,甚至在安全关键系统中已经可以代替人类作出决策,如自动驾驶和智慧医疗等,这对DNN的可靠性提出了更高的要求.由于DNN具有复杂的多层非线性网络结构,难以理解其内部预测机制,也很难对其进行调试.现有的DNN调试工作主要通过修改DNN的参数和扩增数据集提升DNN性能,以达到优化的目的.然而直接调整参数难以控制修改的幅度,甚至使模型失去对训练数据的拟合能力;而无指导地扩增训练数据则会大幅增加训练成本.针对此问题,提出了一种基于可解释性分析的DNN优化方法（optimizing DNN based on interpretability analysis,OptDIA）.对DNN的训练过程及决策行为进行解释分析,根据解释分析结果,将原始数据中对DNN决策行为产生不同程度影响的部分以不同概率进行数据变换以生成新训练数据,并重训练DNN,以提升模型性能达到优化DNN的目的.在使用3个数据集训练的9个DNN模型上的实验结果表明,OptDIA可以将DNN的准确率提升0.39～2.15个百分点,F1-score...     

改进的基于DNN的恶意软件检测方法

当前基于深度学习的恶意软件检测技术由于模型结构及样本预处理方式不够合理等原因,大多存在泛化性较差的问题,即训练好的恶意软件检测模型对不属于训练样本集的恶意软件或新出现的恶意软件的检出效果较差。提出一种改进的基于深度神经网络（Deep Neural Network,DNN）的恶意软件检测方法,使用多个全连接层构建恶意软件检测模型,并引入定向Dropout正则化方法,在模型训练过程中对神经网络中的权重进行剪枝。在Virusshare和lynx-project样本集上的实验结果表明,与同样基于DNN的恶意软件检测模型DeepMalNet相比,改进方法对恶意PE样本集的平均预测概率提高0.048,对被加壳的正常PE样本集的平均预测概率降低0.64。改进后的方法具有更好的泛化能力,对模型训练样本集外的恶意软件的检测效果更好。     

复杂环境下基于自适应深度神经网络的鲁棒语音识别

在连续语音识别系统中,针对复杂环境（包括说话人及环境噪声的多变性）造成训练数据与测试数据不匹配导致语音识别率低下的问题,提出一种基于自适应深度神经网络的语音识别算法。结合改进正则化自适应准则及特征空间的自适应深度神经网络提高数据匹配度;采用融合说话人身份向量i-vector及噪声感知训练克服说话人及环境噪声变化导致的问题,并改进传统深度神经网络输出层的分类函数,以保证类内紧凑、类间分离的特性。通过在TIMIT英文语音数据集和微软中文语音数据集上叠加多种背景噪声进行测试,实验结果表明,相较于目前流行的GMM-HMM和传统DNN语音声学模型,所提算法的识别词错误率分别下降了5.151%和3.113%,在一定程度上提升了模型的泛化性能和鲁棒性。     

基于改进CGANs的入侵检测方法研究

近年来,机器学习算法在入侵检测系统(IDS)中的应用获得越来越多的关注。然而,传统的机器学习算法更多的依赖于已知样本,因此需要尽可能多的数据样本来对模型进行训练。遗憾地是,随着越来越多未知攻击的出现,且用于训练的攻击样本具有不平衡性,传统的机器学习模型会遇到瓶颈。文章提出一种将改进后的条件生成对抗网络(CGANs)与深度神经网络(DNN)相结合的入侵检测模型(CGANs-DNN),通过解决样本不平衡性问题来提高检测模型对未知攻击类型或只有少数攻击样本类型的检测率。深度神经网络(DNN)具有表征数据潜在特征的能力,而经过改进后的条件CGANs,能够通过学习已知攻击样本潜在数据特征分布,来根据指定类型生成新的攻击样本。此外,与生成对抗网络(GANs)和变分自编码器(VAE)等无监督生成模型相比,CGANsDNN经过改进后加入梯度惩罚项,在训练的稳定性上有了很大地提升。通过NSL-KDD数据集对模型进行评估,与传统算法相比CGANs-DNN不仅在整体准确率、召回率和误报率等方面有更好的性能,而且对未知攻击和只有少数样本的攻击类型具有较高的检测率。     

基于改进深度信念网络的心血管疾病预测研究

定量分析和预测有助于降低心血管疾病发病风险。传统预测模型在多分类非线性复杂因素的条件下,预测准确率会降低。采用浅层神经网络的方法,能够解决该问题。然而因浅层神经网络初始参数的随机性,带来了预测结果方差增大的新问题。提出一种基于改进深度信念网络的心血管疾病预测模型,利用重构误差,自主确定网络深度,结合无监督训练和有监督调优,在提高模型预测准确率的同时保证稳定性。对UCI数据库中的Statlog (Heart)和Heart Disease Dataset数据集独立进行30次实验,结果显示预测准确率的均值分别为91.26%、89.78%,预测准确率的方差分别为5.78、4.46。     

天河三号原型机分布式并行深度神经网络性能评测及调优

深度神经网络DNN模型是人工神经网络ANN模型的重要分支,是深度学习的基础。近年来,由于计算机算力的提升和高性能计算技术的发展,使得通过增加DNN网络深度和模型复杂度来提高其特征提取和数据拟合的能力成为可能,从而使DNN在自然语言处理、自动驾驶和人脸识别等问题上显现了优势。然而海量的数据和复杂的模型大大提高了深度神经网络的训练开销,因此加速其训练过程成为了一项关键任务,其技术范围涵盖从底层电路设计到分布式算法设计等多个方面。国产天河三号原型机峰值速度的设计目标为百亿亿级,巨大的计算能力为DNN训练提供了潜在的契机。针对天河三号原型机ARM架构特点,采用PyTorch框架与MPI技术,针对单个MT-2000+计算节点、单个FT-2000+计算节点,以及通过拓展的多节点集群设计CNN训练策略,并对上述处理器在神经网络分布式训练的性能做出了评测和优化,为进一步提升和改进天河三号原型机在神经网络大规模分布式训练方面的表现提供了实验数据和理论依据。     

基于改进DNN的糖尿病预测模型设计

为预防和降低糖尿病发病率,对糖尿病进行有效的诊断预测,提出基于改进DNN的糖尿病预测模型.在DNN基础上引入批归一化(batch normalization,BN)层,有效解决梯度消失、局部最优解等问题,提高模型预测准确度.实验在UCI公开的皮马印第安人糖尿病数据集(PIDD)上进行,利用XGBoost算法进行最优特征选择后,构建改进的DNN模型进行预测.为了验证模型的有效性,将其与其它算法进行比较,实验结果验证了该模型在准确率、精准率、召回率、灵敏度和特异度方面的优越性.     

基于DT及PCA的DNN入侵检测模型

当今入侵检测领域作为一个重要领域,虚警率高、检测率低、处理速度慢、特征维度高等问题正困扰着从事这一领域的专家学者.为了解决这些问题,提出基于决策树(DT)与深度神经网络(DNN)以及主成分分析(PCA)的入侵检测模型DT-PCA-DNN,在相对高的检测率和相对低的虚警率的基础上提高入侵检测系统(IDS)的处理速度.为缩小整体数据量达到加快处理速度的目的,首先利用DT对数据初步判别.将DT判别为入侵的数据,存入临时训练样本集以再训练优化DT以及DNN,而DT判别为正常的数据,删除所添加正常标签后用PCA降低数据维度并送入DNN进行二次判别以得出最终结果.DT使用浅层结构以防止过多正常数据被判定为入侵数据,导致后续DNN二次处理时不能有效提高整体准确率.DNN采用简化神经网络计算过程的ReLU激活函数以及收敛速度更快的adam优化算法以加快数据处理速度.经过在NSL-KDD数据集上的二分类及五分类实验验证,相比于其他的应用深度学习的入侵检测方法,所提出模型能够在实现相对高的检测率的同时具有更加迅速的检测速度,有效解决了入侵检测的实时性问题.     

基于改进Inception网络的语音分类模型

针对传统音频分类模型提取音频特征的过程繁琐，以及现有神经网络模型存在过拟合、分类精度不高、梯度消失等问题，提出一种基于改进Inception网络的语音分类模型。首先，在模型中加入ResNet中的残差跳连思想以改进传统的InceptionV2模型，使网络模型在加深的同时避免梯度消失；其次，优化Inception模块中的卷积核大小，并利用不同尺寸卷积对原始语音的Log-Mel谱图进行深度特征提取，使模型通过自主学习的方式选择合适的卷积处理数据；同时，在深度与宽度两个维度改进模型以提高分类精度；最后，利用训练好的网络模型对语音数据进行分类预测，并通过Softmax函数得到分类结果。在清华大学汉语语音数据集THCHS-30与环境声音数据集UrbanSound8K数据集上的实验结果表明，改进的Inception网络模型在上述两个数据集上分类准确率分别为92.76%与93.34%。相较于VGG16、InceptionV2、GoogLeNet等模型，所提模型的分类准确率取得了最优，最多提高了27.30个百分点。所提模型具有更强的特征融合能力和更准确的分类结果，能够解决过拟合、梯度消失等问题。     

一种基于SSD改进的目标检测算法

SSD(Single Shot MultiBox Detector)是一种基于深度学习的目标检测算法,它作为当前最为主流的检测算法之一,在极大地提高检测速度的同时,还能保证一定的检测精度,但是仍难以满足实际应用的需求。本文在SSD模型的基础上,引入注意力机制,提出一种基于SSD改进的目标检测算法。注意力机制能够有效地提高卷积神经网络对图片特征的提取能力,从而进一步提高算法的检测精度。改进后的算法在Pascal VOC数据集上进行对比试验。实验结果表明,改进后的模型在Pascal VOC2007测试集上的检测精度达到78.5% mAP（mean Average Precision）,比改进前提高4.2个百分点,在Pascal VOC2012测试集上的检测精度达到77.1% mAP,比改进前提高4.7个百分点。     

基于深度前馈神经网络的多因子人体表面积计算模型

人体表面积(BSA)在临床医学上有着至关重要的作用,但现有BSA计算方法大多只使用身高和体重2个参数且采用匹配简单函数的方法来估计体表面积,临床上也认为现有的BSA计算方法误差较大。针对这些问题,提出一种BSA回归预测模型。该回归预测模型包含2个部分：首先,借助相关性和显著性分析选择相关性较高的体表面积影响因子;其次,利用人体数据训练深度前馈神经网络,构建回归模型。实验分别采取5-折交叉验证与测试集验证2种方法。首先,将深度前馈神经网络模型与传统人体表面积计算方法进行精度评估和结果对比分析;其次将深度前馈神经网络模型与3种模型进行精度评估和结果对比分析。在与传统方法对比中,深度前馈神经网络模型的决定系数高于2种传统方法的,且比传统方法提高了6%,误差与传统方法的相比降低了近一倍。在与3种模型的对比中,深度前馈神经网络的决定系数比其他模型的提高了至少2%,误差降低。一致性分析实验结果也显示,深度前馈神经网络95%一致性界限最小,一致性最好。总体来说,提出的回归预测模型可以得到更加精确的体表面积预测值。     

贵阳方言工厂指令识别

针对贵阳工厂环境下口头任务对接缺乏依据性、出现事故难于追责的问题,引入深度学习模型改善贵阳方言工厂指令识别效果.自制贵阳方言工厂指令数据集,搭建指令识别系统,依次训练六种模型,其中包括拥有9层隐藏层的深度神经网络.在同一测试集下,系统随训练的进行逐渐提升性能,在DNN模型下识别错误率降至最低,远低于单音素模型识别错误率...     

基于Adam-BNDNN的网络入侵检测模型

针对传统入侵检测算法检测精度低、误报率高等问题,提出了一种融合批量规范化和深度神经网络的网络入侵检测模型。该模型首先在深度神经网络隐藏层添加批量规范化层,优化隐藏层的输出结果,然后采用Adam自适应梯度下降优化算法对BNDNN参数进行自动优化,提高模型检测能力。并使用NSL-KDD数据集进行仿真实验,结果表明该模型的检测效果优于SNN、KNN、DNN等检测方法;整体检测率可达99.41%,整体误报率为0.59%,证明了模型的可行性。     

深度语音信号与信息处理：研究进展与展望

论文首先对深度学习进行简要的介绍,然后就其在语音信号与信息处理研究领域的主要研究方向,包括语音识别、语音合成、语音增强的研究进展进行了详细的介绍。语音识别方向主要介绍了基于深度神经网络的语音声学建模、大数据下的模型训练和说话人自适应技术;语音合成方向主要介绍了基于深度学习模型的若干语音合成方法;语音增强方向主要介绍了基于深度神经网络的若干典型语音增强方案。论文的最后我们对深度学习在语音信与信息处理领域的未来可能的研究热点进行展望。     

深度卷积神经网络应用于人脸特征点检测研究

为解决在复杂环境下，如姿势不同、光照条件以及遮挡等因素导致传统人脸特征点检测算法的精度大幅度下降的问题，在特征点检测理论知识以及研究现状的基础上，针对传统卷积神经网络模型在处理人脸特征点检测问题时的不足之处，提出基于小滤波器的深卷积神经网络。算法引入小滤波器思想和以拓展“网络深度”优先的深层卷积神经网络模型，针对人脸特征点检测重新设计训练，提高了算法的有效性与适用性。通过将算法应用于ALFW和AFW人脸数据集上预测5点人脸特征点问题，并与其他多个经典算法进行对比分析，结果表明：基于小滤波器的深卷积神经网络在预测人脸5点特征点问题上有更好的准确性和鲁棒性。     

Deep Metallogenic prediction model construction of the Xiongcun no. II orebody based on the DNN algorithm

With the continuous mining and gradual reduction of shallow deposits, deep prospecting has become a new global prospecting trend. In addition, with the development of artificial intelligence, deep learning provides a favorable means for geological big data analysis. This paper, researches the No. II Orebody of the Xiongcun deposit. First, based on previous research results and metallogenic regularity, prospecting information, namely, lithology, Au-Ag-Cu chemical elements and wall rock alteration is extracted, and the block model is established by combining the Kriging interpolation structure. Second, the datasets are divided into dataset I and dataset II according to “randomness” and “depth”. Third, deep prospecting prediction models based on deep neural networks (DNN) and the convolutional neural networks (CNN) is constructed, and the model parameters are optimized. Finally, the models are applied to the deep prediction of the Xiongcun No. II Orebody. The results show that the accuracy rate and recall rate of the prediction model based on the DNN algorithm are 96.15% and 89.23%, respectively, and the AUC is 96.39%, which are higher values than those of the CNN algorithm, indicating that the performance of the prediction model based on the DNN algorithm is better. The accuracy of prediction model based on dataset I is higher than that of dataset II. The accuracy of deep metallogenic prediction based on the DNN algorithm is approximately 89%, that based on the CNN is approximately 87%, and that based on prospecting information method is approximately 61.27%. The prediction results of the DNN algorithm are relatively consistent in the spatial location and scale of the orebody. Therefore, based on the work done in this paper, it is feasible to use a deep learning method to carry out deep mineral prediction.

     

改进的RetinaNet模型的车辆目标检测

目前，在智能交通领域使用深度学习方法进行车辆目标检测已成为研究热点。针对传统机器学习方法的性能易受光照、角度、图像质量等外界因素影响，检测步骤繁琐等问题，通过对当下经典的一阶目标检测模型和二阶目标检测模型进行分析，提出了一种基于改进的一阶目标检测模型RetinaNet的车辆目标检测方法，使用深度残差网络自主获取图像特征，融合MobileNet网络结构进行模型加速，把复杂交通场景下的目标检测问题转化为车辆类型的三分类问题，利用KITTI数据集进行训练，并使用实际场景中的图像进行测试。实验结果表明，改进的RetinaNet模型在保证检测时间的情况下，相比原RetinaNet模型MAP值提高了2.2个百分点。     

Adaptative time constants improve the prediction capability of recurrent neural networks

Classical statistical techniques for prediction reach their limitations in applications with nonlinearities in the data set; nevertheless, neural models can counteract these limitations. In this paper, we present a recurrent neural model where we associate an adaptative time constant to each neuron-like unit and a learning algorithm to train these dynamic recurrent networks. We test the network by training it to predict the Mackey-Glass chaotic signal. To evaluate the quality of the prediction, we computed the power spectra of the two signals and computed the associated fractional error. Results show that the introduction of adaptative time constants associated to each neuron of a recurrent network improves the quality of the prediction and the dynamical features of a neural model. The performance of such dynamic recurrent neural networks outperform time-delay neural networks.