基于深度置信网络的Android恶意软件检测

针对采用重打包和代码混淆技术的Android恶意软件检测准确率低的问题,提出了一种基于深度置信网络的Android恶意软件检测算法。通过自动化提取Android应用软件的特征,构建对应的特征向量,训练基于深度置信网络的深度学习模型,实现了一种新的基于深度置信网络的Android恶意软件检测算法。实验结果表明,基于深度置信网络的深度学习模型可以更好地表征Android恶意软件,其检测效果也明显优于传统的机器学习模型。     

深度学习的研究进展与发展

深度学习是基于数据表示的一类更广的机器学习方法,它的出现不仅推动了机器学习的发展,而且促进了人工智能的革新。对深度学习的几种典型模型进行研究与对比。首先介绍受限玻尔兹曼机、深度置信网络、自编码器等无监督学习模型,对其结构、原理和优缺点进行了详细探讨。讨论卷积神经网络、循环神经网络和深度堆叠网络等监督学习模型,分别从模型架构和工作原理来评价与分析。对深度学习的典型模型进行对比分析,将深度置信网络和卷积神经网络应用在手写体数字识别任务中,结果证实深度学习比传统的神经网络具有更好的识别性能。最后探讨深度学习未来的发展与挑战。     

基于改进的DeepESN软测量建模方法及应用

针对硫回收装置中硫化氢和二氧化硫浓度的实时监控预测问题,提出一种基于改进的深度回声状态网络(DeepESN)软测量建模方法,给出了其离线学习算法.改进的DeepESN网络能够通过多层回声状态网络的结构,可以对具有强非线性特性的化工过程进行有效的深度学习和预测.离线学习算法在求输出权值时加入了岭回归算法,有效地提高了网络学习的稳定性.将该方法在同等条件下与现有的软测量建模方法进行了比较,基于改进的DeepESN软测量建模方法具有更好的学习能力、更高的学习效率和预测精度.     

基于深度置信网络的维吾尔文垃圾短信分类技术研究

针对传统分类算法对维吾尔文文本分类准确率不高的问题,提出了一种基于深度置信网络的维吾尔文短信文本分类模型。深度学习模拟人脑的多层次结构,对数据从低层到高层逐渐地进行特征提取,深层挖掘数据集的分布规律,从而提高分类准确性。通过逐层无监督的方法完成深度置信网络的初始化,并结合softmax回归分类器实现文本的分类。最后在收集的维吾尔文短信数据集上进行实验论证。实验结果表明,相比KNN、SVM和决策树算法,深度置信网络具有更好的分类效果,准确率更高。     

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络（DBN）采用随机初始化受限玻尔兹曼机（RBM）的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器（SDAE）的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand 纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。     

基于回归支持向量机的软测量建模研究

软测量技术是解决现代复杂工业过程中较难甚至无法由硬件在线测量参数的实时估计问题的有效手段。本文介绍了基于回归支持向量机（SVR）算法的基本原理,并以非线性、时变、大滞后的PTA氧化过程为研究对象,使用SVR算法对4-CBA含量进行了预测。结果表明,与传统预测方法相比,采用SVR算法的预测模型,具有精确度高,泛化能力强等优点,是用于PTA氧化过程中4-CBA含量预测的一种有效的方法,具有很好的应用价值。     

深度置信网络的Spark并行化在微博情感分类中的应用研究

中文微博情感分析可以发现公众对热点事件的态度掌握网络舆情,因此成为文本挖掘的一个热点研究。采用一种基于Spark并行化的深度置信网络的情感分类方法,该方法利用Word2Vec工具表示微博文本和建立情感词典;使用深度置信网络构建微博情感分类模型;通过Spark集群对深度置信神经网络进行并行化处理。实验结果表明,基于深度置信网络的微博情感分类模型在Spark平台下并行化,训练时间大幅缩短,情感分类的准确率比传统的浅层学习方法高5%。     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

基于深度学习及GPU计算的航天器故障检测技术

由于航天器在高温、高压等恶劣环境中工作,采用传统故障检测方法自主性相对较差,缺少对故障特征的分析,导致检测精准度较低。提出了基于深度学习及GPU计算的航天器故障检测技术,依据航天器故障信号特征分析与检测原理,在GPU计算技术支持下,获取GPU图像,并在深度置信网络模型中引入该计算方法。根据构建的深度置信网络模型,预测轴承故障位置,经过GPU计算技术下提取的故障特征用于深度置信网络故障预测基本数据,将原始进行归一化处理,分析航天器轴承故障特征,并在不同参数支持下,利用深度学习算法自动确定网络关键参数,由此识别轴承故障,并学习故障特征,实现航天器故障检测。由实验结果可知,该技术检测精准度最高可达到98%,具有较强鲁棒性。     

焊缝缺陷图像分类识别的深度置信网络研究

由于工业生产中所获取的焊缝缺陷图像背景较为复杂,对其分类识别效率较低,因此提出了一个由三层受限玻尔兹曼机叠加组成的深度置信网络模型.该网络模型在对焊缝原始图像进行更为全面的信息抽取前提下,能够借助深度置信网络自下而上对输入信息进行学习与训练的特点,逐渐减少对焊缝缺陷信息的误判;借助网络最后一层后向传播算法的作用,可以在确保更高正确率的同时缩短收敛时间,有效提升识别效率;通过与传统的支持向量机和人工神经网络进行对比实验,结果表明深度置信网络能更为有效地避免过拟合的发生,对于焊缝缺陷的特征识别具有更为理想的精度.     

基于深度学习的无线传感器网络数据融合

在无线传感器网络数据融合算法中,BP神经网络被广泛用于节点数据的特征提取和分类。为了解决BP神经网络收敛慢,易陷入局部最优值且泛化能力差从而影响数据融合效果的问题,提出一种将深度学习技术和分簇协议相结合的数据融合算法SAESMDA。SAESMDA用基于层叠自动编码器(SAE)的深度学习模型SAESM取代BP神经网络,算法首先在汇聚节点训练SAESM并对网络分簇,接着各簇节点通过SAESM对采集数据进行特征提取,之后由簇首将分类融合后的特征发送至汇聚节点。仿真实验表明,和采用BP神经网络的BPNDA算法相比,SAESMDA在网络能耗大致相同的情况下具有更高的特征提取分类正确率。     

基于深度学习的航空发动机传感器故障检测

针对传统反向传播(BP)神经网络和支持向量机(SVM)存在的过拟合、维数灾难、参数选择困难等问题,提出了一种基于深度学习算法的航空发动机传感器故障检测方法.对发动机参数记录仪采集的多维数据进行预处理,建立基于深度置信网络(DBN)的故障检测模型,利用预处理后的数据对检测模型进行训练,经过DBN故障检测模型逐层特征学习实现了传感器故障检测.仿真结果表明:在无人工特征提取和人工特征提取的情况下,基于DBN故障检测的准确率均高于BP神经网络和SVM模型.     

基于深度置信网络的实木板材缺陷及纹理识别研究

针对在现代木材加工企业中,实木板材以缺陷及纹理为主要品质分级要素的需求,提出利用基于局部二值模式、自学习的深度置信网络与softmax分类器组合的深度学习算法,实现对实木板材缺陷及纹理的分类。首先提取实木板材的缺陷及纹理特征,在此基础上利用深度置信网络对经过局部二值化处理的特征进行训练学习,并采用可自学习的学习率算法优化收敛速度、减少训练时间,最后使用softmax分类器获取常见缺陷及直纹、花纹的分类结果。通过与BP神经网络、支持向量机、极限学习机等几种经典算法的比较,采用深度置信网络得到的实木板材缺陷及纹理识别的误差率在3.59%左右,在实木板材缺陷和纹理上取得了更好的识别效果。     

基于支持向量机和粒子群算法的软测量建模

针对PX氧化过程中的4-CBA浓度的估计问题,提出了基于支持向量机和粒子群算法来估计机理模型参数的方法．用支持向量机回归来提取特征样本,这些少量的特征样本估计机理模型参数可以减少计算时间,同时避免了人工随机试凑法选择训练样本的盲目性．采用粒子群算法来估计非线性机理模型的参数,可以避免传统方法对初始点和样本的依赖．工业实例表明,本文提出的方法是有效的．     

基于深度学习的步态识别算法优化研究

基于深度学习的神经网络,对步态识别算法进行了优化研究。利用粒子群优化BP神经网络阈值、权值,在神经网络中代入优化后的初始值进行训练,避免陷入局部最优。通过Vicon MX系统对角度特征值进行采集,利用基于粒子群优化BP神经网络进行识别,验证其识别步态的可行性;筛选出传感器系统特征值,在对其优化改进时选取粒子群优化BP神经网络。与传统神经网络法、粒子群优化法相比,基于粒子群优化BP神经网络法的识别方式,识别时间短且识别率高。     

Uncertainty-aware soft sensor using Bayesian recurrent neural networks

Data-driven soft sensors have been widely used to measure key variables for industrial processes. Soft sensors using deep learning models have attracted considerable attention and shown superior predictive performance. However, if a soft sensor encounters an unexpected situation in inferring data or if noisy input data is used, the estimated value derived by a standard soft sensor using deep learning may at best be untrustworthy. This problem can be mitigated by expressing a degree of uncertainty about the trustworthiness of the estimated value produced by the soft sensor. To address this issue of uncertainty, we propose using an uncertainty-aware soft sensor that uses Bayesian recurrent neural networks (RNNs). The proposed soft sensor uses a RNN model as a backbone and is then trained using Bayesian techniques. The experimental results demonstrated that such an uncertainty-aware soft sensor increases the reliability of predictive uncertainty. In comparisons with a standard soft sensor, it shows a capability to use uncertainties for interval prediction without compromising predictive performance.     

基于栈式去噪自动编码器的边际Fisher分析算法

特征学习是模式识别领域的关键问题。基于自动编码器的深度神经网络通过无监督预训练与有监督微调能够有效地提取数据中关键信息,形成特征。提出一种基于栈式去噪自编码器的边际Fisher分析算法,该算法将边际Fisher分析运用于有监督微调阶段,进一步提升算法的特征学习能力。实验结果表明,该算法与标准的栈式去噪自编码器和基于受限玻尔兹曼机的深度信念网相比,具有更好的识别效果。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于粒子群优化神经网络(PSO-BPNN)算法在发酵过程控制中的研究

针对发酵过程中生物参数难以实时在线测量的问题,建立了用于生物参数状态预估的PSO-BPNN软测量模型。鉴于标准BP神经网络收敛太慢的缺点,运用PSO算法来优化网络权值,在此基础上,以饲料用β-甘露聚糖酶为对象,建立其基于PSO-BPNN的发酵过程产物浓度状态预估模型。发酵罐控制结果表明:该模型具有很好的学习精度和泛化能力,可实现对β-甘露聚糖酶产物浓度的实时在线预估。     

基于深度学习的网络流量预测研究综述

精准地预判网络流量变化趋势可以帮助运营商准确预估网络的使用情况,合理分配并高效利用网络资源,以满足日益增长且多样化的用户需求。以深度学习算法在网络流量预测领域的进展为线索,阐述了网络流量预测的评价指标和目前公开的网络流量数据集及应用,具体分析了网络流量预测中常用的深度信念网络、卷积神经网络、循环神经网络和长短时记忆网络共四种深度学习方法,并重点介绍了近年来针对不同问题所提出的改进神经网络模型,总结了各模型特点及应用场景。最后对网络流量预测未来发展进行了展望。