基于DBN模型的遥感图像分类

遥感图像分类是地理信息系统(geographic information system,GIS)的关键技术,对城市规划与管理起到十分重要的作用.近年来,深度学习成为机器学习领域的一个新兴研究方向.深度学习采用模拟人脑多层结构的方式,对数据从低层到高层渐进地进行特征提取,从而发掘数据在时间与空间上的规律,进而提高分类的准确性.深度信念网络(deep belief network,DBN)是一种得到广泛研究与应用的深度学习模型,它结合了无监督学习和有监督学习的优点,对高维数据具有较好的分类能力.提出一种基于DBN模型的遥感图像分类方法,并利用RADARSAT-2卫星6d的极化合成孔径雷达(synthetic aperture radar,SAR)图像进行了验证.实验表明,与支持向量机(SVM)及传统的神经网络(NN)方法相比,基于DBN模型的方法可以取得更好的分类效果.     

基于深度学习的太阳能电池片表面缺陷检测方法

目前对太阳能电池片的缺陷检测仍依赖人工完成,很难通过传统的CCD成像系统自动识别.作为一种多层神经网络学习算法,深度学习因对输入样本数据强大的特征提取能力而受到广泛关注.文中提出一种基于深度学习的太阳能电池片表面缺陷检测方法,该方法首先根据样本特征建立深度置信网络(DBN),并训练获取网络的初始权值;然后通过BP算法微调网络参数,取得训练样本到无缺陷模板之间的映射关系;最后利用重构图像与缺陷图像之间的对比关系,实现测试样本的缺陷检测.实验表明DBN能较好地建立上述映射关系,且准确、快速地进行缺陷检测.     

航发喘振智能化故障诊断模型研究

针对航空发动机的喘振故障严重影响飞机安全运行的问题，提出了一种基于深度学习的航发喘振智能化故障诊断模型。结合喘振的生成机理对航空发动机传感器数据进行喘振故障分析，采用基于滑动窗口的数据预处理算法构造数据集和标签集；集成卷积神经网络(Convolutional Neural Network, CNN)和长短期记忆(Long-Short Term Memory, LSTM)网络，设计出针对航发喘振故障诊断的深度神经网络模型(1D-CLSTM);在所构建的数据集上，对所提模型与当下流行的深度神经网络进行比较。实验结果表明，所提模型对喘振故障分类的F1分数(F1＿score)、召回率(Recall)和精确度(Precision)分别达到了96.45%、95.48%、97.46%,优于其它网络模型。所提模型在时序信号处理与旋转机械智能化故障诊断方面有着较高的应用和推广价值。     

基于LBP/VAR与DBN模型的人脸表情识别*

针对现有表情识别研究中均采用有监督模型实现特征提取,提出一种新的基于DBN（Deep Belief Net）模型无监督的表情特征提取与识别方法。首先对人脸表情图片提取对光照与旋转具有鲁棒性的LBP/VAR初次特征,再通过DBN网络对初次特征来实现人脸表情的二次特征提取与分类学习。对DBN参数本文采用动态搜索的方法,即在一个大范围内搜索确定RBM Mini-batch 、BP Mini-batch与RBM隐层数量的最优值,再确定DBN深度与迭代次数最佳值。在CK 数据库上与传统k-NN、SVM有监督分类模型进行的对比实验表明,本文提出的方法在识别率上分别提高了19.34%和14.22%。     

基于深度学习的无线传感器网络数据融合

在无线传感器网络数据融合算法中,BP神经网络被广泛用于节点数据的特征提取和分类。为了解决BP神经网络收敛慢,易陷入局部最优值且泛化能力差从而影响数据融合效果的问题,提出一种将深度学习技术和分簇协议相结合的数据融合算法SAESMDA。SAESMDA用基于层叠自动编码器(SAE)的深度学习模型SAESM取代BP神经网络,算法首先在汇聚节点训练SAESM并对网络分簇,接着各簇节点通过SAESM对采集数据进行特征提取,之后由簇首将分类融合后的特征发送至汇聚节点。仿真实验表明,和采用BP神经网络的BPNDA算法相比,SAESMDA在网络能耗大致相同的情况下具有更高的特征提取分类正确率。     

基于深度信念网络的民航发动机状态监测

民航飞机发动机设备构造精密、复杂,其监测系统收集的数据中蕴含了丰富的故障信息;传统发动机状态诊断依靠数据统计分析和机器学习模型,但其在深入理解与归类信号特性方面的表现难以尽如人意;此外近年兴起了多层神经网络降维算法——深度学习理论,其通过模拟人脑分析过程建立由浅入深的算法模型,数据处理效果较好;将民航发动机自身特点与深度学习理论有机结合提出了基于深度信念网络发动机状态监测方法;其优势在于克服了传统方法人工提取数据特征的不确定性与状态分类陷入局部最优的缺陷,可对发动机参数进行自主学习与特征提取;实验结果表明该算法具有出色的特征提取能力与分类准确率,能够准确识别发动机的不同状态。     

基于优化数据处理的深度信念网络模型的入侵检测方法

针对目前网络中存在的对已知攻击类型的入侵检测具有较高的检测率,但对新出现的攻击类型难以识别的缺陷问题,提出了一种基于优化数据处理的深度信念网络（DBN）模型的入侵检测方法。该方法在不破坏已学习过的知识和不严重影响检测实时性的基础上,分别对数据处理和方法模型进行改进,以解决上述问题。首先,将经过概率质量函数（PMF）编码和MaxMin归一化处理的数据应用于DBN模型中;然后,通过固定其他参数不变而变化一种参数和交叉验证的方式选择相对最优的DBN结构对未知攻击类型进行检测;最后,在NSL-KDD数据集上进行了验证。实验结果表明,数据的优化处理能够使DBN模型提高分类精度,基于DBN的入侵检测方法具有良好的自适应性,对未知样本具有较高的识别能力。在检测实时性上,所提方法与支持向量机（SVM）算法和反向传播（BP）网络算法相当。     

深度置信网络优化模型在人才评价中的应用

针对深度置信网络(DBN)权值随机初始化容易使网络陷入局部最优的问题,引入改进的和声搜索(IHS)算法,提出基于IHS的DBN模型(IHS-DBN)。在和声搜索算法的基础上,利用全局自适应的和声音调调整方式,提升算法收敛速度和后期局部搜索能力。将DBN重构误差函数作为IHS算法的优化目标函数,通过不断迭代优化解向量为DBN寻找一组较优的初始权值进行网络训练,并在MNIST数据集上验证IHS-DBN模型的有效性。IHS-DBN模型在高校人才评价中的应用结果表明,与DBN、SVM和BP神经网络评价模型相比,IHS-DBN模型的评价准确率分别提高3.6%、7.3%和16.4%。     

基于小波包-AR谱和深度学习的轴承故障诊断研究

针对轴承故障信号的非平稳性和非线性特点,本文采用小波包分解和自回归(auto-regressive,AR)谱估计相结合的方法提取振动信号有效特征值,为了提高诊断结果的精度,提出用深度信念网络(deep believe network,DBN)进行诊断模型训练。首先通过对轴承振动信号进行小波包分解和自回归谱估计,累加不同频段的能量实现轴承故障特征提取,然后将提取到的特征值作为深度信念网络的输入向量,进行模型训练,最后用训练好的模型进行轴承故障诊断。为验证本文所提方法的有效性,采用美国凯斯西储大学提供的旋转轴承数据集进行实验。在输入相同数据集的前提下,对比了DBN和灰色关联分析(grey relational analysis,GRA)、支持向量机(support vector machine,SVM)、反向传播神经网络(back propagation neural network,BPNN)这四种方法的识别准确率。结果表明DBN识别效果较好。从而验证了本文所提方法的可行性和有效性。     

基于深度学习的城市轨道交通短时客流量预测

我国城市轨道交通已进入快速发展期,准确预测城轨交通短时客流量,对于城轨运营安全、运营效率及运营成本具有重要意义.城轨交通短时客流量由于具有强随机性、周期性、相关性及非线性的特征,浅层模型的预测精度并不理想.对此,基于深度信念网络(DBN)和支持向量回归机(SVM),提出城轨交通短时客流深层预测模型(DBN-P/GSVM),同时基于遗传算法(GA)和粒子群算法(PSO)实现SVM的参数寻优.最后,对成都地铁火车北站客流量预测进行实例分析.结果表明,DBN-P/GSVM深度预测模型在均方误差、均方根误差、绝对误差均值及绝对百分比误差均值等方面均优于浅层模型——GA-SVM模型、PSO-SVM模型和BP神经网络模型,以及深层模型长短期记忆网络(LSTM)与LSTM-Softmax.     

基于 Deep Belief Nets 的中文名实体关系抽取

关系抽取是信息抽取的一项子任务,用以识别文本中实体之间的语义关系.提出一种利用DBN(deepbelief nets)模型进行基于特征的实体关系抽取方法,该模型是由多层无监督的RBM(restricted Boltzmann machine)网络和一层有监督的BP(back-propagation)网络组成的神经网络分类器.RBM网络以确保特征向量映射达到最优,最后一层BP网络分类RBM网络的输出特征向量,从而训练实体关系分类器.在ACE04语料上进行的相关测试,一方面证明了字特征比词特征更适用于中文关系抽取任务;另一方面设计了3组不同的实验,分别使用正确的实体类别信息、通过实体类型分类器得到实体类型信息和不使用实体类型信息,用以比较实体类型信息对关系抽取效果的影响.实验结果表明,DBN非常适用于基于高维空间特征的信息抽取任务,获得的效果比SVM和反向传播网络更好.     

基于深度置信网络的4-CBA软测量建模

PTA工业生产过程中4-CBA的含量是评价其产品质量的重要依据。将深度置信网络和已有的浅层算法相结合,提出基于深度置信网络的4-CBA软测量模型。深度置信网络是一种典型的深度学习算法,该算法在特征学习方面优势显著。根据实验结果,基于深度置信网络的软测量模型能够很好地估计4-CBA含量,和单纯的BP神经网络模型相比,基于深度置信网络的模型预测精度更高。     

基于Fisher-PCA和深度学习的入侵检测方法研究

为了在攻击形式多样化、入侵数据海量及多维化的环境中快速、准确地识别网络攻击,提出了一种融合Fisher-PCA特征提取与深度学习的入侵检测算法。通过Fisher特征选择算法选出重要的特征组成特征子集,然后基于主成分分析法（Principal Component Analysis,PCA）将特征子集进行降维,提取出了分类能力强的特征集。构建了一种新的DNN（Deep Neural Networks）深度神经网络模型对网络攻击数据和正常数据进行识别与分类。在KDD99数据集上进行试验,结果表明这种入侵检测算法与传统的ANN、SVM算法相比,在准确率上分别提高了12.63%、6.77%,在误报率上由原来的2.31%、1.96%降为0.28%,与DBN4 、PCA-CNN算法相比,在准确率和检测率保持基本相同的同时有着更低的误报率。     

基于深度学习算法的无线传感器异常数据检测

提出了基于深度学习的异常数据检测的方法,精准检测到无线传感器异常数据并直观展现检测结果。基于无线传感器网络模型分簇原理,通过异常数据驱动的簇内数据融合机制,去除无线传感器网络中的无效数据,获取无线传感器网络有效数据融合结果。构建了具有4层隐含层的深度卷积神经网络,将预处理后的无线传感器网络数据作为模型输入,通过隐含层完成数据特征提取和映射后,由输出层输出异常数据检测结果。实验证明：该方法可有效融合不同类型数据,且网络节点平均能耗较低;包含4层隐含层的深度卷积神经网络平均分类精度高达98.44%,1000次迭代后隐含层的训练损失均趋于0,可实现无线传感器异常数据实时、直观、准确检测。     

基于一维卷积神经网络深度学习的工业过程故障检测

针对化工过程的非线性和动态性,以TE过程为背景,应用深度学习中的一维卷积神经网络算法对TE过程进行故障检测,解决了BP神经网络算法用于故障检测时测试识别率低的问题。用训练数据集分别对BP神经网络模型和一维卷积神经网络模型进行训练,将测试数据集输入已经训练好的神经网络,最后统计出了BP神经网络模型和卷积神经网络模型对故障的识别率。仿真结果表明BP神经网络和卷积神经网络对故障的检测具有较好的效果,但BP神经网络算法收敛速度慢,很容易就陷入局部最小值,从而会导致整体的检测性能下降,而卷积神经网络构建出的一维卷积模型能很好地解决存在的问题,通过比较充分体现了卷积神经网络在故障检测方面的优越性。     

基于GDBN网络的文本情感倾向分类算法

情感倾向性分类是自然语言处理领域中的热门话题,它的一个重要应用是挖掘线上评论中的重要信息,掌握网络舆论走向,因此本文提出一种基于GDBN网络的文本情感倾向性分类算法.该算法通过引入遗传算法来改进深度置信网络模型中的隐层,使模型自行对隐单元个数寻优,取得当前模型的适宜值,并以此模型进行深层建模与特征提取.最后通过反向传播网络对提取到的特征进行情感倾向性分类.在多个文本数据集上进行实验验证,验证结果表明了本文算法的有效性.     

Aero-Engine Surge Fault Diagnosis Using Deep Neural Network

Deep learning techniques have outstanding performance in feature extraction and model fitting. In the field of aero-engine fault diagnosis, the introduction of deep learning technology is of great significance. The aero-engine is the heart of the aircraft, and its stable operation is the primary guarantee of the aircraft. In order to ensure the normal operation of the aircraft, it is necessary to study and diagnose the faults of the aero-engine. Among the many engine failures, the one that occurs more frequently and is more hazardous is the wheeze, which often poses a great threat to flight safety. On the basis of analyzing the mechanism of aero-engine surge, an aero-engine surge fault diagnosis method based on deep learning technology is proposed. In this paper, key sensor data are obtained by analyzing different engine sensor data. An aero-engine surge dataset acquisition algorithm (ASDA) is proposed to sample the fault and normal points to generate the training set, validation set and test set. Based on neural network models such as one-dimensional convolutional neural network (1D-CNN), convolutional neural network (RNN), and long-short memory neural network (LSTM), different neural network optimization algorithms are selected to achieve fault diagnosis and classification. The experimental results show that the deep learning technique has good effect in aero-engine surge fault diagnosis. The aero-engine surge fault diagnosis network (ASFDN) proposed in this paper achieves better results. Through training, the network achieves more than 99% classification accuracy for the test set.     

基于压缩感知和深度小波网络的列车故障识别

针对列车走行部故障振动数据无监督特征学习的难点，提出了一种基于压缩感知和深度小波神经网络（CS-DWNN）的列车故障识别方法。首先，对采集得到的列车走行部振动信号利用高斯随机矩阵进行压缩采样；其次，构建以改进小波自编码器（WAE）为基础的深层小波网络，将压缩后的信号直接输入网络进行自动逐层特征提取；最后，用DWNN学习到的多层特征分别训练多个深度支持向量机（DSVM）和深度森林（DF）分类器，并将识别结果进行集成。该方法利用深层小波网络从压缩信号中自动挖掘隐藏的故障信息，受先验知识和主观影响较小，并且避免了复杂的人工特征提取过程。实验结果表明，CS-DWNN方法取得了99.16%的平均诊断正确率，能够有效识别列车走行部的3种常见故障，识别能力优于传统的人工神经网络（ANN）、支持向量机（SVM）等方法和深度信念网络（DBN）、堆栈降噪自编码器（SDAE）等深度学习模型。