基于DBN-KELM的入侵检测算法

传统机器学习算法需要人工构建样本特征,处理海量多源异构网络入侵数据时分类效果较差。针对该问题,结合深度信念网络(DBN)和核极限学习机(KELM),提出一种混合深度学习入侵检测算法DBN-KELM。利用DBN提取高维网络历史数据的抽象特征,获得原始数据的低维表示形式。在此基础上,通过KELM对低维表示的数据做监督学习,达到准确识别网络攻击的目的。在NSL-KDD数据集上进行仿真,实验结果表明,DBN-KELM算法能够提高分类准确率,降低对小样本攻击的误报率,同时缩短分类器的训练时间。     

基于PSO-DBN的风电机组齿轮箱运行状态识别

为了准确监测到风电机组齿轮箱的运行状态以实现其早期预警,提出了一种基于改进深度置信网络(Deep Belief Networks, DBN)的运行状态识别方法。首先,利用粒子群算法(Particle Swarm Optimization, PSO)优化DBN网络的结构参数,运用最优的DBN网络结构提取样本数据特征。将特征通过多维尺度分析(Multidimensional Scaling, MDS)算法映射到低维空间,在低维空间内依据欧氏距离构建齿轮箱状态指标,结合状态指标实现样本数据标签化。再采用标签化的样本数据训练极限学习机(Extreme Learning Machine, ELM)模型,识别齿轮箱的运行状态。结果表明,该方法的识别准确率达到95.61%,不仅深度挖掘到样本数据的特征信息,还通过构建状态指标为无标签的样本数据处理提供了参考。     

基于深度置信网络的高分辨率雷达距离像识别

为提高雷达目标识别准确率,提出了一种基于深度置信网络（DBN）的高分辨率雷达距离像（HRRP）识别方法。首先利用受限玻尔兹曼机（RBM）对HRRP数据进行逐层无监督训练,根据对比散度（CD）算法更新网络参数,通过误差重构设计DBN深度;而后利用反向传播（BP）机制对DBN模型参数进行有监督的微调;最后基于该模型实现了HRRP的分类与识别。实验结果表明,与传统神经网络相比,基于深度置信网络的识别准确率及噪声鲁棒性显著提高,识别准确率可提高8.5%。     

一种改进的深度置信网络在交通流预测中的应用

针对现有交通流预测方法忽视对交通流数据自身特征的有效利用以及不能模拟更复杂的数学运算,提出了一种改进深度置信网络（deep belief network,DBN）的交通流预测方法。该方法结合深度置信网络模型与Softmax回归作为预测模型,利用连续受限玻尔兹曼机（continuous restricted Boltzmann machines,CRBM）处理输入特征向量,利用自适应学习步长（adaptive learning step,ALS）减少RBM训练网络模型时重建误差所需的时间,用改进的深度置信网络模型进行交通流特征学习,在网络顶层连接Softmax回归模型进行流量预测。实验结果表明,在实际的交通流数据预测中,改进的DBN模型的预测准确率以及时间复杂度相比传统预测模型都得到了较好的改善。     

基于连续型深度置信神经网络的软件可靠性预测

为了提高软件可靠性智能预测的精度,采用连续型深度置信神经网络算法用于软件可靠性预测。首先提取影响软件可靠性的核心要素样本,并获取样本要素的关键特征;然后建立连续型深度置信神经网络(Deep Belief Network,DBN)的软件可靠性预测模型,输入待预测样本,通过多个受限波尔兹曼机(Restricted Boltzmann Machine,RBM)层的预处理训练,以及多次反向微调迭代获取DBN权重等参数,直到达到最大RBM层数和最大反向微调迭代次数;最后获得稳定的软件可靠性预测模型。实验结果证明,通过合理设置DBN隐藏层节点数和学习速率,可以获得良好的软件可靠性预测准确率和标准差。与常用的软件可靠性预测算法相比,所提算法的预测准确度高且标准差小,在软件可靠性预测方面的适用度较高。     

极限学习机与支持向量机在储层渗透率预测中的对比研究

极限学习机ELM是一种简单易用、有效的单隐层前馈神经网络SLFNs学习算法。传统的神经网络学习算法(如BP算法)需要人为设置大量的网络训练参数,并且很容易产生局部最优解。极限学习机只需要设置网络的隐层节点个数,在算法执行过程中不需要调整网络的输入权值以及隐元的偏置,并且产生唯一的最优解,因此具有学习速度快且泛化性能好的优点。本文将极限学习机引入到储层渗透率的预测中,通过对比支持向量机,分析其在储层渗透率预测中的可行性和优势。实验结果表明,极限学习机与支持向量机有近似的预测精度,但在参数选择以及学习速度上极限学习机具有明显的优势。     

基于改进的深度置信网络的电离层F2层临界频率预测

随着深度学习理论的日趋成熟,针对各种场合的实际应用逐渐成为研究的焦点。本文提出一种基于深度置信网络（Deep Belief Network,DBN）对本区域未来24h的电离层临界频率foF2进行预测的方法。首先,对选取的数据集进行处理,生成用于训练和测试的数据集,其次改进DBN网络基本单元的结构,以适应对连续型数据特征的提取与学习,再通过试验的方式确定DBN网络基本结构,最后利用训练数据集对改进后的网络进行训练,实现对 foF2值的预测。与实测值相比较,改进的DBN网络具有极佳的预测准确性,与浅层结构BP网络和SVM网络相比,改进的DBN网络不但克服了浅层结构所固有的问题,而且也表现出更加优异的对于连续型数据的预测性能,尤其是当预测值受到高维复杂因素影响时改进的DBN模型依旧能表现出很好的预测性能。     

QPSO算法的改进及其在DBN参数优化中应用

为了提升标准量子粒子群算法（Quantum Particle Swarm Optimization,QPSO）的收敛精度,提出了基于粒子势阱长度变化率的粒子平均最优位置权重计算方法,通过平均最优位置的调节,来提升粒子的寻优能力,并将改进后的QPSO算法应用于深度置信网络（Depth Belief Network,DBN）模型的学习率参数寻优中,以便找到最优的DBN模型参数,来提升DBN模型的识别准确率。将通过改进后QPSO算法进行参数寻优的DBN网络（LQ_DBN）应用于蛋黄形状检测中,与现有典型的DBN网络模型对比表明,LQ_DBN模型在蛋黄形状检测实验中的识别准确率比CC-PSO-DBN、PSO_MDBN和标准DBN模型都要高,且检测识别准确率的稳定性也是四种对比模型中最高的,表明基于改进的QPSO算法的DBN网络模型取得了较好的优化效果。     

多频带频域深度置信网络脑电特征识别算法

针对DBN（深度置信网络）脑电信号识别率不高的问题,提出了多频带频域深度置信网络（multi-band FDBN）算法进行特征提取.不同频带存在个体性差异,它们对于分类结果的贡献不完全相同,本文利用带通滤波器将原始的脑电信号分成多个频段,再采用FFT（快速傅里叶变换）将时域信号转换为频域信号并作归一化处理,最后将每个频段的频域数据输入DBN进行训练识别.线下实验证明,相比FDBN（频域深度置信网络）算法,多频带FDBN的平均准确率提高了3.25%,且标准差更小,鲁棒性更好.最后,在智能轮椅平台上,利用多频带FDBN算法基于左右手运动想象脑电信号控制轮椅完成了"8"字形路径,证明了该算法在脑电信号特征提取中的有效性.     

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络（DBN）采用随机初始化受限玻尔兹曼机（RBM）的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器（SDAE）的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand 纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。     

基于特征选择和深度信念网络的文本情感分类算法

由于人类语言的复杂性，文本情感分类算法大多都存在因为冗余而造成的词汇量过大的问题。深度信念网络（DBN）通过学习输入语料中的有用信息以及它的几个隐藏层来解决这个问题。然而对于大型应用程序来说，DBN是一个耗时且计算代价昂贵的算法。针对这个问题，提出了一种半监督的情感分类算法，即基于特征选择和深度信念网络的文本情感分类算法（FSDBN）。首先使用特征选择方法（文档频率（DF）、信息增益（IG）、卡方统计（CHI）、互信息（MI））过滤掉一些不相关的特征从而使词汇表的复杂性降低；然后将特征选择的结果输入到DBN中，使得DBN的学习阶段更加高效。将所提算法应用到中文以及维吾尔语中，实验结果表明在酒店评论数据集上，FSDBN在准确率方面比DBN提高了1.6%，在训练时间上比DBN缩短一半。     

深度信念网络研究进展

深度信念网络（Deep Belief Networks,DBN）作为深度学习（Deep Learning,DL）中的重要模型,目前已被成功应用于人脸识别、手写字体识别、医学图像分析处理等诸多领域。从深度信念网络出发,主要做了四个方面的工作：第一,从受限玻尔兹曼机以及深度信念网络的网络结构和学习过程两个方面阐述了深度信念网络的基本原理;第二,从网络结构和学习算法两个方面总结了深度信念网络的研究进展：在网络结构方面,从网络深度、RBM结构和DBN级联三个角度进行归纳;在学习算法方面,从基本算法、优化算法和融合方法三个方面进行梳理;第三,对深度信念网络在医学图像分析领域中的应用进行了总结;第四,总结了目前DBN存在的问题。     

基于优化变分模态分解和核极限学习机的集装箱吞吐量预测

针对港口集装箱吞吐量数据的复杂性特征,提出基于优化变分模态分解（OVMD）和核极限学习机（KELM）的集装箱吞吐量短期混合预测模型。首先,用汉佩尔辨识法（HI）剔除原始时间序列中的异常值,并把预处理之后的序列通过OVMD分解为多个特征明显的子模态。然后,为提高预测效率,将分解后的子模态按照样本熵（SE）值的大小分成高频低幅、中频中幅和低频高幅三类;同时,借助KELM中携带的小波、高斯和线性核函数捕捉具有不同特征子模态的趋势。最后,把所有子模态的预测结果线性相加得到最终的预测结果。以深圳港的月度集装箱吞吐量数据为样本进行实验,所提模型的平均绝对误差（MAE）达到0.914?9,平均绝对百分比误差（MAPE）达到0.199%,均方根误差（RMSE）达到7.886?0,决定系数（R²）为0.994?4。与四种对比模型相比,所提出的模型在预测精度和效率上都具有一定的优势,同时克服了传统互补集成经验模态分解（CEEMD）和集成经验模态分解（EEMD）中容易出现的模态混叠问题以及极限学习机（ELM）中存在过拟合等问题,具有一定的实际应用潜力。     

基于深度学习的PLK1 PBD活性预测

为了提高抗癌药物的发现效率并降低研发成本,针对基于PLK1此类结构和功能均高度保守的丝氨酸/苏氨酸蛋白激酶在多种肿瘤类型中高表达的特点,提出以PLK1 PBD为靶点的深度信念网络（Deep Believe Network, DBN）抗癌活性研究方法,利用深度学习思想,对20000个化合物的抗癌活性进行分析,并分别和ANN、SVM方法进行对比验证。实验结果表明,在同等条件下,DBN网络针对抗癌药物活性研究具有突出的优势,其平均预测活性的精确度可达91.05%,明显高于ANN和SVM, 从而实现了对化合物抗癌活性的良好评估。     

基于优化数据处理的深度信念网络模型的入侵检测方法

针对目前网络中存在的对已知攻击类型的入侵检测具有较高的检测率,但对新出现的攻击类型难以识别的缺陷问题,提出了一种基于优化数据处理的深度信念网络（DBN）模型的入侵检测方法。该方法在不破坏已学习过的知识和不严重影响检测实时性的基础上,分别对数据处理和方法模型进行改进,以解决上述问题。首先,将经过概率质量函数（PMF）编码和MaxMin归一化处理的数据应用于DBN模型中;然后,通过固定其他参数不变而变化一种参数和交叉验证的方式选择相对最优的DBN结构对未知攻击类型进行检测;最后,在NSL-KDD数据集上进行了验证。实验结果表明,数据的优化处理能够使DBN模型提高分类精度,基于DBN的入侵检测方法具有良好的自适应性,对未知样本具有较高的识别能力。在检测实时性上,所提方法与支持向量机（SVM）算法和反向传播（BP）网络算法相当。     

基于SMOTE和深度信念网络的异常检测

针对现有海量非平衡数据集中少数类别样本入侵检测率低的问题,提出了一种基于合成少数类过采样技术（SMOTE）和深度信念网络（DBN）的异常检测（SMOTE-DBN）方法。首先,用SMOTE技术增加了少数类别样本的样本数;然后在预处理后的较平衡数据集上,用非监督的受限玻尔兹曼机（RBM）对预处理后的高维数据进行特征降维;其次,用反向传播（BP）算法微调模型参数,获得预处理后数据的较优低维表示;最后通过softmax分类器对较优低维数据进行分类。KDD1999数据集仿真实验表明,SMOTE优化处理能够提高模型对少数类别样本的检测率,在相同数据集上,SMOTE-DBN方法与DBN方法、支持向量机（SVM）方法相比,检测率分别提高了3.31个百分点和7.34个百分点,误报率分别降低了1.11个百分点和2.67个百分点。     

基于布谷鸟搜索和深度信念网络的肺部肿瘤图像识别算法

针对深度信念网络（DBN）权值随机初始化易使网络陷入局部最优的问题,在传统DBN模型中引入布谷鸟搜索（CS）算法,提出一种基于CS-DBN的肺部肿瘤图像识别算法。首先,利用CS的全局寻优能力对DBN的初始权值进行优化,并在此基础上进行DBN的逐层预训练;然后,利用反向传播（BP）算法对整个网络进行微调,从而使网络权值达到最优;最后,将CS-DBN应用于肺部肿瘤图像的识别,实验从受限玻尔兹曼机（RBM）训练次数、训练批次大小、DBN隐层层数和隐层节点数四个角度将CS-DBN与传统DBN进行比较,以验证该算法的可行性和有效性。实验结果表明,CS-DBN的识别精度明显高于传统DBN,在不同RBM训练次数、训练批次大小、DBN隐层层数和隐层节点数条件下,CS-DBN较传统DBN识别率提高百分点的范围分别是1.13~4.33、2.00~3.34、1.07~3.34和1.40~3.34。CS-DBN能够在一定程度上提高肺部肿瘤的识别精度,从而提高肺部肿瘤计算机辅助诊断性能。     

基于深度神经网络的特征加权融合人脸识别方法

针对目前难以提取到适合用于分类的人脸特征以及在非限条件下进行人脸识别准确率低的问题,提出了一种基于深度神经网络的特征加权融合人脸识别方法(DLWF)。首先,应用主动形状模型(ASM)提取出人脸面部的主要特征点,并根据主要特征点对人脸不同器官区域进行采样;然后,将所得采样块分别输入到对应的深度信念网络(DBN)中进行训练,获得网络最优参数;最后,利用Softmax回归求出各个区域的相似度向量,将多区域的相似度向量加权融合得到综合相似度评分进行人脸识别。经ORL和WFL人脸库上进行实验验证,DLWF算法的识别准确率分别达到97%和88.76%,与传统算法主成分分析(PCA)、支持向量机(SVM)、DBN及FIP+线性判别式分析(LDA)相比,无论是限制条件还是非限制条件下,识别率均有提高。实验结果表明,该算法具有高效的人脸识别能力。     

无监督深度学习彩色图像识别方法

针对彩色图像分类识别的重要性,提出了一种结合图像特征数据和深度信任网络(DBN)的彩色图像识别方法。首先,构造符合人类视觉特性的图像色彩数据场;其次,以小波变换描述图像的多尺度特征;最后,通过无监督训练深度信任网络实现对图像的识别。实验结果表明,所提方法与Adaboost、支持向量机(SVM)方法比较,分类准确率分别提高约3.7%和2.8%,可有效提高图像识别效果。