深度信念网络研究综述

深度学习作为新兴的一种多层神经网络学习算法,具有优异的特征学习能力,引起了机器领域的广泛关注。深度信念网络是深度学习中重要模型,首先介绍深度学习起源,后分析深度信念网络中的基本模块及其训练方法,再介绍深度信念网络的基本结构及其学习过程,最后总结当前深度信念网络当前存在的问题。     

基于灰狼算法的深度信念网络入侵检测方法

针对传统入侵检测方法在检测效果上存在检测率低、误报率高等问题,将深度信念网络应用于入侵检测中,提出一种基于灰狼算法(GWO)的深度信念网络(DBN)入侵检测方法。对NSL-KDD进行预处理提高其鲁棒性,搭建深度信念网络检测模型,引入灰狼算法对其隐含层节点数进行全局寻优,近似得到DBN最佳网络结构,利用所得数据集进行验证分析。实验结果表明,与几种常用的入侵检测算法相比,经过灰狼算法优化后的深度信念网络提高了入侵检测的检测率,降低了误报率,为入侵检测提供了新的依据。     

浅析深度信念网络模型

深度信念网络(Deep Belief Network, DBN)是深度学习模型之一,是实现人工智能的重要模型.它是由多个受限玻尔兹曼机(RBM)堆加而成.一般在模型的最后一层加入分类器模型进行分类.目前已在生物特征识别、语音识别、机器故障诊断、疾病诊断等诸多领域得到广泛应用.鉴于深度信念网络模型的优点及其强大的自主学习...     

动态深度信念网络模型构建

深度学习是一类新兴的多层神经网络学习算法,因其缓解了传统训练算法的局部最小性,故引起机器学习领域的广泛关注。但是,如何使一个网络模型在选取任意数值的隐藏层节点数时都能够得到一个比较合适的网络结构是目前深度学习界普遍存在的一个开放性问题。文章提出了一种能够动态地学习模型结构的算法——最大判别能力转换法,根据Fisher准则来评估隐藏层每一个节点的判别性能,然后通过动态地选择部分隐层节点来构建最优的模型结构。     

基于随机Dropout深度信念网络的移动用户行为识别方法

针对移动用户行为识别模型中存在过度拟合导致泛化性差的问题,提出一种基于随机Dropout深度信念网络DBN(Deep Belief Network)的移动用户行为识别方法,该方法通过随机更改Dropout算法中的概率参数,减少隐层单元的网络节点数,优化每次训练的网络权值,以提高行为识别的准确率和样本较少时的泛化能力。实验结果表明,加入随机Dropout的网络对静止、散步、跑步、上楼及下楼五种行为的平均识别准确率可达94.23%,相对于传统的DBN识别方法,准确率提高了4.57%。     

基于改进深度信念网络的电力欠费预警研究

"先使用,后付费"的营销方式导致电网公司电费回收不到位,难以支撑正常运转和获得基本效益。为了解决电力欠费对电网公司的不利影响,论文提出电力欠费预警智能预测的研究方法。将电费回收分为时间和金额两部分,结合相应的关联指标,建立参数自适应的深度信念网络,通过深度学习和训练对电力欠费情况精准预测。实验结果表明,与BP神经网络相比,深度信念网络更能准确预测出用户电费回收的未来情况,有效辅助电力企业制定用电和电费预警策略。     

利用改进深度信念网络的人脸表情识别

针对人脸表情识别过程中,误差逆向传播算法(back propagation,BP)对深度信念网络(deep belief network,DBN)微调时容易陷入极值点局部极小和收敛时间过长的问题,提出基于BP算法微调DBN的改进方法.对表情进行多特征提取并降维,利用所提方法对降维后特征进行学习,采用共轭梯度算法解决BP...     

基于深度信念网络的列车故障音频诊断方法

铁路在交通运输行业有着举足轻重的地位,一旦列车发生故障将会导致严重的生命财产损失。由于列车发生故障的概率相对较低,因此难以捕获列车的故障样本。针对上述问题,提出了一种无监督学习的列车故障识别方法,通过检测列车音频信号来识别列车故障。该方法基于深度信念网络(DBN),利用小波包分解提取检测信号的特征向量并将其作为DBN的输入,待网络充分训练后,由训练好的DBN识别当前列车的运行状况。现场监测实验结果表明,该方法能够在无监督的条件下有效识别列车故障,保障了列车的运行安全。     

基于级联与深度信念网络的恶意代码分层检测

为提高恶意代码检测准确率,增强网络空间的信息安全性,提出一种恶意代码自动检测判定方法,基于同种恶意代码同源性特征,融合级联操作与深度信念网络。分析不同类型下的恶意代码的显著特征,从样本集中提取图像、语令等基本数据信息,构建恶意代码检测模型,对基于限制波尔兹曼机算法的模型进行训练。实验结果表明,相比其它检测方案,所提模型检验恶意代码的准确率有显著提高。     

改进的稀疏深度置信网络

深度学习作为近年热门研究领域,具有极大的应用前景,但存在过拟合、欠拟合、隐藏层数和节点数选取等诸多问题。针对深度置信网络存在的过拟合问题,借鉴压缩感知理论和零范数的数学性质,构建了一种基于无均值高斯分布函数的稀疏深度置信网络。通过在预训练阶段添加稀疏正则项,进一步改进深度置信网络训练过程的方法加以解决过拟合问题。利用ORL和MINIST两种公开数据集上对该改进方案进行验证分析,结果表明其比现有的改进方案在稀疏性和准确性上有较大提升。     

基于深度信念网络的高光谱影像森林类型识别

森林类型分类对森林生态系统管理起重要作用,高光谱影像由于波段多,传统方法先对其进行特征选择或特征提取进行降维处理,再进行图像分类,一定程度影响森林类型识别精度.深度信念网络是一种半监督学习方法,可将高光谱所有波段作为深度信念网络的输入,从而避免降维处理.论文利用深度信念网络对泉州市德化县西部8个乡镇进行森林类型识别研究.基于HJ/1A高光谱图像与二类调查数据,利用Python语言实现高光谱影像森林类型分类,讨论了网络深度和隐藏层单元数对总体精度与Kappa系数的影响.实验结果表明:层数为3,每层节点数为256的网络结构对森林类型识别效果最好,总体精度达85.8%,系数为0.785,好于支持向量机的分类结果.     

深度置信网络优化模型在人才评价中的应用

针对深度置信网络(DBN)权值随机初始化容易使网络陷入局部最优的问题,引入改进的和声搜索(IHS)算法,提出基于IHS的DBN模型(IHS-DBN)。在和声搜索算法的基础上,利用全局自适应的和声音调调整方式,提升算法收敛速度和后期局部搜索能力。将DBN重构误差函数作为IHS算法的优化目标函数,通过不断迭代优化解向量为DBN寻找一组较优的初始权值进行网络训练,并在MNIST数据集上验证IHS-DBN模型的有效性。IHS-DBN模型在高校人才评价中的应用结果表明,与DBN、SVM和BP神经网络评价模型相比,IHS-DBN模型的评价准确率分别提高3.6%、7.3%和16.4%。     

基于层次稀疏DBN的瓶颈特征提取方法

针对现有语音特征无法有效利用长时段语音和监督性类别信息,及现有瓶颈特征提取方法耗时过长等缺陷,提出基于层次结构稀疏深度可信神经网络的瓶颈特征提取方法.该方法将重叠组套索作为深度可信神经网络目标函数的稀疏正则项使用,从而构建训练速度更快的稀疏深度可信神经网络.然后利用层次结构的网络架构方式,将两个稀疏深度可信神经网络串联后使用,进一步增强瓶颈特征的判决能力.文中将此瓶颈特征应用于音素识别中,实验表明该特征的有效性.     

深度信念网络研究现状与展望

深度信念网络(Deep belief network, DBN)是一种基于深度学习的生成模型, 克服了传统梯度类学习算法在处理深层结构所面临的梯度消失问题, 近几年来已成为深度学习领域的研究热点之一.基于分阶段学习的思想, 人们设计了不同结构和学习算法的深度信念网络模型.本文在回顾总结深度信念网络的研究现状基础上, 给出了其发展趋势.首先, 给出深度信念网络的基本模型结构以及其标准的学习框架, 并分析了深度信念网络与其他深度结构的关系与区别; 其次, 回顾总结深度信念网络研究现状, 基于标准模型分析不同深度信念网络结构的性能; 第三, 给出深度信念网络的不同无监督预训练和有监督调优算法, 并分析其性能; 最后, 给出深度信念网络今后的发展趋势以及未来值得研究的方向.     

基于深度信念网与隐变量模型的用户偏好建模

从高维、稀疏的用户评分数据中构建用户偏好模型,存在迭代计算复杂度高、中间结果规模大和难以实现有效推理等问题。为此,提出一种基于深度信念网(DBN)和贝叶斯网(BN)的用户偏好建模方法。采用DBN对评分数据进行分类,用隐变量表示不能直接观测到的用户偏好,利用含隐变量的BN描述评分数据中蕴含的相关属性间的依赖关系及其不确定性。在MovieLens和大众点评数据集上的实验结果表明,该方法能够有效描述评分数据中与用户偏好相关的各属性间的依赖关系,其精确率和执行效率均高于隐变量模型。     

一种基于胶质细胞链的改进深度信念网络模型

深度信念网络(Deep belief network, DBN) 是一种从无标签数据学习特征的多层结构模型. 在同一层单元间缺少连接, 导致数据中的深度关联特征难以提取. 受到人脑中胶质神经细胞机制的启示, 提出一种基于胶质细胞链的改进 DBN 模型及其学习算法, 以提取更多数据信息. 在标准图像分类数据集上的实验结果表明, 与其他几种模型相比, 本文提出的改进 DBN 模型可以提取更为优秀的图像特征, 提高分类准确率.     

DBN在蛋白质编码区识别问题中的应用研究

针对真核生物DNA序列中蛋白质编码区的识别问题,提出基于深度置信网络（Deep Belief Network,DBN）的组合模型。通过信号处理技术对真核生物的DNA序列进行数值转换,并结合统计学知识提取转换后DNA序列的数值特征;利用随机森林对所提取的特征变量降维;用深度置信网络模型对DNA序列分类判别;根据短时傅里叶变换（Short Time Fourier Transform,STFT）技术对外显子区准确定位。在三个标准测试集上比较组合模型与传统[Logistic]回归模型、贝叶斯判别模型的判别效果,结果显示,深度置信网络组合模型的准确率和特异度等指标都明显优于[Logistic]回归模型和贝叶斯判别模型。     

一种深度置信网络和迭代量化的图像检索方法

针对网络图像数据的迅速增多导致传统图像检索的效果不能满足当前需求的问题,提出了一种基于深度置信网络(deep belief network,DBN)和迭代量化(iterative quantization,ITQ)的无监督学习图像检索的方法.首先,构造深度置信网络的模型,此模型是由3层受限玻尔兹曼机堆叠而成;然后,用此深度置信网络模型对原始图像的高维特征进行中维特征提取,再采用迭代量化的哈希方法,对提取图像中维特征进行二值编码;最后,针对MNIST、CIFAR-10和Corel-1000数据集对模型进行实验验证并评估.结果表明,所提出的方法与现在的几种主流方法相比检索性能更好.除此之外,本方法对乳腺数据集DDSM和肺结节CT图像数据集LIDC-IDRI中的检索也取得了较好的效果.     

基于深度信念网络的异常点集间的匹配算法

在存在异常值、噪声或缺失点的情况下,损坏的点集中很难区分异常点与正常点,并且点集之间的匹配关系也会受到这些异常点的影响。基于正常点之间存在某种联系以及正常点与异常点之间存在差异的先验知识,提出将点集间匹配关系的估计问题模型化为机器学习的过程。首先,考虑到两个正常点集之间的误差特征,提出了一种基于深度信念网络（DBN）的学习方法来训练具有正常点集的网络;然后,使用训练好的DBN测试损坏的点集,根据设置的误差阈值在网络输出端就可以识别异常值和不匹配的点。对存在噪声和缺失点的2D、3D点集所做的匹配实验中,利用模型预测样本的结果定量评估了点集间的匹配性能,其中匹配的精确率可以达到94%以上。实验结果表明,所提算法可以很好地检测点集中的噪声,即使在数据缺失的情况下,该算法也可以识别几乎所有的匹配点。