一种改进的深度置信网络及其在自然图像分类中的应用

深度置信网络DBN(deep belief network)由受限玻尔兹曼机RBM(restricted Boltzmann machine)堆叠而成。针对RBM只能接受二值输入而导致的信息丢失问题,给出将可视层节点替换为具有高斯噪音的实数节点的解决方法,并且用线性修正节点替代隐层的Sigmoid节点。线性修正单元具有良好的稀疏性,可以很好地提高网络性能。DBN自底向上逐层训练网络,初始化网络的参数。在自然图像数据库中与传统DBN以及BP神经网络做分类性能比较,实验结果表明,改进的DBN的图像平均分类正确率以及时间复杂度都得到了较好的改善。     

深度置信网络在垃圾邮件过滤中的应用

针对深层神经网络初始化方法不明确、泛化能力差而导致解决垃圾邮件过滤时效果较差的问题,提出了基于深度置信网络的分类方法。深度置信网络通过逐层无监督的方法来预训练网络,实现了网络的初始化。在LingSpam,SpamAssassin和Enron1三个广泛使用的数据集上,通过与目前最好的垃圾邮件过滤方法支持向量机(SVM)在分类性能上进行比较,实验结果表明深度置信网络的垃圾邮件过滤方法是有效的,获得了较高的准确率和召回率。     

一种实值深度置信网络在人体血压预测中的应用

针对现有血压预测方法难以表征药物治疗、生活方式干预等降压措施对于血压长期且复杂的影响,提出一种基于实值深度置信网络(Real-valued Deep Belief Nets,RDBN)的人体血压预测模型,用于预测高血压患者及高危人群采取降压措施一个随访周期后的血压变化情况.该模型通过双层高斯结构的受限波尔兹曼机单元(G...     

焊缝缺陷图像分类识别的深度置信网络研究

由于工业生产中所获取的焊缝缺陷图像背景较为复杂,对其分类识别效率较低,因此提出了一个由三层受限玻尔兹曼机叠加组成的深度置信网络模型.该网络模型在对焊缝原始图像进行更为全面的信息抽取前提下,能够借助深度置信网络自下而上对输入信息进行学习与训练的特点,逐渐减少对焊缝缺陷信息的误判;借助网络最后一层后向传播算法的作用,可以在确保更高正确率的同时缩短收敛时间,有效提升识别效率;通过与传统的支持向量机和人工神经网络进行对比实验,结果表明深度置信网络能更为有效地避免过拟合的发生,对于焊缝缺陷的特征识别具有更为理想的精度.     

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络（DBN）采用随机初始化受限玻尔兹曼机（RBM）的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器（SDAE）的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand 纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。     

基于改进的深度置信网络的电离层F2层临界频率预测

随着深度学习理论的日趋成熟,针对各种场合的实际应用逐渐成为研究的焦点。本文提出一种基于深度置信网络（Deep Belief Network,DBN）对本区域未来24h的电离层临界频率foF2进行预测的方法。首先,对选取的数据集进行处理,生成用于训练和测试的数据集,其次改进DBN网络基本单元的结构,以适应对连续型数据特征的提取与学习,再通过试验的方式确定DBN网络基本结构,最后利用训练数据集对改进后的网络进行训练,实现对 foF2值的预测。与实测值相比较,改进的DBN网络具有极佳的预测准确性,与浅层结构BP网络和SVM网络相比,改进的DBN网络不但克服了浅层结构所固有的问题,而且也表现出更加优异的对于连续型数据的预测性能,尤其是当预测值受到高维复杂因素影响时改进的DBN模型依旧能表现出很好的预测性能。     

基于噪声数据与干净数据的深度置信网络

建立以受限玻尔兹曼机（restricted Boltzmann machine，简称RBM）为基石的深度网络模型，是深度学习研究的热点领域之一.Point-wise Gated受限玻尔兹曼机（point-wise gated RBM，简称pgRBM）是一种RBM的变种算法.该算法能够在含噪声的数据中自适应地找到数据中与分类有关的部分，从而实现较好的分类结果.假设一组数据中有噪声数据和干净数据，如何应用不含噪声的数据提升pgRBM的性能，是一个重要的研究问题.针对这一问题，首先，在传统的pgRBM基础上提出一种基于随机噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机（pgRBM based on random noisy data and clean data，简称pgrncRBM）方法，其网络中与分类有关权值的初值是通过不含噪声的数据学习得到的，所以pgrncRBM在处理随机噪声数据时可以学习到更为"干净"的数据.在pgrncRBM中，与分类有关的数据与噪声都是使用RBM建模.如果噪声是图片，pgrncRBM就不能很好地去除噪声.Spike-and-Slab RBM（ssRBM）是一种处理实值数据的RBM变种模型，其定义两种不同类型的隐层用来学习实值数据的分布特性.因此，将ssRBM与pgRBM相结合，提出一种基于图像噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机（pgRBM based on image noisy data and clean data，简称pgincRBM）方法.该方法使用ssRBM对噪声建模，其在处理图像噪声数据时可以学习到更为"干净"的数据.然后，通过堆叠pgrncRBM、pgincRBM和传统的RBM构建出深度网络模型，并探讨了权值不确定性方法在提出网络模型中的可行性.最后，在含噪声的手写数据集上进行MATLAB仿真实验.实验结果表明，pgrncRBM和pgincRBM都是有效的神经网络学习方法.     

基于改进深度信念网络的心血管疾病预测研究

定量分析和预测有助于降低心血管疾病发病风险。传统预测模型在多分类非线性复杂因素的条件下,预测准确率会降低。采用浅层神经网络的方法,能够解决该问题。然而因浅层神经网络初始参数的随机性,带来了预测结果方差增大的新问题。提出一种基于改进深度信念网络的心血管疾病预测模型,利用重构误差,自主确定网络深度,结合无监督训练和有监督调优,在提高模型预测准确率的同时保证稳定性。对UCI数据库中的Statlog (Heart)和Heart Disease Dataset数据集独立进行30次实验,结果显示预测准确率的均值分别为91.26%、89.78%,预测准确率的方差分别为5.78、4.46。     

改进深度信念网络在飞机下降段油耗估计中的应用

为准确估计飞机油耗量,针对飞机下降段油耗影响因素众多且与油耗呈非线性关系的特点,提出一种基于改进深度信念网络(DBN)模型的飞机下降阶段油耗估计方法。通过引入高斯-伯努利受限玻尔兹曼机(GBRBM),解决传统DBN模型中受限玻尔兹曼机(RBM)处理连续油耗输入数据时信息丢失问题;采用自适应步长(AS)策略加快收敛速度。该方法利用改进DBN模型的深层非线性网络结构实现油耗影响因素与油耗复杂非线性函数关系的逼近,并通过模型顶层连接的BP网络进行油耗估计。实验结果表明,改进DBN模型在复杂非线性估计方面有较大优势,油耗估计精度和拟合度较高,验证了该方法在飞机下降段油耗估计领域具有可行性。     

一种深度置信网络和迭代量化的图像检索方法

针对网络图像数据的迅速增多导致传统图像检索的效果不能满足当前需求的问题,提出了一种基于深度置信网络(deep belief network,DBN)和迭代量化(iterative quantization,ITQ)的无监督学习图像检索的方法.首先,构造深度置信网络的模型,此模型是由3层受限玻尔兹曼机堆叠而成;然后,用此深度置信网络模型对原始图像的高维特征进行中维特征提取,再采用迭代量化的哈希方法,对提取图像中维特征进行二值编码;最后,针对MNIST、CIFAR-10和Corel-1000数据集对模型进行实验验证并评估.结果表明,所提出的方法与现在的几种主流方法相比检索性能更好.除此之外,本方法对乳腺数据集DDSM和肺结节CT图像数据集LIDC-IDRI中的检索也取得了较好的效果.     

基于DBN的软件可靠性预测模型的研究

安全攸关系统广泛应用于交通、工控、航空等与国计民生相关的安全攸关领域,对可靠性有着非常高的要求。而控制软件往往是安全攸关系统的核心,因此对它的可靠性预测精度必须达到很高的要求。本文将深度置信网络(DBN)应用于软件可靠性增长预测模型(SRPM)的研究。针对DBN中核心模块RBM的无监督学习,采用了动态模式跳转算法(DMH)。该算法通过动态地维护一个模式集,然后借助模式集中模式的跳转来完成RBM中状态的跳转,使RBM的无监督学习具有很高的学习效率。通过与参数动态调整的动态模糊神经网络(SA-DFNN)、BP神经网络(BPN)以及基于萤火虫算法的BP神经网络(FABP)建立的SRPM进行预测能力的比较,实验结果表明基于DBN建立的SRGM的预测结果精度最高且最稳定。     

深度置信网络在极化SAR图像分类中的应用

目的 深度置信网络能够从数据中自动学习、提取特征,在特征学习方面具有突出优势。极化SAR图像分类中存在海量特征利用率低、特征选取主观性强的问题。为了解决这一问题,提出一种基于深度置信网络的极化SAR图像分类方法。方法 首先进行海量分类特征提取,获得极化类、辐射类、空间类和子孔径类四类特征构成的特征集;然后在特征集基础上选取样本并构建特征矢量,用以输入到深度置信网络模型之中;最后利用深度置信网络的方法对海量分类特征进行逐层学习抽象,获得有效的分类特征进行分类。结果 采用AIRSAR数据进行实验,分类结果精度达到91.06%。通过与经典Wishart监督分类、逻辑回归分类方法对比,表现了深度置信网络方法在特征学习方面的突出优势,验证了方法的适用性。结论 针对极化SAR图像海量特征的选取与利用,提出了一种新的分类方法,为极化SAR图像分类提供了一种新思路,为深度置信网络获得更广泛地应用进行有益的探索和尝试。     

基于深度时空残差网络的路网短时交通流预测

针对城市路网短时交通流预测受到许多复杂因素的影响,提出一种基于深度时空残差网络的路网短时交通流预测模型DST-Res Net（deep spatio-temporal residual network）。针对时空数据的两个独特属性邻近性和周期性分别设计相应的残差网络分支,通过为两个分支中相同的道路分配不同的权重动态聚合两个分支网络的输出,调整时空属性对不同路段交通流预测的影响程度,将两个残差网络的聚合结果与外部因素进行融合。通过选择RMSE和R²为模型的评价指标进行实验验证,该DST-ResNet模型相较主流的LSTM模型具有更高的有效性和可行性。     

DBN网络的深度确定方法

针对DBN网络隐含层层数难以选择的问题,首先从数学生物学角度分析了随机初始化的梯度下降法导致网络训练失败的原因,并进行验证,证明了RBM重构误差与网络能量的正相关定理;然后根据隐含层和误差的关系,提出一种基于重构误差的网络深度判断方法,在训练过程中自组织地训练网络,使其能够以一种接近人类处理问题的方式解决AI问题。手写数字识别的实验表明,该方法能够有效提高运算效率,降低运算成本。     

考虑广义需求侧资源的深度置信网络短期负荷预测方法

随着智能电网信息化水平的不断提高以及可控负荷、分布式电源和储能等广义需求侧资源的大量接入,将产生海量负荷数据集并改变负荷特性.为了提高负荷预测精度,提出了一种考虑广义需求侧资源的深度置信网络(DBN)负荷预测方法.首先,借助负荷聚合商确定了广义需求侧资源参与电力市场的机制,构建了基于合同的广义需求侧资源调度模型,并利用该模型求解广义需求侧资源参与电力市场的最优调度计划.其次,引入DBN结构,并将广义需求侧资源的最优调度计划作为其输入量,建立了短期负荷预测模型.最后,以实际数据进行仿真测试,结果表明,本文所提方法具有更高的预测精度.     

基于级联与深度信念网络的恶意代码分层检测

为提高恶意代码检测准确率,增强网络空间的信息安全性,提出一种恶意代码自动检测判定方法,基于同种恶意代码同源性特征,融合级联操作与深度信念网络。分析不同类型下的恶意代码的显著特征,从样本集中提取图像、语令等基本数据信息,构建恶意代码检测模型,对基于限制波尔兹曼机算法的模型进行训练。实验结果表明,相比其它检测方案,所提模型检验恶意代码的准确率有显著提高。     

基于深度信念网络的社保卡号码识别方法

提出了一种基于深度信念网络(DBN)的社保卡号码识别方法,通过采集社保卡图像,采用模块分割的方法,对社保卡号码区域进行行分割,利用区域生长的方法对行内号码分割,将号码图像灰度化与二值化,并归一化为32×32大小,作为深度信念网络的输入数据,训练3层受限玻尔兹曼机(RBM)来获得更加抽象的特征表达,模型的最顶层结合Softmax回归分类器对抽取后的特征进行分类.实验结果表明:其准确率高达98.3%,与BP神经网络和支持向量机(SVM)模型相比,深度信念网络学习了数据的高层特征的同时降低了特征维数,提高了分类器的分类精度,有效提高了社保卡号码识别率.     

深度信念网络在故障指示器检测中的应用

电子产品在生产过程中需进行产品检测,以故障指示器的检测为例,结合深度信念网络(DBN)技术实现了自动检测.深度信念网络由于其具有无监督预训练的优势,将其应用于实际系统,对现场的故障指示器视频图像的动作状态进行了分类实验.实验结果表明:深度信念网络分类算法相比于支持向量机(SVM)分类算法和BP分类算法有明显的优势,正确识别率达到了100％.该算法在产品检验的应用中满足生产测试的要求,且降低了人工测试的劳动强度,缓解了视觉疲劳问题.     

基于改进极端学习机的网络流量预测

为了提高网络流量的预测精度,针对极端学习机的训练样本选择问题,提出一种改进极端学习机的网络流量预测模型（IELM）。根据最优延迟时间和嵌入维数对网络流量重构,建立网络学习样本,将学习样本输入到改进极端学习机进行训练,随新样本加入而逐步求解网络的权值,以提高学习速度,引入cholesky分解方法提高模型的泛化能力,采用具体网络流量数据进行了仿真测试。结果表明,IELM不仅可以获得较传统网络流量预测模型更高的精度,并且大幅度减少了计算时间,提高了建模效率,可以较好地满足网络流量预测要求。