浅析深度信念网络模型

深度信念网络(Deep Belief Network, DBN)是深度学习模型之一,是实现人工智能的重要模型.它是由多个受限玻尔兹曼机(RBM)堆加而成.一般在模型的最后一层加入分类器模型进行分类.目前已在生物特征识别、语音识别、机器故障诊断、疾病诊断等诸多领域得到广泛应用.鉴于深度信念网络模型的优点及其强大的自主学习...     

基于动态Gibbs采样的RBM训练算法研究

目前大部分受限玻尔兹曼机(Restricted Boltzmann machines, RBMs)训练算法都是以多步Gibbs采样为基础的采样算法. 本文针对多步Gibbs采样过程中出现的采样发散和训练速度过慢的问题,首先, 对问题进行实验描述,给出了问题的具体形式; 然后, 从马尔科夫采样的角度对多步Gibbs采样的收敛性质进行了理论分析, 证明了多步Gibbs采样在受限玻尔兹曼机训练初期较差的收敛性质是造成采样发散和训练速度过慢的主要原因; 最后, 提出了动态Gibbs采样算法,给出了对比仿真实验.实验结果表明, 动态Gibbs采样算法可以有效地克服采样发散的问题,并且能够以微小的运行时间为代价获得更高的训练精度.     

基于改进深度信念网络的心血管疾病预测研究

定量分析和预测有助于降低心血管疾病发病风险。传统预测模型在多分类非线性复杂因素的条件下,预测准确率会降低。采用浅层神经网络的方法,能够解决该问题。然而因浅层神经网络初始参数的随机性,带来了预测结果方差增大的新问题。提出一种基于改进深度信念网络的心血管疾病预测模型,利用重构误差,自主确定网络深度,结合无监督训练和有监督调优,在提高模型预测准确率的同时保证稳定性。对UCI数据库中的Statlog (Heart)和Heart Disease Dataset数据集独立进行30次实验,结果显示预测准确率的均值分别为91.26%、89.78%,预测准确率的方差分别为5.78、4.46。     

基于深度信念网络的社保卡号码识别方法

提出了一种基于深度信念网络(DBN)的社保卡号码识别方法,通过采集社保卡图像,采用模块分割的方法,对社保卡号码区域进行行分割,利用区域生长的方法对行内号码分割,将号码图像灰度化与二值化,并归一化为32×32大小,作为深度信念网络的输入数据,训练3层受限玻尔兹曼机(RBM)来获得更加抽象的特征表达,模型的最顶层结合Softmax回归分类器对抽取后的特征进行分类.实验结果表明:其准确率高达98.3%,与BP神经网络和支持向量机(SVM)模型相比,深度信念网络学习了数据的高层特征的同时降低了特征维数,提高了分类器的分类精度,有效提高了社保卡号码识别率.     

基于深度信念网络的在线视频热度预测

针对在线视频热度预测研究中分类及预测效果欠佳,规则化较多和较缺乏实践检验等问题,通过对实际在线视频服务系统所采集的海量数据研究,提出一种基于深度信念网络（Deep Belief Networks,DBNs）的视频热度预测方法。首先,结合社交网络的关注度和视频关键词的搜索热度,对影响因子进行了建模和量化处理;其次,根据输入和输出变量确定了DBNs各层网络的结构,优化了网络参数和预测模型;最后,通过在线视频服务商的数据对深度信念网络进行训练,并多次交叉实验对比分析,结果表明基于DBNs方法在视频热度预测上准确率最高79.47%（国内视频）、65.33%（国外视频）,可以为在线视频上映前的投资、宣传以及风险评估提供较全面可靠的参考决策。     

基于改进的稀疏深度信念网络的人脸识别方法

由于稀疏表示在人脸识别上的优异表现,大量的研究关注于在深度网络上结合稀疏编码.常用的稀疏深度信念网络限制所有的隐藏单元具有相同的稀疏水平,这不是诱导稀疏表示最自然的方式.针对这个问题,根据压缩感知理论改进原来的稀疏项,添加了一个tan-sigmoid正则项逼近稀疏表示的最优解L0范数.这种方法不限制隐藏单元拥有相同的激活率,每个隐藏单元可以根据不同的任务自动学习到不同的稀疏水平.在ORL、UMIST和FERET人脸库上的识别结果表明,提出的方法与经典的稀疏深度模型相比,获得了很好的特征表示和识别效果.     

基于SMOTE和深度信念网络的异常检测

针对现有海量非平衡数据集中少数类别样本入侵检测率低的问题,提出了一种基于合成少数类过采样技术（SMOTE）和深度信念网络（DBN）的异常检测（SMOTE-DBN）方法。首先,用SMOTE技术增加了少数类别样本的样本数;然后在预处理后的较平衡数据集上,用非监督的受限玻尔兹曼机（RBM）对预处理后的高维数据进行特征降维;其次,用反向传播（BP）算法微调模型参数,获得预处理后数据的较优低维表示;最后通过softmax分类器对较优低维数据进行分类。KDD1999数据集仿真实验表明,SMOTE优化处理能够提高模型对少数类别样本的检测率,在相同数据集上,SMOTE-DBN方法与DBN方法、支持向量机（SVM）方法相比,检测率分别提高了3.31个百分点和7.34个百分点,误报率分别降低了1.11个百分点和2.67个百分点。     

基于Gabor小波与深度信念网络的人脸识别方法

特征提取与模式分类是人脸识别的两个关键问题。针对人脸识别中的高维和小样本问题,从人脸特征的提取与降维算法入手,提出基于受限玻尔兹曼机(RBM)的二次特征提取及降维算法模型。首先把图像均匀分成若干局部图像块并进行量化,再对图像进行Gabor小波变换,通过RBM对得到的Gabor人脸特征进行编码,学习数据更本质的特征,从而达到对高维人脸特征降维的目的;并以此为基础提出基于深度信念网络(DBN)的多通道人脸识别算法。在ORL、UMIST和FERET人脸库上对不同样本规模和不同分辨率的图像进行实验,识别结果表明,与采用线性降维和浅层网络的方法相比,所提方法取得了较好的学习效率和很好的识别效果。     

基于深度信念网络的文本分类算法

随着网络的迅猛发展,文本分类成为处理和组织大量文档数据的关键技术.目前已经有许多不同类型的神经网络应用于文本分类,并且取得良好的效果.但是,大部分模型仅采用文档的少量特征作为输入,没有考虑到足够的信息量;而当考虑到足够的特征时,又会发生维数灾难,导致模型难以训练或者训练时间大幅增加.利用深度信念网络从文本中抽取特征,并利用softmax回归分类器对抽取后的特征分类.深度信念网络不仅具有强大的学习能力,同时还能从高维的原始特征中抽取低维度高度可区分的低维特征,因此利用深度信念网络来对文本分类,不仅能够考虑到文档的足够的信息量,而且能够快速的训练.并且实验结果也表明利用深度信念网络实现文本分类的性能很好.     

基于布谷鸟搜索和深度信念网络的肺部肿瘤图像识别算法

针对深度信念网络（DBN）权值随机初始化易使网络陷入局部最优的问题,在传统DBN模型中引入布谷鸟搜索（CS）算法,提出一种基于CS-DBN的肺部肿瘤图像识别算法。首先,利用CS的全局寻优能力对DBN的初始权值进行优化,并在此基础上进行DBN的逐层预训练;然后,利用反向传播（BP）算法对整个网络进行微调,从而使网络权值达到最优;最后,将CS-DBN应用于肺部肿瘤图像的识别,实验从受限玻尔兹曼机（RBM）训练次数、训练批次大小、DBN隐层层数和隐层节点数四个角度将CS-DBN与传统DBN进行比较,以验证该算法的可行性和有效性。实验结果表明,CS-DBN的识别精度明显高于传统DBN,在不同RBM训练次数、训练批次大小、DBN隐层层数和隐层节点数条件下,CS-DBN较传统DBN识别率提高百分点的范围分别是1.13~4.33、2.00~3.34、1.07~3.34和1.40~3.34。CS-DBN能够在一定程度上提高肺部肿瘤的识别精度,从而提高肺部肿瘤计算机辅助诊断性能。     

焊缝缺陷图像分类识别的深度置信网络研究

由于工业生产中所获取的焊缝缺陷图像背景较为复杂,对其分类识别效率较低,因此提出了一个由三层受限玻尔兹曼机叠加组成的深度置信网络模型.该网络模型在对焊缝原始图像进行更为全面的信息抽取前提下,能够借助深度置信网络自下而上对输入信息进行学习与训练的特点,逐渐减少对焊缝缺陷信息的误判;借助网络最后一层后向传播算法的作用,可以在确保更高正确率的同时缩短收敛时间,有效提升识别效率;通过与传统的支持向量机和人工神经网络进行对比实验,结果表明深度置信网络能更为有效地避免过拟合的发生,对于焊缝缺陷的特征识别具有更为理想的精度.     

基于噪声数据与干净数据的深度置信网络

建立以受限玻尔兹曼机（restricted Boltzmann machine，简称RBM）为基石的深度网络模型，是深度学习研究的热点领域之一.Point-wise Gated受限玻尔兹曼机（point-wise gated RBM，简称pgRBM）是一种RBM的变种算法.该算法能够在含噪声的数据中自适应地找到数据中与分类有关的部分，从而实现较好的分类结果.假设一组数据中有噪声数据和干净数据，如何应用不含噪声的数据提升pgRBM的性能，是一个重要的研究问题.针对这一问题，首先，在传统的pgRBM基础上提出一种基于随机噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机（pgRBM based on random noisy data and clean data，简称pgrncRBM）方法，其网络中与分类有关权值的初值是通过不含噪声的数据学习得到的，所以pgrncRBM在处理随机噪声数据时可以学习到更为"干净"的数据.在pgrncRBM中，与分类有关的数据与噪声都是使用RBM建模.如果噪声是图片，pgrncRBM就不能很好地去除噪声.Spike-and-Slab RBM（ssRBM）是一种处理实值数据的RBM变种模型，其定义两种不同类型的隐层用来学习实值数据的分布特性.因此，将ssRBM与pgRBM相结合，提出一种基于图像噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机（pgRBM based on image noisy data and clean data，简称pgincRBM）方法.该方法使用ssRBM对噪声建模，其在处理图像噪声数据时可以学习到更为"干净"的数据.然后，通过堆叠pgrncRBM、pgincRBM和传统的RBM构建出深度网络模型，并探讨了权值不确定性方法在提出网络模型中的可行性.最后，在含噪声的手写数据集上进行MATLAB仿真实验.实验结果表明，pgrncRBM和pgincRBM都是有效的神经网络学习方法.     

一种深度置信网络和迭代量化的图像检索方法

针对网络图像数据的迅速增多导致传统图像检索的效果不能满足当前需求的问题,提出了一种基于深度置信网络(deep belief network,DBN)和迭代量化(iterative quantization,ITQ)的无监督学习图像检索的方法.首先,构造深度置信网络的模型,此模型是由3层受限玻尔兹曼机堆叠而成;然后,用此深度置信网络模型对原始图像的高维特征进行中维特征提取,再采用迭代量化的哈希方法,对提取图像中维特征进行二值编码;最后,针对MNIST、CIFAR-10和Corel-1000数据集对模型进行实验验证并评估.结果表明,所提出的方法与现在的几种主流方法相比检索性能更好.除此之外,本方法对乳腺数据集DDSM和肺结节CT图像数据集LIDC-IDRI中的检索也取得了较好的效果.     

基于权值不确定性的玻尔兹曼机算法

受限制的玻尔兹曼机（RBM）是一种无向图模型.基于RBM的深度学习模型包括深度置信网（DBN）和深度玻尔兹曼机（DBM）等.在神经网络和RBM的训练过程中,过拟合问题是一个比较常见的问题.针对神经网络的训练,权值随机变量（weight random variables）、Dropout方法和早期停止方法已被用于缓解过拟合问题.首先,改变RBM模型中的训练参数,使用随机变量代替传统的实值变量,构建了基于随机权值的受限的波尔兹曼机（weight uncertainty RBM,简称WRBM）,接下来,在WRBM基础上构建了相应的深度模型：Weight uncertainty Deep Belief Network（WDBN）和Weight uncertainty Deep Boltzmann Machine（WDBM）,并且通过实验验证了WDBN和WDBM的有效性.最后,为了更好地建模输入图像,引入基于条件高斯分布的RBM模型,构建了基于spike-and-slab RBM（ssRBM）的深度模型,并通过实验验证了模型的有效性.     

基于改进并行回火算法的RBM网络训练研究

目前受限玻尔兹曼机网络训练算法主要是基于采样的算法.当用采样算法进行梯度计算时,得到的采样梯度是真实梯度的近似值,采样梯度和真实梯度之间存在较大的误差,这严重影响了网络的训练效果.针对该问题,本文首先分析了采样梯度和真实梯度之间的数值误差和方向误差,以及它们对网络训练性能的影响,然后从马尔科夫采样的角度对以上问题进行了理论分析,并建立了梯度修正模型,通过修正梯度对采样梯度进行数值和方向的调节,并提出了基于改进并行回火算法的训练算法,即GFPT（Gradient fixing parallel tempering）算法.最后给出GFPT算法与现有算法的对比实验,仿真结果表明,GFPT算法可以极大地减小采样梯度和真实梯度之间的误差,大幅度提升受限玻尔兹曼机网络的训练效果.     

基于深度学习的人体行为识别算法综述

人体行为识别和深度学习理论是智能视频分析领域的研究热点, 近年来得到了学术界及工程界的广泛重视, 是智能视频分析与理解、视频监控、人机交互等诸多领域的理论基础. 近年来, 被广泛关注的深度学习算法已经被成功运用于语音识别、图形识别等各个领域.深度学习理论在静态图像特征提取上取得了卓著成就, 并逐步推广至具有时间序列的视频行为识别研究中. 本文在回顾了基于时空兴趣点等传统行为识别方法的基础上, 对近年来提出的基于不同深度学习框架的人体行为识别新进展进行了逐一介绍和总结分析; 包括卷积神经网络(Convolution neural network, CNN)、独立子空间分析(Independent subspace analysis, ISA)、限制玻尔兹曼机(Restricted Boltzmann machine, RBM)以及递归神经网络(Recurrent neural network, RNN)及其在行为识别中的模型建立, 对模型性能、成果进展及各类方法的优缺点进行了分析和总结.     

A Real-Time and Ubiquitous Network Attack Detection Based on Deep Belief Network and Support Vector Machine

In recent years, network traffic data have become larger and more complex, leading to higher possibilities of network intrusion. Traditional intrusion detection methods face difficulty in processing high-speed network data and cannot detect currently unknown attacks. Therefore, this paper proposes a network attack detection method combining a flow calculation and deep learning. The method consists of two parts: a real-time detection algorithm based on flow calculations and frequent patterns and a classification algorithm based on the deep belief network and support vector machine (DBN-SVM). Sliding window (SW) stream data processing enables real-time detection, and the DBN-SVM algorithm can improve classification accuracy. Finally, to verify the proposed method, a system is implemented. Based on the CICIDS2017 open source data set, a series of comparative experiments are conducted. The method’s real-time detection efficiency is higher than that of traditional machine learning algorithms. The attack classification accuracy is 0.7 percentage points higher than that of a DBN, which is 2 percentage points higher than that of the integrated algorithm boosting and bagging methods. Hence, it is suitable for the real-time detection of high-speed network intrusions.      

基于时序深度置信网络的在线人体动作识别

在线人体动作识别是人体动作识别的最终目标,但由于如何分割动作序列是一个待解决的难点问题,因此目前大多数人体动作识别方法仅关注在分割好的动作序列中进行动作识别,未关注在线人体动作识别问题.本文针对这一问题,提出了一种可以完成在线人体动作识别的时序深度置信网络（Temporal deep belief network, TDBN）模型.该模型充分利用动作序列前后帧提供的上下文信息,解决了目前深度置信网络模型仅能识别静态图像的问题,不仅大大提高了动作识别的准确率,而且由于该模型不需要人为对动作序列进行分割,可以从动作进行中的任意时刻开始识别,实现了真正意义上的在线动作识别,为实际应用打下了较好的理论基础.     

Gabor特征与深度信念网络结合的人脸识别方法

提出了一种基于Gabor特征和深度信念网络(DBN)的人脸识别方法,通过提取Gabor人脸图像的不同尺度图进行卷积融合,将融合后的特征图作为DBN的输入数据,训练多层来获得更加抽象的特征表达,整个训练的过程中采用交差熵来微调DBN,模型的最顶层结合Softmax回归分类器对抽取后的特征进行分类.在AR人脸库测试的实验结果表明:将Gabor特征与DBN结合应用于人脸识别,其准确率可高达92.7％,与其他浅层学习模型相比,DBN学习了数据的高层特征的同时还降低了特征维数,提高了分类器的分类精度,最终有效改善了人脸识别率.