基于并行回火改进的GRBM的语音识别

为提高连续语音识别中的识别准确率,采用高斯伯努利受限玻尔兹曼机进行语音训练和识别。通过结合并行回火算法的思想,采样、交换不同的温度链下的重构数据,实现在全局范围内对整个分布进行采样,提出一种基于并行回火改进的高斯伯努利受限玻尔兹曼机（GRBM-PT）的建模方法。该方法通过对语音信号的连续数据进行预训练分析、建模,最后使用支持向量机作为语音识别的分类器。在TI-Digits数字语音训练和数字测试数据库上的实验结果表明,语音识别率能够达到83.14%,基于GRBM-PT模型下的语音识别率明显优于RBM,RBM-PT以及GRBM模型的性能。     

基于竞争学习的稀疏受限玻尔兹曼机机制

针对受限玻尔兹曼机（RBM）无监督训练存在特征同质化问题以及现有稀疏受限玻尔兹曼机（SRBM）难以自适应稀疏的缺陷,提出了一种基于竞争学习的RBM稀疏机制方法。首先设计基于神经元权值向量与输入向量间夹角余弦值的距离度量,评估两者相似度;然后在训练过程中对不同样本选择出基于距离度量的最优匹配隐单元;其次根据最优匹配隐单元激活状态计算对其他隐单元的稀疏惩罚度;最后执行参数更新并依据深度模型训练过程,将竞争稀疏应用于深度玻尔兹曼机（DBM）的构建中。通过手写数字识别实验证明,与误差平方和正则化因子相比,基于该稀疏机制的DBM分类准确率提高了0.74%,平均稀疏度提高了5.6%,且无需设置稀疏参数,因此,该稀疏机制可提高RBM等无监督训练模型的训练效率,并应用于深度模型的构建中。     

一种结合Gabor小波与深度学习的人脸识别方法

针对人脸识别中识别效果易受光照、姿态等因素影响和浅层学习方法不能有效提取人脸图像抽象特征的问题,提出一种结合Gabor小波与深度学习的人脸识别方法。该方法首先利用Gabor小波变换获取不同尺度和方向的人脸Gabor特征,通过下采样和受限玻尔兹曼机（RBM）对Gabor特征进行有效降维;其次将降维后的特征作为深度信念网络（DBN）的输入,并使用对比散度算法训练DBN;最后利用标签数据对DBN进行有监督微调,网络顶层附加Softmax分类器对提取后的特征进行分类。所提方法在ORL、UMIST和Yale-B人脸库上的识别率分别达到了98.72%、96.51%和96.13%,实验结果表明所提方法不仅识别效果明显优于其他现有方法,而且对光照、姿态变化具有很好的鲁棒性。     

RBM学习方法对比

随着深度学习在模型、算法与理论上的突破性进展,以玻尔兹曼机为基础的各类深度模型近年来在目标识别与自然语言处理等诸多领域得到广泛应用。概述了玻尔兹曼机的相关概念,分析了受限玻尔兹曼机模型所具有的优势。对RBM中的学习方法进行了详细的描述,对应用最为广泛的受限玻尔兹曼机的几种典型学习算法进行了对比,并指出学习算法的研究在未来仍将是深度学习中的一项核心问题。     

基于卷积受限玻尔兹曼机的医学图像分类新方法

利用数据挖掘方法对医学图像做分析是目前研究的热点之一,常用的挖掘方法首先需要从医学图像中提取特征,然后进行分类分析。目前,应用最多的是提取图像的统计特征,这种方法对所提取的特征有很强的依赖性。采用一种深度学习的新方法——卷积受限玻尔兹曼机模型,并且采用改进的快速持续对比散度算法对模型进行训练。该方法直接从乳腺X光图像中自主学习特征并利用学习到的特征对图像进行分类。实验结果显示,新方法对医学图像的分类精度相对于已有方法有明显的提升。     

基于多属性的动态采样协同过滤推荐算法

针对目前协同过滤推荐算法推荐精度和用户数据在算法中匹配度都不高的问题,提出一种多属性的条件受限波尔兹曼机协同过滤推荐模型（MA-CRBM）。该模型基于实值状态的条件玻尔兹曼机,融合了用户职业和性别属性,充分利用数据集中潜在的评分与未评分信息。在训练过程中,采用动态迭代采样算法对原采样算法进行了改进,克服了训练后期数据采样误差波动太大导致精确度不高的问题。在MovieLens 数据集上的实验结果表明,MA-CRBM模型具有较好的推荐效果,可以有效提升推荐模型的精度和效率。     

基于复合优化的深度玻尔兹曼机的路牌文字图像识别算法

为提高自然场景中路牌文字图像的识别率,提出一种复合优化的深度玻尔兹曼机文字识别算法。算法以提高目标概率分布的逼近程度为目的,采用两种抽样初始化方法:灰度初始化抽样与二值初始化抽样,构造受限玻尔兹曼机,并由两种初始化方法的受限玻尔兹曼机交叠构成深度玻尔兹曼机。文中提出复合共轭梯度法改进深度玻尔兹曼机的微调算法。实验结果表明,使用文中获取的路牌文字数据,所提算法能够对路牌文字实现较理想的识别效果。与原深度玻尔兹曼机相比,识别率取得有效提高。     

基于权值动量的RBM加速学习算法研究

动量算法理论上可以加速受限玻尔兹曼机（Restricted Boltzmann machine,RBM）网络的训练速度.本文通过对现有动量算法进行仿真研究,发现现有动量算法在受限玻尔兹曼机网络训练中加速效果较差,且在训练后期逐渐失去了加速性能.针对以上问题,本文首先基于Gibbs采样收敛性定理对现有动量算法进行了理论分析,证明了现有动量算法的加速效果是以牺牲网络权值为代价的;然后,本文进一步对网络权值进行研究,发现网络权值中包含大量真实梯度的方向信息,这些方向信息可以用来对网络进行训练;基于此,本文提出了基于网络权值的权值动量算法,最后给出了仿真实验.实验结果表明,本文提出的动量算法具有更好的加速效果,并且在训练后期仍然能够保持较好的加速性能,可以很好地弥补现有动量算法的不足.     

基于动态Gibbs采样的RBM训练算法研究

目前大部分受限玻尔兹曼机(Restricted Boltzmann machines, RBMs)训练算法都是以多步Gibbs采样为基础的采样算法. 本文针对多步Gibbs采样过程中出现的采样发散和训练速度过慢的问题,首先, 对问题进行实验描述,给出了问题的具体形式; 然后, 从马尔科夫采样的角度对多步Gibbs采样的收敛性质进行了理论分析, 证明了多步Gibbs采样在受限玻尔兹曼机训练初期较差的收敛性质是造成采样发散和训练速度过慢的主要原因; 最后, 提出了动态Gibbs采样算法,给出了对比仿真实验.实验结果表明, 动态Gibbs采样算法可以有效地克服采样发散的问题,并且能够以微小的运行时间为代价获得更高的训练精度.     

基于改进型SVM算法的语音情感识别

为有效提高语音情感识别系统的识别率,研究分析了一种改进型的支持向量机(SVM)算法。该算法首先利用遗传算法对SVM参数惩罚因子和核函数中参数进行优化,然后用优化后的参数进行语音情感的建模与识别。在柏林数据集上进行7种和常用5种情感识别实验,取得了91.03%和96.59%的识别率,在汉语情感数据集上,取得了97.67%的识别率。实验结果表明该算法能够有效识别语音情感。     

无监督深度学习彩色图像识别方法

针对彩色图像分类识别的重要性,提出了一种结合图像特征数据和深度信任网络(DBN)的彩色图像识别方法。首先,构造符合人类视觉特性的图像色彩数据场;其次,以小波变换描述图像的多尺度特征;最后,通过无监督训练深度信任网络实现对图像的识别。实验结果表明,所提方法与Adaboost、支持向量机(SVM)方法比较,分类准确率分别提高约3.7%和2.8%,可有效提高图像识别效果。     

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络（DBN）采用随机初始化受限玻尔兹曼机（RBM）的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器（SDAE）的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand 纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。     

基于对比散度受限玻尔兹曼机深度学习的产品评论情感分析

针对目前大部分情感分析技术需要人工标注建立情感词典提取情感特征的问题,提出一种基于对比散度-受限玻尔兹曼机(CD-RBM)深度学习的产品评论情感分析方法。该方法在对产品评论时进行数据预处理并利用词袋模型产生产品评论的向量表示,然后通过CD-RBM提取产品评论的情感特征,最后结合支持向量机(SVM)将提取出来的情感特征进行文本情感分类。CD-RBM无需人工标注情感词典,即可获得情感特征,且可以提高特征的情感语义关联性;同时,SVM可以保证产品评论情感分类的准确度。通过实验确定了RBM最优训练周期为10,在此训练周期下对RBM、SVM、PCA+SVM,以及RBM+SVM方法进行了比较。实验结果表明,RBM特征提取和SVM分类结合方法能够获得最好的准确率和F值,并获得较好的召回率。     

基于评分填充与信任信息的混合推荐算法

针对推荐系统的数据稀疏性导致的推荐效果不佳的问题，提出一种基于评分填充与信任信息的混合推荐的算法RTWSO（Real-value user item restricted Boltzmann machine Trust WSO）。首先，使用改进的受限玻尔兹曼机模型对评分矩阵进行填充，以缓解评分矩阵的稀疏性问题；其次，从信任关系中提取信任与被信任关系，并通过基于矩阵分解的隐含信任关系相似度来解决信任信息稀疏的问题，而且对原有算法进行了包含信任信息的修正，以提高推荐准确度；最后，通过加权Slope One（WSO）算法对矩阵填充与信任相似度信息加以整合，并对评分数据进行预测。在Epinions与Ciao数据集中验证算法性能，可见所提出混合推荐算法较组成算法在推荐准确度上提升3%以上，较现有社会化推荐算法SocialIT（Social recommendation algorithm based on Implict similarity in Trust）在推荐准确度上提升1.2%以上。实验结果表明，所提出的基于评分填充与信任信息的混合推荐算法在一定程度上提高了推荐准确度。     

基于评分填充与信任信息的混合推荐算法

针对推荐系统的数据稀疏性导致的推荐效果不佳的问题,提出一种基于评分填充与信任信息的混合推荐的算法RTWSO（Real-value user item restricted Boltzmann machine Trust WSO）。首先,使用改进的受限玻尔兹曼机模型对评分矩阵进行填充,以缓解评分矩阵的稀疏性问题;其次,从信任关系中提取信任与被信任关系,并通过基于矩阵分解的隐含信任关系相似度来解决信任信息稀疏的问题,而且对原有算法进行了包含信任信息的修正,以提高推荐准确度;最后,通过加权Slope One（WSO）算法对矩阵填充与信任相似度信息加以整合,并对评分数据进行预测。在Epinions与Ciao数据集中验证算法性能,可见所提出混合推荐算法较组成算法在推荐准确度上提升3%以上,较现有社会化推荐算法SocialIT（Social recommendation algorithm based on Implict similarity in Trust）在推荐准确度上提升1.2%以上。实验结果表明,所提出的基于评分填充与信任信息的混合推荐算法在一定程度上提高了推荐准确度。     

基于SMOTE和深度信念网络的异常检测

针对现有海量非平衡数据集中少数类别样本入侵检测率低的问题,提出了一种基于合成少数类过采样技术（SMOTE）和深度信念网络（DBN）的异常检测（SMOTE-DBN）方法。首先,用SMOTE技术增加了少数类别样本的样本数;然后在预处理后的较平衡数据集上,用非监督的受限玻尔兹曼机（RBM）对预处理后的高维数据进行特征降维;其次,用反向传播（BP）算法微调模型参数,获得预处理后数据的较优低维表示;最后通过softmax分类器对较优低维数据进行分类。KDD1999数据集仿真实验表明,SMOTE优化处理能够提高模型对少数类别样本的检测率,在相同数据集上,SMOTE-DBN方法与DBN方法、支持向量机（SVM）方法相比,检测率分别提高了3.31个百分点和7.34个百分点,误报率分别降低了1.11个百分点和2.67个百分点。     

基于布谷鸟搜索和深度信念网络的肺部肿瘤图像识别算法

针对深度信念网络（DBN）权值随机初始化易使网络陷入局部最优的问题,在传统DBN模型中引入布谷鸟搜索（CS）算法,提出一种基于CS-DBN的肺部肿瘤图像识别算法。首先,利用CS的全局寻优能力对DBN的初始权值进行优化,并在此基础上进行DBN的逐层预训练;然后,利用反向传播（BP）算法对整个网络进行微调,从而使网络权值达到最优;最后,将CS-DBN应用于肺部肿瘤图像的识别,实验从受限玻尔兹曼机（RBM）训练次数、训练批次大小、DBN隐层层数和隐层节点数四个角度将CS-DBN与传统DBN进行比较,以验证该算法的可行性和有效性。实验结果表明,CS-DBN的识别精度明显高于传统DBN,在不同RBM训练次数、训练批次大小、DBN隐层层数和隐层节点数条件下,CS-DBN较传统DBN识别率提高百分点的范围分别是1.13~4.33、2.00~3.34、1.07~3.34和1.40~3.34。CS-DBN能够在一定程度上提高肺部肿瘤的识别精度,从而提高肺部肿瘤计算机辅助诊断性能。     

一种基于深度RTRBM的动态网络链路预测方法

针对节点对的嵌入特征随时间演化而发生的骤变问题,提出了一种基于深度循环时序受限玻尔兹曼机(RTRBM)的链路预测方法。在样本集构建方面,利用网络嵌入学习自动化提取网络节点特征,并以嵌入特征空间中两个节点间的距离作为节点对样本属性;在学习模型选择方面,将RTRBM模型应用于动态网络链路预测,考虑到短时间间隔内节点在嵌入特征空间中的位置相对稳定,对RTRBM的能量函数及训练过程进行了改进。此外,为了提取节点对的深度时序特征,结合深度学习理论,通过纵向地堆叠多个改进后的RTRBM构成深度学习结构,并利用Logistic回归分类器对动态网络中的链路关系进行分类和预测。实验结果表明,改进后的RTRBM及其深度学习模型相比于其他方法在AUC指标下有着明显的性能提升。     

集成参数自适应调整及隐含层降噪的深层RBM算法

深度置信网络是由若干层无监督的限制玻尔兹曼机（Restricted Boltzmann machines,RBM）和一层有监督的反馈神经网络组成的深层结构,该结构通过对低层输入的逐层抽象转化提取复杂输入及复杂分类数据的有效信息.然而,深度置信网络模型存在隐含层数及特征维数难以确定,后向有监督过程存在“导数消亡”问题,使得低层结构参数得不到有效的训练,而且噪声干扰直接影响识别结果的问题.针对以上问题,提出以下解决方法:每个隐含层位置构建当前层输出与样本标签之间的映射转换矩阵,根据理论标签与实际标签之间的差异,实现隐含层特征维数的自适应调整,缓解“导数消亡”问题,同时在第一隐含层位置进行特征空间降噪,保证计算效率及提高诊断模型的识别效果.复杂工况的齿轮箱故障模拟实验,验证所提方法的有效性.