基于融合型深度学习的滚动轴承亚健康识别算法

深度学习模型增加了隐含层的层数,使得该模型在语音识别、图像视频分类等方面取得了不错的效果;但建立一个适合特定对象的模型需要大量的数据集来训练,而且需要较长时间才能获得合适的权重和偏置,为此提出一种基于深度自动编码器-相关向量机网络模型的滚动轴承亚健康诊断方法。首先,采集滚动轴承振动信号并进行傅里叶变换和归一化处理;其次,设计改进的自动编码器-稀疏边缘降噪自动编码器,结合了稀疏自动编码器和边缘降噪自动编码器的特点;接着建立深度自动编码器-相关向量机网络模型,用有监督的函数对各个隐含层的参数进行微调,并利用相关向量机（RVM）进行训练;最后将得到的分类根据D-S证据理论融合并得出最终的分类结果。实验结果表明所提算法能有效提高滚动轴承"亚健康"状态的识别精度,纠正错误分类。     

随机初始化神经网络剪枝的稀疏二值规划方法

传统深度神经网络剪枝方法往往以预训练模型为初始网络并需要在剪枝后进行微调。受到近年来edgepopup等基于随机初始化网络的剪枝算法优异性能的启发,提出了一种基于稀疏二值规划的随机初始化网络剪枝算法。该算法将剪枝训练过程建模为一个稀疏二值约束优化问题。其核心思想是利用稀疏二值规划来学习一个二值掩膜,利用该掩膜可以从随机初始化的神经网络上裁剪出一个未经训练却性能良好的稀疏网络。与之前基于随机初始化网络的剪枝算法相比,该算法找到的稀疏网络在多个稀疏度下都具有更好的分类泛化性能。与edge-popup算法相比,在ImageNet数据集分类任务中,模型在稀疏度为70%时精度提升7.98个百分点。在CIFAR-10数据集分类任务中,模型在稀疏度为50%时精度提升2.48个百分点。     

基于平滑◢l◣▼1▽范数的深度稀疏自动编码器社区识别算法

大数据时代,利用传统的社区发现算法对大规模复杂网络进行社区结构挖掘显得愈发困难,准确率也较低。因此,提出一种基于平滑◢l▼1▽◣范数的深度稀疏自编码器社区发现算法（◢l▼1▽◣-ECDA）。该算法首先采用基于◢s◣跳的方法对网络图的邻接矩阵进行预处理;然后构建基于平滑◢l▼1▽◣范数的深度稀疏自编码器,并通过训练网络图相似度矩阵得到低维特征矩阵;最后采用K-means算法对低维特征矩阵进行聚类得到网络社区结构。通过在仿真网络与真实网络数据集上实验表明,◢l▼1▽◣-ECDA有效提高了社区识别的准确率,且比DBCS算法准确率平均高4%,比Deepwalk算法和CoDDA算法平均高5.4%。     

基于深度卷积自编码神经网络的手写数字识别研究

针对提高不同笔体下的手写识别准确率进行了研究,将深度卷积神经网络与自动编码器相结合,设计卷积自编码器网络层数,形成深度卷积自编码神经网络。首先采用双线性插值方法分别对MNIST数据集与一万幅自制中国大学生手写数字图片进行图像预处理,然后先使用单一MNIST数据集对深度卷积自编码神经网络进行训练与测试;最后使用MNIST与自制数据集中5 000幅混合,再次训练该网络,对另外5 000幅进行测试。实验数据表明,所提深度卷积自编码神经网络在MNIST测试集正确率达到99.37%,有效提高了准确率;且5 000幅自制数据集模型测试正确率达99.33%,表明该算法实用性较强,在不同笔体数字上得到了较高的识别准确率,模型准确有效。     

融合稀疏因子的情感分析堆叠降噪自编码器模型

基于深度学习的特征抽取是目前数据降维问题的研究热点,堆叠自编码器作为一种较为常用的模型,无法对混有噪声及较稀疏的数据进行良好的特征表达。面向微博情感分析,通过在堆叠降噪自编码器的各隐藏层中加入稀疏因子,来解决样本数据所含噪声和稀疏性对特征抽取的影响。使用COAE评测数据集进行的情感分析实验表明所提模型分类的准确率和召回率都有所提高。     

基于降噪自编码神经网络的事件相关电位脑电信号分析方法

提出一种基于降噪自编码神经网络事件相关电位分析方法,首先建立3层神经网络结构,利用降噪自编码对神经网络进行初始化,实现了降噪自编码深度学习模型的无监督学习.从无标签数据中自动学习数据特征,通过优化模型训练得到的权值作为神经网络初始化参数.其次,经过有标签的样本进行网络参数的微调即可完成对神经网络的训练,该方法有效解决了神经网络训练中因随机选择初始化参数,而导致网络易陷入局部极小的缺陷.最后,利用上述神经网络对第3届脑机接口竞赛数据集Data set Ⅱ(事件相关电位脑电信号)进行分类分析.实验结果表明:利用降噪自编码迭代2500次训练神经网络模型,在受试者A和受试者B样本数据叠加5次、10次、15次3种情况下获得的分类准确率分别为73.4%, 87.4%和97.2%.该最高准确率优于其他分类方法,比竞赛第1名联合支持向量机(SVM)分类器(ESVM)提高了0.7%,为事件相关电位脑电信号提供了一种深度学习分析方法.     

堆栈式混合自编码器的人脸表情识别方法

针对进一步提高人脸表情识别率的问题,采用了一种基于深度学习的堆栈式混合自编码器（Stacked Hybrid Auto-Encoder,SHAE）的人脸表情识别方法。该方法的结构是由去噪自编码器（Denoising Auto-Encoder,DAE）、稀疏自编码器（Sparse Auto-Encoder,SAE）以及自编码器（Auto-Encoder,AE）组合而成的5层网络结构。为了增加网络的鲁棒性以及泛化能力,采用去噪自编码器对样本进行提取特征,为了对提取的特征进行降维以及进一步提取更抽象的稀疏特征,采用稀疏自编码器进行级联,来对特征进一步处理。训练过程首先由无标签的数据进行预训练和整体微调,对整个结构的权重进行初始化和更新调整,然后使用有标签的数据进行测试训练。在JAFFE和CK+两个数据集上实验显示,相较于单纯的堆栈式去噪自编码或者单纯的堆栈式稀疏自编码,该方法具有更好的识别效果。     

基于深度置信网络的维吾尔文垃圾短信分类技术研究

针对传统分类算法对维吾尔文文本分类准确率不高的问题,提出了一种基于深度置信网络的维吾尔文短信文本分类模型。深度学习模拟人脑的多层次结构,对数据从低层到高层逐渐地进行特征提取,深层挖掘数据集的分布规律,从而提高分类准确性。通过逐层无监督的方法完成深度置信网络的初始化,并结合softmax回归分类器实现文本的分类。最后在收集的维吾尔文短信数据集上进行实验论证。实验结果表明,相比KNN、SVM和决策树算法,深度置信网络具有更好的分类效果,准确率更高。     

基于深度神经网络和联邦学习的网络入侵检测

在高速网络环境中,对复杂多样的网络入侵进行快速准确的检测成为目前亟待解决的问题。联邦学习作为一种新兴技术,在缩短入侵检测时间与提高数据安全性上取得了很好的效果,同时深度神经网络（DNN）在处理海量数据时具有较好的并行计算能力。结合联邦学习框架并将基于自动编码器优化的DNN作为通用模型,建立一种网络入侵检测模型DFC-NID。对初始数据进行符号数据预处理与归一化处理,使用自动编码器技术对DNN实现特征降维,以得到DNN通用模型模块。利用联邦学习特性使得多个参与方使用通用模型参与训练,训练完成后将参数上传至中心服务器并不断迭代更新通用模型,通过Softmax分类器得到最终的分类预测结果。实验结果表明,DFC-NID模型在NSL-KDD与KDDCup99数据集上的准确率平均达到94.1%,与决策树、随机森林等常用入侵检测模型相比,准确率平均提升3.1%,在攻击类DoS与Probe上,DFC-NID的准确率分别达到99.8%与98.7%。此外,相较不使用联邦学习的NO-FC模型,DFC-NID减少了83.9%的训练时间。     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

基于灰狼算法优化DBN的医院网络异常流量识别

为了提高医院网络异常流量识别的精度,提出一种基于灰狼算法优化DBN的医院网络异常流量识别方法。针对DBN模型性能受权值和偏置参数的影响,运用灰狼算法对DBN模型的权值和偏置进行优化选择,将医院网络流量特征数据作为DBN模型的输入向量,网络异常流量的类型作为DBN模型的输出向量,建立GWO-DBN的医院网络异常流量识别模型。研究结果表明,GWO-DBN进行医院网络异常流量识别具有更高的准确率、检测率和更低的误报率。     

基于堆栈降噪自编码器改进的混合推荐算法

针对传统协同过滤算法仅利用评分信息作为推荐依据,没有利用用户评论和标签信息,无法准确反映用户对项目特征的偏好,推荐精确度低且容易过拟合等问题,提出一种基于堆栈降噪自编码（SDAE）改进的混合推荐（SDHR）算法。首先利用深度学习模型SDAE从用户自由文本标签中抽取项目的显式特征信息;然后,改进隐因子模型（LFM）算法,使用显式项目特征信息替换LFM中的抽象特征,进行矩阵分解训练;最后通过用户-项目偏好矩阵为用户提供推荐。在公开数据集MovieLens上的实验测试,与三组推荐模型（基于标签权重及协同过滤、基于SDAE和极限学习机、基于循环神经网络）比较,该算法推荐精确度分别提高了45.2%、38.4%和16.1%。实验结果表明,所提算法可以充分利用项目自由文本标签信息提高推荐性能。     

基于深度学习的盲文识别方法

提出一种基于深度学习的盲文点字识别方法,利用深度模型--堆叠去噪自动编码器（Stack Denoising AutoEncoder,SDAE）解决盲文识别中特征的自动提取与降维等问题。在构建深度模型过程中,采用非监督贪婪逐层训练算法（Greedy Layer Wise Unsupervised Learning Algorithm）初始化网络权重,使用反向传播算法优化网络参数。利用SDAE自动学习盲文点字图片特征,使用Softmax分类器进行识别。实验结果表明,本文所提方法较之传统方法,可以有效解决样本特征的自动学习与特征降维等问题,操作更为简易,并能获得满意的识别结果。     

基于布谷鸟搜索和深度信念网络的肺部肿瘤图像识别算法

针对深度信念网络（DBN）权值随机初始化易使网络陷入局部最优的问题,在传统DBN模型中引入布谷鸟搜索（CS）算法,提出一种基于CS-DBN的肺部肿瘤图像识别算法。首先,利用CS的全局寻优能力对DBN的初始权值进行优化,并在此基础上进行DBN的逐层预训练;然后,利用反向传播（BP）算法对整个网络进行微调,从而使网络权值达到最优;最后,将CS-DBN应用于肺部肿瘤图像的识别,实验从受限玻尔兹曼机（RBM）训练次数、训练批次大小、DBN隐层层数和隐层节点数四个角度将CS-DBN与传统DBN进行比较,以验证该算法的可行性和有效性。实验结果表明,CS-DBN的识别精度明显高于传统DBN,在不同RBM训练次数、训练批次大小、DBN隐层层数和隐层节点数条件下,CS-DBN较传统DBN识别率提高百分点的范围分别是1.13~4.33、2.00~3.34、1.07~3.34和1.40~3.34。CS-DBN能够在一定程度上提高肺部肿瘤的识别精度,从而提高肺部肿瘤计算机辅助诊断性能。     

深度置信网络优化模型在人才评价中的应用

针对深度置信网络(DBN)权值随机初始化容易使网络陷入局部最优的问题,引入改进的和声搜索(IHS)算法,提出基于IHS的DBN模型(IHS-DBN)。在和声搜索算法的基础上,利用全局自适应的和声音调调整方式,提升算法收敛速度和后期局部搜索能力。将DBN重构误差函数作为IHS算法的优化目标函数,通过不断迭代优化解向量为DBN寻找一组较优的初始权值进行网络训练,并在MNIST数据集上验证IHS-DBN模型的有效性。IHS-DBN模型在高校人才评价中的应用结果表明,与DBN、SVM和BP神经网络评价模型相比,IHS-DBN模型的评价准确率分别提高3.6%、7.3%和16.4%。     

基于SDAE与RELM的EEG情感识别方法

针对情感识别中堆叠式自动编码器存在反向传播方法收敛速度慢和容易陷入局部最优的问题,提出一种基于堆叠式降噪自动编码器（SDAE）和正则化极限学习机（RELM）的情感状态识别方法。从脑电信号的时域、频域和时频域中提取表征情感状态的初始特征,使用SDAE进行无监督特征学习,提取初始特征的高层抽象表示。在网络的回归层,使用RELM进行情感分类。在DEAP数据集上的实验结果表明,与SDAE以及DT、KNN等传统基于机器学习的方法相比,该方法在实时性、准确性和泛化性能等方面均有明显提升。     

深度置信网络在垃圾邮件过滤中的应用

针对深层神经网络初始化方法不明确、泛化能力差而导致解决垃圾邮件过滤时效果较差的问题,提出了基于深度置信网络的分类方法。深度置信网络通过逐层无监督的方法来预训练网络,实现了网络的初始化。在LingSpam,SpamAssassin和Enron1三个广泛使用的数据集上,通过与目前最好的垃圾邮件过滤方法支持向量机(SVM)在分类性能上进行比较,实验结果表明深度置信网络的垃圾邮件过滤方法是有效的,获得了较高的准确率和召回率。     

一种基于半监督主动学习的动态贝叶斯网络算法

本文提出一种基于半监督主动学习的算法，用于解决在建立动态贝叶斯网络(DBN)分类模型时遇到的难以获得大量带有类标注的样本数据集的问题．半监督学习可以有效利用未标注样本数据来学习DBN分类模型，但是在迭代过程中易于加入错误的样本分类信息，并因而影响模型的准确性．在半监督学习中借鉴主动学习，可以自主选择有用的未标注样本来请求用户标注．把这些样本加入训练集之后，能够最大程度提高半监督学习对未标注样本分类的准确性．实验结果表明，该算法能够显著提高DBN学习器的效率和性能，并快速收敛于预定的分类精度．     

融合深度置信网络与与核极限学习机算法的核磁共振测井储层渗透率预测方法

由于低孔低渗储层孔隙结构较为复杂,现有核磁共振（NMR）测井渗透率模型对于低孔低渗储层预测精度不高。为此,提出一种融合深度置信网络（DBN）算法与核极限学习机（KELM）算法的渗透率预测方法。该方法首先对DBN模型进行预训练,然后将KELM模型作为预测器放置在训练好DBN模型后,利用训练数据进行有监督的训练,最终形成深度置信-核极限学习机（DBKELMN）模型。考虑到该模型需充分利用反映孔隙结构的横向弛豫时间谱信息,将离散化后的核磁共振测井横向弛豫时间谱作为输入,渗透率作为输出,确定NMR测井横向弛豫时间谱与渗透率的函数关系,并基于该函数关系对储层渗透率进行预测。实例应用表明,融合DBN算法与KELM算法的渗透率预测方法是有效的,预测样本的平均绝对误差（MAE）较斯伦贝谢道尔研究中心（SDR）模型降低了0.34。融合DBN算法与KELM算法的渗透率预测方法可提高低孔渗储层渗透率预测精度,可应用于油气田勘探开发。     

Gabor特征与深度信念网络结合的人脸识别方法

提出了一种基于Gabor特征和深度信念网络(DBN)的人脸识别方法,通过提取Gabor人脸图像的不同尺度图进行卷积融合,将融合后的特征图作为DBN的输入数据,训练多层来获得更加抽象的特征表达,整个训练的过程中采用交差熵来微调DBN,模型的最顶层结合Softmax回归分类器对抽取后的特征进行分类.在AR人脸库测试的实验结果表明:将Gabor特征与DBN结合应用于人脸识别,其准确率可高达92.7％,与其他浅层学习模型相比,DBN学习了数据的高层特征的同时还降低了特征维数,提高了分类器的分类精度,最终有效改善了人脸识别率.