基于改进的稀疏深度信念网络的人脸识别方法

由于稀疏表示在人脸识别上的优异表现,大量的研究关注于在深度网络上结合稀疏编码.常用的稀疏深度信念网络限制所有的隐藏单元具有相同的稀疏水平,这不是诱导稀疏表示最自然的方式.针对这个问题,根据压缩感知理论改进原来的稀疏项,添加了一个tan-sigmoid正则项逼近稀疏表示的最优解L0范数.这种方法不限制隐藏单元拥有相同的激活率,每个隐藏单元可以根据不同的任务自动学习到不同的稀疏水平.在ORL、UMIST和FERET人脸库上的识别结果表明,提出的方法与经典的稀疏深度模型相比,获得了很好的特征表示和识别效果.     

基于堆叠稀疏自编码的模糊C-均值聚类算法

针对模糊C-均值聚类算法对孤立点、随机初始化的聚类中心比较敏感的问题,将堆叠稀疏自编码与传统模糊C-均值聚类算法相结合,对传统模糊C-均值聚类算法进行了改进。由于堆叠稀疏自编码可以提取原始数据集从低层到高层的特征,而高层的特征通常比原始数据集更能反映待聚类样本的本质特征,用其代替原始数据集进行聚类,有助于提高聚类的效果。利用改进后的算法在UCI的几个标准数据集上进行实验,结果表明改进后的算法是有效可行的。     

基于深度收缩稀疏自编码网络的飞行员疲劳状态识别

飞行员的疲劳状态识别具有重要的研究意义和应用价值.针对飞行员疲劳状态识别的复杂性和准确性,提出一种新的基于脑电信号的飞行员疲劳状态识别深度学习模型.在对飞行员的脑电信号进行滤波分解的基础上,提取delta波(0.5sim4Hz)、theta波(5sim8Hz)、alpha波(7sim14Hz)和beta波(14sim30Hz),将其重组信号作为深度收缩稀疏自编码网络-Softmax模型的输入向量,用以对飞行员疲劳状态的识别,所得到的实验结果与深度自编码网络-Softmax模型和传统方法PCA-Softmax模型识别结果进行比较,结果表明所建立的深度学习模型具有很好的分类效果,分类准确率可达91.67%,且学习所得的特征稳定性好,验证了所提模型具有稳定性和重复验证性.     

基于改进稀疏自编码神经网络的软件缺陷预测

针对软件缺陷预测时普遍存在的样本缺陷数据不平衡、特征冗余等问题,引进稀疏自编码(SAE)神经网络并加以改进,提出了一种新的分类模型。模型结合了SAE神经网络和少数样本合成过采样技术(SMOTE)的优点,可弥补传统分类方法在软件缺陷预测时忽视少数类分类效果、不能很好地保留数据内部特征等不足。基于NASA软件缺陷公共数据库中多个数据集的实验结果表明:提出的模型在软件缺陷预测方面的分类效果明显优于其他算法,尤其提高了不平衡数据集中少数类的分类精度。     

基于栈式自编码网络的风机叶片结冰预测

针对风电机组叶片结冰严重影响风机发电效率和安全性、经济性的问题，提出一种基于SCADA数据的栈式自编码（SAE）网络叶片结冰早期预测模型。该模型采用编码-解码的非监督方法对无标签的数据集预训练，再利用反向传播算法对有标签的数据集进行训练微调，实现了故障特征的自适应提取和状态分类，有效降低了传统预测模型的复杂度，同时避免了人为特征提取对模型效果的影响。利用SCADA系统采集的某15号风机的历史数据进行训练和测试，该模型测试结果准确率为97.28%。与支持向量机（SVM）和主成分分析-支持向量机（PCA-SVM）方法得到的建模分别为91%和93%的准确率进行对比分析，实验结果表明，基于栈式自编码网络的风机叶片结冰预测模型精确度更高。     

基于稀疏编码的半监督低秩核学习算法

传统半监督非参核学习方法通常基于流形假设和成对约束信息建立学习模型。但是,这种模型对于某些复杂高维稀疏的数据而言算法复杂性较高。为了解决复杂高维稀疏数据核学习问题,提出一种基于稀疏自编码的非参核学习算法,通过稀疏自编码器引入稀疏约束,不仅提高了非参核学习方法的鲁棒性,避免了过拟合问题,而且提升了非参核学习算法的学习效率。通过核聚类实验验证了提出算法的有效性。实验结果表明,在非参核学习模型中融入了稀疏自编码器能够提高核聚类的效果,提升了半监督非参核学习算法的学习效率。     

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络（DBN）采用随机初始化受限玻尔兹曼机（RBM）的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器（SDAE）的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand 纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。     

基于DAE和LSTM的居民用电负荷预测方法

电力需求侧响应的发展对居民用电负荷预测提出了更高的要求。为提升居民负荷预测精度,提出了一种基于深度自编码器(DAE)和长短期记忆(LSTM)网络的预测方法。首先,将多个用户的数据整合在一起,以最大程度地利用数据和模型参数。其次,用DAE提取用户的典型行为特征,并用生成的特征向量标记历史负荷数据。最后,采用深度学习技术抽取历史负荷中的行为特征,并以此进行预测。实验结果表明,所提算法的MAE和RMSE比当前性能最优的采用独热向量标记的LSTM方法分别降低了3.35%和4.4%。     

基于堆叠降噪稀疏自动编码器的软件缺陷预测

特征提取是软件缺陷预测中的关键步骤,特征提取的质量决定了缺陷预测模型的性能,但传统的特征提取方法难以提取出软件缺陷数据的深层本质特征。深度学习理论中的自动编码器能够从原始数据中自动学习特征,并获得其特征表示,同时为了增强自动编码器的鲁棒性,本文提出一种基于堆叠降噪稀疏自动编码器的特征提取方法,通过设置不同的隐藏层数、稀疏性约束和加噪方式,可以直接高效地从软件缺陷数据中提取出分类预测所需的各层次特征表示。利用Eclipse缺陷数据集的实验结果表明,该方法较传统特征提取方法具有更好的性能。     

基于全卷积网络和自编码的高光谱图像分类

针对高光谱图像空间信息利用不足、标记样本数量较少的问题,提出一种基于全卷积网络和堆栈稀疏自编码的高光谱图像分类算法.基于迁移学习的思想,利用预训练好的全卷积网络FCN-8s,挖掘图像潜在的多尺度几何结构特征;选取其特征的像素邻域信息,采用拼接融合的方法与原光谱信息进行融合;利用堆栈稀疏自编码网络完成最终的多尺度空谱特征...     

改进深层小波自编码器的轴承故障诊断方法

针对传统滚动轴承故障诊断方法过度依赖专家经验和故障特征提取困难的问题,结合深度学习处理高维、非线性数据的优势,提出一种基于改进深层小波自编码器的轴承智能故障诊断方法。该方法改进小波自编码器的损失函数并引入收缩项限制,再将多个小波自编码器进行堆叠构成深层小波自编码器,并引入“跨层”连接缓解梯度消失现象,最后利用大量无标签数据对网络进行无监督预训练并利用少量带标签数据对模型参数有监督微调。轴承诊断实验结果表明,该方法能有效地对轴承进行多种故障类型和多种故障程度的识别,特征提取能力和识别能力优于人工神经网络、深度信念网络、深度自编码器等方法。     

一种基于两阶段深度学习的集成推荐模型

近年来,深度学习技术被广泛应用于推荐系统领域并获得了很大的成功,然而深度学习模型的输入质量对学习结果具有很大影响,稀疏的输入特征向量不仅会增加后续模型训练的难度,而且容易导致学习结果落入局部最优.提出一个基于两阶段深度学习的集成推荐模型：首先,利用具有封闭式参数计算能力的边缘化堆叠去噪自动编码机进行用户和项目高层抽象特征的提取;然后,将得到的用户抽象特征和项目抽象特征进行连接并作为深度神经网络模型的输入向量,通过联合训练的方式进行参数学习和模型优化.此外,为了对低阶特征交互进行建模,推荐模型中还集成了基于原始特征向量的逻辑回归模型.在通用数据集上的大量对比实验研究表明：与当前流行的深度学习推荐方法相比,该方法在推荐精度和召回率方面都有所改善,甚至是在数据稀疏和冷启动的环境下.     

联合稀疏非负矩阵分解和神经网络的语音增强

针对基于非负矩阵分解(non-negative matrix factorization, NMF)的语音增强方法在低信噪比部分和无结构特征的清音部分会引入失真这一问题,利用语音信号在时频域呈现的稀疏特性和深度神经网络在语音增强应用中表现出的谱重构特性,提出了一种联合稀疏非负矩阵分解和深度神经网络的单通道语音增强方法.首先对带噪语音的幅度谱进行非负矩阵分解得到与语音字典和噪声字典相对应的稀疏编码矩阵,其中语音字典和噪声字典通过对纯净语音和噪声进行训练预先得到,以维纳滤波方法恢复出语音成分的主要结构;然后利用深度神经网络在语音增强中表现出的时频保持特性,通过深层网络学习经维纳滤波分离出的语音的对数幅度谱和理想纯净语音对数幅度谱之间的非线性映射函数,进而恢复出语音结构的缺失成分.实验结果表明：所提方法可以有效抑制噪声且较好地恢复出语音成分,在语音感知质量和对数谱失真性能评价指标上均优于基线方法.     

基于深度学习的网络流量预测研究综述

精准地预判网络流量变化趋势可以帮助运营商准确预估网络的使用情况,合理分配并高效利用网络资源,以满足日益增长且多样化的用户需求.以深度学习算法在网络流量预测领域的进展为线索,阐述了网络流量预测的评价指标和目前公开的网络流量数据集及应用,具体分析了网络流量预测中常用的深度信念网络、卷积神经网络、循环神经网络和长短时记忆网络...     

基于TSNE和多尺度稀疏自编码的高光谱图像分类

针对高光谱图像存在维数“灾难”、特征以及空间信息利用不足的问题,结合深度学习、流形学习及多尺度空间特征的最新进展,提出了一种TSNE和多尺度稀疏自编码网络的高光谱图像分类算法。利用TSNE算法对高光谱图像进行降维,再对每个像元的邻域进行多尺度空间特征提取,利用加入空谱联合信息的像元训练稀疏自编码网络模型并通过softmax分类器进行分类,减少计算复杂度,提高分类精确度。通过对Indian Pines及Pavia University两组数据进行实验,结果表明,提出的算法与其他五种算法相比分类效果更好。     

基于深度稀疏自动编码器的社区发现算法

社区结构是复杂网络的一个重要特征,社区发现对研究网络结构有重要的应用价值.k-均值等经典聚类算法是解决社区发现问题的一类基本方法.然而,在处理网络的高维矩阵时,使用这些经典聚类方法得到的社区往往不够准确.提出一种基于深度稀疏自动编码器的社区发现算法CoDDA,尝试提高使用这些经典方法处理高维邻接矩阵进行社区发现的准确性.首先,提出基于跳数的处理方法,对稀疏的邻接矩阵进行优化处理.得到的相似度矩阵不仅能反映网络拓扑结构中相连节点间的相似关系,同时能反映不相连节点间的相似关系.接着,基于无监督深度学习方法,构建深度稀疏自动编码器,对相似度矩阵进行特征提取,得到低维的特征矩阵.与邻接矩阵相比,特征矩阵对网络拓扑结构有更强的特征表达能力.最后,使用k-均值算法对低维特征矩阵聚类得到社区结构.实验结果显示,与6种典型的社区发现算法相比,CoDDA算法能够发现更准确的社区结构.同时,参数实验结果显示,CoDDA算法发现的社区结构比直接使用高维邻接矩阵的基本k-均值算法发现的社区结构更为准确.     

基于拓扑稀疏编码预训练CNN的视频语义分析

视频特征的深度学习已成为视频对象检测、动作识别、视频事件检测等视频语义分析方面的研究热点.视频图像的拓扑信息对描述图像内容的关联关系有着重要的作用,同时综合视频序列特性考虑以有标签的视频进行优化学习,将有利于提高视频特征表达的可鉴别性.基于上述考虑,提出一种基于拓扑稀疏编码预训练CNN的视频特征学习方法并用于视频语义分析,该方法将视频特征学习分为2个阶段：半监督视频图像特征学习和有监督的视频序列特征的优化学习.1)在半监督视频图像特征学习中,构建了一个新的拓扑稀疏编码器用之于预训练各层神经网络参数,使视频图像的特征表达能反映图像的拓扑信息,并在图像特征学习的全连接层以有标签的视频概念类别进行逻辑回归微调网络参数.2)在有监督的视频序列特征的优化学习中,构建了视频特征学习的全连接层,综合有标签的视频序列关键帧特征,建立逻辑回归约束,微调网络参数,以实现类别更具可鉴别的视频特征的优化.在典型的视频数据集上进行了相关方法的视频语义概念检测实验,实验结果表明:所提出的方法对视频特征的表达更具可鉴别性,能有效提高视频语义概念检测率.     

基于稀疏神经网络的图像超分辨率重建算法

部分基于深度学习的图像超分辨率重建算法通过扩展网络层的深度来提高网络模型的整体特征表达能力。然而,一味过度地扩展网络的深度会造成网络模型过参数化和复杂化,并且冗余的网络参数会增加特征表达的不稳定性。在LTH剪枝算法基础上改变权重参数并使用均衡学习策略,提出一种适用于图像超分辨率重建任务的神经网络非结构化剪枝算法RLTH。在不改变网络结构和不增加计算复杂度的前提下,通过搜索原始网络模型的最优稀疏子网络排除冗余参数带来的影响,在有限的参数资源中捕获更细粒度和丰富的图像特征,进而提高网络模型的整体特征表达能力。基于Set5、Set14和BSD100测试集的实验结果表明,与原始网络模型和应用LTH剪枝算法相比,应用RLTH算法获得的重建图像PSNR和SSIM均得到提升,且具有更丰富的细节特征,整体和局部轮廓更清晰。