基于栈式降噪自编码器的发酵过程回归建模

精确有效的发酵过程模型不仅能够定量揭示过程信息间的关联,实现对难以实时监测变量的预测,而且是进一步控制和优化的前提;基于数据驱动的发酵过程建模方法得到了广泛研究与应用,然而其仅考虑发酵过程的非线性特征和数据具有多采样率的特点,忽略了过程数据中测量噪声对模型的影响;为此,提出基于栈式降噪自编码器的发酵过程回归建模方法,该方法不仅具有较强的非线性拟合能力,半监督的学习策略也能够充分挖掘发酵过程中的所有数据信息,同时可以从含噪声的过程数据中提取出鲁棒性的特征,使模型具有噪声适应性;通过青霉素仿真对比实验结果表明,该模型的预测性能更好.     

基于自编码器的网络游戏流量分类

加密和动态端口技术使传统的流量分类技术不能满足网络游戏识别的性能需求, 本文提出了一种基于自编码器降维的端到端流量分类模型, 实现网络游戏流量的准确识别. 首先将原始流量预处理成784 B的一维会话流向量, 利用编码器进行无监督降维, 去除无效特征; 接着探索构建卷积神经网络与LSTM网络并联算法, 对降维后的样本进行空间和时序特征的提取和融合, 最后利用融合特征进行分类. 在自建的游戏流量数据集和公开数据集上测试, 本文模型在网络游戏流量识别方面达到了97.68%的准确率; 与传统端到端的网络流量分类模型相比, 本文所设计的模型更加轻量化, 具有实用性, 并且能够在资源有限的设备中方便部署.     

基于栈式自编码器模型的汇率时间序列预测

针对目前具有非线性特征的金融时间序列浅层模型预测精度有限的问题,提出一种由底层的栈式自编码器和顶层的回归神经元组成的栈式自编码神经网络预测模型。首先利用自编码器的无监督学习机制对时间序列进行特征识别与学习,逐层贪婪学习神经网络各层,之后将栈式自编码器扩展为有监督机制的SAEP模型,将SAE学习到的参数用于初始化神经网络,最后利用有监督学习对权值进行微调。实验设计利用汇率时间序列作为训练及测试样本,与目前较成熟的方法进行对比实验,验证了所提出的模型在汇率时序预测应用中的有效性。     

基于监督学习深度自编码器的图像重构

针对数字图像受损信息的重构问题,提出一种将经典无监督学习自编码器(Auto-Encoder,AE)用于监督学习的新方法,并对深度模型结构与训练策略进行了研究。通过设计多组监督学习单层AE模型,提出了逐组“递进学习”和“关联编码”的学习策略,构建了一个新的基于监督学习的深度AE模型结构;对于新模型结构,采用多对一(一个输入样本的多种形式对应一个输出)的训练方法代替经典AE中一对一(一个输入样本对应一个输出)的训练方法。将该模型的结构和训练策略用于部分数据受损或遮挡的图像中进行数据重构测试,提高了模型对受损数据特征编码的表达能力和重构能力。实验结果表明,提出的新方法对于受损及遮挡样本的图像具有良好的重构效果和适应性。     

集成栈式自编码器与XGBoost的深度学习海浪有效波高预报模型

有效波高预报对人类海上活动和海洋工程都至关重要.人工神经网络在有效波高预报中得到广泛的应用,并取得了良好的效果.但是,它作为一种浅层的网络架构,表达能力有限,这使得预报准确性在不同区域中波动.因此,为了提高有效波高的总体预报准确性,本文提出一种集成栈式自编码器(SAE)和XGBoost的深度学习海浪有效波高预报模型.首...     

融合知识图谱表示学习的栈式自编码器推荐算法

针对目前协同过滤推荐算法中数据稀疏和语义信息欠缺问题,提出一种融合知识图谱表示学习的栈式自编码器推荐算法(SAEKG-CF).将评分矩阵作为栈式自编码器的输入,训练得到项目的隐性特征向量,并据此计算特征相似性矩阵;利用知识图谱表示学习算法将项目中的实体映射到低维向量空间,并计算出低维向量空间中实体间的语义相似性矩阵;将...     

基于栈式降噪编码器的跨语言多标签情感分类

多标签情感分类任务旨在处理一个实例可能与多个情感标签关联的问题。现有的大多数多标签情感分类模型都是基于完整的数据设计,模型性能和语义易受到数据本身存在的不完全性影响。针对此问题本文提出一种基于栈式降噪自编码器的跨语言多标签情感分类模型,引入标签感知损失函数弥补训练带来的损失。该模型通过栈式降噪自编码器对词向量去噪以构建原始数据的低维特征,降低特征空间的噪声干扰,为下游任务提供有效特征表示。在SemEval2018的3种语言数据集（即英语、阿拉伯语和西班牙语）多标签情感分类实验中,该模型在测试集上的micro＿F1、macro＿F1、jaccard这3个指标均得到提升,其中macro＿F1分别提升了约0.82、1.45和1.83个百分点。     

基于改进栈式稀疏去噪自编码器的图像去噪

为了提高栈式稀疏去噪自编码器（SSDA）的图像去噪性能,解决计算复杂度高,参数不易调节,训练收敛速度慢等问题,提出了一种栈式边缘化稀疏去噪自编码器（SMSDA）的图像去噪方法。首先,由于边缘化去噪自编码器（MDA）具有收敛速度快这一特性,对SDA网络损失函数作边缘化处理,形成边缘化稀疏去噪自编码器（MSDA）,使其同时满足边缘性和稀疏性。其次,将多个MSDA堆叠构成深度神经网SMSDA,为避免模型参数局部最优,采用非监督逐层训练法分别训练每一层网络,再用BP算法对整个网络微调,从而获得最优权重。最后,用SMSDA对给定图像去噪。仿真结果表明,较SSDA而言,所提算法在降低计算复杂度、提高收敛速度的同时,拥有较高峰值信噪比（PSNR）,且保留了更多原始图像的细节信息,具有更好的降噪性能。     

栈式自编码的恶意代码分类算法研究

针对传统机器学习方法不能有效地提取恶意代码的潜在特征,提出了基于栈式自编码(Stacked Auto Encoder,SAE)的恶意代码分类算法。 其次,从大量训练样本中学习并提取恶意代码纹理图像特征、指令语句中的隐含特征;在此基础上,为提高特征选择对分类算法准确性的提高,将恶意代码纹理特征以及指令语句频度特征进行融合,训练栈式自编码器和softmax分类器。 实验结果表明：基于恶意代码纹理特征以及指令频度特征,利用栈式自编码分类算法对恶意代码具有较好的分类能力,其分类准确率高于传统浅层机器学习模型（随机森林,支持向量机）,相比随机森林的方法提高了2.474％ ,相比SVM的方法提高了1.235％。     

稀疏自编码和Softmax回归的快速高效特征学习

针对特征学习效果与时间平衡问题,提出了一种快速高效的特征学习方法.将稀疏自编码和Softmax回归组合成一个新的特征提取模型,在提取原始图像潜在信息的基础上,利用多分类器返回值可以反映输入信息的相似程度的特点,快速高效的学习利于分类的特征向量.鉴于标签信息已知,该算法在图像分类效果上明显优于几种典型的特征学习方法.为了使所提算法具有更好的泛化能力,回归模型的损失函数中加入了L2范数防止过拟合,同时,采用随机梯度下降的方法得到模型的最优参数.在4个标准数据集上的测试结果表明该算法是有效可行的.     

基于稀疏自编码深度神经网络的林火图像分类

针对林火与相似目标很难区分的问题,提出一种基于稀疏自编码深度神经网络的林火图像分类新方法。采用无监督的特征学习算法稀疏自编码从无标签图像小块中学习特征参数,完成深度神经网络的训练;利用学习到的特征从原始大小分类图像中提取特征并卷积和均值池化特征;对卷积和池化后的特征采用softmax回归来训练最终softmax分类器。实验结果表明,跟传统的BP神经网络相比,新方法能够更有效区分林火与红旗、红叶等类似物体。     

Constructing a health indicator for bearing degradation assessment via an unsupervised and enhanced stacked autoencoder

To eliminate the noise from the extracted health indicator (HI) and reduce dependence on manual experience including knowledge for selecting the appropriate time–frequency domain indicators and conversions for data pre-processing, multiple-step processing, and multiple model combinations. An enhanced stacked autoencoder (ESAE) based on an exponent weight moving average (EWMA) in a deep learning model is proposed. This ESAE uses the vibration amplitude of an unlabeled original time-domain signal to construct the HI directly. To demonstrate our proposed method is better than other models, including the stacked autoencoder (SAE), stacked denoising autoencoder (SDAE), root mean square (RMS), kurtosis, K-medoids clustering, and self-organizing map (SOM) neural network models. The proposed model is simulated for multiple bearings in two case studies. The experiment result shows that the extracted HI curve is smoother than mentioned-above other models reduce the wrong judgment of bearing health caused by noise effectively. Moreover, high monotonicity is lay a good foundation for following reaming useful life prediction. An index, named Mon, is used to assess the monotonicity performance of all models, the experiment result also shows that the extracted HI by our proposed is superior to other models.     

多标记学习自编码网络无监督维数约简

多标记学习是针对一个实例同时与一组标签相关联而提出的一种机器学习框架,是该领域研究热点之一,降维是多标记学习一个重要且具有挑战性的工作。针对有监督的多标记维数约简方法,提出一种无监督自编码网络的多标记降维方法。首先,通过构建自编码神经网络,对输入数据进行编码和解码输出;然后,引入稀疏约束计算总体成本,使用梯度下降法进行迭代求解;最后,通过深度学习训练获得自编码网络学习模型,提取数据特征实现维数约简。实验中使用多标记算法ML-kNN做分类器,在6个公开数据集上与其他4种方法对比。实验结果表明,该方法能够在不使用标记的情况下有效提取特征,降低多标记数据维度,稳定提高多标记学习性能。     

基于改进的稀疏去噪自编码器的入侵检测

针对传统浅层的入侵检测方法无法有效解决高维网络入侵数据的问题,提出了一种基于堆叠稀疏去噪自编码器（SSDA）的入侵检测方法。首先,利用SSDA对入侵数据进行降维操作;然后,将高度抽象后的低维数据作为输入,利用softmax分类器进行入侵检测;最后,又在SSDA方法的基础之上提出了一种改进模型（ISSDA）,即在传统稀疏去噪自编码器的基础上增加新的约束条件,以此来提高深度网络对原始入侵数据的解码能力以及模型的入侵检测性能。实验结果证明,ISSDA方法与SSDA方法相比,对4种类型的攻击的检测准确率提高了将近5%,也有效地降低了误报率。     

基于栈式自编码的水体提取方法

为了进一步提高利用遥感图像进行水体提取的准确率和自动化程度,提出一种基于栈式自编码(SAE)深度神经网络的水体提取方法。通过堆叠稀疏自编码器构建深度网络模型,使用逐层贪婪训练法依次训练每层网络,从像素层面无监督学习特征,避免传统神经网络等方法需进行人工特征分析与选取的问题;用学习到的特征结合相应的样本标签有监督训练softmax分类器;利用反向传播(BP)算法微调优化整个模型。采用塔里木河ETM+数据进行实验,基于SAE的水体提取方法准确率达到94.73%,比支持向量机(SVM)和反向传播(BP)神经网络方法分别高出3.28%和4.04%。实验结果表明,所提方法能有效提高水体提取的精度。     

基于主动深度学习的高光谱影像分类

针对当前高光谱遥感影像分类人工标注样本费时费力,大量未标注样本未得到有效利用以及主要利用光谱信息而忽视空间信息等问题,提出了一种空-谱信息与主动深度学习相结合的高光谱影像分类方法。首先利用主成分分析对原始影像进行降维,在此基础上提取像素的一正方形小邻域作为该像素的空间信息并结合其原始光谱信息得到空谱特征。然后,通过稀疏自编码器得到原始数据的稀疏特征表达,并通过逐层无监督学习稀疏自编码器构建深度神经网络,输出原始数据的深度特征,将其连接到softmax分类器,利用少量标记样本以监督学习的方式完成模型的精调。最后,利用主动学习算法选择最不确定性样本对其进行标注,并加入至训练样本以提高分类器的分类效果。分别对PaviaU影像和PaviaC影像进行分类实验的结果表明,该方法在少量标记样本情况下,相对于传统方法能有效地提高分类精度。     

基于稀疏表示全局字典学习的图像分类方法

针对传统的稀疏表示字典学习图像分类方法在大规模分布式环境下效率低下的问题,设计一种基于稀疏表示全局字典的图像学习方法。将传统的字典学习步骤分布到并行节点上,使用凸优化方法在节点上学习局部字典并实时更新全局字典,从而提高字典学习效率和大规模数据的分类效率。最后在MapReduce平台上进行并行化实验,结果显示该方法在不影响分类精度的情况下对大规模分布式数据的分类有明显的加速,可以更高效地运用于各种大规模图像分类任务中。     

基于子空间学习的图稀疏属性选择算法*

针对处理高维度属性的大数据的属性约减方法进行了研究。发现属性选择和子空间学习是属性约简的两种常见方法,其中属性选择具有很好的解释性,子空间学习的分类效果优于属性选择。而往往这两种方法是各自独立进行应用。为此,提出了综合这两种属性约简方法,设计出新的属性选择方法。即利用子空间学习的两种技术(即线性判别分析(LDA)和局部保持投影(LPP)),考虑数据的全局特性和局部特性,同时设置稀疏正则化因子实现属性选择。基于分类准确率、方差和变异系数等评价指标的实验结果比较,表明该算法相比其它对比算法,能更有效的选取判别属性,并能取得很好的分类效果。