基于深度自编码网络的高校招生咨询算法

高校招生在线咨询通常采用人工回复或基于关键词匹配的问答系统来处理,常存在人工回复效率低下,问答系统答非所问的问题;此外,咨询文本往往比较简短,文本向量化表示易导致高维稀疏问题。针对上述问题,提出一种基于栈式降噪稀疏自编码网络（SDSAE）的招生咨询算法。首先,利用自编码网络对短文本进行特征提取和降维,引入数据集增强技术和添加噪声技术解决训练样本规模较小且分类不均问题,提高算法的泛化能力;获得短文本低维特征表示后,结合反向传播（BP）算法对文本进行分类。所提算法分类效果优于BP、支持向量机（SVM）、极限学习机（ELM）等算法,能显著提高招生咨询文本的分类效果。     

深度卷积自编码图像聚类算法

针对现有深度卷积嵌入聚类算法(deep convolutional embedded clustering,DCEC)的网络特征损失过大,对复杂图像没有提取有效特征的问题,提出一个具有17层网络结构的无监督深度聚类框架,并在编码层加入下采样层,减少参数和防止过拟合;在解码层加入上采样层还原下采样造成的细节损失。分别结合DEC(deep embedded clustering)算法的损失函数和IDEC(improved deep embedded clustering)算法的采用局部结构保留优势的损失函数,得到两种基于卷积自编码的深度学习图像聚类算法DEC_DCNN(deep embedded clustering based on deep convolutional neural network)和IDEC_DCNN(improved deep embedded clustering based on deep convolutional neural network),并使用自适应矩估计(adaptive moment estimation,Adam)和小批量随机梯度下降(mini-batch stochastic gradient decent,mini-batch SGD)两种优化方法调整模型参数。3个经典图像数据集的实验结果显示,提出的17层网络结构对图像特征具有很好的鲁棒性和通用性,基于该网络结构的深度聚类算法取得了远优于现有深度聚类算法的结果,其聚类准确率均优于对比算法;对深度聚类算法DEC_DCNN和IDEC_DCNN的聚类结果准确率、指标值AMI(adjusted mutual information)和ARI(adjusted rand index)进行比较,IDEC_DCNN比DEC_DCNN的聚类性能更好,说明IDEC_DCNN算法的性能更优越。     

改进人工蜂群算法优化ELM分类模型

针对极限学习机(Extreme Learning Machine,ELM)参数优化问题,提出改进人工蜂群算法(Improvement Artificial bee colony, IABC)优化ELM分类模型。算法采用解更新策略池代替固定不变的更新策略,将邻域搜索自适应化;优化侦察蜂搜索方式,利用Kent映射产生均匀性更优的初始随机数序列。在分类数据集中,将IABC-ELM分类模型同ELM、PSO-ELM分类模型进行对比实验。实验中,IABC-ELM模型取得了最佳的分类结果,得到了最低的输出权重范数。结果表明,IABC-ELM模型分类效果显著优于对比模型,证实了IABC算法优化ELM分类模型的有效性和优越性。     

基于双模态深度自编码的孤立性肺结节诊断方法

近年来,深度学习技术在肺癌诊断方面得到了广泛的应用,但现有的研究主要集中于肺部CT图像。为了有效提高肺结节的诊断性能,提出一种基于双模态深度降噪自编码的肺结节诊断方法。首先,分别从肺部CT和PET图像中得到肺结节区域的特征信息;然后,以候选结节的PET/CT图像作为整个深度自编码网络的输入,并对高层信息进行学习;最后,采用融合策略对多种特征进行融合并将其作为整个框架的输出。实验结果表明,提出的方法可以达到92.81%的准确率、91.75%的敏感度和1.58%的特异性,且优于其他方法的诊断性能,更适用于肺结节良/恶性的辅助诊断。     

栈式自编码的恶意代码分类算法研究

针对传统机器学习方法不能有效地提取恶意代码的潜在特征,提出了基于栈式自编码(Stacked Auto Encoder,SAE)的恶意代码分类算法。 其次,从大量训练样本中学习并提取恶意代码纹理图像特征、指令语句中的隐含特征;在此基础上,为提高特征选择对分类算法准确性的提高,将恶意代码纹理特征以及指令语句频度特征进行融合,训练栈式自编码器和softmax分类器。 实验结果表明：基于恶意代码纹理特征以及指令频度特征,利用栈式自编码分类算法对恶意代码具有较好的分类能力,其分类准确率高于传统浅层机器学习模型（随机森林,支持向量机）,相比随机森林的方法提高了2.474％ ,相比SVM的方法提高了1.235％。     

应用深度自编码网络的网络安全态势评估

针对BP神经网络类方法对标签数据的依赖性缺陷,提出了一种基于深度自动编码网络的态势评估方法。模型应用深度自动编码器作为基本单元构建深度自编码网络,结合专家经验和层次化评估的方法训练深度自编码网络。利用无标签数据采用无监督逐层算法对网络进行预训练,确定网络各层参数及权值的范围空间。在此基础上,采用有监督算法使用有标签样本对网络进行微调,对各层参数及权值进行优化,最终形成具有对输入态势数据进行准确评估能力的模型。多种样本数量条件下的对比实验表明,相对于BP神经网络类方法,基于深度自动编码网络模型受标签的影响较小,明显减少了对专家经验的依赖,并且具有整体上较高的评估精度。     

基于快速自编码的RELM的文本分类

正则化极限学习机RELM是一种单隐层前馈神经网络,不同于传统神经网络算法,RELM通过随机设置输入层权重和偏置值,可以快速求得输出层权重,并且引入正则化因子,能够提高模型的泛化能力。针对文本信息高维度、多类别的问题,提出一种基于快速自编码的正则化极限学习机FARELM。将由RELM改进后的快速自编码神经网络对样本进行无监督特征学习,并对特征提取后的数据使用RELM进行分类。实验表明,FA-RELM的学习速度和分类精度较优。     

基于差分进化的ELM加权集成分类

集成分类通过将若干个弱分类器依据某种规则进行组合,能有效改善分类性能。在组合过程中,各个弱分类器对分类结果的重要程度往往不一样。极限学习机是最近提出的一个新的训练单隐层前馈神经网络的学习算法。以极限学习机为基分类器,提出了一个基于差分进化的极限学习机加权集成方法。提出的方法通过差分进化算法来优化集成方法中各个基分类器的权值。实验结果表明,该方法与基于简单投票集成方法和基于Adaboost集成方法相比,具有较高的分类准确性和较好的泛化能力。     

基于改进自编码器的文本分类算法

词的向量化表达是文本挖掘应用的必要前提。为了改善自编码器在词嵌入中的效果,提高文本分类的准确性,提出了一种改进的自编码器并将其用于文本分类。在传统自编码器的基础上,在隐藏层加入了一个全局调整函数,其将绝对值小的特征值调整到绝对值大的特征值上,实现了隐藏层特征向量的稀疏化。得到调整后的特征向量之后,采用全连接神经网络进行文本分类。在20news数据集上的实验结果表明,所提方法具有更好的词向量嵌入式效果,并且在文本分类中也具有更好的效果。     

基于深度稀疏自动编码器的社区发现算法

社区结构是复杂网络的一个重要特征,社区发现对研究网络结构有重要的应用价值.k-均值等经典聚类算法是解决社区发现问题的一类基本方法.然而,在处理网络的高维矩阵时,使用这些经典聚类方法得到的社区往往不够准确.提出一种基于深度稀疏自动编码器的社区发现算法CoDDA,尝试提高使用这些经典方法处理高维邻接矩阵进行社区发现的准确性.首先,提出基于跳数的处理方法,对稀疏的邻接矩阵进行优化处理.得到的相似度矩阵不仅能反映网络拓扑结构中相连节点间的相似关系,同时能反映不相连节点间的相似关系.接着,基于无监督深度学习方法,构建深度稀疏自动编码器,对相似度矩阵进行特征提取,得到低维的特征矩阵.与邻接矩阵相比,特征矩阵对网络拓扑结构有更强的特征表达能力.最后,使用k-均值算法对低维特征矩阵聚类得到社区结构.实验结果显示,与6种典型的社区发现算法相比,CoDDA算法能够发现更准确的社区结构.同时,参数实验结果显示,CoDDA算法发现的社区结构比直接使用高维邻接矩阵的基本k-均值算法发现的社区结构更为准确.     

基于自编码器的深度聚类算法综述

聚类分析作为一种常见的分析方法,广泛应用于各种场景。随着机器学习技术的发展,深度聚类算法也成了当下研究的热点,基于自编码器的深度聚类算法是其中的代表算法。为了及时了解掌握基于自编码器的深度聚类算法的发展,介绍了四种自编码器的模型,对近些年代表性的算法依照自编码器的结构进行了分类。在MNIST、USPS、Fashion-MNIST数据集上,针对传统聚类算法和基于自编码器的深度聚类算法进行了实验对比、分析,最后对基于自编码器的深度聚类算法目前存在的问题进行了总结,展望了深度聚类算法的研究方向。     

一种深度降噪自编码器的语音增强算法

依据带噪语音中不同类型语音分段(segment)对语音整体的可懂度影响不同,提出了一种基于语音分段来分类训练深度降噪自编码器(DDAE)的语音增强算法.该算法使得DDAE模型在尽可能减小Dropout所引入的扰动对带噪语音噪声特性破坏的同时,提高了对带噪语音可懂度关键分段(中均方根分段)语音特性学习的鲁棒性,提高了增强...     

优化深度确定性策略梯度算法

深度强化学习善于解决控制的优化问题,连续动作的控制因为精度的要求,动作的数量随着动作维度的增加呈指数型增长,难以用离散的动作来表示。基于Actor-Critic框架的深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）算法虽然解决了连续动作控制问题,但是仍然存在采样方式缺乏科学理论指导、动作维度较高时的最优动作与非最优动作之间差距被忽视等问题。针对上述问题,提出一种基于DDPG算法的优化采样及精确评价的改进算法,并成功应用于选择顺应性装配机器臂（Selective Compliance Assembly Robot Arm,SCARA）的仿真环境中,与原始的DDPG算法对比,取得了良好的效果,实现了SCARA机器人快速自动定位。     

基于自编码器的网络游戏流量分类

加密和动态端口技术使传统的流量分类技术不能满足网络游戏识别的性能需求, 本文提出了一种基于自编码器降维的端到端流量分类模型, 实现网络游戏流量的准确识别. 首先将原始流量预处理成784 B的一维会话流向量, 利用编码器进行无监督降维, 去除无效特征; 接着探索构建卷积神经网络与LSTM网络并联算法, 对降维后的样本进行空间和时序特征的提取和融合, 最后利用融合特征进行分类. 在自建的游戏流量数据集和公开数据集上测试, 本文模型在网络游戏流量识别方面达到了97.68%的准确率; 与传统端到端的网络流量分类模型相比, 本文所设计的模型更加轻量化, 具有实用性, 并且能够在资源有限的设备中方便部署.     

改进的深度置信网络分类算法研究

深度置信网络(deep belief network,DBN)通过逐层无监督学习进行训练,但训练过程中易产生大量冗余特征,进而影响特征提取能力。为了使模型更具有解释和辨别能力,基于对灵长类视觉皮层分析的启发,在无监督学习阶段的似然函数中引入惩罚正则项,使用CD(contrastive divergence)训练最大化目标函数的同时,通过稀疏约束获得训练集的稀疏分布,可以使无标签数据学习到直观的特征表示。其次,针对稀疏正则项中存在的不变性问题,提出一种改进的稀疏深度置信网络,使用拉普拉斯函数的分布诱导隐含层节点的稀疏状态,同时将该分布中的位置参数用来控制稀疏的力度,即根据隐藏单元的激活概率与给定稀疏值的偏差程度而具有不同的稀疏水平。通过在MNIST和Pendigits手写体数据集上进行验证分析,并与多种现有方法相比,该方法始终达到最好识别准确度,并且具有良好的稀疏性能。     

基于深度学习的中文文本分类算法

针对现有情感分析模型将卷积神经网络(CNN)和循环神经网络(RNN)建模分离的状况,论文提出了一种基于双向长短期记忆网络(Bi-LSTM)和CNN相结合并带有注意力机制(Attention)的文本分类模型。模型先获取上下文语义特征,再融合局部语义特征,同时对每一时刻的特征信息给予多个不同权重关注。实验表明,该模型可以有效地增强分类语义特征的捕获能力,比使用单一神经网络或者它们的任意两两组合,该模型不论在训练速度还是在预测准确度方面都有很好的改善。     

基于深度学习的临床心电图分类算法

心电图反映了人体心脏健康状况,是临床诊断心血管类疾病的重要依据.随着心电图数量的快速增长,计算机辅助心电图分析的需求愈加迫切,心电图自动分类作为实现计算机辅助心电图分析不可或缺的技术手段,具有重要的医学价值.由于心电信号非常微弱、抗干扰性差,传统心电图分类算法存在测试集上效果好,实际临床应用效果欠佳的问题.为此,本文研...     

基于双通道变分自编码器的高光谱图像分类

针对现有高光谱图像变分自编码器（variational autoencoder,VAE）分类算法存在空间和光谱特征利用效率低的问题,提出一种基于双通道变分自编码器的高光谱图像深度学习分类算法。通过构建一维条件变分自编码器（conditional variational autoencoder,CVAE）特征提取框架和二维循环通道条件变分自编码（channel-recurrent conditional variational autoencoders,CRCVAE）特征提取框架分别提取高光谱图像的光谱特征和空间特征,将光谱特征向量和空间特征向量叠加形成空谱联合特征向量,将联合特征送入Softmax分类器中进行分类。在Indian pines和Pavia University两种高光谱数据集上进行了分析验证,实验结果显示,与其他算法相比,提出的算法在总分类精度、平均分类精度和Kappa系数等评价指标上至少提高了3.40、2.75和3.57个百分点,结果显示提出的算法得到了最高的分类精度和更好的可视化效果。