ELM优化的深度自编码分类算法

针对自编码神经网络训练时间长的问题,提出了一种改进的深度自编码神经网络算法。首先利用极限学习机(extreme learning machine,ELM)作为自编码块,构建多层自编码神经网络,以提高分类准确率。采用ELM能避免大量的迭代过程,减少网络训练时间。其次为实现分类,在各输出层中加入标签节点,对实际输出与各样本的期望标签进行比对,使原始的自编码无监督学习转化为监督学习过程,从而在深度学习的过程中实现分类训练。为验证该方法的有效性,在多个UCI数据集中进行广泛的测试。实验结果表明,与其他自编码网络和RBF(radial basis function)神经网络相比,该方法取得了良好的分类准确率,并且有效提高了训练速度。     

基于布谷鸟搜索优化BP神经网络的网络安全态势评估方法

针对现有基于神经网络的网络安全态势评估方法效率低等问题,提出基于布谷鸟搜索（CS）优化反向传播（BP）神经网络（CSBPNN）的网络安全态势评估方法。首先,根据态势输入指标数和输出态势值确定BP神经网络（BPNN）的输入输出节点数,根据经验公式和试凑法计算出隐含层节点数;然后,随机初始化各层的连接权值和阈值,使用浮点数编码方式将权值与阈值编码成布谷鸟;最后,使用CS算法对权值和阈值进行优化,得到用于态势评估的CSBPNN模型并对其进行训练,将网络安全态势数据输入到CSBPNN模型中,获取网络的安全态势值。实验结果表明,与BPNN和遗传算法优化BP神经网络方法相比,基于CSBPNN的网络安全态势评估方法的迭代代数分别减少943和47且预测精度提高8.06个百分点和3.89个百分点,所提方法具有较快的收敛速度和较高的预测精度。     

基于降噪自编码神经网络的事件相关电位脑电信号分析方法

提出一种基于降噪自编码神经网络事件相关电位分析方法,首先建立3层神经网络结构,利用降噪自编码对神经网络进行初始化,实现了降噪自编码深度学习模型的无监督学习.从无标签数据中自动学习数据特征,通过优化模型训练得到的权值作为神经网络初始化参数.其次,经过有标签的样本进行网络参数的微调即可完成对神经网络的训练,该方法有效解决了神经网络训练中因随机选择初始化参数,而导致网络易陷入局部极小的缺陷.最后,利用上述神经网络对第3届脑机接口竞赛数据集Data set Ⅱ(事件相关电位脑电信号)进行分类分析.实验结果表明:利用降噪自编码迭代2500次训练神经网络模型,在受试者A和受试者B样本数据叠加5次、10次、15次3种情况下获得的分类准确率分别为73.4%, 87.4%和97.2%.该最高准确率优于其他分类方法,比竞赛第1名联合支持向量机(SVM)分类器(ESVM)提高了0.7%,为事件相关电位脑电信号提供了一种深度学习分析方法.     

基于栈式自编码的水体提取方法

为了进一步提高利用遥感图像进行水体提取的准确率和自动化程度,提出一种基于栈式自编码(SAE)深度神经网络的水体提取方法。通过堆叠稀疏自编码器构建深度网络模型,使用逐层贪婪训练法依次训练每层网络,从像素层面无监督学习特征,避免传统神经网络等方法需进行人工特征分析与选取的问题;用学习到的特征结合相应的样本标签有监督训练softmax分类器;利用反向传播(BP)算法微调优化整个模型。采用塔里木河ETM+数据进行实验,基于SAE的水体提取方法准确率达到94.73%,比支持向量机(SVM)和反向传播(BP)神经网络方法分别高出3.28%和4.04%。实验结果表明,所提方法能有效提高水体提取的精度。     

基于深度自编码网络的安全态势要素获取机制

针对大规模网络态势要素获取时间复杂度较高和攻击样本不平衡导致小类样本分类精度不高的问题,提出一种基于深度自编码网络的态势要素获取机制。在该机制下,利用优化后的深度自编码网络作为基分类器,识别数据类型。一方面,在自编码网络的逐层训练中,提出一种结合交叉熵（CE）函数和反向传播（BP）算法的训练规则,克服传统的方差代价函数更新权值过慢的缺陷;另一方面,在深度网络的微调和分类阶段,提出一种主动在线采样（AOS）算法应用于分类器中,通过在线选择用于更新网络权值的攻击样本,达到总样本的去冗余和平衡各类攻击样本数量的目的,从而提高小类攻击样本的分类精度。经对实例数据的仿真分析,该方案有较好的态势要素获取精度,并能有效减少数据传输时的通信开销。     

深度堆栈自编码网络在船舶重量估算中的应用

传统的船舶重量估算方法多数存在误差大、成本高等问题。为此,提出一种基于深度学习的船舶重量估算算法。利用多层神经网络逐层无监督学习训练初始化参数,通过反向梯度下降的方式微调参数。运用深度堆栈自编码网络挖掘深层次的数据特征,并在ShipWE自建数据库上进行分析。实验结果表明,与传统吃水估算方法相比,该算法具有更强的稳定性和更高的准确性,与BP神经网络算法和径向基函数神经网络算法相比,该算法的精度更高,能有效解决船舶估算可信度低的问题。     

深度学习技术在遥感图像识别中的应用研究

随着互联网大数据及云计算技术的发展,依托于不同网络算法的神经学习模型不断出现.其中基于神经网络的深度学习算法,通过多个输入、输出层级的逐步迭代学习,设置图像频率阈值,可以实现对截取图像切片、隐含层处理训练,以及不同标签数据信号的多层BP计算和偏置调节.依托有监督卷积神经网络,利用计算机图像处理单元、校正线性单元和迭代训练算法,对区域空间内的遥感图像进行预处理、影像分类、识别处理,以获得更高分辨率的光谱图像.     

一种结构自适应的径向基函数神经网络

提出了一种新的结构自适应的径向基函数(RBF)神经网络模型。在该模型中,自组织映射(SOM)神经网络作为聚类网络,采用无监督学习算法对输入样本进行自组织分类,并将分类中心及其对应的权值向量传递给RBF神经网络,分别作为径向基函数的中心和相应的权值向量;RBF神经网络作为基础网络,采用高斯函数实现输入层到隐层的非线性映射,输出层则采用有监督学习算法训练网络的权值,从而实现输入层到输出层的非线性映射。通过对字母数据集进行仿真,表明该网络具有较好的性能。     

基于自监督聚类算法的小样本医学图像分类

基于深度学习的医学图像分析是智慧医疗的一个重要方向。但是通常情况下,医学图像数据集数据量很小,而且由于医学图像的标注困难,耗费大量人力物力,所以带标签的训练数据很难获取。如何使用极少的带标签数据和无标签的数据得到一个较好的网络模型是本文的主要研究内容。该文提出基于深度聚类的自监督网络模型作为特征提取器,并且使用标签传播算法对特征进行分类,解决了只有极少量标签(例如1张,5张或者10张)即小样本情况下的医学图像分类问题,在BreakHis数据集上取得了比传统机器学习算法更好的效果,并且接近于全监督学习方法。     

一种结构自适应径向基函数神经网络

提出了一种新的结构自适应的径向基函数(RBF)神经网络模型。在该网络中,自组织映射(SOM)神经网络作为聚类网络,采用无监督学习算法对输入样本进行自组织分类,并将分类中心及其对应的权值向量传递给RBF神经网络,作为径向基函数的中心和相应的权值向量;RBF神经网络作为基础网络,采用高斯函数实现输入层到隐层的非线性映射,输出层则采用有监督学习算法训练网络的权值,从而实现输入层到输出层的非线性映射。通过对字母数据集进行仿真,表明该网络具有较好的性能。     

基于Adam-BNDNN的网络入侵检测模型

针对传统入侵检测算法检测精度低、误报率高等问题,提出了一种融合批量规范化和深度神经网络的网络入侵检测模型。该模型首先在深度神经网络隐藏层添加批量规范化层,优化隐藏层的输出结果,然后采用Adam自适应梯度下降优化算法对BNDNN参数进行自动优化,提高模型检测能力。并使用NSL-KDD数据集进行仿真实验,结果表明该模型的检测效果优于SNN、KNN、DNN等检测方法;整体检测率可达99.41%,整体误报率为0.59%,证明了模型的可行性。     

基于深度学习的航空发动机传感器故障检测

针对传统反向传播(BP)神经网络和支持向量机(SVM)存在的过拟合、维数灾难、参数选择困难等问题,提出了一种基于深度学习算法的航空发动机传感器故障检测方法.对发动机参数记录仪采集的多维数据进行预处理,建立基于深度置信网络(DBN)的故障检测模型,利用预处理后的数据对检测模型进行训练,经过DBN故障检测模型逐层特征学习实现了传感器故障检测.仿真结果表明:在无人工特征提取和人工特征提取的情况下,基于DBN故障检测的准确率均高于BP神经网络和SVM模型.     

基于一维卷积神经网络深度学习的工业过程故障检测

针对化工过程的非线性和动态性,以TE过程为背景,应用深度学习中的一维卷积神经网络算法对TE过程进行故障检测,解决了BP神经网络算法用于故障检测时测试识别率低的问题。用训练数据集分别对BP神经网络模型和一维卷积神经网络模型进行训练,将测试数据集输入已经训练好的神经网络,最后统计出了BP神经网络模型和卷积神经网络模型对故障的识别率。仿真结果表明BP神经网络和卷积神经网络对故障的检测具有较好的效果,但BP神经网络算法收敛速度慢,很容易就陷入局部最小值,从而会导致整体的检测性能下降,而卷积神经网络构建出的一维卷积模型能很好地解决存在的问题,通过比较充分体现了卷积神经网络在故障检测方面的优越性。     

基于RAN-RBF神经网络的网络安全态势预测模型

为了更准确地获悉网络安全态势的发展情况,提出了一种基于资源分配网络径向基函数(Resource Allocating Network Radical Basis Function,RAN-RBF)神经网络的网络安全态势预测(Network Security Situation Prediction,NSSP)模型。该模型采用资源分配网络算法对网络安全态势样本进行聚类,得到神经网络的隐含层节点数,引入剪枝策略删除对网络贡献不大的节点,用改进的粒子群算法(Modified Particle Swarm Optimization,MPSO)对神经网络的中心、宽度、权值进行优化,对未来网络安全态势进行预测。利用校园网网络管理部门提供的数据进行的仿真实验表明,相对于K-均值RBF神经网络预测模型,该模型可以得到更合适的RBF神经网络结构和控制参数,提高了预测精度,更加直观地反映了网络安全态势的总体情况,为网络安全管理员提供了态势图。     

基于反向传播神经网络的失流故障智能识别研究

为解决传统方法识别主网电流失流故障准确率低的问题,本文提出了一种基于反向传播神经网络的失流故障智能识别方法。本文利用反向传播的神经网络算法,通过梯度下降的方式反向修正各层权值,使网络输出误差达到可以接受的程度,从而达到对失流故障识别具有很好的自学习自适应能力的目的。首先根据对主网失流故障特征的研究,将失流故障分为持续失流与断续失流两种,构造对应指标,综合所有指标构建失流故障特征提取体系,最后建立反向神经网络来拟合失流故障提取体系。对数据进行识别,建立专家样本库,利用反向神经网络进行离线训练,训练完成后固定权值用于失流故障识别,从而准确输出失流故障事件。经实例验证,所提方法在识别准确率和识别效率优于一般分类识别方法,可实现失流故障的就地识别。     

基于一维卷积神经网络的网络流量分类方法

针对传统机器学习算法对于流量分类的瓶颈问题,提出基于一维卷积神经网络模型的应用程序流量分类算法。将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。设计了一种新的一维卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中特征选择问题。通过网络公开数据集进行模型测试,相比于传统的一维卷积神经网络模型,所设计的神经网络模型的分类准确率提升了16.4%,总分类时间节省了71.48%。另外在类精度、召回率以及[F1]分数方面都有较好的提升。     

基于Dropout深度卷积神经网络的ST段波形分类算法

心电信号的ST段波形变化是心肌损伤等心血管类疾病临床诊断的重要辅助手段之一.针对ST段波形分类以及深度卷积神经网络过拟合问题,提出一种基于概率随机舍弃神经元建立子网络的Dropout深度卷积神经网络,通过心电信号数据去噪、ST段候选段筛选、神经网络卷积与下采样运算过程,实现ST段波形样本训练与测试.仿真实验对比分析了算法的波形分类准确率、卷积核个数影响和Dropout对算法泛化能力影响,与专家手工标注、BP、RNN和DCNN等方法进行比较,实验结果表明Dropout DCNN能够有效提高卷积神经网络泛化能力,提升算法的可用性.     

基于粒子群优化BP神经网络的可靠性评估模型

CPU的可靠性对计算机系统至关重要。针对神经网络等方法在可靠性分析与评估中参数优化困难、模型评估精度不够准确等问题,提出一种基于粒子群优化BP神经网络的可靠性评估模型。该模型利用由正弦映射优化的PSO算法对BP神经网络的权值和阈值进行优化,提高BP神经网络的收敛速度以及评估精度。基于CPU中各功能模块的可靠度,根据改进的BP神经网络模型建立CPU的可靠性评估模型,通过模型训练与测试完成对CPU的可靠性评估。通过对比实验,验证该模型对辐射环境下CPU可靠性评估的有效性和准确性。     

组合评价方法在煤矿安全风险评估中的应用

研究煤矿安全风险准确评估问题,煤矿生产的复杂性导致煤矿事故的动态性、模糊性和随机性,且影响煤矿安全风险等级指标多,指标与风险等级之间呈复杂的非线性关系,导致传统评估方法的准确率低。为了提高煤矿安全风险评估的准确率,提出一种组合的煤矿安全风险评估方法。首先构建出煤矿安全风险评估指标体系,然后采用层次分析法计算各评估指标权重,且采用模糊方法建立判断矩阵,最后将其输入到BP神经网络学习建立煤矿安全风险评估模型。利用具体数据对模型性能进行了验证性测试。实验结果表明,相比较于其它评价方法,组合评价方法提高了煤矿安全风险评估的准确率,是一种有效的煤矿安全风险评估方法。