基于一维卷积神经网络深度学习的工业过程故障检测

针对化工过程的非线性和动态性,以TE过程为背景,应用深度学习中的一维卷积神经网络算法对TE过程进行故障检测,解决了BP神经网络算法用于故障检测时测试识别率低的问题。用训练数据集分别对BP神经网络模型和一维卷积神经网络模型进行训练,将测试数据集输入已经训练好的神经网络,最后统计出了BP神经网络模型和卷积神经网络模型对故障的识别率。仿真结果表明BP神经网络和卷积神经网络对故障的检测具有较好的效果,但BP神经网络算法收敛速度慢,很容易就陷入局部最小值,从而会导致整体的检测性能下降,而卷积神经网络构建出的一维卷积模型能很好地解决存在的问题,通过比较充分体现了卷积神经网络在故障检测方面的优越性。     

基于密集连接卷积神经网络的远程监督关系抽取

密集连接卷积神经网络(DenseNet)是一种新型深度卷积神经网络架构,通过建立不同层间的连接关系,来确保网络层与层间最大程度的信息传输。在文本远程监督关系抽取任务中,针对现有神经网络方法使用浅层网络提取特征的局限,设计了一种基于密集连接方式的深度卷积神经网络模型。该模型采用五层卷积神经网络构成的密集连接模块和最大池化层作为句子编码器,通过合并不同层次的词法、句法和语义特征,来帮助网络学习特征,从而获取输入语句更丰富的语义信息,同时减轻深度神经网络的梯度消失现象,使得网络对自然语言的表征能力更强。模型在NYT-Freebase数据集上的平均准确率达到了82.5%,PR曲线面积达到了0.43。实验结果表明,该模型能够有效利用特征,并提高远程监督关系抽取的准确率。     

基于DenseNet和随机森林的电力用户窃电检测

窃电作为配电网络非技术损耗的主要因素之一,不仅严重扰乱供电秩序,还会危害电网安全,造成供电企业甚至国家的重大损失.为了更高效地检测窃电情况,提出了一种新型的密集卷积神经网络和随机森林(DenseNet-RF)模型,基于该模型实现了电力用户窃电行为的检测.首先,分析了密集卷积神经网络(DenseNet)的结构;其次,将密集卷积神经网络(DenseNet)对大规模的智能电表数据集进行自动特征提取;然后,根据获得的特征再使用随机森林(RF)训练分类器,以检测用户是否窃电.在建立融合模型时,采用网格搜索算法确定最优参数.最后,进行实验验证,实验结果表明,所提出的检测模型优于宽而深的卷积神经网络(WDNet)、DenseNet、极限学习机(ELM)等模型的分类准确性,其模型准确率为96.76％,同时具有良好的泛化能力.     

不平衡训练数据下的基于生成对抗网络的轴承故障诊断

近年来,随着深度学习模型及其衍生模型在故障诊断领域中的成功应用,基于深度学习的故障诊断方法开始成为研究主流.但是当训练数据不均衡时,通过深度学习从不平衡的数据中提取的故障特征是不准确的,训练得到的神经网络模型的分类结果往往倾向多数类,极大影响了分类效果.针对这种情况,本文结合卷积神经网络设计了一种新的生成对抗网络模型(Convolutional Wasserstein Generative Adversarial Network,CWGAN).首先卷积神经网络从故障样本中提取故障特征,并将其作为对抗网络的输入,然后由解码器网络解码来自生成器的故障特征向量来生成故障样本,同时将提取的故障特征和训练过程中的故障诊断误差添加至生成器训练的损失函数中.实验表明本文提出的方法相比于基线模型(GAN-CNN)的平均F1值提高4%,较好地解决数据不平衡的分类问题.     

基于AC-CNN模型的过程故障识别

针对复杂工业过程中故障变量特征提取效率低,分类数量较少且故障识别率较低等问题,提出基于非对称卷积核(asymmetric convolutions)的卷积神经网络(CNN)的工业过程故障识别模型。采取故障变量重构对故障数据进行预处理;引入非对称卷积核模型对重构后的输入故障变量进行特征提取,提高特征提取的效率;根据CNN模型改进得到具有AC架构的AC-CNN模型,识别TE(田纳西-伊斯曼)过程故障的在线测试集样本,实验结果表明,所提方法对TE过程故障数据集的识别效果明显,验证了模型的有效性和优异性。     

基于深度卷积神经网络的心音分类算法

针对现有心音分类算法普适性差、依赖于对基本心音的精确分割、分类模型结构单一等问题,提出采用大量未经过精确分割的心音二维特征图训练深度卷积神经网络(CNN)的方法;首先采用滑动窗口方法和梅尔频率系数对心音信号进行预处理,得到大量未经过精确分割的心音特征图;然后利用深度CNN模型对心音特征图进行训练和测试;根据卷积层间连接方式的不同,设计了 3种深度CNN模型:基于单一连接的卷积神经网络、基于跳跃连接的卷积神经网络、基于密集连接的卷积神经网络;实验结果表明,基于密集连接的卷积神经网络比其他两种网络具备更大的潜力;与其他心音分类算法相比,该算法不依赖于对基本心音的精确分割,且在分类准确率、敏感性和特异性方面均有提升.     

基于NLWT系数增强的随机失活CNN电机运行状态检测

为了快速有效地从热像仪采集的温度数据中识别出电机的运行故障,本文根据随机失活、非线性小波变换系数增强(NLWTCE)和卷积神经网络算法相结合对电机图像进行识别.首先根据热像仪采集的数据建立电机的图像数据集,通过非线性小波变换(NLWT)将数据进行图像增强,然后构建改进的卷积神经网络(ICNN)模型,将提取的特征作为最终的识别特征来进行图像识别,最后根据与正常电机图像作比较,识别出故障的电机图像,实现了有效、准确的识别故障电机图像与正常电机图像.实验结果表明,改进的卷积神经网络模型不仅具有较高的识别准确率,也进一步简化了提取图像特征的复杂过程.该方法的有效性和合理性得到了验证,并适用于工程运用中.     

基于多尺度卷积神经网络的滚动轴承故障识别

针对当前基于卷积神经网络的滚动轴承故障信号识别多采用单一尺度卷积核,对特征提取不充分、多尺度特征难提取,且超参数选取多依据人工经验等问题,提出一种多尺度卷积神经网络识别方法。首先,直接将原始时域信号作为输入,可有效保留原始信号特征且不需要人们对故障机理、信号处理专业知识的认识。其次,通过多尺度卷积神经网络对信号特征学习,并引入粒子群优化算法来寻求最优的尺度信息。最后,用滚动轴承数据集来验证模型性能,并与其他模型做对比。实验结果表明,本文模型平均识别准确率达到99.45%,高于其他模型,且抗噪声能力优于其他模型,证明所提方法具有可行性。     

基于一维卷积神经网络的自动扶梯机械故障分类研究

老旧扶梯机械故障较为隐蔽,定期检验不易发现,且对扶梯机械故障的智能分类的研究较少。自动扶梯振动信号复杂多变,数据量大,而采用传统机器学习算法对其机械故障进行诊断效果不佳。为实现自动扶梯机械故障的智能分类,在经典二维卷积神经网络的基础上,引入了卷积核的一维卷积神经网络,构建了自动扶梯机械故障的自动分类模型。首先为提高模型的泛化性能,融合凯斯西储大学轴承故障、东南大学齿轮故障和某大型商场自动扶梯梯级滚轮磨损故障的复合故障数据建立了数据集。然后用数据增强的方法对数据进行预处理,接着采用一维卷积神经网络,构建自动扶梯机械故障诊断模型。最后使用测试数据集对模型的分类精度进行了验证实验,结果表明该模型有着比传统机器学习算法自动化程度高、成本低、专业门槛低、步骤简单等明显优势,而且该模型能快速准确地对自动扶梯的机械故障进行自动诊断,实现了95%的诊断准确率,为下一步将该算法集成到检验仪器中打下了基础。     

静态图像中采用混合卷积结构进行人群密度估计

提出了一种混合卷积神经网络用于人群数量的感知计算,在高度密集的场景中可以准确地预测人群密度图。模型仅由两个部分组成：前端为扩张卷积神经网络提取二维特征;后端采用分数步长卷积神经网络降低下采样中的信息损失。为了验证和分析算法性能,模型设计基于当前较为流行的Shanghai Tech数据集,使用回归问题的评价指标,即平均绝对误差（MAE）和均方误差（MSE）作为评估算法性能的标准。在Shanghai Tech（MAE=100.8）、UCF_CC_50（MAE=305.3）与WorldExpo’10数据集上进行测试,实验表明模型在密集场景下较以往的方法有效降低了MAE和MSE,提高了密集人群计数的准确率。     

基于深度特征聚类和RNN的电网故障诊断

针对传统方法难以利用大量时序数据和无标签数据对电网进行故障诊断的问题,提出了基于深度特征聚类和循环神经网络(RNN)的电网智能故障诊断方法.该方法首先利用卷积神经网络搭建起特征提取器来提取时序数据的高层特征,然后对提取的特征进行半监督聚类,为无标签样本获得对应的标签,从而可以确定无标签样本所属的故障类别并加以利用;然后...     

处理不平衡数据的聚类欠采样加权随机森林算法

针对现有欠采样处理算法中存在样本缺少代表性、分类性能差等问题,提出了一种基于聚类欠采样的加权随机森林算法(weighted random forest algorithm based on clustering under-sampling,CUS-WRF)。利用K-means算法对多数类样本聚类,引入欧氏距离作为欠采样时分配样本个数的权重依据,使采样后的多数类样本与少数类样本形成一个平衡的样本集,以CART决策树为基分类器,加权随机森林为整体框架,同时将测试样本的准确率作为每棵树的权值来完成对结果的最终投票,有效提高了整体分类性能。选择八组KEEL数据集进行实验,结果表明,与其余四种基于随机森林的不平衡数据处理算法相比,CUS-WRF算法的分类性能及稳定性更具优势。     

面向样本不平衡的网络安全态势要素获取

针对传统的网络安全态势要素获取模型中,当样本分布不平衡时,占比很少的样本（统称小样本）不能被有效检测,准确识别到每一类攻击样本成为研究热点之一。利用深度学习提出了一种面向样本不平衡的要素获取模型,利用卷积神经网络作为基分类器提取网络数据的深层特征,其次使用GAN生成对抗网络扩充小样本的方法,解决样本分布不均衡问题。在扩充后的平衡数据集上采用迁移学习,加快基分类器到适应于小样本的新分类的训练时间。在NSL-KDD数据集上的实验表明,经过生成对抗网络扩充后的数据集,结合迁移学习有效加快了模型训练收敛速度,并有效提高网络安全态势要素获取的分类精度。     

基于加权密集连接网络和注意力机制的滚动轴承故障诊断

针对当前诊断方法对滚动轴承故障特征表征困难以及在噪声干扰大的环境中检测性能下降的问题,提出了一种基于加权密集连接网络和注意力机制的滚动轴承故障诊断的方法,该方法由特征提取和故障分类两部分组成;在特征提取部分,首先采用加权密集连接网络从轴承振动信号中提取特征,并将不同空间级别的特征进行组合以增强信息的多样性,然后利用注意力机制突出重要信息,获得准确的表征故障特征;故障分类模型以表征的特征信息作为输入,经过Softmax函数输出每种故障类型的诊断结果;实验结果表明,所提模型在加性噪声干扰的情况下具有良好的诊断性能,比其他方法更具优势。     

基于改进BP神经网络的非均衡数据分类算法

传统的分类算法大都默认所有类别的分类代价一致,导致样本数据非均衡时产生分类性能急剧下降的问题.对于非均衡数据分类问题,结合神经网络与降噪自编码器,提出一种改进的神经网络实现非均衡数据分类算法,在神经网络模型输入层与隐层之间加入一层特征受损层,致使部分冗余特征值丢失,降低数据集的不平衡度,训练模型得到最优参数后进行特征分类得到结果.选取UCI标准数据集的3组非均衡数据集进行实验,结果表明采用该算法对小数据集的分类精度有明显改善,但是数据集较大时,分类效果低于某些分类器.该算法的整体分类效果要优于其他分类器.     

一种面向不平衡数据集的核Fisher线性判别分析方法

实际应用中,很多分类问题是面向不平衡数据的分类,而不平衡数据集会导致许多分类器的性能下降。文中介绍核Fisher线性判别分析的分类机制,分析不平衡数据导致核Fisher线性判别分析失效的原因,进而提出一种加权核Fisher线性判别分析方法。该方法通过调整两类样本的核协方差矩阵对核类内离散度矩阵的贡献, 可克服不平衡数据对分类性能的影响。为进一步测试该方法, 对UCI数据集进行实验测试,实验结果表明该方法可有效改进分类器的分类性能。     

A wavelet extreme learning machine

Extreme learning machine (ELM) has been widely used in various fields to overcome the problem of low training speed of the conventional neural network. Kernel extreme learning machine (KELM) introduces the kernel method to ELM model, which is applicable in Stat ML. However, if the number of samples in Stat ML is too small, perhaps the unbalanced samples cannot reflect the statistical characteristics of the input data, so that the learning ability of Stat ML will be influenced. At the same time, the mix kernel functions used in KELM are conventional functions. Therefore, the selection of kernel function can still be optimized. Based on the problems above, we introduce the weighted method to KELM to deal with the unbalanced samples. Wavelet kernel functions have been widely used in support vector machine and obtain a good classification performance. Therefore, to realize a combination of wavelet analysis and KELM, we introduce wavelet kernel functions to KELM model, which has a mix kernel function of wavelet kernel and sigmoid kernel, and introduce the weighted method to KELM model to balance the sample distribution, and then we propose the weighted wavelet–mix kernel extreme learning machine. The experimental results show that this method can effectively improve the classification ability with better generalization. At the same time, the wavelet kernel functions perform very well compared with the conventional kernel functions in KELM model.     

改进SMOTE的不平衡数据集成分类算法

针对不平衡数据集的低分类准确性,提出基于改进合成少数类过采样技术（SMOTE）和AdaBoost算法相结合的不平衡数据分类算法（KSMOTE-AdaBoost）。首先,根据K近邻（KNN）的思想,提出噪声样本识别算法,通过样本的K个近邻中所包含的异类样本数目,对样本集中的噪声样本进行精确识别并予以滤除;其次,在过采样过程中基于聚类的思想将样本集划分为不同的子簇,根据子簇的簇心及其所包含的样本数目,在簇内样本与簇心之间进行新样本的合成操作。在样本合成过程中充分考虑类间和类内数据不平衡性,对样本及时修正以保证合成样本质量,平衡样本信息;最后,利用AdaBoost算法的优势,采用决策树作为基分类器,对平衡后的样本集进行训练,迭代多次直到满足终止条件,得到最终分类模型。选择G-mean、AUC作为评价指标,通过在6组KEEL数据集进行对比实验。实验结果表明,所提的过采样算法与经典的过采样算法SMOTE、自适应综合过采样技术（ADASYN）相比,G-means和AUC在4组中有3组最高;所提分类模型与现有的不平衡分类模型SMOTE-Boost,CUS-Boost,RUS-Boost相比,6组数据中：G-means均高于CUS-Boost和RUS-Boost,有3组低于SMOTE-Boost;AUC均高于SMOTE-Boost和RUS-Boost,有1组低于CUS-Boost。验证了所提的KSMOTE-AdaBoost具有更好的分类效果,且模型泛化性能更高。     

基于信息增益率的WNB水下机器人故障分类

提高故障诊断能力对于确保水下机器人系统的稳定运行具有重要意义,故障分类是目前水下机器人故障诊断所面临的一个重要问题。针对水下机器人推进器系统数据特征,提出一种基于信息增益率的加权朴素贝叶斯故障分类算法。首先,计算故障训练样本的先验概率,将各属性的信息增益率作为权值;其次,构建基于增益率加权的朴素贝叶斯分类模型;然后,对检测的故障数据利用分类模型获取具有最大后验概率的故障模式,实现故障分类。与朴素贝叶斯算法和决策树算法相比,仿真实验结果表明基于信息增益率加权的朴素贝叶斯算法的分类成功率更高,能够有效地实现水下机器人的故障分类。     

基于启发式BP算法的软件缺陷预测模型

针对软件缺陷预测时缺陷数据集中存在的类别分布不平衡问题，结合上采样算法SMOTE与Edited Nearest Neighbor (ENN) 数据清洗策略，提出了一种基于启发式BP神经网络算法的软件缺陷预测模型。模型中采用上采样算法SMOTE增加少数类样本以改善项目中的数据不平衡状况，并针对采样后数据噪声问题进行ENN数据清洗，结合基于启发式学习的模拟退火算法改进四层BP神经网络后建立分类预测模型，在AEEEM数据库上使用交叉验证对提出的方案进行性能评估，结果表明所提出的算法能够有效提高模型在预测类不平衡数据时的分类准确度。