考虑退化轨迹差异性与相似性的轴承RUL预测

轴承的个体异质性及工况差异性使得其性能退化轨迹不尽相同,导致训练轴承建立的深度学习模型与测试轴承失配.对此,提出基于卷积自编码器与自组织映射的轴承剩余使用寿命(remaining useful life,RUL)灰色预测方法.该方法引入以轴承自身监测数据为驱动的批量归一化的卷积自编码器对轴承性能退化特征进行深度提取,并结合自组织映射算法进行性能退化指标(degradation indicator,DI)自主构建.采用动态时间规划算法对各个轴承退化轨迹进行相似匹配分析,以相匹配的全寿命轴承的DI灰色模型回归曲线在寿命终点取值作为参考,进行测试轴承的失效阈值设置.以测试轴承历史DI为驱动,采用全阶时间幂灰色预测模型对测试轴承RUL进行滚动预测.实验结果表明,所提出方法在保留轴承退化趋势个体差异性的同时,能够实现轴承失效阈值自主合理设置,提高轴承RUL的预测精度.     

基于PVC-CAE的轴承剩余寿命预测方法

轴承由于在制造、安装以及工况上的不同,退化过程有很大差异,在轴承的剩余使用寿命预测中,特征的轴承个体差异会直接影响到后续模型的训练难度和预测精度。为了在提取特征时减小轴承的个体差异性,提出了一种并行方差约束卷积自编码(parallel variance constrained convolutional auto-encode, PVC-CAE)的轴承退化特征提取模型。具体方法是在卷积自编码的框架内定义并行方差约束,通过改进卷积自编码的损失函数,搭建出PVC-CAE模型。PVC-CAE模型可以有效地降低同标签特征的轴承个体差异性,提升预测精度。预测流程为：先用PVC-CAE模型在频域信号内提取特征,再用LSTM网络预测。通过PRONOSTIA实验平台所获取的实验数据集以及西安交大轴承数据集对所提方法进行了验证,同时与另外三种方法进行对比,实验结果表明,所提方法在轴承剩余使用寿命预测中取得了较好的结果,并且在不同的工况下具有一定的泛化性。     

基于多重降噪自编码器模型的top ◢N◣推荐算法

针对传统降噪自编码器（DAE）中加噪操作的随机性影响预测精度的问题,以及数据矩阵忽视用户具体评分信息的问题,提出了一种结合用户评分的多重降噪自编码器（MDAE）。首先,在输入矩阵中引入具体评分信息,增加输入矩阵信息量;其次,为了在获得鲁棒性数据的前提下减轻加噪操作对预测精度的影响,构建了MDAE模型,将经过不同层次降噪得到的预测矩阵结合非降噪预测矩阵得出最终的预测结果;最后,将模型与其他模型在不同数据集上作实验对比。实验结果表明,结合用户具体评分的MDAE模型可以获得更优质的推荐结果。     

基于变分自编码器的异构缺陷预测特征表示方法

跨项目软件缺陷预测技术可以利用现有的已标注缺陷数据集对新的无标记项目进行预测,但需要两者之间具有相同的度量集合,难以用于实际开发.异构缺陷预测技术可以在具有异构度量集合的项目间进行缺陷预测,该技术引起了大量研究人员的关注.现有的异构缺陷预测技术利用朴素的或者传统机器学习方法为源项目和目标项目学习特征表示,所学习到的特征表示能力很弱且缺陷预测性能很差.鉴于深度神经网络强大的特征抽取和表示能力,本文基于变分自编码器技术提出了一种面向异构缺陷预测的特征表示方法.该模型结合了变分自编码器和最大均值差异距离,能有效地学习源项目和目标项目的共性特征表示,基于该特征表示可以训练出有效的缺陷预测模型.在多组缺陷数据集上通过与传统跨项目缺陷预测方法及异构缺陷预测方法实验对比验证了所提方法的有效性.     

基于数据对齐的生成性对抗网络轴承剩余寿命预测

针对传统智能数据驱动轴承剩余寿命预测中存在的首次预测时间确定难度大以及模型泛化能力差等问题，提出一种基于数据对齐的生成性对抗网络轴承剩余寿命预测方法。生成性对抗网络用于了解健康状态数据的分布，依此建立健康指标来确定首次预测时间。为了弥合不同机器之间的数据分布差异，提出一种数据对齐策略来提取实体不变特征。进一步采用对抗训练，在健康状态和退化数据的学习子空间中实现数据对齐，将提取的广义特征表示用于预测轴承的剩余寿命。在两个轴承退化数据集上进行了对比实验，验证了该方法的有效性。     

联合嵌入式多标签分类算法

现有的一些多标签分类算法,因多标签数据含有高维的特征或标签信息而变得不可行.为了解决这一问题,提出基于去噪自编码器和矩阵分解的联合嵌入多标签分类算法Deep AE-MF.该算法包括两部分:特征嵌入部分使用去噪自编码器对特征空间学习得到非线性表示,标签嵌入部分则是利用矩阵分解直接学习到标签空间对应的潜在表示与解码矩阵.Deep AE-MF将特征嵌入和标签嵌入的两个阶段进行联合,共同学习一个潜在空间用于模型预测,进而得到一个有效的多标签分类模型.为了进一步提升模型性能,在Deep AE-MF方法中对标签间的负相关信息加以利用.通过在不同数据集上进行实验证明了提出Deep AE-MF方法的有效性和鲁棒性.     

基于聚类算法和转换网络的光伏短期功率预测

精准的光伏功率预测对优化光伏电站的运行和管理以及提高光伏发电的效率具有重要的作用。本文提出了一种基于聚类算法和转换网络的光伏短期功率预测方法。该方法首先基于自编码器的无监督聚类算法对光伏短期功率数据进行了预处理,以降低光伏出力数据本身的不稳定性对功率预测的影响。之后,该方法使用具有自注意力机制和多头注意力机制的转换网络进行光伏短期功率的预测。转换网络由编码器和解码器组成。转换网络相比传统的循环神经网络(RNN)更善于挖掘时序之间的关系。注意力机制使得转换网络具有并行计算的能力,可以加快网络训练的速度。最后,在澳大利亚光伏功率与气象数据中心 (DKASC)的光伏数据集上验证了本文提出的光伏短期功率预测方法。实验结果表明,本文提出的方法具有令人满意的预测精度。     

基于自注意力的自监督深度聚类算法

近年来,基于联合训练的深度聚类方法,如DEC(Deep Embedding Clustering)和DDC(Deep Denoising Clustering)算法,使基于特征提取的图像聚类取得了很多新进展,带来了聚类性能的突破,而且特征提取环节对后续聚类任务有直接影响.但是,这些方法的泛化能力较差,在不同数据集使用不...     

多元时序的深度自编码器聚类算法

针对深度聚类算法对多变量时间序列数据（MTS）的特征提取能力不足等问题,提出一种新的深度聚类结构模型（MDTC）。为了提取MTS的关键特征并实现降维,提出一维卷积学习MTS的属性和时序维度的特征表示与循环神经网络等网络层组成的自编码器结构;为了提高模型对时序特征的表示能力,提出了MCBAM时序注意力模块,用于增强MTS序列中不同时间段的表示特征。在九个公开UEA多元时序数据集进行了实验,模型的自编码器结构相较其他自编码器在七个数据集上提升了2%~9%;模型的MCBAM模块相较其他注意力模块在六个数据集上提升了0.3%~2%。实验表明MDTC模型结构和MCBAM模块的有效性,同时模型对比其他聚类算法具有优异的表现。     

轴承磨损阶段划分与分段剩余寿命估计方法

轴承是机械设备中的重要零部件,对其剩余寿命进行预测具有实际意义。目前的预测方法大多关注剩余寿命的单点预测精度,使得模型优化目标容易受噪声过大点的影响,导致轴承剩余寿命预测不准确。针对上述问题,提出了一种轴承磨损阶段划分与分段剩余寿命估计的方法。该方法首先提取出轴承处于稳定磨损阶段的数据,然后对剩余寿命进行片段划分,将分段预测精度作为模型的优化目标,减弱了预测误差的单点影响,有效提升了预测精度。该方法通过美国辛辛那提大学智能系统维护中心的公开数据集进行了验证。     

基于变分自编码器的谣言立场分类算法

针对当前谣言检测任务中社交媒体推特平台的推文数据分布复杂且不均衡的特点,提出基于变分自编码器（VAE）的谣言立场分类算法VAE-LSTM。对数据进行预处理后,利用word2vec模型提取推文词向量并输入VAE中进行训练,得到符合简单概率分布的深度特征序列再从中采样获取有效特征,以避免数据量较大的推文类别影响特征向量。在此基础上,使用长短时记忆（LSTM）网络处理向量序列数据进而实现分类。理论分析和实验结果表明,VAE-LSTM算法无须手动提取或添加特征,训练过程简单高效,同时能缓解类间不平衡问题,其应用于实际场景准确率和F1得分分别为0.800和0.494,与时序注意力机制算法、Turing算法、霍克斯过程算法等相比分类性能更好,且较SVM等早期机器学习方法节省了大量数据预处理时间。     

基于表示学习和深度森林的长链非编码RNA编码短肽预测模型

长链非编码RNA（lncRNA）中的小开放阅读框（sORFs）能够编码长度不超过100个氨基酸的短肽。针对短肽预测研究中lncRNA中的sORFs特征不鲜明且高可信度数据尚不充分的问题,提出一种基于表示学习的深度森林（DF）模型。首先,使用常规lncRNA特征提取方法对sORFs进行编码;其次,通过自编码器（AE）进行表示学习来获得输入数据的高效表示;最后,训练DF模型实现对lncRNA编码短肽的预测。实验结果表明,该模型在拟南芥数据集上能够达到92.08%的准确率,高于传统机器学习模型、深度学习模型以及组合模型,且具有较好的稳定性;此外,在大豆与玉米数据集上进行的模型测试中,该模型的准确率分别能达到78.16%和74.92%,验证了所提模型良好的泛化能力。     

混合高斯变分自编码器的聚类网络

目的 经典的聚类算法在处理高维数据时存在维数灾难等问题,使得计算成本大幅增加并且效果不佳。以自编码或变分自编码网络构建的聚类网络改善了聚类效果,但是自编码器提取的特征往往比较差,变分自编码器存在后验崩塌等问题,影响了聚类的结果。为此,本文提出了一种基于混合高斯变分自编码器的聚类网络。方法 使用混合高斯分布作为隐变量的先验分布构建变分自编码器,并以重建误差和隐变量先验与后验分布之间的KL散度(Kullback-Leibler divergence)构造自编码器的目标函数训练自编码网络;以训练获得的编码器对输入数据进行特征提取,结合聚类层构建聚类网络,以编码器隐层特征的软分配分布与软分配概率辅助目标分布之间的KL散度构建目标函数并训练聚类网络;变分自编码器采用卷积神经网络实现。结果 为了验证本文算法的有效性,在基准数据集MNIST(Modified National Institute of Standards and Technology Database)和Fashion-MNIST上评估了该网络的性能,聚类精度(accuracy,ACC)和标准互信息(normalized mutua...     

基于变分自编码器的异常颈动脉早期识别和预测

颈动脉狭窄、颈动脉内中膜厚度增加（CIMT）或颈动脉斑块等可导致脑卒中的发生。为实现脑卒中大规模初步筛查,提出基于医疗数据的改进的变分自编码器（VAE）来识别和预测异常颈动脉。首先,针对医疗数据存在缺失的情况,采用K近邻（KNN）、均值和众数相混合的方法（MKNN）以及改进的VAE对缺失数据进行填补以得到完整的数据集,从而提高数据的应用范围;接着,分析特征属性,并依据重要性对特征进行排序;然后,运用逻辑回归（LR）、支持向量机（SVM）、随机森林（RF）和极限梯度提升树（XGBT）这四种有监督学习方法结合遗传算法（GA）来建立异常颈动脉识别模型;最后,基于改进的VAE建立预测异常颈动脉的半监督模型。相较于基线模型,基于改进的VAE的半监督模型性能提升明显,灵敏度达到0.893 8,特异性达到0.927 2,F1值达到0.910 5,分类准确率达到0.910 5。实验结果表明,所建立的半监督模型可以用来识别异常颈动脉,进而作为一种识别脑卒中高危人群的工具,预防和减少脑卒中的发生。     

面向多模态MRI脑胶质瘤区域三维分割与生存期预测的级联U-Net网络

目的 针对常见方法对脑胶质瘤的肿瘤分割和生存预测需要单独建模的问题,提出一种带有变分自编码器(variational auto-encoder, VAE)分支的两阶段级联U-Net算法,旨在分割肿瘤的同时提取鲁棒的特征预测患者生存期,有助于患者的精准治疗。方法 提出的两阶段级联U-Net网络,第1阶段实现初步粗分割,第2阶段实现精细化分割。此外,在第2阶段添加变分自编码器分支以提取更加鲁棒的特征并提高模型泛化性。其中,变分自编码器分支获取的特征被送入随机森林算法以进行生存期预测。另外,在两个阶段的解码器部分都添加了SE(squeeze-and-excitation)-残差模块以及注意力门模块,提高了分割精度。结果 在Brain Tumor Segmentation (BraTS)竞赛官网分别评估了本文方法在BraTS2020验证集上分割以及总体生存期预测两大任务的结果,本文算法在该验证集的全肿瘤区域、肿瘤核心区域以及增强型肿瘤区域分别取得了90.66%、85.09%和79.02%的Dice相似系数。相较3DU-Net在3个肿瘤子区域的Dice相似系数分别提高了4.3%、1.37%和5....     

基于时间序列迁移递归预测的未知工况下滚动轴承在线剩余寿命评估

深度迁移学习技术已经成功应用于跨工况的滚动轴承剩余寿命(remaining useful life,RUL)预测问题,但针对在线场景的RUL评估仍存在如下不足:在线工况存在漂移,无法确定同工况的历史数据,不能直接构建回归预测模型;在线目标轴承只有正常状态和早期故障数据,无法直接与离线轴承的快速退化期数据进行迁移学习.鉴于此,从时序退化信息迁移的角度提出一种面向未知工况的轴承在线RUL评估方法.首先,构建融合第三方退化信息的时间序列迁移递归预测模型,利用张量长短时记忆网络提取离线工况全寿命数据的单调性和趋势性等时序信息,并迁移到在线递归预测过程;然后,利用迁移成分分析对所预测的在线退化序列和已有离线序列进行公共特征空间适配,提取域无关特征,并构建支持向量机回归模型,实现在线轴承剩余寿命评估.在IEEE PHM Challenge 2012轴承数据集上的实验结果表明,所提出方法可在只有早期故障数据的情况下准确预测退化趋势,为未知工况下的轴承在线RUL评估提供一种有效的解决方案.     

基于深度神经网络和联邦学习的网络入侵检测

在高速网络环境中,对复杂多样的网络入侵进行快速准确的检测成为目前亟待解决的问题。联邦学习作为一种新兴技术,在缩短入侵检测时间与提高数据安全性上取得了很好的效果,同时深度神经网络（DNN）在处理海量数据时具有较好的并行计算能力。结合联邦学习框架并将基于自动编码器优化的DNN作为通用模型,建立一种网络入侵检测模型DFC-NID。对初始数据进行符号数据预处理与归一化处理,使用自动编码器技术对DNN实现特征降维,以得到DNN通用模型模块。利用联邦学习特性使得多个参与方使用通用模型参与训练,训练完成后将参数上传至中心服务器并不断迭代更新通用模型,通过Softmax分类器得到最终的分类预测结果。实验结果表明,DFC-NID模型在NSL-KDD与KDDCup99数据集上的准确率平均达到94.1%,与决策树、随机森林等常用入侵检测模型相比,准确率平均提升3.1%,在攻击类DoS与Probe上,DFC-NID的准确率分别达到99.8%与98.7%。此外,相较不使用联邦学习的NO-FC模型,DFC-NID减少了83.9%的训练时间。     

融合深度置信网络与与核极限学习机算法的核磁共振测井储层渗透率预测方法

由于低孔低渗储层孔隙结构较为复杂,现有核磁共振（NMR）测井渗透率模型对于低孔低渗储层预测精度不高。为此,提出一种融合深度置信网络（DBN）算法与核极限学习机（KELM）算法的渗透率预测方法。该方法首先对DBN模型进行预训练,然后将KELM模型作为预测器放置在训练好DBN模型后,利用训练数据进行有监督的训练,最终形成深度置信-核极限学习机（DBKELMN）模型。考虑到该模型需充分利用反映孔隙结构的横向弛豫时间谱信息,将离散化后的核磁共振测井横向弛豫时间谱作为输入,渗透率作为输出,确定NMR测井横向弛豫时间谱与渗透率的函数关系,并基于该函数关系对储层渗透率进行预测。实例应用表明,融合DBN算法与KELM算法的渗透率预测方法是有效的,预测样本的平均绝对误差（MAE）较斯伦贝谢道尔研究中心（SDR）模型降低了0.34。融合DBN算法与KELM算法的渗透率预测方法可提高低孔渗储层渗透率预测精度,可应用于油气田勘探开发。     

基于多粒度特征蒸馏的遥感图像场景分类研究

深度神经网络广泛应用于遥感图像场景分类任务中并能大幅提高分类精度,但隐藏层数较少的神经网络在标记数据不足的遥感场景分类中泛化能力较低,而隐层较多的网络往往需要较大的计算量和模型存储空间,限制了其在嵌入式设备上的应用.提出一种针对遥感图像场景分类的多粒度特征蒸馏方法,将深度网络不同阶段的特征与最终的类别概率同时作为浅层模...     

基于改进GRU模型的直流充电桩故障预测

直流充电桩作为电动汽车有效的供电设备,其故障频发对电动汽车充电安全带来隐患.对充电桩的故障进行准确预测将有效地确保电动汽车充电过程的安全.本文提出了一种改进门控循环单元(gate recurrent unit, GRU)直流充电桩的故障预测模型.首先,分析充电过程中直流充电桩的常见故障类型,考虑到实际采集过程中具体故障数据样本量少的情况,利用变分自编码器(variational auto-encoder, VAE)数据增强方法对样本数据进行扩充;然后,基于GRU网络模型的故障预测方法,利用粒子群优化(particle swarm optimization, PSO)算法优化GRU网络参数,采用支持向量机(support vector machine, SVM)模型改善网络输出的分类函数,提出了PSO-GRU-SVM直流充电桩故障诊断模型;最后,利用算例对比改进前后的预测精度,分析对比混淆矩阵热力图,并且与常用的两种网络模型进行对比,结果表明了文中方法有效地提高了预测精度,验证了文章中方法的可行性.