基于优化混合模型的航空发动机剩余寿命预测方法

针对航空发动机剩余使用寿命（RUL）预测方法没有同时加权不同时间步下的数据,包括原始数据和所提取的特征,导致RUL预测准确性较低的问题,提出了一种基于优化混合模型的RUL预测方法。首先,选用三种不同的路径提取特征：1）将原始数据的均值和趋势系数输入至全连接网络;2）将原始数据输入双向长短期记忆（Bi-LSTM）网络,并采用注意力机制处理得到的特征;3）使用注意力机制处理原始数据,并将加权特征输入至卷积神经网络（CNN）和Bi-LSTM网络中。然后,采用融合多路径特征预测的思想,将上述提取到的特征融合后输入至全连接网络获得RUL预测结果。最后,使用商用模块化航空推进系统仿真（C-MAPSS）数据集验证方法的有效性。实验结果显示,所提方法在4个数据集上均有较好的表现。以FD001数据集为例,所提方法的均方根误差（RMSE）比Bi-LSTM网络降低了9.01%。     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

基于并行双向时间卷积网络和双向长短期记忆网络的轴承剩余使用寿命预测方法

在基于深度学习的轴承剩余使用寿命(RUL)预测方法中,时间卷积网络(TCN)忽略了振动数据中未来时间信息的重要性,长短期记忆网络(LSTM)难以有效地学习振动数据的长时间序列特征.针对以上问题,提出一种基于并行双向时间卷积网络(Bi-TCN)和双向长短期记忆网络(Bi-LSTM)的轴承RUL预测方法.首先,对多传感器数据进行归一化处理,并将每个传感器数据进行通道合并,实现多传感器数据的高效融合;然后,采用Bi-TCN和Bi-LSTM构建并行的双分支特征学习网络,其中Bi-TCN提取数据的双向长时间序列特征, Bi-LSTM提取数据的时间相关特征;同时,设计一种特征融合注意力机制,该机制分别计算Bi-TCN和Bi-LSTM的输出权重,以实现两种网络输出特征的自适应加权融合;最后,融合特征通过全连接层并输出轴承RUL的预测结果.利用西安交通大学轴承数据集和PHM 2012轴承数据集进行RUL预测实验,实验结果表明,与其他先进的预测方法相比,所提出方法可以准确预测更多类型轴承的RUL,同时具有更低的预测误差.     

基于注意力机制的CNN-LSTM短期股票价格预测

根据股价存在的高频性、长记忆性及不确定性,文章给出了基于注意力机制的卷积神经网络一长短期记忆网络股票价格序列预测方法。首先使用CNN来对数据序列进行卷积操作,以提取其特征分量。然后,利用长短期记忆网络(LSTM)对所抽取出的特征分量做序列预测。最终,注意力模块通过神经网络来自动化拟合权重分配,并对LSTM各个时间节点的隐含层输出向量与对应的权重相乘并求和,为重要的特征分量赋予更大的权重,以此作为模型最终的特征表达。     

基于可自动扩展的LSTM模型的航空发动机剩余寿命预测方法

对航空发动机进行实时状态监测和健康管理可以有效降低发动机故障风险,确保飞机飞行安全。准确预测航空发动机的剩余寿命是有效监测发动机运行状态的一种重要手段,其中长短期记忆（long-short term memory,LSTM）网络常被使用。但由于航空发动机复杂的机械结构与运行模式,使用传统的LSTM网络对航空发动机的剩余寿命进行单次预测后,所得预测结果的准确率不足以满足其寿命预测的精度要求。基于LSTM网络的广泛使用以及它对时间序列数据的有效预测能力,考虑到采用多级预测的方法能够有效降低预测误差,提出了一种新型的可自动扩展的长短期记忆（automatically expandable LSTM,AELSTM）预测模型。AELSTM模型依托多个子模块逐级连接的网络结构,不断地提取前一级模块的输出误差作为后一级模块的训练值,形成了误差的多级预测机制,有效降低了模型的预测误差,提升了预测结果的准确性。基于美国国家航空航天局发布的C-MAPSS数据集的四个子集对AELSTM模型的预测效果进行了测试,实验结果表明,与传统的LSTM网络相比,AELSTM模型在四个子集上的均方根误差平均减少了95.44%,同时它的预测效果也优于现有的一些先进算法。实验充分验证了AELSTM模型在提升航空发动机剩余寿命预测准确度方面的有效性及优势。     

基于注意力机制和分时图卷积的公交客流预测

实际公交路网通常为复杂的非线性时变系统,难以有效构建线路间的时空间依赖关系.因此,文中提出基于注意力机制和分时图卷积的公交客流预测模型,提升公交客流量预测的准确性.首先通过长短期记忆网络提取历史数据中的时间特征,并利用通道注意力模块加权特征.再使用分时图卷积方法分析不同时段下公交线路间的空间依赖性,根据预测时段选择不同...     

基于自注意力长短期记忆网络的Web软件系统实时剩余寿命预测方法

为了能够实时准确对Web软件系统的剩余使用寿命（RUL）进行预测,考虑Web系统健康状态性能指标的时序特性和指标间的相互依赖特性,提出了一种基于自注意力长短期记忆（Self-Attention-LSTM）网络的Web软件系统实时剩余寿命预测方法。首先,搭建加速寿命测试实验平台来收集反映Web软件系统老化趋势的性能指标数据;然后,根据该性能指标数据的时序特性来构建长短期记忆（LSTM）循环神经网络以提取性能指标的隐含层特征,并使用自注意力机制建模特征间的依赖关系;最后,得到系统RUL的实时预测值。在三组测试集上,把所提模型与反向传播（BP）网络和常规的循环神经网络（RNN）做了对比。实验结果表明,所提模型的平均绝对误差（MAE）比长短期记忆（LSTM）网络平均低16.92%,相对准确率（Accuracy）比LSTM网络平均高5.53%,验证了Self-Attention-LSTM网络剩余寿命预测模型的有效性。可见所提方法能为优化系统抗衰决策提供技术支撑。     

基于CNN_BiLSTM网络的入侵检测方法

网络攻击事件频发,正确高效地检测攻击行为对网络安全至关重要.该方法基于一维卷积神经网络和双向长短期记忆网络引入自注意力机制来检测恶意行为.首先借助随机森林来选择重要的特征作为模型输入以减少输入数据的冗余问题,之后利用一维卷积神经网络和双向长短期记忆网络分别提取空间特征和时间特征,将二者提取的特征"并联"得到融合特征,为...     

基于时空特征的公交站点短时客流量预测

针对以往公交客流量预测只考虑时序特征而忽略空间维度特征的缺点,提出一种结合注意力机制的图卷积长短期记忆单元预测模型(AGLSTM)来预测公交站点的客流量。该模型运用图卷积网络(GCN)对每个时刻的公交站点客流量进行空间维度的特征提取,使用长短期记忆网络(LSTM)对公交站点客流量进行时间特征的提取。为了更关注公交站点客流量有重大影响时刻的特征,该模型还引入了注意力机制模块。注意力机制可以通过计算不同时刻长短期记忆单元隐藏状态的权重,来评估各隐藏状态对输出结果的影响。通过对北京4条公交线路的真实刷卡数据进行实验分析,并与部分经典预测算法进行对比,证明了提出的考虑时空特征的组合模型能够有效地提高模型的预测精度。     

基于多注意力和变分编码时序网络的发动机剩余使用寿命预测方法

准确可靠的剩余使用寿命(RUL)预测结果可为决策者提供有价值的信息,以采取适当的维护策略,最大限度地利用设备,避免昂贵的故障维修费用。为了从高噪声的真实工况中对发动机故障进行有效诊断,提出了一种融合多注意力机制和变分编码的时序预测模型(MA-VBLSTM),首先通过嵌入多注意力机制获得所有特征在空间维度和通道维度的不同权重,以提高退化特征的提取能力；然后,采用变分编码器进行退化信息编码并学习数据间深度隐藏的信息；最后,利用双向长短时记忆网络的长短期时序数据双向处理能力实现发动机RUL的预测。实验结果表明,该模型在发动机CMAPSS数据集的FD001、FD002、FD003、FD004子数据集上RMSE 和Score值相比现有方法分别平均降低5.27%和10.70%、1.37%和1.68%、6.37%和26.94%、3.02%和2.06%。     

融合注意力LSTM的神经张量分解推荐模型

针对结合深度学习模型的协同过滤算法未考虑关联数据的多维交互随时间动态变化的问题,该文提出一种融合时间交互学习和注意力长短期记忆网络的张量分解推荐模型(LA-NTF).通过采用基于注意力机制的长短期记忆网络从项目文本信息中提取项目的潜在向量,然后使用融合注意力机制的长短期记忆网络来表征用户—项目关系数据在时间上的多维交互...     

基于Multi-BiLSTM-Attention的关系抽取

在关系抽取任务中,单一的长短期记忆模型只能学习到某个特定维度的特征,而卷积神经网络可以利用多个卷积核学习不同维度特征.基于上述两个特点,该文提出了一种多层双向长短期记忆-注意力模型,该方法通过给长短期记忆模型设置不同大小的隐藏层,使其能自动从原始输入中抽取不同维度的、带依赖信息的抽象特征,并利用注意力机制捕获全局信息.实验显示,该方法能显著提高中文关系抽取效果,在ACE RDC 2005中文数据集上取得71.6％的F值.     

基于强化健康指数相似度量的航空发动机失效阈值设置

针对航空发动机剩余寿命预测中多监测参数对发动机性能退化表征能力不强及失效阈值设置困难问题,采用强化健康指数相似度量法进行了失效阈值加权设置.该方法首先利用Box–Cox变换增强发动机监测参量与飞行循环间的关联性,再采用降噪自编码器进行退化特征的提取.为了增强退化特征对发动机剩余使用寿命的表征能力,采用多重核典型相关技术构建发动机的统一健康指数(HI).引入全阶时间幂灰色预测模型对全寿命参考发动机HI的失效阈值进行预测,并结合基于KL距离的HI曲线相似度量方法对失效阈值加权融合,以确定测试发动机的失效阈值.试验结果表明,本文提出的失效阈值设置方法充分考虑了航空发动机性能退化过程的个体差异性与相似性,克服了传统失效阈值的主观设置问题,有效地提高了航空发动机RUL的预测精度,为实现航空发动机的健康管理提供一种新思路与手段.     

基于卷积注意力长短时记忆网络的轴承寿命预测方法EI北大核心CSCD

传统的滚动轴承寿命预测方法缺乏明确的学习机制,无法有效识别不同时序特征之间的差异并突出重要特征,影响其预测精度.为克服上述缺点,本文提出了一种基于卷积注意力长短时记忆网络(CAN-LSTM)的剩余使用寿命预测模型.该模型主要由两部分组成:前端为卷积注意力网络(CAN),学习通道和时间维度中的深层故障特征,提高特征的表征能力;后端为改进LSTM网络,基于退化特征对轴承进行寿命预测.归一化健康指标至[0,1]区间内,得到相同的失效阈值;使用五点平滑法对预测结果进行处理,实现预测结果的输出;利用留一法对轴承全寿命试验数据进行验证,测试模型的准确性和适应性.试验结果表明:所提模型的平均均方根误差和平均绝对值误差比仅用CNN模型预测值低54.12%和59.05%,比仅用LSTM模型预测值低39.06%和43.42%,比卷积长短时记忆网络(CNN-LSTM)低20.41%和25.86%.     

基于时空注意力网络的动态高速路网交通速度预测

交通速度是影响高速路网通行效率和安全的重要指标,精准预测高速路网交通速度可以减少交通事故和通行时间,预先为交通控制提供有价值的参考信息,对高速公路管理具有重要意义。基于时空注意力网络,提出一种由数据和长期预测任务驱动面向动态高速路网的交通速度预测模型(ST-ANet)。通过图注意力网络提取高速路网的动态空间关联特征,使用长短期记忆网络提取输入数据的时间关联特征。在此基础上,采用基于多头自注意力机制的时间注意力网络计算历史输入数据和预测值之间的相关性,并利用密集连接和层归一化方法进一步提升模型性能。基于中国宁夏回族自治区银川市高速路网监测数据进行实验,结果表明,与GCN-LSTM模型相比,STANet模型预测未来1 h、2 h和3 h内高速路网交通速度的平均绝对误差分别降低4.0%、3.6%和3.9%。     

基于并联CNN-SE-Bi-LSTM的轴承剩余使用寿命预测

滚动轴承作为一种机械标准件,广泛应用于各类旋转机械设备,其健康状况对机器设备的正常运行至关重要,掌握其剩余使用寿命(RUL)可以更好地保证生产活动安全有效的进行.针对目前基于深度学习的机器RUL预测方法普遍存在:a)预测性能很大程度依赖手工特征设计;b)模型不能够充分提取数据中的有用特征;c)学习过程中没有明确考虑多传感器数据等缺点,提出了一种新的深度预测网络——并联多个带有压缩激励机制的卷积神经网络和双向长短期记忆网络集成网络(CNN-SE-Bi-LSTM),用于设备的RUL预测.在该预测网络中,不同传感器采集的监测数据直接作为预测网络的输入.然后,在改进的压缩激励卷积网络(CNN-SE-Net)提取空间特征的基础上进一步通过双向长短期记忆网络(Bi-LSTM)提取时序特征,建立起多个独立的可以自动从输入数据中学习高级表示的RU L预测模型分支.最后,将各独立分支学习到的特征通过全连接层并联获得最终的RU L预测模型.通过滚动轴承加速退化实验的数据,验证了所提网络的有效性并与现有的一些改进算法进行了对比实验.结果表明,面对原始多传感器数据,该算法能够自适应地提供准确的RU L预测结果,且预测表现优于现有一些预测方法.     

注意力ConvLSTM模型在RUL预测中的应用

预测性维护的应用能够极大地降低企业运维成本,而设备剩余使用寿命(Remaining Useful Life,RUL)预测是预测性维护的关键技术之一.针对传统RUL预测算法难以提取时序数据的潜藏特征以及特征权重分配不合理的问题,本文提出一种基于注意力机制(Attention Mechanism)的卷积长短时记忆(Convolution Long-Short Term Memory,ConvLSTM)预测模型,该模型充分利用LSTM网络处理和预测长期时间序列的优势,并引入注意力机制对产生显著影响的特征因子提高权重,极大地优化了模型的时空特征提取能力.为验证模型预测效果,本文以NASA提供的CMAPSS数据集为对象进行实验,以均方根误差(Root Mean Squared Error,RMSE)和数据集自定义的Score为评价指标,将预测结果与其他RUL预测算法作比对,证明了该模型具有更佳的预测准确性.     

基于深度视觉注意神经网络的端到端自动驾驶模型

针对现有端到端自动驾驶方法中存在的驾驶指令预测不准确、模型结构体量大和信息冗余多等问题,提出一种新的基于深度视觉注意神经网络的端到端自动驾驶模型。为了更有效地提取自动驾驶场景的特征,在端到端自动驾驶模型中引入视觉注意力机制,将卷积神经网络、视觉注意层和长短期记忆网络进行融合,提出一种深度视觉注意神经网络。该网络模型能够有效提取驾驶场景图像的空间特征和时间特征,并关注重要信息且减少信息冗余,实现用前向摄像机输入的序列图像来预测驾驶指令的端到端自动驾驶。利用模拟驾驶环境的数据进行训练和测试,该模型在乡村路、高速路、隧道和山路四个场景中对方向盘转向角预测的均方根误差分别为0.009 14、0.009 48、0.002 89和0.010 78,均低于对比用的英伟达公司提出的方法和基于深度级联神经网络的方法;并且与未使用视觉注意力机制的网络相比,该模型具有更少的网络层数。     

自注意力机制和随机森林回归的视频摘要生成

是通过生成关键帧或片段来达到压缩视频的效果,能够在概括视频主要内容的基础上极大缩短观看时间,在视频快速浏览与检索领域应用广泛。现有方法大多只基于图像内容进行探索,忽略了视频具有时序的特点,且模型对波动数据学习能力较差,导致生成的摘要缺乏时间连贯性和代表性。提出了一个以编码器-解码器为框架的视频摘要网络。具体来说,编码部分由卷积神经网络提取特征,通过自注意力机制提升对关键特征的权重,而解码部分由融合了随机森林的双向长短期记忆网络构成,通过调整随机森林和双向长短期记忆网络在损失函数中所占比例,使模型具有较强的稳定性和预测准确率。实验在两个数据集上与其他七种方法进行了比较,综合实验结果证明了方法的有效性与可行性。提出了自注意力机制和随机森林回归的视频摘要网络,利用自注意力机制完成对特征的优化,将双向长短期记忆网络与随机森林结合,提升模型的稳定性与泛化性,有效降低损失值,使得生成的视频摘要更符合用户视觉特性。     

基于注意力机制的CNN-LSTM的ADS-B异常数据检测

广播式自动相关监视(ADS-B)是民航新一代空中交通管理系统的重要组成部分,由于协议没有数据加密和认证,导致容易受到数据攻击.为了准确检测ADS-B数据攻击,基于ADS-B数据的时序性,提出了一种基于注意力机制的卷积神经网络-长短期记忆网络(convolutional neural networks-long short-term memory, CNN-LSTM)异常数据检测模型.首先,利用CNN提取ADS-B数据的特征,然后以时序形式将特征向量输入到LSTM中,最后使用注意力机制进行网络参数优化,实现对ADS-B数据的预测,通过计算预测误差,来进行异常检测.实验表明,该模型能够很好地检测出模拟的4种类型的异常数据,与其他机器学习方法相比,具有更高的准确率和F1分数.