基于优化混合模型的航空发动机剩余寿命预测方法

针对航空发动机剩余使用寿命（RUL）预测方法没有同时加权不同时间步下的数据,包括原始数据和所提取的特征,导致RUL预测准确性较低的问题,提出了一种基于优化混合模型的RUL预测方法。首先,选用三种不同的路径提取特征：1）将原始数据的均值和趋势系数输入至全连接网络;2）将原始数据输入双向长短期记忆（Bi-LSTM）网络,并采用注意力机制处理得到的特征;3）使用注意力机制处理原始数据,并将加权特征输入至卷积神经网络（CNN）和Bi-LSTM网络中。然后,采用融合多路径特征预测的思想,将上述提取到的特征融合后输入至全连接网络获得RUL预测结果。最后,使用商用模块化航空推进系统仿真（C-MAPSS）数据集验证方法的有效性。实验结果显示,所提方法在4个数据集上均有较好的表现。以FD001数据集为例,所提方法的均方根误差（RMSE）比Bi-LSTM网络降低了9.01%。     

基于并联CNN-SE-Bi-LSTM的轴承剩余使用寿命预测

滚动轴承作为一种机械标准件,广泛应用于各类旋转机械设备,其健康状况对机器设备的正常运行至关重要,掌握其剩余使用寿命(RUL)可以更好地保证生产活动安全有效的进行.针对目前基于深度学习的机器RUL预测方法普遍存在:a)预测性能很大程度依赖手工特征设计;b)模型不能够充分提取数据中的有用特征;c)学习过程中没有明确考虑多传感器数据等缺点,提出了一种新的深度预测网络——并联多个带有压缩激励机制的卷积神经网络和双向长短期记忆网络集成网络(CNN-SE-Bi-LSTM),用于设备的RUL预测.在该预测网络中,不同传感器采集的监测数据直接作为预测网络的输入.然后,在改进的压缩激励卷积网络(CNN-SE-Net)提取空间特征的基础上进一步通过双向长短期记忆网络(Bi-LSTM)提取时序特征,建立起多个独立的可以自动从输入数据中学习高级表示的RU L预测模型分支.最后,将各独立分支学习到的特征通过全连接层并联获得最终的RU L预测模型.通过滚动轴承加速退化实验的数据,验证了所提网络的有效性并与现有的一些改进算法进行了对比实验.结果表明,面对原始多传感器数据,该算法能够自适应地提供准确的RU L预测结果,且预测表现优于现有一些预测方法.     

基于CNN与双向LSTM的行为识别算法

针对传统行为识别依赖手工提取特征,智能化程度不高,识别精度低的问题,提出一种基于3D骨骼数据的卷积神经网络(CNN)与双向长短期记忆网络(Bi-LSTM)的混合模型。使用3D骨骼数据作为网络输入,CNN提取每个时间步的3D输入数据间的空间特征,Bi-LSTM更深层地提取3D数据序列的时间特征。该混合模型自动提取特征完成分类,实现骨骼数据到识别结果的端对端学习。在UTKinect-Action3D标准数据集上,模型的识别率达到97.5%,在自制Kinect数据集上的准确率达到98.6%,实验结果表明,该网络有效提高了分类准确率,具备可用性和有效性。     

基于改进SAE和双向LSTM的滚动轴承RUL预测方法

针对稀疏自动编码器(Sparse auto encoder, SAE)采用sigmoid激活函数容易造成梯度消失的问题, 用一种新的Tan函数替代原有的sigmoid函数; 针对SAE采用Kullback-Leibler (KL) 散度进行稀疏性约束在回归预测方面的局限性, 以dropout机制替代KL散度实现网络的稀疏性. 利用改进SAE对滚动轴承振动信号进行无监督深层特征自适应提取, 无需人工设计标签进行有监督微调. 同时, 考虑到滚动轴承剩余使用寿命(Remaining useful life, RUL)预测方法一般仅考虑过去信息而忽略未来信息, 引入双向长短时记忆网络(Bi-directional long short-term memory, Bi-LSTM)构建滚动轴承RUL的预测模型. 在2个轴承数据集上的实验结果均表明, 所提基于改进SAE和Bi-LSTM的滚动轴承RUL预测方法不仅可以提高模型的收敛速度而且具有较低的预测误差.     

基于双向时间深度卷积网络的中文文本情感分类

普通时间卷积网络对文本进行单向特征提取不能充分捕捉文本特征,对文本的分析能力较弱。提出一种基于双向时间卷积网络(Bi-TCN)的情感分析模型。模型使用单向多层空洞因果卷积结构分别对文本进行前向和后向特征提取,将两个方向的序列特征融合后进行情感分类。研究并分析模型中卷积层数、卷积核大小和空洞因子三个参数对情感分类结果的影响。实验证明,与单向时间卷积网络情感分析模型相比,双向时间卷积网络模型在四个中文情感分析数据集上的准确率分别提高了2.5%、0.25%、2.33%和2.5%。     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

基于改进CNN-LSTM的剩余使用寿命预测方法

机电设备的寿命预测是状态维修中的一项重要任务.剩余使用寿命(RUL)预测不仅可以有效地防止机械装备发生突发性故障,而且可以最大限度地利用装备的工作能力、减少维修成本.为了更好地预测多工况条件下的设备RUL,提出一种基于卷积神经网络(CNN)联合长短时记忆(LSTM)网络的寿命预测模型.通过变窗口取样获得不同长度的时间序列,基于深度学习方法来发现传感器时序信号与RUL之间的隐藏关系,在训练过程中引入带有热重启的随机梯度下降(SGDR)学习率设定策略,通过感官融合层将子网络的输出特征融合并导入到逻辑回归分类器获得RUL.最后,基于发动机退化仿真数据集进行了有效性验证,表明所提方法在预测精度方面具有明显优势.     

基于CNN_BiLSTM网络的入侵检测方法

网络攻击事件频发,正确高效地检测攻击行为对网络安全至关重要.该方法基于一维卷积神经网络和双向长短期记忆网络引入自注意力机制来检测恶意行为.首先借助随机森林来选择重要的特征作为模型输入以减少输入数据的冗余问题,之后利用一维卷积神经网络和双向长短期记忆网络分别提取空间特征和时间特征,将二者提取的特征"并联"得到融合特征,为...     

基于改进的自注意力长短期记忆网络的传感器故障预检测方法

针对传感器故障检测方法对早期微弱故障信息不敏感以及抗异常值干扰能力差的问题,提出了一种基于因果卷积改进的自注意力长短期记忆网络(CCALSTM)模型和Shapiro-Wilk检验与阈值比较法相结合的故障预检测方法.首先在长短期记忆网络(LSTM)模型中引入基于因果卷积的自注意力机制,以提取局部信息特征,减少异常值对预测精度的影响;然后将预测结果与测量值进行残差计算,并利用滑动窗口选取合适长度的残差序列;最后将残差序列通过Shapiro-Wilk检验和阈值比较法相结合的故障检测方法进行故障预检测.通过传感器原始数据进行仿真实验,并与支持向量机(SVM)、误差反向传播网络(BP)、双向长短期记忆网络(Bi-LSTM)等常见预测模型进行对比,结果表明CCALSTM模型取得了更高的预测精度结果,且具有更高的鲁棒性;同时,所提出的故障预检测方法表现出对传感器早期微弱故障敏感,能够在故障潜伏期及时检测出故障.     

融合统计方法和双向卷积LSTM的多维时序数据异常检测

通过数据分析进行异常检测,有助于准确识别异常行为,从而提高服务质量和决策能力。然而,由于多维时序数据的时空依赖性以及异常事件发生的随机性,现有方法仍然存在一定的局限性。针对上述问题,提出一种融合新型统计方法和双向卷积LSTM的多维时序数据异常检测方法MBCLE。该方法引入堆叠的中值滤波处理输入数据中的点异常并平滑数据波动;设计双向卷积长短期记忆网络（Bi-ConvLSTM）和双向长短期记忆网络（Bi-LSTM）相结合的预测器进行数据建模和预测;通过双向循环指数加权移动平均（BrEWMA）平滑预测误差;使用动态阈值方法计算阈值以检测上下文异常。实验结果表明,MBCLE具有良好的检测性能,各步骤均对性能提升有所贡献。     

A novel deep convolutional neural network-bootstrap integrated method for RUL prediction of rolling bearing

In this study, a novel deep convolutional neural network-bootstrap-based integrated prognostic approach for the remaining useful life (RUL) prediction of rolling bearing is developed. The proposed architecture includes two main parts: 1) a deep convolutional neural network–multilayer perceptron (i.e., DCNN–MLP) dual network is utilized to simultaneously extract informative representations hidden in both time series-based and image-based features and to predict the RUL of bearings, and 2) the proposed dual network is embedded into the bootstrap-based implementation framework to quantify the RUL prediction interval. Unlike other deep-learning-based prognostic approaches, the proposed DCNN-bootstrap integrated method has two innovative features: 1) both 1D time series-based and 2D image-based features of bearings, which can multi-dimensionally characterize the degradation of bearings, are comprehensively leveraged by the proposed dual network, and 2) the RUL prediction interval can be effectively quantified without relying on the bearing’s physical or statistical prior information based on bootstrap implementation paradigm. The proposed approach is experimentally validated with two case studies on rolling element bearings, and comparisons with other state-of-the-art techniques are also presented. Subsequently, our code will be open sourced.     

Remaining useful life prediction of bearing based on stacked autoencoder and recurrent neural network

Remaining Useful Life (RUL) prediction play a crucial part in bearing maintenance, which directly affects the production efficiency and safety of equipment. Moreover, the accuracy of the prediction model is constrained by the feature extraction process and full life data of bearings. In this paper, the life prediction method of faulty rolling bearing with limited data is presented including degradation state model and RUL prediction model. In order to obtain health indication (HI) without human interference in the degradation state modeling stage, the bottleneck structure of Stacked Autoencoder (SAE) is utilized to fuse the four selected features into one HI using Intelligent Maintenance Systems (IMS) bearing dataset as training sample. In RUL prediction model, the Long Short-Term Memory (LSTM) neural network is carried out to establish the model with Standard deviation (Std) input and HI training label. In order to solve the problem of large training error caused by insufficient data in the failure stage of bearing acceleration test, the third-order spline curve interpolation is utilized to enhance the data points. Through parameter analysis, the RMSE and MAE of the test set on the prediction model are 0.032582 and 0.024038, respectively. Furthermore, the effectiveness of the proposed method is further validated by dataset from Case Western Reserve University (CWRU) with different bearing fault degrees. The analysis indicates that the RUL prediction of bearing fault data is consistent with the size of artificial added faults, that is,the more severe the fault the shorter the time of remaining life. The results validate that the proposed method can effectively extract the bearing health state by incorporating feature fusion and establish accurately prediction model for bearing remaining life.     

A new convolutional dual-channel Transformer network with time window concatenation for remaining useful life prediction of rolling bearings

Deep learning has achieved numerous breakthroughs in bearing predicting remaining useful life (RUL). However, the current mainstream deep learning framework inevitably has flaws, including the disadvantage of the small receptive field, the difficulty of learning long-term dependencies and the singularity of feature extraction domains, etc. Given the challenges mentioned above, we propose a new convolutional dual-channel Transformer network (CDCT) for remaining useful life prediction of rolling bearings. In the CDCT, the causal convolution operation is applied to extract local features from the time and frequency domains and add positional encoding to the input signal, while the transformer block is utilized for extracting bidirectional features and fusing them. The CDCT not only has a global receptive field but also can learn long-term dependencies regardless of sequence length. Besides, the time window concatenation is adopted to ameliorate the problem of large amounts of trainable parameters of the Transformer-based models. In the experiments, we conduct a detailed analysis of each crucial element and hyperparameter of the CDCT and compare it to multiple basic and advanced methods. The experimental results highlight the superiority of the CDCT in bearing RUL prediction and demonstrate the effectiveness of crucial elements in the CDCT.     

基于并行双通道时空网络的流量数据修复技术

流量数据丢失是网络系统中常见的问题, 通常由传感器故障、传输错误和存储丢失引起. 现有的数据修复方法无法学习流量数据的多维特征, 因此本文提出了一种结合双向长短期记忆网络与多尺度卷积网络的双通道并行架构(ST-MFCN)用于填补流量数据的缺失值, 同时设计了一种新的对抗性损失函数进一步提高预测精度, 该模型有效地学习流量数据的时间特征和动态空间特征. 本文在Web traffic time series数据集上对模型进行测试, 并与现有的修复方法进行对比, 实验结果表明, ST-MFCN能够减少数据恢复的误差, 提升了数据修复的精确度, 为网络系统中的流量数据修复提供了一种稳健高效的解决方案.     

基于遗传算法选优的集成手段与时序卷积网络的涡扇发动机剩余寿命预测

涡扇发动机作为航空航天领域的核心设备之一,其健康状况决定了航空器能否稳定可靠地运行。而对涡扇发动机的剩余寿命（RUL）进行判断,是设备监测与维护的重要一环。针对涡扇发动机监测过程中存在的工况复杂、监测数据多样、时间跨度长等特点,提出了一种遗传算法优选时序卷积网络（TCN）基模型的集成方法（GASEN-TCN）的涡扇发动机剩余寿命预测模型。首先,利用TCN捕获长跨度下的数据内在关系,从而对RUL作出预测;然后,应用GASEN集成多个独立的TCN,以增强模型的泛化性能;最后,在通用的商用模块化航空推进系统模拟模型（C-MAPSS）数据集上,对所提模型与当下流行的机器学习方法和其他的深度神经网络进行了比较。实验结果表明,在多种不同的运行模式和故障条件下,与流行的双向长短期记忆（Bi-LSTM）网络相比,所提模型都有着更高的预测准确率与更低的预测误差。以FD001数据集为例,在该数据集上所提模型的均方根误差（RMSE）相较Bi-LSTM低17.08%,相对准确率（Accuracy）相较Bi-LSTM高12.16%。所提模型在设备的智能检修与维护方面有着较好的应用前景。