基于多尺度特征与注意力机制的轴承寿命预测

针对以往剩余使用寿命（RUL）预测方法对轴承退化信息挖掘不充分、忽视不同特征贡献度差异,影响预测准确性的问题,提出基于多尺度特征与注意力机制的轴承RUL预测方法. 在多个尺度下计算轴承原始振动信号的若干时域和频域特征,作为输入特征集. 将多尺度特征集输入到网络中,以注意力模块为不同特征自适应地分配最佳权重,以卷积神经网络（CNN）模块进行深层特征提取与多尺度特征融合,通过前馈神经网络（FNN）模块映射得到RUL预测值. 通过公开的轴承数据集进行实验验证,与其他RUL预测方法相比,所提方法的预测性能更优越.     

基于卷积神经网络和双向长短期记忆的稳定抗噪声滚动轴承故障诊断

针对滚动轴承在噪声环境条件下故障诊断模型准确率较低和性能不稳定的问题,本文提出了一种稳定抗噪声故障诊断神经网络(SAFDNN)模型.该模型采用原始振动数据信号作为输入,首先使用卷积神经网络(CNN)进行数据信号特征提取,然后利用双向长短期记忆(BiLSTM)充分提取数据信号的序列特征,接着添加注意力机制进行特征融合以自...     

基于CNN-BiLSTM网络引入注意力模型的文本情感分析

为了解决单一卷积神经网络（CNN）缺乏利用文本上下文信息的能力和简单循环神经网络（RNN）无法解决长时依赖的问题,提出CNN-BiLSTM网络引入注意力模型的文本情感分析方法。首先利用CNN的特征强学习能力提取局部特征,再利用双向长短时记忆网络（BiLSTM）提取上下文相关特征的能力进行深度学习,最后,增加注意力层获取重要特征,使模型提取到有效的特征。在IMDB数据集上Accuracy值和均方根误差（RMSE）值分别达到90.34%和0.296 7,在Twitter数据集上Accuracy值和RMSE值分别达到76.90%、0.417 4,且模型时间代价小。结果表明,本文提出的模型有效提升了文本分类的准确率。     

一种改进的CNN-BiLSTM心律失常分类方法

基于一维心电信号,提出了一种改进的卷积双向长短时记忆网络以实现心律失常的自动分类。基于卷积神经网络（CNN）及其注意力机制提取关键特征,搭建双向长短时记忆网络（BiLSTM）挖掘心电信号的时间相关性,最终实现心电信号的自动分类。在MIT-BIH心律失常数据集上进行的实验结果表明,该方法在获得总体精度99.32%的基础上,实现了稀有类别分类的提升,其S与F类分类精确度分别提升了1.02%和10.07%,召回率分别提升了12.52%和4.25%,满足心律失常自动分类的检测要求。     

基于BiLSTM-SA-TCN时间序列模型在股票预测中的应用

针对股票预测模型存在时效性和预测功能单一化的问题，本文在长短期记忆网络（LSTM）的基础上，提出了融合自注意力机制（SA）和时间卷积网络（TCN）的双向长短期记忆（BiLSTM）神经网络（BiLSTM-SA-TCN）股票预测模型.BiLSTM-SA-TCN模型中的学习单元和预测单元可以有效学习重要的股票数据，同时能够抓取长时间的依赖信息，输出次日股票收盘价预测值.实验结果表明，BiLSTM-SA-TCN模型在多个数据集上的预测结果更加稳定，模型泛化能力较高，在对比实验中，BiLSTM-SA-TCN模型在大部分数据集上均方根误差最小，平均绝对值误差最小，拟合度R²最优.     

基于EEMD-CNN-GRU的短期风向预测

为了提高短期风向的预测精度,提出一种基于集合经验模态分解（Ensemble Empirical Mode Decomposition,EEMD）、卷积神经网络（Convolutional Neural Network,CNN）和门控循环单元网络（Gated Recurrent Unit,GRU）的混合模型：EEMD-CNN-GRU.针对风向序列的随机性和不平稳性等特点,先利用EEMD将数据分解成多个分量;再运用CNN的局部连接和权值共享来提取分量中的潜在特征;最后,使用GRU对CNN所提取的潜在特征进一步构建特征,叠加各分量的预测值,得到最终预测结果.实验结果表明：相对于BP神经网络和长短期记忆网络（Long Short-Term Memory,LSTM）等其他模型,本文所提出的预测方法取得了良好的性能.     

改进的CNN-LSTM轴承故障诊断方法

为了克服卷积神经网络(Convolutional Neural Network, CNN)轴承故障诊断方法特征提取过程困难以及难以捕获时间序列数据之间的长期依赖关系的问题,提出一种改进的卷积-长短时记忆网络(Convolutional Neural Network-Long and Short Term Memory, CNN-LSTM)滚动轴承故障诊断方法。将二维轴承加速度振动信号输入CNN提取局部特征,再将轴承特征信息加载到LSTM长期记忆单元中,引入遗忘机制提取时序数据的全局特征。利用轴承振动信号的局部深层特征和全局时序特征,学习不同区间长度的序列特征,从而提高故障诊断精度。实验结果表明,该方法可用于轴承故障诊断,且具有较高的分类精度和较强的稳定性。     

基于CNN-ResNet-LSTM模型的城市短时交通流量预测算法

针对交通流量特性和外部因素对交通流量预测结果的影响,提出了一种对城市短时交通流量预测的模型CNN-ResNet-LSTM,将卷积神经网络（CNN）、残差神经单元（ResNet）和长短期记忆循环神经网络（LSTM）集成到一个端到端的网络框架.利用卷积神经网络来捕获城市区域间交通流量的局部空间特征,并在卷积神经网络中加入多个残差神经单元来加深网络深度,可提高预测的准确性;利用长短期记忆循环神经网络来捕获交通流量数据的时间特征;利用相应的权重将2个网络的输出结果融合,得到通过轨迹数据预测的结果;最后与外部因素融合,得到城市区域的交通流量预测值.用北京市轨迹交通数据对该模型进行验证,CNN-ResNet-LSTM模型不仅在准确率方面比传统模型高,而且在保证预测准确率的情况下,模型使用的参数也少.     

基于TBA融合模型的股票指数预测

由于股票市场的波动性和复杂性特点，股指预测一直是金融预测研究中的难点．长短期记忆（long short-term memory, LSTM）网络模型常用于金融指数的预测中，但该模型在长时间序列上易导致数据信息利用不充分．利用双向长短期记忆（bidirectional LSTM, BiLSTM）网络模型、时间卷积网络（temporal convolutional network, TCN）和注意力机制协同提高了模型识别以及提炼长时间序列数据特征的能力，构建一种新型股指预测融合模型TCN-BiLSTM-attention（简称TBA模型）．以中国境内近30年的公开股指数据集为例，将TBA模型与目前金融类主流的机器学习、神经网络预测算法以及kaggle竞赛排行前列的模型在上证指数、沪深300指数与创业板指数进行预测对比和消融实验．结果显示，相较于对照实验组的平均预测误差，TBA模型有明显降低且表现稳定，兼具准确性与鲁棒性．研究结果可广泛用于基于时间序列的多种金融预测场景．     

基于误差修正的极端天气下风速预测

精确地预测极端天气下的风速能为配电网防灾抗灾提供重要的指导作用.本文提出基于时间卷积网络(Temporal Convolutional Network, TCN)与双向长短期记忆网络(Bi-directional Long Short-Term Memory, BiLSTM)和误差修正的组合模型对极端天气下的风速进行预测.首先对天气数据进行预处理,用TCN提取多特征数据的时间序列特性,将提取信息输入到BiLSTM中进行风速预测.为进一步提高预测精度,引入变分模态分解(Variational Mode Decomposition, VMD)对误差序列进行分解,分别对分解后的误差子序列构建BiLSTM模型进行误差预测,用误差预测值对风速预测值进行误差修正.结合河南省某地实测天气数据进行实验,仿真结果验证了所提方法能有效预测风速,并在极端天气发生时,对风速具有较高的预测精度.     

基于CNN-A-BiLSTM的太阳辐照度中长期预测

由于影响太阳辐照度变化的因素呈现随机特征,传统方法中产生的太阳辐照度中长期预测误差较大,因此提出一种基于CNN-A-BiLSTM的太阳辐照度中长期预测模型.该混合模型通过残差卷积神经网络提取时间特征,采用双向长短期记忆网络进行时序预测,同时融合注意力机制对时间步加权,增强特征选择.对宁夏回族自治区14个地区近10年的天...     

基于注意力机制的CNN-LSTM短期电力负荷预测方法

精准的短期电力负荷预测可以保障电力系统的安全可靠、经济高效运行,传统预测方法无法满足高精度的负荷预测要求,而机器学习算法的广泛应用为短期负荷预测的精确方案.提出了一种基于注意力(At-tention)机制的卷积神经网络(Convolutional Neural Network,CNN)-长短期记忆网络(Long Sho...     

基于多尺度分解和深度学习的锂电池寿命预测

针对目前的剩余寿命预测（RUL）方法存在模型适应性差及预测不准确等问题,提出多尺度深度神经网络的锂电池健康退化预测模型. 通过经验模态分解（EEMD）方法和相关性分析（CA）,将采集到的锂电池能量数据分解为主趋势数据和波动数据;采用深度置信网络（DBN）和长短期记忆网络（LSTM）,分别对主趋势与波动数据进行建模;将DBN与LSTM预测结果进行有效集成,得到锂电池的健康预测结果. 实验结果表明,利用该方法能够有效地对锂电池的健康趋势进行拟合,得到准确的RUL预测结果,性能优于其他典型的预测方法.     

Local-STCANet:基于局部注意力网络的视频动作识别

通道、空间和时间信息是视频动作识别的3种互补且关键的信息类型。现有的2D CNN方法计算成本低,但对于时空信息的捕获相对不足;3D CNN方法可以实现良好的性能,但计算量较大。针对上述问题,提出一个可以嵌入到2D CNN中通用且有效的局部时空通道注意力(Local-STCA)模块来进行人体动作识别。Local-STCA模块由局部通道注意力(LCA)和局部时空注意力(LSTA)组成,LCA在时序上利用对通道之间的相关性进行显示的建模来校准通道特征,LSTA采用两个单通道3D卷积层和混合空洞卷积来提取多尺度时空特征。由主干网络(ResNet50+BiLSTM)和Local-STCA模块组成局部注意力网络(Local-STCANet),在数据集UCF-101上进行大量的实验。实验结果表明,Local-STCANet在主干网上略微增加计算量的同时比其他2D CNN方法以及注意力模型具有更高的精度。     

基于GA-CNN-LSTM模型的文本情感分析方法研究

为了克服传统神经网络不能学习文本长期信息的缺点和神经网络中梯度下降法容易陷入的局部最优问题,提出基于遗传算法(GA)、卷积神经网络(CNN)和长短期记忆神经网络(LSTM)相结合的文本情感分析模型GA-CNN-LSTM.具体来说,该模型首先利用卷积神经网络从全局信息中提取序列特征,之后使用长短期记忆神经网络分析句子的句法和语义结构,最后运用遗传算法从全局进行寻优,有效避免梯度下降法陷入的局部最优问题.在IMDB数据集上进行实验,结果表明,该模型相比于其他现有的网络模型,取得了更好的分类效果,精度比传统的长短期记忆神经网络提高了 1.8百分点,准确率达到了 0.906.     

基于EMD-CNN-LSTM混合模型的短期电力负荷预测

为了更有效地提取电力负荷数据中的潜藏特征与隐藏信息,提高电力负荷预测精度,针对负荷具有较强非线性、非平稳性和时序性特点,提出一种基于经验模态分解(empirical mode decomposition,EMD)、卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long...     

MCKD-Teager能量算子结合LSTM的滚动轴承故障诊断

为解决滚动轴承故障时产生的信号具有强背景噪声而导致弱周期冲击特征难提取,以及在对轴承故障模式进行智能诊断时一般的诊断模型对故障振动信号的时序特征识别效果不强这两大问题,提出一种基于最大相关峭度解卷积(MCKD)、Teager能量算子和长短期记忆网络(LSTM)的故障诊断方法。使用MCKD算法对滚动轴承振动信号进行降噪处理,提取出信号中被噪声掩盖的周期冲击特征,并利用Teager能量算子检测信号的瞬态冲击,得到Teager能量序列;将结果分为训练集和测试集,将训练集输入到建立的LSTM故障诊断模型中进行学习,不断更新网络参数并提取出时间维度的特征信息;将训练好参数的LSTM模型应用于测试集,输出故障诊断结果。实验结果表明,提出的方法以端到端模式可以一次性诊断多种类型、尺寸的故障,具有很高的识别精度,是一种可以有效利用强背景噪声信号中时序特征的故障诊断方法。     

基于SAE-VMD的锂离子电池健康因子提取方法

电池退化信号具有非平稳、非线性特性,为自适应提取能准确表达电池退化特性的健康因子(HI),提高锂离子电池剩余寿命(RUL)的预测精度,提出一种基于堆叠稀疏自编码(SAE)和变分模态分解(VMD)的HI构建方法。首先利用SAE深度神经网络对多个电池参数去噪、降维,提取出一个集中包含电池退化特性的融合HI;然后利用VMD将融合HI的全局衰减、局部再生和其他噪声3种模态进行有效分离,将被分离的3个分量作为电池HI,以此消除HI不同尺度上波动之间的相互干扰,提高RUL预测精度。锂离子电池RUL的预测结果表明,使用该方法所提HI得到的RUL预测精度最高,说明所提HI品质最高。     

基于DRSN-CW和LSTM的轴承故障诊断

利用深度残差网络中逐通道不同阈值的残差收缩模块(DRSN-CW)的降噪能力和特征提取能力,结合长短时记忆网络(LSTM)和注意力机制,设计了一个端到端的基于振动信号的轴承故障诊断模型DRSNCW-LSTM。其中,LSTM模块很好地利用了信号的时序特点,充分提取振动信号的内部时域特征。同时,注意力机制的引入可以使得模型自动提取出重要的时域特征用于后续的故障类型识别。在凯斯西储大学(CWRU)数据集上对提出的模型进行了测试,实验表明提出的方法在无降噪处理的情况下,相比于最新的MCNN-LSTM模型能更准确地诊断轴承故障。在训练数据不足的情况下,提出的方法依旧能较好地实现轴承故障诊断,平均准确率能达到98.16%,比MCNN-LSTM平均提升了2.62%。     

基于关系门控图卷积网络的方面级情感分析

在方面级情感分析任务中，现有方法难以有效利用句法关系类型且性能依赖依存解析的准确性，为此提出注意力增强的关系门控图卷积神经网络（ARGCN）模型.该模型将双向长短时记忆（BiLSTM）网络学习得到的句子顺序特征与依存概率矩阵相结合构建单词图；利用关系门控图卷积神经网络（RG-GCN）和注意力增强网络（AAN）分别从单词图和句子的顺序特征中获取方面词的情感特征；拼接RG-GCN和AAN的输出作为方面词最终的情感特征.在数据集SemEval 2014、 Twitter上进行对比实验和消融实验，结果表明ARGCN模型可以有效地利用关系类型，减小依存解析准确性对模型性能的影响，更好地建立方面词和意见词的联系，模型准确率优于所有基线模型.