基于注意力模型的多传感器人类活动识别

深度循环神经网络适用于处理时间序列数据, 然而循环神经网络特征提取能力差, 时间依赖关系挖掘不足。针对此问题, 提出了3种注意力机制和长短时记忆(LSTM)神经网络结合的模型用于人类活动识别问题, 并研究了3种注意力机制在不同数据集上单独及配合使用时对模型精度的影响。对于UCI_HAR数据集, 3种注意力LSTM模型准确率分别为94.13%、95.15%和94.81%,高于LSTM模型识别准确率93.2%。此外, 针对人类活动识别的传感器时间序列数据的标签特点, 提出将时间段分类任务转化为分割任务, 设计了2个基于分割任务的注意力门控循环单元(GRU)神经网络模型, Bahdanau注意力GRU模型在Skoda数据集和机会(Oppor)数据集准确率为84.61%和89.54%, 高于基准UNet模型的70.40%和88.51%。     

基于EMD和时序注意力机制的明渠流量预测模型

为了预防煤矿水害事故的发生,本文提出将经验模态分解(EMD)算法与时序注意力机制(TA-LSTM)结合的明渠流量预测模型,通过对明渠流量的实时预测来反映矿井涌水量的变化情况.模型首先通过EMD将明渠流量分解为多维子分量,充分提取明渠流量本身的波动特征和趋势特征;然后以长短时记忆网络(LSTM)为基础,融入注意力机制增强...     

基于知识增强与注意力机制的双通道图像描述研究

图像描述方法中在信息输入时只将图像作为输入,在端到端训练过程中,内部参数变化难以获取,很有可能造成错误.为进一步减小图像描述的不确定性,在图像描述任务中应用知识增强方法,即在输入端输入图像中的主题信息,将图像描述的范围确定化.提出了一种新的双通道图像描述架构,该架构包括主题通道与图像通道两部分,主题通道提取语义信息,并...     

基于BiLSTM与注意力机制的剩余使用寿命预测研究

剩余使用寿命(remaining useful life,RUL)预测在现代工业中占有重要地位,如何提高剩余使用寿命预测的准确性已经成为当今研究的热点.传统的剩余使用寿命预测方式是采用基于模型的方法进行预测,需要人工提取特征,不能自动地学习特征信息,无法获得原始数据与剩余使用寿命之间的复杂映射关系.该研究提出一种基于双...     

基于山东省不同模型的物流需求预测比较研究

目的 过对不同预测方法的误差对比研究,选取预测生鲜农产品物流需求量更精准方法,为疫情情况下山东省生鲜农产品市场进行科学性、合理化决策提供参考。方法 公路货物周转量、互联网普及率、GDP、人口数量、第一产业增加值等十大影响因素作为自变量,以生鲜农产品的需求量作为因变量,分别将小波神经网络、人工神经网络(BP)、遗传算法优化神经网络(GA−BP)、粒子群优化神经网络(PSO−BP)、长短时记忆网络(LSTM)等5种方法的数据预测进行对比分析。结果 波神经网络和BP神经网络的预测值明显低于真实值,且平均相对误差接近20%,而优化后的GA−BP、PSO−BP、LSTM算法误差均小于5%,分别为4.06%、1.162%、0.45%,因此,LSTM预测精度最高,效果最好。结论 来山东省的生鲜农产品需求量将持续增长,LSTM算法以其精确度更高,学习能力更强的优点,将会被更多地应用到物流领域研究中。     

基于ARN和BiLSTM的轴承剩余寿命预测方法

针对深度学习方法进行轴承剩余使用寿命(Remaining Useful Life,RUL)预测时出现的网络退化和噪声信号干扰问题,提出一种基于注意力残差降噪模型(Attention and Residual Network,ARN)和双向长短时记忆网络(Bidirectional Long-Short-Term Memory network,BiLSTM)的轴承剩余使用寿命预测方法。ARN融合了卷积注意力机制(Convolution Block Attention Module,CBAM)和残差网络,利用通道和空间双维度注意力降低噪声特征的权重,结合软阈值函数进行降噪处理,能够同时提取到更多全局和局部的振动特征来构建健康指标(Health Indicator,HI)。以健康指标作为输入,通过BiLSTM网络映射得到RUL预测值。在IEEE PHM 2012轴承数据集上进行所提方法与其他健康指标构建模型和RUL预测模型的对比实验,结果表明在6种不同信噪比下(-5、-3、-1、1、3、5 dB),所提方法的抗噪能力最强,预测误差最小。     

SA-GA-CNN-LSTM新型冷暖系统负荷预测方法研究

为提高预测精度,给新型相变储能供冷供暖系统提供准确的储能参考,结合该系统的特点,提出新的负荷预测方法。该方法先对数据进行模糊C均值聚类,然后将聚类结果分别传入由遗传算法（genetic algorithm, GA）、自注意力机制（self-attention, SA）和卷积长短时记忆神经网络（CNN-LSTM）相结合的模型进行预测。采用北京昌平某变电所的相变储能冷暖系统的实测数据进行训练并确定了该预测模型,最后用该模型进行负荷预测,预测数据和实测数据对比,证明了该模型的有效性。与单一神经网络模型CNN、LSTM和混合神经网络模型CNN-LSTM、GA-CNNLSTM相比,所提出的SA-GA-CNN-LSTM神经网络模型的预测精度最高。在平均绝对误差（MAPE）指标下,比表现较好的单一神经网络模型LSTM误差降低2.32%,比混合神经网络模型CNN-LSTM误差降低1.49%。     

基于BiLSTM与注意力机制的剩余使用寿命预测研究EI北大核心CSCD

剩余使用寿命(remaining useful life,RUL)预测在现代工业中占有重要地位,如何提高剩余使用寿命预测的准确性已经成为当今研究的热点。传统的剩余使用寿命预测方式是采用基于模型的方法进行预测,需要人工提取特征,不能自动地学习特征信息,无法获得原始数据与剩余使用寿命之间的复杂映射关系。该研究提出一种基于双向长短期记忆网络(bi-directional long short term memory,BiLSTM)与注意力机制的剩余使用寿命预测模型,与已有的剩余使用寿命预测方法不同之处在于:直接将获取的原始时间序列输入到BiLSTM神经网络中,通过BiLSTM自动地提取设备状态特征信息;然后利用注意力机制对特征分配不同的权重,这样可以更准确地提取设备的健康状态信息。进行了发动机和轴承剩余使用寿命预测试验,并与长短期记忆网络(long short-term memory,LSTM)模型和BiLSTM剩余使用寿命预测模型进行比较,试验结果表明提出的BiLSTM与注意力机制相结合的模型能够更准确地进行剩余使用寿命预测,具有应用价值。     

基于注意力机制的结肠癌病理学图像识别研究

结肠癌的鉴别在医学诊断中具有重要意义.实时、客观、准确的检查结果有利于医疗人员及时对症治疗.然而,现有的方法严重依赖专业医师对病理图像进行手工特征提取和分析,不仅检测周期较长,检测结果会存在不同程度的误差.据此,本文提出了一种基于注意力机制的卷积神经网络识别结肠癌的组织病理学图像.该网络采用轻量化的卷积网络结构,并嵌入...     

基于3D和1D多特征融合的语音情感识别算法

针对语音情感识别任务中特征提取单一、分类准确率低等问题,提出一种3D和1D多特征融合的情感识别方法,对特征提取算法进行改进.在3D网络,综合考虑空间特征学习和时间依赖性构造,利用双线性卷积神经网络(Bilinear Convolutional Neural Network,BCNN)提取空间特征,长短期记忆网络(Sho...     

基于DBLSTM-DCNN的骨导和气导语音转换

为了解决人们在强噪声环境下,通过空气途径传递的语音信号会严重失真的问题,提出了一种基于深层双向长短期记忆-深度卷积神经网络(Deep Bidirectional Long and Short Term Memory-Deep Convolutional Neural Network,DBLSTM-DCNN)的骨导语音转...     

基于注意力BiGRU的机械故障诊断方法研究

为了解决机械故障诊断领域传统方法自适应性差、参数选择过于依赖人工的问题,提出了一种基于循环神经网络的机械故障诊断算法.该方法利用预处理后的机械振动信号,搭建了双向门控循环单元的故障诊断模型,并进行了基于注意力机制的模型优化,提高了特征提取效率.经过美国凯斯西储大学轴承数据集以及自采集的柴油机故障实验数据验证,相比于传统...     

融合注意力机制和语义关联性的多标签图像分类

卷积神经网络在单标签图像分类中表现出了良好的性能,但是,如何将其更好地应用到多标签图像分类仍然是一项重要的挑战。本文提出一种基于卷积神经网络并融合注意力机制和语义关联性的多标签图像分类方法。首先,利用卷积神经网络来提取特征;其次,利用注意力机制将数据集中的每个标签类别和输出特征图中的每个通道进行对应;最后,利用监督学习的方式学习通道之间的关联性,也就是学习标签之间的关联性。实验结果表明,本文方法可以有效地学习标签之间语义关联性,并提升多标签图像分类效果。     

基于IVMD-RPE的船舶噪声信号去噪及特征提取方法

针对由于复杂环境条件下的船舶噪声信号识别度低的问题,提出了一种改进的变分模式分解(Improved Variational Mode Decomposition,IVMD)、反向排列熵(Reverse Permutation Entropy,RPE)、加权排列熵(Weighted Permutation Entropy,WPE)和能量比相结合的船舶噪声信号识别分类方法。该方法利用IVMD将信号分解为若干本征模态函数(Intrinsic Mode Function,IMF);再利用RPE对IMF进行筛选,得到敏感IMF,实现去噪过程;最后计算IMF的WPE并与各个IMF的能量比构建特征向量,建立长短期记忆网络(Long Short-Term Memory,LSTM)进行识别分类。实验结果表明,与经验模态分解相比,文中提出的基于IVMD-RPE的船舶噪声信号去噪及特征提取方法能有效减少环境噪声的影响,提高信噪比,对船舶噪声目标信号识别分类的准确率更高。     

注意力机制对生成对抗网络语音增强迁移学习模型的影响

基于深度学习的语音增强模型对训练集外语言语音和噪声进行降噪时,性能明显下降.为了解决这一问题,提出一种引入注意力机制的生成对抗网络(Generative Adversarial Network,GAN)语音增强迁移学习模型.在生成对抗语音增强模型的判别模型中引入注意力机制,以高资源场景下的大量语音数据训练得到的语音增强...     

基于自身注意力时空特征的语音情感识别算法

针对语音情感识别中无法对关键的时空依赖关系进行建模,导致识别率低的问题,提出一种基于自身注意力(self-attention)时空特征的语音情感识别算法,利用双线性卷积神经网络、长短期记忆网络和多组注意力(multi-head attention)机制去自动学习语音信号的最佳时空表征.首先提取语音信号的对数梅尔(log...     

Dislocation theory based short crack model and its application for aircraft aluminum alloys

This paper presents a study on dislocation theory based short/small crack modeling, and its application for short crack growth life analysis on 2024-T351 aluminum specimens. The dislocation theory was applied to determine the crack tip opening displacement (CTOD) of a microstructurally short crack by taking into account the effects of microstructural features, such as grain size, orientation, and grain boundary. The CTOD was then used as the parameter for calculating the short crack growth rate. In this work, an existing CTOD model was modified for estimating the short crack life of 2024-T351 single edge notch tension (SENT) specimens, which were tested in an Advisory Group for Aerospace Research and Development (AGARD) program [Newman JC, Edward PR. Short-crack growth behavior in an aluminum alloy: an AGARD cooperative test programme. AGARD-R-732, NATO, Advisory Group for Aerospace Research and Development; 1988]. The analytical results matched the test results reasonably well.