基于ARN和BiLSTM的轴承剩余寿命预测方法

针对深度学习方法进行轴承剩余使用寿命(Remaining Useful Life,RUL)预测时出现的网络退化和噪声信号干扰问题,提出一种基于注意力残差降噪模型(Attention and Residual Network,ARN)和双向长短时记忆网络(Bidirectional Long-Short-Term Memory network,BiLSTM)的轴承剩余使用寿命预测方法。ARN融合了卷积注意力机制(Convolution Block Attention Module,CBAM)和残差网络,利用通道和空间双维度注意力降低噪声特征的权重,结合软阈值函数进行降噪处理,能够同时提取到更多全局和局部的振动特征来构建健康指标(Health Indicator,HI)。以健康指标作为输入,通过BiLSTM网络映射得到RUL预测值。在IEEE PHM 2012轴承数据集上进行所提方法与其他健康指标构建模型和RUL预测模型的对比实验,结果表明在6种不同信噪比下(-5、-3、-1、1、3、5 dB),所提方法的抗噪能力最强,预测误差最小。     

基于双注意力机制的MSCN-BiGRU的滚动轴承故障诊断方法

针对滚动轴承故障诊断模型在变工况和环境噪声干扰下诊断精度降低的问题,提出一种基于双注意力机制的多尺度卷积网络(dual attention and multi-scale convolutional networks, DAMSCN)与改进的双向门控循环单元(bidirectional gated recurrent unit, BiGRU)组成的故障诊断模型DAMSCN-BiGRU。首先,多尺度特征融合模块使用不同大小的卷积核,获得多种感受野,从而提取到轴承原始振动信号的多尺度特征信息,并根据重要性对其进行自适应融合,然后利用通道注意力和空间注意力组成的双注意力模块(dual attention module, DAM)对多尺度特征进行重新标定,分配注意力权重,削弱融合特征中的冗余特征;然后,增加注意力层和利用分段激活改进BiGRU进而挖掘信号的时域特征,以提高轴承故障诊断的性能;最后,通过Softmax层完成对不同故障的分类。试验结果表明,与其他智能诊断模型相比,DAMSCN-BiGRU在变工况环境下,平均诊断精度达到98.2%,在强噪声背景下仍然有着85.3%的准确率,且在不同程...     

基于注意力BiGRU的机械故障诊断方法研究

为了解决机械故障诊断领域传统方法自适应性差、参数选择过于依赖人工的问题,提出了一种基于循环神经网络的机械故障诊断算法。该方法利用预处理后的机械振动信号,搭建了双向门控循环单元的故障诊断模型,并进行了基于注意力机制的模型优化,提高了特征提取效率。经过美国凯斯西储大学轴承数据集以及自采集的柴油机故障实验数据验证,相比于传统神经网络算法提升了计算效率和诊断准确率,并表现出了良好的抗噪能力。结果表明,该方法可以有效适用于基于机械振动信号的故障诊断,具有一定的工程应用价值。     

基于BiLSTM与注意力机制的剩余使用寿命预测研究EI北大核心CSCD

剩余使用寿命(remaining useful life,RUL)预测在现代工业中占有重要地位,如何提高剩余使用寿命预测的准确性已经成为当今研究的热点。传统的剩余使用寿命预测方式是采用基于模型的方法进行预测,需要人工提取特征,不能自动地学习特征信息,无法获得原始数据与剩余使用寿命之间的复杂映射关系。该研究提出一种基于双向长短期记忆网络(bi-directional long short term memory,BiLSTM)与注意力机制的剩余使用寿命预测模型,与已有的剩余使用寿命预测方法不同之处在于:直接将获取的原始时间序列输入到BiLSTM神经网络中,通过BiLSTM自动地提取设备状态特征信息;然后利用注意力机制对特征分配不同的权重,这样可以更准确地提取设备的健康状态信息。进行了发动机和轴承剩余使用寿命预测试验,并与长短期记忆网络(long short-term memory,LSTM)模型和BiLSTM剩余使用寿命预测模型进行比较,试验结果表明提出的BiLSTM与注意力机制相结合的模型能够更准确地进行剩余使用寿命预测,具有应用价值。     

基于BiLSTM与注意力机制的剩余使用寿命预测研究

剩余使用寿命(remaining useful life,RUL)预测在现代工业中占有重要地位,如何提高剩余使用寿命预测的准确性已经成为当今研究的热点.传统的剩余使用寿命预测方式是采用基于模型的方法进行预测,需要人工提取特征,不能自动地学习特征信息,无法获得原始数据与剩余使用寿命之间的复杂映射关系.该研究提出一种基于双...     

基于注意力机制的结肠癌病理学图像识别研究

结肠癌的鉴别在医学诊断中具有重要意义.实时、客观、准确的检查结果有利于医疗人员及时对症治疗.然而,现有的方法严重依赖专业医师对病理图像进行手工特征提取和分析,不仅检测周期较长,检测结果会存在不同程度的误差.据此,本文提出了一种基于注意力机制的卷积神经网络识别结肠癌的组织病理学图像.该网络采用轻量化的卷积网络结构,并嵌入...     

基于特征金字塔的多尺度特征融合网络

特征金字塔网络（FPN）是CNN网络对图像信息进行表达输出的一种有效方法,在目标检测网络中广泛应用．然而,FPN没有充分地将浅层的细节信息传递到深层的语义特征,存在特征融合不足的缺陷,因而只能依靠深层语义信息来进行预测,从而忽略了网络低层细节信息,对各种视觉学习的效果造成了一定的影响．针对FPN存在的以上问题,本文提出基于特征金字塔的多尺度特征融合网络模型,在FPN主干网络的基础上,设计了混合特征金字塔和金字塔融合模块,并结合注意力机制,对特征金字塔进行了多尺度的深度融合．本文在PASCAL VOC2012和MS COCO2014数据集上,以Faster R-CNN作为基础检测器进行实验,验证了MFPN对特征融合的有效性．     

基于孪生并行注意力网络的包装印刷品商标真伪鉴别研究

为了借助手机精确快速地鉴别微小篡改的包装印刷品商标真伪,提出孪生并行注意力卷积神经网络判别模型。通过孪生网络的共享权重机制降低网络系统的表征偏差,通过并行注意力机制提高对微小篡改变化特征的提取能力,最大程度降低打印拍照引入的噪声对篡改特征提取的影响。在2种印刷纸张、2种拍摄光源和2种拍摄手机组合的8种开放场景中,拍摄多组真伪商标的印刷图像,建立篡改面积0.4%～0.7%的商标真伪数据集。模型在该打印拍照数据集上鉴别准确率为94%以上,在真实山寨商标上的鉴别准确率为100%。本文提出的孪生并行注意力卷积神经网络模型,具有较高的细粒度鉴别精度和较强的泛化能力,能够在开放场景下有效地实现基于图像微小篡改的包装印刷品商标真伪的鉴别。     

基于多特征分支卷积神经网络的心电图分类算法

我国心血管疾病发病率、病死率呈逐年上升趋势。但由于心电图数据规模大且繁杂,临床医护人员在心电图筛查时,工作负担大且容易出现误诊或者漏诊的情况。基于此,利用CPSC-2018 12导联数据,提出了一种基于多特征分支卷积神经网络的多导联心电信号的智能分类与分析。首先,将CPSC-2018 12导联数据分为9个类别,基于12导联推导出8导联心电信号并分别提取局部特征。然后,通过双向GRU编码和注意力机制计算出不同类别的注意力权重向量,并将特征信息串联融合成特征向量,从而实现多导联心电图分类。实验结果表明：在验证集上取得了较好的分类效果,正常类别的F1值达到81.2%,平均F1值达到84.2%。特别地,在识别房颤（AF）和右束支传导阻滞（RBBB）这两类别心律失常时F1值分别达到95.1%和93.1%。     

正整数伸缩的双正交双向小波包(英文)

本文引入了尺度为α的双正交双向小波包的概念,运用矩阵理论和算子理论研究了双正交双向小波包的性质。得到构造双正交双向小波包的一种新方法。建立了进行迭代与分解的公式。利用双正交双向小波包,得到空间L~2(R)新的Riesz基。最后,给出构造双正交双向小波包的例子。     

多域信息融合结合改进残差密集网络的轴承故障诊断

针对滚动轴承原始时域信号信息单一、深度卷积神经网络提取的特征对信息的传递存在差异等问题,该研究提出了一种多域信息融合与改进残差密集网络的轴承故障诊断方法。为了获取故障的多方面信息,先对原始数据进行多域变换,再将融合信息输入经卷积注意力改进的残差密集网络进行深度学习。经注意力机制改进的网络能够实现对提取特征的重要性区分,提高网络的训练速度、改善识别准确率。试验结果及对比分析表明该算法可以提取较为全面的特征,较传统方法具有更好的识别效果。     

基于改进注意力机制的认知障碍病程分类

阿尔茨海默病(AD)是一种发病进程缓慢、随着时间不断恶化的神经退化性疾病，在老龄化的趋势下，AD患者数量日渐增加。因此，如何对其予以早期精准诊断并进行正向干预是急需解决的问题。为提高计算机辅助诊断的效率，同时促进疾病的病理生理机制研究，提出了改进的基于SE模块二维双路径融合网络的分类方法，在网络中加入缩减系数模块，增加图片有用信息占比；对通道注意模块的权重函数重新设计，增大特征图间差异，联合二维双路径网络，增大网络倚重点，达到更好分类性能的同时，防止模型过拟合。使用ADNI数据集对AD、EMCI、NC进行二分类，实验表明所提出模型准确度相比于VGG和二维双路径融合模型分别提高了5.59%和8.11%,与其它先进方法进行比较验证了所提方法的可行性。     

结合注意力机制和因果卷积网络的维吾尔语方言识别

针对传统x-vector模型生成方言语音段级表示时,未考虑不同帧级特征对方言辨识作用不一致的问题,以及维吾尔语的黏着性特点,提出结合注意力机制和因果卷积网络的维吾尔语方言识别方法。首先使用多层因果卷网络实现方言语音序列建模,然后采用空洞卷积核增大感受野扩展采样范围,最后使用注意力池化获取方言语音段级特征。维吾尔语方言识别实验结果表明,所提方法较标准x-vector模型方言识别的识别准确率提升了23.19个百分点。     

改进密集连接卷积网络的滚动轴承故障诊断方法

针对滚动轴承工作环境噪声干扰较大、模型泛化能力不足、变工况诊断较难的问题,提出了一种改进密集连接卷积网络的故障诊断方法。将采集到的滚动轴承的原始时域信号作为模型输入,不需要任何数据处理,实现端到端的特征提取和分类任务。改进密集连接卷积网络在密集块中强调信息流动,增强特征复用,通过多尺度卷积层提取特征,利用注意力机制对多尺度特征通道加权。在堆叠的密集块和池化层完成主要特征提取后,采用多分类函数实现故障诊断。选用凯斯西储大学轴承数据集验证改进密集连接卷积网络的诊断能力,结果表明,改进密集连接卷积网络在理想试验下的识别率为99.8%、在抗噪试验下的识别率为98.22%,在泛化试验下的识别率为97.19%,识别率明显高于其他深度学习模型,证明了其在滚动轴承故障诊断方面的优越性。     

基于稠密卷积网络的拉刀磨损在线预测方法

拉削是汽车制动钳支架槽的重要加工工艺。但加工过程中,若不能及时发现拉刀磨损异常,则会导致零件批量报废。本文提出一种拉刀磨损在线预测方法,采用拉刀信号振动特性,有效区分拉削过程与拉削间隙,并基于稠密卷积网络(DenseNet),构建拉刀磨损在线识别模型。结果表明：该方法自适应特征提取效果良好,泛化性和准确率均可实现实际加工过程拉刀磨损在线预测,对提高拉削生产效率和降低制造成本具有重要意义。     

基于注意力机制的TDNN-LSTM模型及应用

在大数据规模下,基于深度学习的语音识别技术已经相当成熟,但在小样本资源下,由于特征信息的关联性有限,模型的上下文信息建模能力不足从而导致识别率不高。针对此问题,提出了一种嵌入注意力机制层（Attention Mechanism）的时延神经网络（Time Delay Neural Network,TDNN）结合长短时记忆递归（Long Short Term Memory,LSTM）神经网络的时序预测声学模型,即TLSTM-Attention,有效地融合了具有重要信息的粗细粒度特征以提高上下文信息建模能力。通过速度扰动技术扩增数据,结合说话人声道信息特征以及无词格最大互信息训练准则,选取不同输入特征、模型结构及节点个数进行对比实验。实验结果表明,该模型相比于基线模型,词错误率降低了3.37个百分点。     

LSTM网络继电保护装置可靠性预测

继电保护装置可靠性是保证电力系统安全、稳定运行的基础,为准确预测继电保护装置的可靠性,构建基于长短时记忆（long-short term memory,LSTM）网络的继电保护装置可靠性预测模型。提出将注意力模型嵌入LSTM网络以进一步提高LSTM网络的预测准确度,建立基于云模型的继电保护装置劣化程度指标定量和定性评估之间不确定性转换模型。结果表明：嵌入注意力模型的LSTM网络比LSTM网络的预测准确度显著提高,具有较好的逼近能力和泛化能力,均方根误差为1.28%,平均绝对百分比误差为6.62%,当劣化程度指标大于40%时的相对误差控制在–5%～5%范围内。采用建立的云模型分析方法实现相同评级范围的样本劣化程度指标定性和定量联合评判,可为定性评级的模糊性和随机性提供定量评价指导。     

融合注意力机制的通道拓扑细化改进的图卷积网络

针对目前骨架动作识别网络数据处理的处理方式、不同动作肢体的动态表述以及时间特征提取的不足,本文提出AA-SGN网络模型,将原始的关键点特征转换成骨骼特征,将动态的非拓扑网络,改进为动态拓扑细化的图卷积网络,在充分利用语义信息的基础上,在时间尺度上融合注意力机制,关联空间和时间信息,使网络充分利用骨骼位置信息和时间流的运动信息,在NTU60 RGB+D的CS和CV设定上提高了1%和0.4%,在NTU120 RGB+D的CSub和CSet分别提高了5.7%和4.6%,证明本文提出的AA-GCN能有效识别骨架动作。     

面向一致性对话生成的对抗匹配网络与目标侧注意力机制研究

序列到序列(seq2seq)方法在开放域对话生成领域中备受研究学者的关注。然而,标准的序列到序列模型容易产生语义冲突和不连贯的对话回复,这种不一致性是现有系统生成的回复显著有别于人类真实对话的重要原因之一。对话生成中的一致性既包括回复内部的语义一致性,也包括上文与其回复之间的外部关联性。本文提出了一个新的对话生成框架,称为基于张量匹配的生成式对抗网络(MatchGAN),以提高对话回复与其上文之间的外部关联性。与传统的基于最大似然估计的方法不同,该框架通过基于序列到序列模型的生成器和基于张量匹配网络的判别器之间的对抗学习来生成与上文相关的回复。通过使用匹配网络对上文与回复之间的多维关系进行建模,该模型所产生的回复更加符合人类对话的特点。此外,本研究进一步引入了目标侧注意力机制来增强所产生回复的内部语义一致性。实验结果表明,本文提出的框架能够产生高质量的对话回复,在量化指标评价和人工评测方面均优于其他基线方法。     

一种机械设备故障诊断的FD-Transformer方法

随着机械设备故障诊断技术的发展，利用深度学习技术判断设备故障类型越来越引起人们重视。目前，基于注意力机制的Transformer模型有着优于卷积神经网络(convolutional neural network, CNN)的特征提取能力且在自然语言处理及计算机视觉领域都得到成功的应用。该研究提出一种用于机械设备故障诊断的Transformer方法(fault diagnosis-Transformer, FD-Transformer)。首先，对原始振动信号利用Dropout技术进行数据增强，提高模型的泛化能力；然后，利用多通道一维卷积进行数据处理并得到矩阵形式；接着，利用Dense连接的Encoder结构进行机械设备的故障特征提取；最后，利用分类模块得到故障诊断结果。分别采用变转速轴承数据和轮对轴承数据对模型进行试验验证，试验结果表明，该模型在两种数据集上均达到99%以上的故障识别率，与CNN相比可以更好地提取机械设备故障特征，有工程应用价值。