Multi-GAT: 基于多度量衡构建图的故障诊断方法

基于图神经网络的故障诊断方法, 通常需要根据度量衡确定样本之间的相似性, 进而构建图的拓扑结构.然而, 根据单一度量衡可能无法准确衡量数据样本之间的相似性, 进而导致无法准确表征样本之间的关系. 因此, 选用不同的度量衡会极大地影响图神经网络的诊断性能. 为了解决通过单一度量衡无法准确表征数据样本之间相关性的问题, 本文提出了一种基于多度量衡构造图的故障诊断模型???Multi-GAT. 通过结合3种度量衡的计算结果,从而判断数据样本之间相关性的强弱. 本文改进了图注意力网络的评分函数, 使其能够依据样本之间相关性的强弱更准确地确定数据样本之间的相似性. 在本文基准数据集上的实验表明, Multi-GAT能够提升模型的诊断精度,且拥有较好的稳定性.     

基于注意力机制和图卷积的小样本分类网络

深度神经网络在有着大量标注数据的图像识别任务上已经占据了统治地位,但是在只有少量标注数据的数据集上训练一个好的网络仍然是一个据有挑战性的任务.如何从有限的标注数据中学习已经成为了一个有着很多应用场景的热点问题.目前有很多解决小样本分类任务的方法,但是仍然存在识别准确率低的问题,根本原因是在小样本学习中,神经网络只能接收少量有标签的数据,导致神经网络不能获取足够的用来识别的信息.因此,提出了一种基于注意力机制和图卷积网络的小样本分类模型.这个模型不仅能够更好地提取特征,而且能够充分利用提取的特征对目标图像进行分类.通过注意力机制,能够指导神经网络关注更有用的信息,而图卷积使得网络能够利用支撑集中其他类别的信息做出更准确的判断.经过大量的实验,证明了提出的模型在Omniglot数据集和mini-ImageNet数据集上的分类准确率都超过了基于传统神经网络的关系网络.     

基于带噪观测的远监督神经网络关系抽取

远监督关系抽取的最大优势是通过知识库和自然语言文本的自动对齐生成标记数据.这种简单的自动对齐机制在将人从繁重的样本标注工作中解放出来的同时,不可避免地会产生各种错误数据标记,进而影响构建高质量的关系抽取模型.针对远监督关系抽取任务中的标记噪声问题,提出“最终句子对齐的标签是基于某些未知因素所生成的带噪观测结果”这一假设.并在此假设的基础上,构建由编码层、基于噪声分布的注意力层、真实标签输出层和带噪观测层的新型关系抽取模型.模型利用自动标记的数据学习真实标签到噪声标签的转移概率,并在测试阶段,通过真实标签输出层得到最终的关系分类.随后,研究带噪观测模型与深度神经网络的结合,重点讨论基于深度神经网络编码的噪声分布注意力机制以及深度神经网络框架下不均衡样本的降噪处理.通过以上研究,进一步提升基于带噪观测远监督关系抽取模型的抽取精度和鲁棒性.最后,在公测数据集和同等参数设置下进行带噪观测远监督关系抽取模型的验证实验,通过分析样本噪声的分布情况,对在各种样本噪声分布下的带噪观测模型进行性能评价,并与现有的主流基线方法进行比较.结果显示,所提出的带噪观测模型具有更高的准确率和召回率.     

数据不平衡下基于DCGAN和AMCNN的滑动轴承故障诊断方法

目前，针对轴承的故障诊断领域研究中，传统的诊断方法往往过度依赖于信号处理的方式，并且模型的泛化能力较差，而深度学习的方法又面临数据不平衡等问题。因此，提出了一种基于深度卷积生成式对抗网络（Deep Convolutional Generative Adversarial Networks,DCGAN）和注意力机制卷积神经网络（Attention Module Convolutional Neural Network,AMCNN）的轴承诊断方法。首先对信号进行连续小波变换转换为时频图，然后将数据集输入进DCGAN进行对抗训练，生成于原数据分布类似的新样本，解决数据不平衡问题。最后将新数据集输入AMCNN进行学习和分类诊断。实验结果表明，基于该方法的诊断模型较其他算法模型更优，且拥有较快的收敛速度和泛化能力。     

标签指导的双注意力深度神经网络模型

在数据集不包含标签文本信息时,现有的显式交互分类模型无法显式计算文本单词和标签之间的语义关系.针对此问题,文中提出标签指导的双注意力深度神经网络模型.首先,提出基于逆标签频次的自动类别标签描述生成方法,为每个标签生成特定的标签描述,用于显式计算文本单词与标签之间的语义关系.在此基础上,使用文本编码器学习具有上下文语境信息的评论文本表示,并提出标签指导的双注意力网络,分别学习基于自注意力的文本表示和基于标签注意力的文本表示.然后,使用自适应门控机制融合这两个文本表示,得到文本最终表示.最后,使用两层前馈神经网络作为分类器,进行情感分类.在3个公开的真实数据集上的实验表明,文中模型分类效果较优,可减少计算代价和训练时长.     

基于图表征和双重注意力机制的跨被试ERP检测

针对事件相关电位（event-related potential,ERP）在跨被试场景下检测精度不高的问题,提出了一种基于图表征和双重注意力机制的卷积循环神经网络模型。该模型采用不依赖于被试和任务的图来表征脑电信号中的空间信息,并级联卷积神经网络（convolutional neural network,CNN）和长短期记忆网络（long short-term memory network,LSTM）形成CNN-LSTM基础框架,同时嵌入双重注意力机制（即选择性内核卷积和自注意力机制）以充分提取不同被试脑电信号的时空特征,从而提高跨被试场景下的ERP检测精度。在基于快速序列视觉呈现范式的大规模基准数据集上的实验结果表明,与现有的7种ERP检测方法相比,所提方法在跨被试场景下具有显著的优越性。     

融合CNN-SAM与GAT的多标签文本分类模型

现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制（CNNSAM）与图注意力网络（GAT）的多标签文本分类模型（CS-GAT）。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。     

弱标签环境下基于多尺度注意力融合的声音识别检测

目前大多数声音识别检测的研究都是基于强标签数据集的,但在真实环境的声音识别与检测任务中,音频标签不完整并且含有大量噪声,使得获取强标签音频数据比较困难,进而影响对声音的准确识别与检测。为此,在卷积循环神经网络模型的基础上,提出了一种多尺度注意力融合机制。该机制使用注意力门控单元,在降低声音时频图特征中噪声影响的同时,能够更多地利用有效特征。同时,通过结合多个尺寸的卷积核进行特征融合,进一步提升对声音特征的有效提取。此外,采用一种结合帧检测结果的加权法对声音信号进行识别。最后,在弱标签环境下,从AudioSet数据库中选取一个包含17种城市交通工具声音的弱标签数据集进行检测识别,所提模型对测试集声音识别结果的F 1值为58.9%,检测结果的F 1值为43.7%。结果表明,在弱标签城市交通工具声数据集下,网络模型相比传统的声音识别检测模型具有更高的识别检测精度;同时,重要性加权识别方法、多尺度注意力融合方法均可提升模型对声音识别检测的精度。     

基于改进胶囊神经网络的遥感影像分类

针对遥感影像卷积神经网络（CNN）分类会导致特征信息丢失及泛化能力差的问题,提出一种基于通道注意力和混合注意力改进的胶囊神经网络分类模型。首先,为了胶囊神经网络能够适应于大尺寸输入图像,在特征提取模块中使用2个最大池化层;其次,为了提高分类精度,分别将SENet注意力和CBAM注意力加在特征提取模块的最后一层去改进特征提取模块;最后,将样本集随机地划分为训练集、验证集和测试集,进一步使用训练集和验证集训练模型,测试集测试模型,使用AID数据集对模型分类的泛化能力进行验证。实验结果表明:基于SENet网络改进的胶囊神经网络的准确率与Kappa系数要高于其他模型,泛化能力也优于其他模型,本文提出的模型的总体分类精度和泛化能力有了显著性提升,从而验证了本文方法的可行性和使用性。     

基于多头图注意力网络与图模型的多标签图像分类

多标签图像分类是多标签数据分类问题中的研究热点.针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关信息以及标签语义与图像特征的对应关系等问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT).该模型利用标签共现关系与标签属性信息构建图模型,使用多头注意力机制学习标签的注意力权重,并利用标签权重将标签语义特征与图像特征进行融合,从而将标签相关性与标签语义信息融入到多标签图像分类模型中.为验证本文所提模型的有效性,在公开数据集VOC-2007和COCO-2014上进行实验,实验结果表明, ML-M-GAT模型在两个数据集上的平均均值精度(mAP)分别为94%和82.2%,均优于CNN-RNN、ResNet101、MLIR、MIC-FLC模型,比ResNet101模型分别提高了4.2%和3.9%.因此,本文所提的ML-M-GAT模型能够利用图像标签信息提高多标签图像分类性能.     

数据失衡下基于WGAN和GAPCNN的轴承故障诊断研究

针对轴承故障数据严重失衡导致所训练的模型诊断能力和泛化能力较差等问题,提出基于Wasserstein距离的生成对抗网络来平衡数据集的方法。该方法首先将少量故障样本进行对抗训练,待网络达到纳什均衡时,再将生成的故障样本添加到原始少量故障样本中起到平衡数据集的作用;提出基于全局平均池化卷积神经网络的诊断模型,将平衡后的数据集输入到诊断模型中进行训练,通过模型自适应地逐层提取特征,实现故障的精确分类诊断。实验结果表明,所提诊断方法优于其他算法和模型,同时拥有较强的泛化能力和鲁棒性。     

Semi-supervised fault diagnosis of machinery using LPS-DGAT under speed fluctuation and extremely low labeled rates

Recent research in semi-supervised fault diagnosis of machinery based on graph neural networks (GNNs) still has some problems, such as insufficient label information mining, static feature extraction of neighbor nodes, and relatively ideal diagnosis scenarios. In engineering practice, machinery often runs under speed fluctuation such as start-stop process, and labeling samples becomes increasingly expensive. To deal with the above challenges, a new semi-supervised fault diagnosis method called label propagation strategy and dynamic graph attention network (LPS-DGAT) is proposed in this paper. The designed LPS can take full advantage of the label co-dependency between samples, so as to realize the full utilization of the limited label information. The constructed DGAT by dynamic attention can effectively extract feature information of the different neighbor nodes under speed fluctuation. The proposed method is used to analyze the vibration signals of bearing and gear under speed fluctuation, and the comparison results show that even in the extreme situations where the labeled rates are no more than 1%, the proposed method can still accurately extract discriminative features and diagnose different fault modes, which is better than other GNNs.     

基于支持向量机的涡轮泵故障诊断方法研究

针对涡轮泵的几种典型常见故障,应用支持向量机(SVM)构造多元分类器,解决故障诊断等多分类问题,在此基础上建立了基于支持向量机的故障诊断模型。试验结果表明,与神经网络相比,采用支持向量机进行故障诊断可得到更高的精度,表现出较好的分类和抗噪能力,而且效率高于神经网络,说明该方法是有效、可行的。     

基于BO-DKELM的滚动轴承故障诊断

滚动轴承作为旋转机械中的必需元件,其任何故障都可能导致机器乃至整个系统发生故障,从而导致巨大的经济损失和时间的浪费,因此必须要及时准确地诊断滚动轴承故障。针对传统极限学习机中模型参数对滚动轴承故障诊断精度影响较大的问题,提出了一种基于贝叶斯优化的深度核极限学习机的滚动轴承故障诊断方法。首先,将自动编码器与核极限学习机相结合,构建了深度核极限学习机(Deep kernel extreme learning machine, DKELM)模型。其次,利用贝叶斯优化(Bayesian optimization, BO)算法对DKELM中的超参数进行寻优,使得训练数据集和验证数据集在DKELM模型中的分类错误率之和最低。然后,将测试数据集输入到训练好的BO-DKELM中进行故障诊断。最后,采用凯斯西储大学轴承故障数据集对所提方法进行验证,最终故障诊断精度为99.6%,与深度置信网络和卷积神经网络等传统智能算法进行对比,所提方法具有更高的故障诊断精度。     

基于改进图卷积神经网络的配网线路故障诊断

随着电网的不断扩容,系统结构越来越复杂,多故障频发,而多故障是故障诊断的关键和难点。为解决故障处理数据量大,需要快速、准确地诊断电网故障的问题,本文提出了一种基于模糊优化图卷积神经网络的配网故障诊断模型。首先处理采集的配网故障线路的特征数据;其次,搭建基于图卷积神经网络的故障诊断模型,利用模糊理论建立配电网故障的隶属函数;最后利用训练好的模型进行配网故障诊断。仿真结果表明,模糊优化图卷积神经网络对多故障诊断的准确率高于卷积神经网络以及其他方法,本文方法做出的诊断结果更加精确,综合诊断效果最好。     

基于有向图和贝叶斯网络融合的飞机系统故障诊断研究

针对民用飞机系统的故障复杂性和特殊性,提出了一种基于有向图和贝叶斯网络融合的故障诊断方法.首先分析增压系统的组成,总结各组件之间的功能逻辑;接着以有向图理论为基础,将有向图中的节点赋值为系统各组件功能,进而推导出系统的功能模型,提高了故障诊断的直观性和有效性;最后利用贝叶斯网络快速的概率推理能力,缩小故障点集,实现故障定位,提高了诊断的快速性和精确性.通过实例验证,所研究的故障诊断方法对排故效率有了提升,同时对飞机其他系统的故障诊断有一定的参考价值.     

基于注意力与标签相关性的胸部X光片疾病分类

针对传统的胸部辅助诊断系统在胸部X光片疾病分类方面图像特征提取效果差、平均准确率低等问题,提出了一个注意力机制和标签相关性结合的多层次分类网络.网络的训练分为两个阶段,在阶段1为了提高网络特征提取能力,引入注意力机制并构建一个双分支特征提取网络,实现综合特征的提取,在阶段2考虑到多标签分类中标签之间相关性等问题,利用图卷积神经网络对标签相关关系进行建模,并与阶段1的特征提取结果进行结合,以实现对胸部X光片疾病的多标签分类任务.实验结果表明,本方法在ChestX-ray14数据集上各类疾病的加权平均AUC达到0.827,有助于辅助医生进行胸部疾病的诊断,有一定的临床应用价值.     

基于多维社交关系嵌入的深层图神经网络推荐方法

社会化推荐系统通过用户的社会属性信息能缓解推荐系统中数据稀疏性和冷启动问题，从而提高推荐系统的精度。然而大多数社会化推荐方法主要针对单一的社交网络，或对多个社交网络进行线性叠加，使得用户社会属性难以充分参与计算，因而推荐的精度有限。针对该问题，提出一种多重网络嵌入的图形神经网络模型来实现复杂多维社交网络下的推荐，该模型构建了统一的方法来融合用户-物品、用户-用户等各种关系构成的多维复杂网络，通过注意力机制聚合不同类型的多邻居对节点生成作出贡献，并将多个图神经网络进行组合，从而构建了多维社交关系下的图神经网络推荐框架。这种方法通过拓扑结构直接反映推荐系统中实体及其相互间关系，直接在图上对相关信息进行不断更新计算，具有很强的归纳性，有效避免了传统推荐方法中信息利用不完全的问题。通过与相关的社会推荐算法进行比较，实验结果表明，所提方法在均方根误差（RMSE）和平均绝对误差（MAE）等推荐精度指标上有所改善，甚至在数据稀疏情况下也有良好的精度。