基于卷积神经网络的发动机气路故障诊断方法

深度学习是一种新的基于特征表示的机器学习方法。深度学习模型包含多个隐藏层,可以通过对输入数据进行自动学习来获取隐藏的功能层中的特征信息。与传统的诊断方法相比,深度学习具备从原始信息中提取更丰富的特征的能力,因此已经成为基于机器学习的故障诊断研究的新方向,为发动机气路等复杂系统故障诊断带来了新思路。结合发动机气路试验数据的特点与深度学习的优势,提出基于卷积神经网络的故障诊断方法,包括预处理、模型训练及优化等过程,并实现了复杂系统故障诊断预测算法平台。经某发动机气路试验仿真数据实例验证,提出的方法具有较好的可行性和效果,能够充分利用深度学习的优点,更准确地识别发动机气路的健康状况。     

多工况下航空发动机的故障模式分类

航空发动机在多个操作条件下具有不同的故障模式.针对现有航空发动机数据集的故障模式和数据特点,本文在多工况下提出了一种基于一维卷积神经网络的航空发动机故障模式分类方法.该方法无需其他特征提取算法,可直接用于原始数据.首先通过一维卷积神经网络从原始数据中提取局部特征.然后全连接层通过学习这些特征表示来分类故障类别.最后,将其他分类模型与本文模型进行对比.实验结果表明,一维卷积神经网络具有较好的分类精度,降低了网络模型的训练时间,对提高航空发动机运行可靠性有一定的实用价值.     

药物-靶点亲和力预测的全局特征提取策略

为有效解决药物靶点亲和力预测中单模型提取特征种类受限问题,结合深度学习混合模型,提出一种深度并行全局特征提取策略.利用卷积神经网络(CNN)和特征存储融合层构建局部特征提取器,实现药物靶点序列局部特征的多层次提取、存储与压缩;利用卷积神经网络(CNN)和双向长短时记忆(BiLSTM)神经网络的串行混合模型构建上下文特征...     

基于CNN-BiLSTM模型的日志异常检测方法

目前日志异常检测领域存在数据量大、故障和攻击威胁隐蔽性高、传统方法特征工程复杂等困难,研究卷积神经网络（CNN）、循环神经网络等迅速发展的深度学习技术,能够为解决这些问题提供新的思路。提出结合CNN和双向长短时记忆循环神经网络（Bi-LSTM）优势的CNN-BiLSTM深度学习模型,在考虑日志键显著时间序列特征基础上,兼顾日志参数的空间位置特征,通过拼接映射方法进行最大程度避免特征淹没的融合处理。在此基础上,分析模型复杂度,同时在Hadoop日志HDFS数据集上进行实验,对比支持向量机（SVM）、CNN和Bi-LSTM验证CNN-BiLSTM模型的分类效果。分析和实验结果表明,CNN-BiLSTM达到平均91%的日志异常检测准确度,并在WC98_day网络日志数据集上达到94%检测准确度,验证了模型良好的泛化能力,与SVM CNN和Bi-LSTM相比具有更优的检测性能。此外,通过消融实验表明,词嵌入和全连接层结构对于提升模型准确率具有重要作用。     

基于改进CNN-LSTM的剩余使用寿命预测方法

机电设备的寿命预测是状态维修中的一项重要任务.剩余使用寿命(RUL)预测不仅可以有效地防止机械装备发生突发性故障,而且可以最大限度地利用装备的工作能力、减少维修成本.为了更好地预测多工况条件下的设备RUL,提出一种基于卷积神经网络(CNN)联合长短时记忆(LSTM)网络的寿命预测模型.通过变窗口取样获得不同长度的时间序列,基于深度学习方法来发现传感器时序信号与RUL之间的隐藏关系,在训练过程中引入带有热重启的随机梯度下降(SGDR)学习率设定策略,通过感官融合层将子网络的输出特征融合并导入到逻辑回归分类器获得RUL.最后,基于发动机退化仿真数据集进行了有效性验证,表明所提方法在预测精度方面具有明显优势.     

基于改进深度卷积神经网络的轴承故障诊断

轴承为风电机组的重要且故障频发部件,传统基于轴承振动数据的图像转换的卷积神经网络(CNN)的故障诊断技术存在一定局限性。提出了一种基于改进深度卷积神经网络(IDCNN)的直接时间序列特征提取方法,依据采样频率将原始振动数据划分为单个样本,构建诊断模型训练数据集。设计了一种新型的深度卷积神经网络(IDCNN),自动提取复杂样本数据的故障特征,提高DCNN的鲁棒性和泛化性,并将IDCNN提取的高维故障特征输入到分类器中,从而实现轴承故障的智能诊断。对比实验结果表明本方法有效提升了故障诊断精度。     

基于深度学习的交通流量预测研究

交通流量序列具有不平稳性、周期性、易受节假日等因素影响的特点，因此交通流量预测是一项困难的任务。针对交通流量序列的预测问题，设计了一种基于深度学习的交通流量预测模型。模型融合了卷积神经网络和长短时记忆神经网络两种网络结构，卷积神经网络用于提取特征分量，长短时记忆神经网络综合提取出来的特征分量做序列预测。通过在贵州省高速公路车流量数据集上的验证，模型比传统的预测方法具有更高的精确度和实时性，在不同数据集上的泛化性能良好。     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

基于时空卷积神经网络的智能电表故障预测

针对智能电表故障具有的突发性、复杂性以及多面性等特点,提出一种基于时空卷积神经网络(ST-CNN)的故障预测方法.该方法首先采用滑动窗口将时间信息融入特征变量中,构建具有时空特性的输入矩阵,然后与CNN相结合,建立智能电表故障预测模型,并采用Adam算法对模型参数进行优化.最后应用现场的实际数据对基于ST-CNN的智能...     

基于一维卷积混合神经网络的文本情感分类

针对情感分类中传统二维卷积模型对特征语义信息的损耗以及时序特征表达能力匮乏的问题，提出了一种基于一维卷积神经网络（CNN）和循环神经网络（RNN）的混合模型。首先，使用一维卷积替换二维卷积以保留更丰富的局部语义特征；再由池化层降维后进入循环神经网络层，整合特征之间的时序关系；最后，经过softmax层实现情感分类。在多个标准英文数据集上的实验结果表明，所提模型在SST和MR数据集上的分类准确率与传统统计方法和端到端深度学习方法相比有1至3个百分点的提升，而对网络各组成部分的分析验证了一维卷积和循环神经网络的引入有助于提升分类准确率。     

卷积神经网络特征重要性分析及增强特征选择模型

卷积神经网络等深度神经网络凭借着其强大的表达能力、突出的分类性能,已在不同领域内得到了广泛应用.当面对高维特征时,深度神经网络通常被认为具有较好的鲁棒性,能够隐含地对特征进行选择,但由于网络参数巨大,如果数据量达不到足够的规模,则会导致学习不充分,因而可能无法达到最优的特征选择.而神经网络的黑箱特性使得无法观测神经网络选择了哪些特征,也无法评估其特征选择的能力.为此,以卷积神经网络为例,首先研究如何显式地表达神经网络中的特征重要性,提出了基于感受野的特征贡献度分析方法;其次,将神经网络特征选择与传统特征评价方法进行对比分析发现,在非海量样本的情况下,传统特征评价方法对高重要性特征和噪声特征的识别能力反而能够超过神经网络.因此,进一步地提出了卷积神经网络增强特征选择模型,将传统特征评价方法对特征重要性的理解结合到神经网络的学习过程中,以辅助深度神经网络进行特征选择.在基于文本的社交媒体用户属性建模任务下进行了对比实验,结果验证了该模型的有效性.     

Tripartite-structure transformer for hyperspectral image classification

Hyperspectral images contain rich spatial and spectral information, which provides a strong basis for distinguishing different land-cover objects. Therefore, hyperspectral image (HSI) classification has been a hot research topic. With the advent of deep learning, convolutional neural networks (CNNs) have become a popular method for hyperspectral image classification. However, convolutional neural network (CNN) has strong local feature extraction ability but cannot deal with long-distance dependence well. Vision Transformer (ViT) is a recent development that can address this limitation, but it is not effective in extracting local features and has low computational efficiency. To overcome these drawbacks, we propose a hybrid classification network that combines the strengths of both CNN and ViT, names Spatial-Spectral Former(SSF). The shallow layer employs 3D convolution to extract local features and reduce data dimensions. The deep layer employs a spectral-spatial transformer module for global feature extraction and information enhancement in spectral and spatial dimensions. Our proposed model achieves promising results on widely used public HSI datasets compared to other deep learning methods, including CNN, ViT, and hybrid models.     

A convolutional neural network based degradation indicator construction and health prognosis using bidirectional long short-term memory network for rolling bearings

Health prognosis of rolling bearing is of great significance to improve its safety and reliability. This paper presents a novel health prognosis method for the rolling bearing based on convolutional neural network (CNN) and bidirectional long short-term memory network (BiLSTM) model. First, a new nonlinear degradation indicator (DI) is designed which can be utilized as training label. Then, through learning and capturing the mapping relationship between raw vibration signals and DI of the rolling bearing, a CNN model is introduced to estimate the DI value of the rolling bearing. And, BiLSTM models are set up to carry out health prognosis using the estimated DI, including future DI and remaining useful life prediction. An experiment verification is implemented to validate the effectiveness of the proposed method. Results show the excellent ability of future DI prediction, and demonstrate the superiority of the proposed method in the field of remaining useful life prediction compared with other existing deep learning models.     

卷积神经网络研究综述

近年来,卷积神经网络在图像分类、目标检测、图像语义分割等领域取得了一系列突破性的研究成果,其强大的特征学习与分类能力引起了广泛的关注,具有重要的分析与研究价值。首先回顾了卷积神经网络的发展历史,介绍了卷积神经网络的基本结构和运行原理,重点针对网络过拟合、网络结构、迁移学习、原理分析四个方面对卷积神经网络在近期的研究进行了归纳与分析,总结并讨论了基于卷积神经网络的相关应用领域取得的最新研究成果,最后指出了卷积神经网络目前存在的不足以及未来的发展方向。     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络（CNN）在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution（SSSConv）;该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

卷积神经网络表征可视化研究综述

近年来, 深度学习在图像分类、目标检测及场景识别等任务上取得了突破性进展, 这些任务多以卷积神经网络为基础搭建识别模型, 训练后的模型拥有优异的自动特征提取和预测性能, 能够为用户提供“输入–输出”形式的端到端解决方案. 然而, 由于分布式的特征编码和越来越复杂的模型结构, 人们始终无法准确理解卷积神经网络模型内部知识表示, 以及促使其做出特定决策的潜在原因. 另一方面, 卷积神经网络模型在一些高风险领域的应用, 也要求对其决策原因进行充分了解, 方能获取用户信任. 因此, 卷积神经网络的可解释性问题逐渐受到关注. 研究人员针对性地提出了一系列用于理解和解释卷积神经网络的方法, 包括事后解释方法和构建自解释的模型等, 这些方法各有侧重和优势, 从多方面对卷积神经网络进行特征分析和决策解释. 表征可视化是其中一种重要的卷积神经网络可解释性方法, 能够对卷积神经网络所学特征及输入–输出之间的相关关系以视觉的方式呈现, 从而快速获取对卷积神经网络内部特征和决策的理解, 具有过程简单和效果直观的特点. 对近年来卷积神经网络表征可视化领域的相关文献进行了综合性回顾, 按照以下几个方面组织内容: 表征可视化研究的提起、相关概念及内容、可视化方法、可视化的效果评估及可视化的应用, 重点关注了表征可视化方法的分类及算法的具体过程. 最后是总结和对该领域仍存在的难点及未来研究趋势进行了展望.     

基于三维卷积神经网络的肺结节假阳性筛查

从 CT 影像中检测肺结节在肺癌的早期诊断中至关重要,而肺结节假阳性的筛查 是提高肺结节检测准确度的重要一步。为了从大量候选结节中快速准确地区分出真正的肺结节, 设计了一个 3D 卷积神经网络(CNN)筛查肺结节假阳性。提出了网络模型,通过恒等映射和残差 单元来加速模型训练,采用单连接路径重复利用特征并重组新特征。基于该模型的肺结节假阳 性筛查方法,与基于 2D CNN 的方法相比,不仅可以省略数据切片步骤,而且能够充分利用 CT 影像的空间信息; 与其他基于 3D CNN 的方法相比,具有参数量小、模型训练快的优点。该方 法在 LUNA16 数据集中的假阳性筛查中取得了较高的敏感度。     

基于极限学习机的船舶柴油机故障诊断

针对传统深度核极限学习机网络仅利用端层特征进行分类导致特征不全面，以及故障诊断分类器中核函数选择不恰当等问题，提出基于多层特征表达和多核极限学习机的船舶柴油机故障诊断方法。利用深度极限学习机网络提取故障数据的多层特征；将提取出的各层特征级联为一个具有多属性特征的故障数据特征向量；使用多核极限学习机分类器准确地实现柴油机的故障诊断。在标准分类数据集和船舶柴油机仿真故障数据集上的实验结果表明，与其他极限学习机算法相比，该方法能够有效提高故障诊断的准确率和稳定性，且具有较好的泛化性能，是柴油机故障诊断一个更为优秀实用的工具。