基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题,提出了一种改进的CapsNet模型。首先,使用两层卷积层对特征信息进行局部特征提取;然后,使用CapsNet对文本的整体特征进行提取;最后,使用softmax分类器进行分类。在文本分类中,所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明,改进CapsNet模型更适用于文本分类。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题，提出了一种改进的CapsNet模型。首先，使用两层卷积层对特征信息进行局部特征提取；然后，使用CapsNet对文本的整体特征进行提取；最后，使用softmax分类器进行分类。在文本分类中，所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明，改进CapsNet模型更适用于文本分类。     

基于粒子群优化以及深度胶囊网络的轴承故障诊断

针对发动机轴承损坏情况严重以及基于模型方法预测精度不稳定的问题,提出一种基于深度胶囊网络和粒子群优化算法的轴承故障预测方法。通过将观测振动信号自适应降噪后,基于粒子群优化算法进行稀疏盲分离,得到轴承振动信号,通过S变换获取时域图以及轴承振动特征,其次将时域图经由卷积层卷积,输入到胶囊层进行预测。将高低胶囊层之间的算法转化为数学优化问题,提升传输效率,最后得出高层胶囊的预测向量。结合具体轴承监测数据进行实例分析,与基于数据的浅卷积网络以及经验模态分解预测相比,算法体现了更稳定更精确的预测性能。     

基于能量熵对SVM的电路故障诊断

研究电路故障诊断问题,提高诊断效率.由于电路集成度提高,电路信号与故障相关,针对传统故障诊断因采用线性诊断方法与提取的电路特征信息不全面,导致诊断定位精度不高,为有效提高电路故障诊断的速度与精度,提出了一种根据小波包能量熵的支持向量机电路故障诊断方法(EE-SVM).首先利用小波包对电路故障信号进行3层的小波包分解,并提取小波包能最熵,构建输入特征向量.对于支持向量机进行非线性特征向量汰选,去除冗余特征,以保留特征向量构建智能化诊断模型.进行实例仿真,结果显示,方法在所有参比模型中精度最高,能高效地对电路故障进行检测与定位.     

信息熵支持向量机算法传感器故障诊断研究

研究传感器系统故障诊断效率问题.针对传统故障诊断因传输信息大,速度慢,造成故障,定位不清.传统的方法提取的传感器系统特征信息不全面,导致诊断精度与速度不高.为有效提高传感器系统故障诊断的效率和精度,提出了一种能量信息熵的支持向量机系统故障诊断方法.故障主要难点技术问题在于参数选择优化问题.算法首先利用小波包对传感系统故障信号进行小波包分解,并提取小波包能量信息熵,以此构建输入特征向量;接着采用了支持向量机方法进行非线性特征向量提取,最后以特征向量来建立支持向量机智能化诊断模型.仿真结果表明,改进方法在所有参比模型中精度最高,能高效地对传感器故障进行检测与定位.具有较强的泛化能力,同时缩短了故障诊断时间.     

多级神经网络的轴承故障诊断研究

针对工业生产中轴承故障发生率高、危害大、不易察觉等问题,提出一种由改进的感知器、动态路由算法和随机优化算法集成的多级神经网络故障诊断模型。通过随机等间隔无重复采样的方式对轴承振动信号数据库进行扩充,并根据故障类型做好对应标签;通过改进的多层感知器提取故障特征,由动态路由算法对所提取特征进行预测分类,进而由损失函数得出分类误差,在误差反向传播中由自适应学习速率算法筛选学习速率,并由随机优化算法（Adam）更新权值以优化网络模型。最后进行轴承故障分类的数值仿真实验,结果表明该故障诊断模型能实现高精度轴承故障诊断与分类。     

基于EEMD能量熵和混合算法的电机轴承故障诊断

针对提升机电机轴承振动信号的非平稳特性和单一粒子群算法(PSO) 优化径向基函数（RBF）神经网络时存在网络收敛速度慢和适应度值易陷入局部最小的缺点，提出基于集合经验模态分解（EEMD）能量熵和模拟退火粒子群混合算法（SAPSO）优化RBF神经网络的提升机电机轴承故障诊断方法。基于EEMD求取振动信号各固有模态函数分量的能量熵，并使用相关性分析方法剔除虚假的分量，把筛选后的有效数据作为故障识别的特征向量；利用模拟退火（SA）算法具有局部概率突跳的特性，将SA算法和PSO算法相结合，在优化RBF诊断模型隐含层参数时以实现不同算法间的优劣互补。仿真结果表明，使用SAPSO算法优化后的RBF神经网络模型在提升机电机轴承故障诊断中能够加快网络收敛速度和提升故障识别精度。     

基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法

针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆（1DCNN-BiLSTM）神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解（CEEMDAN）技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆（BiLSTM）神经网络模型和一维卷积神经网络（1DCNN）模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络（SENet）模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。     

基于改进EEMD和HMM的采煤机摇臂轴承故障诊断

提出一种基于改进集成经验模态分解与隐马尔科夫模型的采煤机摇臂轴承故障诊断方法,利用基于极值点对称延拓和余弦窗函数的改进方法,减少端点效应对分解结果的影响,从而提高了信号分解的精度;然后提取每层本征模态函数的能量熵作为隐马尔科夫模型的输入特征向量,进行故障模式识别。实验结果表明,该方法对轴承故障类型的识别率达90%以上,实现了采煤机摇臂轴承故障的准确诊断。     

基于胶囊网络的风电机组主轴承故障诊断研究

为了实现对直驱式风电机组发电机轴承的故障诊断,根据传热学理论建立发电机轴承温度动态模型,通过模型获得发电机轴承产热和散热特征参数.结合一定周期内机组多传感器测量数据和轴承产热和散热特征,组成设备状态矩阵.使用胶囊网络,从状态矩阵中提取了轴承故障特征,实现了对风电机组发电机轴承的故障诊断.在针对实际风电机组的故障诊断试验...     

基于自注意力机制辅助分类生成对抗网络的轴承故障诊断

针对传统判别式轴承故障诊断算法在复杂工况下依赖人工特征提取、诊断效果不佳的问题,提出将生成式模型辅助分类生成对抗网络(auxiliary classifier generative adversarial network,ACGAN)用于轴承故障诊断研究。首先,通过快速傅里叶变换将轴承振动信号转为2维频域特征灰度图,设计卷积网络作为模型主体结构,添加批量归一化和LeakyReLU激活函数缓解梯度消失问题;其次,引入自注意力机制(self-attention mechanism,SA),将数据中相距较远的特征相互关联建立新的SA-ACGAN模型,实现多分类场景下对原始数据分布特征的有效学习;最后,将模型应用于电机轴承进行对比验证,结果表明所提方法故障诊断准确率高达99.7％,并具有良好的鲁棒性和泛化性。     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果,在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法,提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先,使用梯度统计特征提取层对图像中的梯度信息进行统计,构建方向梯度直方图（HOG）特征图;其次,使用卷积层提取出图像的颜色信息,把提取出的颜色信息与HOG特征图融合构成HOG-C特征图;最后,输入卷积层提取HOG-C特征图的抽象特征,并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装,使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中,该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明,该模型在交通监控下的车型分类上具有更好的效果。     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果，在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法，提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先，使用梯度统计特征提取层对图像中的梯度信息进行统计，构建方向梯度直方图（HOG）特征图；其次，使用卷积层提取出图像的颜色信息，把提取出的颜色信息与HOG特征图融合构成HOG-C特征图；最后，输入卷积层提取HOG-C特征图的抽象特征，并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装，使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中，该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明，该模型在交通监控下的车型分类上具有更好的效果。     

SA-CapsNet:自注意力胶囊网络

胶囊网络(CapsNet)强调对图像特征的空间关系进行编码,但是其特征提取模块难以应对复杂分类场景.为了提升CapsNet的性能,提出了一种具有自注意力(self-attention)特征提取模块的胶囊网络(self-attention capsule network,SA-CapsNet).首先通过降低胶囊维度,并增加一个中间层来改进CapsNet;然后将SA模块映射到胶囊网络的特征提取层,增加特征提取能力.在MNIST、Fashion MNIST和CIFAR10数据集上进行实验,分类准确率分别为99.67％、92.21％和82.51％.实验结果验证了改进网络的有效性,整体性能有较大提升.     

基于胶囊网络的动态路由研究与改进

胶囊网络具有弥补卷积神经网络空间信息丢失和旋转不变性差的优点,已被广泛应用于图像分类、目标检测以及文本检测等多个领域,但胶囊网络仍存在参数量大且分类精确度低的问题。提出基于点乘注意力图卷积路由的胶囊网络分类模型。在同级胶囊之间构建连通图,通过注意力机制获取胶囊间的依赖关系,利用影响因素大的预测胶囊进行特征聚类,改变使用迭代更新高低胶囊层间耦合系数的动态路由方式,降低参数量并提升模型的分类准确率。此外,在特征提取部分加入残差网络提取更高维的特征以优化胶囊质量,在提升模型特征表达能力的同时可抑制模型过大。实验结果表明,在参数量小于多个胶囊网络变体的情况下,该模型在MNIST、FashionMNIST、CIFAR10和SVHN数据集上的精度分别达到99.74%、95.02%、91.78%和95.65%,均高于MS-CapsNet、TextCaps、AR CapsNet、FSc-CapsNet、DA-CapsNet等对比模型。     

Computer-aided diagnosis of auto-immune disease using capsule neural network

Manual analysis of the indirect-immunofluorescence (IIF) human epithelial cell Type-2 (HEp-2) cell image for the diagnosis of an auto-immune disease is a subjective and time-consuming process, and it is also prone to human-errors. The present work proposes an automatic capsule neural network (CapsNet) based framework for HEp-2 cell image classification to compensate for the deficiencies present in the prominent convolution neural network (CNN) based frameworks. In CNNs, the spatial relationship between the features present in the anti-nuclear antibodies (ANA) patterns, found in the IIF HEp-2 cell image (ANA-IIF image) is lost which increases the chance of detection of false-positives. In the proposed CapsNet based model, the max-pooling layer has been replaced with advanced dynamic routing algorithm and scalar outputs are replaced with the vector output, thus the richer representation of the same feature without the loss of spatial relationship with respect to the other features are made possible. The proposed framework recognizes ANA-IIF images with an average accuracy of 95.00% for 10-fold cross-validations. The experimental result also shows that the proposed model performs better than the other CNN based classification models for human epithelial cell image classification task.

     

基于胶囊网络的三维模型识别

为解决传统卷积神经网络中大量池化层的引入导致特征信息丢失的问题,依据胶囊网络(CapsNet)使用向量神经元保存特征空间信息的特性,提出了一种用以识别三维模型的网络模型3DSPNCapsNet。使用新的网络结构,提取更具代表性的特征的同时降低了模型复杂度,并提出基于动态路由(DR)算法的DRL算法来优化胶囊权重的迭代计算过程。在ModelNet10上的实验结果表明,相比3DCapsNet以及VoxNet,该网络取得了更好的识别效果,在原始测试集上3DSPNCapsNet的平均识别准确率达到95%,同时验证了该网络对旋转三维模型的识别能力。适当扩展旋转训练集之后,所提网络对各角度旋转模型的平均识别率达到81%。实验结果表明,3DSPNCapsNet对三维模型及其旋转具有良好的识别能力。     

基于ISCNN-LightGBM的轴承故障诊断

在传统卷积神经网络与分类器相结合的故障诊断方法中, CNN用于故障特征提取时, 存在着提取的特征质量不高与运行时间较长的问题. 针对以上问题, 本文提出了一种基于改进单层卷积神经网络及LightGBM的故障诊断模型. 该模型通过将特征距离函数嵌入CNN的损失函数中, 提升了CNN特征提取的能力, 增强了CNN与后续分类器之间的联系, 从而提升了整体模型的故障诊断能力. 于此同时, 经过改进的单层的卷积神经网络进一步缩短了模型运行的时间, 提升了模型的诊断效率. 通过对两个不同的公共数据集进行对比实验, 其结果表明, 本文所提诊断模型对多种轴承故障的诊断准确率与诊断效率显著高于其他诊断模型.     

基于SE-ResNeXt的滚动轴承故障诊断方法

针对滚动轴承在故障诊断过程中信号特征提取困难导致诊断准确率低、鲁棒性差的问题,提出一种基于Squeeze-Excitation-ResNeXt(SE-ResNeXt)网络的滚动轴承故障诊断方法;将采集的一维轴承振动信号作为输入,进行滑动窗口采样与标准化处理,通过压缩、激励操作进行特征重标定,扩大模型感受野,并级联聚集残差变换网络自适应提取故障信号特征;在模型训练过程中选择最优压缩率为1/8以及8个组卷积,引入Relu函数加快网络收敛,使用全局平均池化替代全连接层避免过拟合现象,构造能够自主进行表征学习的最优故障诊断模型;通过仿真实验表明:与目前的深度学习算法相比,SE-ResNeXt网络能够准确的实现轴承故障诊断,并在高噪声的环境下仍具有较好的鲁棒性。