改进的基于多路径特征的胶囊网络

针对胶囊网络(CapsNet)在复杂数据集上的分类效果差，而且在路由过程中参数数量过大等问题，提出一种基于多路径特征的胶囊网络(MCNet)，包含新的胶囊特征提取器和新的胶囊池化方法。该胶囊特征提取器从多个不同路径中并行地提取不同层次、不同位置的特征，然后将特征编码为包含更多语义信息的胶囊特征；胶囊池化方法则在胶囊特征图的每个位置选取最活跃的胶囊，用少量的胶囊表示有效的胶囊特征。在4个数据集(CIFAR-10、SVHN、Fashion-MNIST、MNIST)上与CapsNet等模型进行了对比。实验结果显示，MCNet在CIFAR-10数据集上的分类准确率为79.27%，可训练的参数数量为6.25×10⁶，与CapsNet相比，MCNet的分类准确率提升了8.7%，参数数量减少了46.8%。MCNet能够有效提升分类准确率，同时减少可训练的参数数量。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题,提出了一种改进的CapsNet模型。首先,使用两层卷积层对特征信息进行局部特征提取;然后,使用CapsNet对文本的整体特征进行提取;最后,使用softmax分类器进行分类。在文本分类中,所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明,改进CapsNet模型更适用于文本分类。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题，提出了一种改进的CapsNet模型。首先，使用两层卷积层对特征信息进行局部特征提取；然后，使用CapsNet对文本的整体特征进行提取；最后，使用softmax分类器进行分类。在文本分类中，所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明，改进CapsNet模型更适用于文本分类。     

基于特征扩展CapsNet的轴承故障诊断模型

基于深度网络的轴承故障诊断模型,其深层次的特征提取往往需要大量的训练样本,诊断模型应用于小样本故障信号时受到限制。利用胶囊网络(CapsNet)在处理小样本数据上的优势,通过扩展故障特征向量和改进预测胶囊迭代约束条件,使网络适用于噪声工况下的轴承故障诊断,提高预测精度。在CapsNet的初级胶囊层引入特征图跨通道约束关系,由原来的通道内约束改进为通道内-通道间混合约束,扩展胶囊特征向量,使其能描述故障信号时间序列中与远距离序列点相关的几何特性,为数字胶囊层预测网络提供更完备的故障特征。同时,利用余弦相似度作为特征向量的度量并为数字胶囊层的迭代筛选提供依据,避免向量模值造成的分类误差。凯斯西储大学(CWRU)轴承数据集实验结果表明,改进的iCapsNet诊断模型泛化性能得到明显提升,在信噪比为0 dB时,预测精度可达到90.9%,相比原CapsNet模型提高了44.8%。     

面向复杂图像分类的共享转换矩阵胶囊网络

针对胶囊网络（CapsNet）在处理含有背景噪声信息的复杂图像时分类效果不佳且计算开销大的问题，提出一种基于注意力机制和权值共享的改进胶囊网络模型——共享转换矩阵胶囊网络（STM-CapsNet）。该模型主要包括以下改进：1）在特征提取层中引入注意力模块，使低层胶囊能够聚焦于与分类任务相关的实体特征；2）将空间位置接近的低层胶囊分为若干组，每组内的低层胶囊通过共享转换矩阵映射到高层胶囊，降低计算开销，提高模型鲁棒性；3）在间隔损失与重构损失的基础上加入L2正则化项，防止模型过拟合。在CIFAR10、SVHN(Street View House Number)、FashionMNIST复杂图像数据集上的实验结果表明，各改进均能有效提升模型性能；当迭代次数为3，共享转换矩阵数为5时，STM-CapsNet模型的平均准确率分别为85.26%、93.17%、94.96%，平均参数量为8.29 MB，比基线模型的综合性能更优。     

基于胶囊网络的动态路由研究与改进

胶囊网络具有弥补卷积神经网络空间信息丢失和旋转不变性差的优点,已被广泛应用于图像分类、目标检测以及文本检测等多个领域,但胶囊网络仍存在参数量大且分类精确度低的问题。提出基于点乘注意力图卷积路由的胶囊网络分类模型。在同级胶囊之间构建连通图,通过注意力机制获取胶囊间的依赖关系,利用影响因素大的预测胶囊进行特征聚类,改变使用迭代更新高低胶囊层间耦合系数的动态路由方式,降低参数量并提升模型的分类准确率。此外,在特征提取部分加入残差网络提取更高维的特征以优化胶囊质量,在提升模型特征表达能力的同时可抑制模型过大。实验结果表明,在参数量小于多个胶囊网络变体的情况下,该模型在MNIST、FashionMNIST、CIFAR10和SVHN数据集上的精度分别达到99.74%、95.02%、91.78%和95.65%,均高于MS-CapsNet、TextCaps、AR CapsNet、FSc-CapsNet、DA-CapsNet等对比模型。     

基于改进胶囊神经网络的遥感影像分类

针对遥感影像卷积神经网络（CNN）分类会导致特征信息丢失及泛化能力差的问题,提出一种基于通道注意力和混合注意力改进的胶囊神经网络分类模型。首先,为了胶囊神经网络能够适应于大尺寸输入图像,在特征提取模块中使用2个最大池化层;其次,为了提高分类精度,分别将SENet注意力和CBAM注意力加在特征提取模块的最后一层去改进特征提取模块;最后,将样本集随机地划分为训练集、验证集和测试集,进一步使用训练集和验证集训练模型,测试集测试模型,使用AID数据集对模型分类的泛化能力进行验证。实验结果表明:基于SENet网络改进的胶囊神经网络的准确率与Kappa系数要高于其他模型,泛化能力也优于其他模型,本文提出的模型的总体分类精度和泛化能力有了显著性提升,从而验证了本文方法的可行性和使用性。     

基于CapsNet的飞控参数预测算法

针对飞行控制系统(Flight Control System,FCS)一直以来难以进行故障预测的问题,提出一种基于胶囊网络(Capsule Network,CapsNet)的飞控参数预测算法.通过将飞控系统的相关多个参数融合输入到模型中来实时预测单个参数在飞机飞行中的变化,从而可以在其发生故障之前及时排除.在基于Keras框架上进行的实验表明:在四种模型性能评估指标上,CapsNet的方法比传统的卷积神经网络(Convolutional Neural Network,CNN)、长短时记忆网络(Long Short-Term Memory,LSTM)在单步以及多步预测上误差平均降低37.1％、8.1％,可以为飞控系统故障预测提供重大参考.     

基于曲线拟合和SVM的眼动信号分类算法研究

为提高基于EOG的眼动信号分类算法精度,改进基于EOG的人—机交互系统性能,提出了一种基于曲线拟合(curve fitting)与支持向量机(SVM)的眼动信号分类算法(CF-SVM),并设计了新的实验范式,增加了“扫视保持”环节.该算法采用曲线拟合方法进行特征提取,在此基础上,使用SVM分类器对眼动信号进行分类.实验室环境下,对9名眼部活动正常的受试者进行了眼动数据采集与识别,CF-SVM算法的平均分类准确率达到98.3％,与其他几种眼动识别方法相比较,其平均正确率分别提升了9.4％、5.9％、1.0％.实验结果表明,CF-SVM算法在眼动信号识别中表现了良好的性能,具有高的分类精度和鲁棒性.     

复杂场景下基于复合胶囊网络的交通标志识别

针对复杂场景中交通标志被遮挡,用单一模型特征提取方法获取的图像信息不充分的问题,提出一种复合胶囊网络的交通标志识别方法.将残差网络中的多尺度思想引入胶囊网络卷积层,在主胶囊层中加入双通道池化,对动态路由算法的计算方式进行优化,提高特征提取的效果和预测值的输出概率.在GTSRB数据集上的测试结果表明,改进后的复合胶囊网络识别精度达到99.21％,相对于其它识别算法性能有所提升,验证了该模型的有效性.     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果,在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法,提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先,使用梯度统计特征提取层对图像中的梯度信息进行统计,构建方向梯度直方图（HOG）特征图;其次,使用卷积层提取出图像的颜色信息,把提取出的颜色信息与HOG特征图融合构成HOG-C特征图;最后,输入卷积层提取HOG-C特征图的抽象特征,并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装,使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中,该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明,该模型在交通监控下的车型分类上具有更好的效果。     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果，在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法，提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先，使用梯度统计特征提取层对图像中的梯度信息进行统计，构建方向梯度直方图（HOG）特征图；其次，使用卷积层提取出图像的颜色信息，把提取出的颜色信息与HOG特征图融合构成HOG-C特征图；最后，输入卷积层提取HOG-C特征图的抽象特征，并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装，使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中，该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明，该模型在交通监控下的车型分类上具有更好的效果。     

改进LeNet-5网络在图像分类中的应用

LeNet-5卷积神经网络（CNN）虽然在手写数字识别上取得很好的分类效果,但在具有复杂纹理特征的数据集上分类精度不高。为提高网络在复杂纹理特征图像上分类的正确率,提出一种改进的LeNet-5网络结构。引入跨连思想,充分利用网络提取的低层次特征;把Inception V1模块嵌入LeNet-5卷积神经网络,提取图像的多尺度特征;输出层使用softmax函数对图像进行分类。在Cifar-10和Fashion MNIST数据集上进行的实验结果表明,改进的卷积神经网络在复杂纹理特征数据集上具有很好的分类能力。     

多元时序的深度自编码器聚类算法

针对深度聚类算法对多变量时间序列数据（MTS）的特征提取能力不足等问题,提出一种新的深度聚类结构模型（MDTC）。为了提取MTS的关键特征并实现降维,提出一维卷积学习MTS的属性和时序维度的特征表示与循环神经网络等网络层组成的自编码器结构;为了提高模型对时序特征的表示能力,提出了MCBAM时序注意力模块,用于增强MTS序列中不同时间段的表示特征。在九个公开UEA多元时序数据集进行了实验,模型的自编码器结构相较其他自编码器在七个数据集上提升了2%~9%;模型的MCBAM模块相较其他注意力模块在六个数据集上提升了0.3%~2%。实验表明MDTC模型结构和MCBAM模块的有效性,同时模型对比其他聚类算法具有优异的表现。     

多分支结构强化表征能力的CapsNet方法

CapsNet是一种新的目标识别模型,通过动态路由和capsule识别已知目标的新形态.针对CapsNet的解码器输入层规模随类别数增加而增加,可延展性较弱的问题,本文提出多分支自编码器模型.该模型将各个类别的编码分别传递给解码器,使解码器规模独立于类别数,增强了模型的可延展性.针对单类别图像训练多类别图像识别任务,本文增加新的优化目标降低非标签类别的编码向量对解码器的激励,强化了模型的表征能力.MNIST数据集的实验结果表明,多分支自编码器具有良好的识别能力且重构能力明显优于CapsNet,因而具有更全面的表征能力.     

基于深度残差胶囊网络与注意力机制的加密流量识别方法

随着用户安全意识的提高和加密技术的发展,加密流量已经成为网络流量中的重要部分,识别加密流量成为网络流量监管的重要部分。基于传统深度学习模型的加密流量识别方法存在效果差、模型训练时间长等问题。针对上述问题,提出了一种基于深度残差胶囊网络模型（DRCN,deep residual capsule network）的加密流量识别方法。原始胶囊网络通过全连接形式堆叠导致模型耦合系数变小,无法搭建深层网络模型。针对上述问题,DRCN模型采用三维卷积算法（3DCNN）动态路由算法代替全连接动态路由算法,减少了每个胶囊层之间传递的参数,降低了运算复杂度,进而构建深层胶囊网络,提高识别的准确率和效率;引入通道注意力机制为不同的特征赋予不同的权重,减少无用特征对识别结果的影响,进一步增强模型特征提取能力;将残差网络引入胶囊网络层,搭建残差胶囊网络模块缓解了深度胶囊网络的梯度消失问题。在数据预处理方面,截取的数据包前784byte,将截取的字节转化成图像输入到DRCN模型中,该方法避免了人工特征提取,减少了加密流量识别的人工成本。在ISCXVPN2016数据集上的实验结果表明,与效果最好的BLSTM模型相比,DRCN模型的准确率提高了5.54%,模型的训练时间缩短了232s。此外,在小数据集上,DRCN模型准确率达到了94.3%。上述实验结果证明,所提出的识别方案具有较高的识别率、良好的性能和适用性。     

基于胶囊网络的三维模型识别

为解决传统卷积神经网络中大量池化层的引入导致特征信息丢失的问题,依据胶囊网络(CapsNet)使用向量神经元保存特征空间信息的特性,提出了一种用以识别三维模型的网络模型3DSPNCapsNet。使用新的网络结构,提取更具代表性的特征的同时降低了模型复杂度,并提出基于动态路由(DR)算法的DRL算法来优化胶囊权重的迭代计算过程。在ModelNet10上的实验结果表明,相比3DCapsNet以及VoxNet,该网络取得了更好的识别效果,在原始测试集上3DSPNCapsNet的平均识别准确率达到95%,同时验证了该网络对旋转三维模型的识别能力。适当扩展旋转训练集之后,所提网络对各角度旋转模型的平均识别率达到81%。实验结果表明,3DSPNCapsNet对三维模型及其旋转具有良好的识别能力。