SA-CapsNet:自注意力胶囊网络

胶囊网络(CapsNet)强调对图像特征的空间关系进行编码,但是其特征提取模块难以应对复杂分类场景.为了提升CapsNet的性能,提出了一种具有自注意力(self-attention)特征提取模块的胶囊网络(self-attention capsule network,SA-CapsNet).首先通过降低胶囊维度,并增加一个中间层来改进CapsNet;然后将SA模块映射到胶囊网络的特征提取层,增加特征提取能力.在MNIST、Fashion MNIST和CIFAR10数据集上进行实验,分类准确率分别为99.67％、92.21％和82.51％.实验结果验证了改进网络的有效性,整体性能有较大提升.     

基于胶囊网络的动态路由研究与改进

胶囊网络具有弥补卷积神经网络空间信息丢失和旋转不变性差的优点,已被广泛应用于图像分类、目标检测以及文本检测等多个领域,但胶囊网络仍存在参数量大且分类精确度低的问题。提出基于点乘注意力图卷积路由的胶囊网络分类模型。在同级胶囊之间构建连通图,通过注意力机制获取胶囊间的依赖关系,利用影响因素大的预测胶囊进行特征聚类,改变使用迭代更新高低胶囊层间耦合系数的动态路由方式,降低参数量并提升模型的分类准确率。此外,在特征提取部分加入残差网络提取更高维的特征以优化胶囊质量,在提升模型特征表达能力的同时可抑制模型过大。实验结果表明,在参数量小于多个胶囊网络变体的情况下,该模型在MNIST、FashionMNIST、CIFAR10和SVHN数据集上的精度分别达到99.74%、95.02%、91.78%和95.65%,均高于MS-CapsNet、TextCaps、AR CapsNet、FSc-CapsNet、DA-CapsNet等对比模型。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题，提出了一种改进的CapsNet模型。首先，使用两层卷积层对特征信息进行局部特征提取；然后，使用CapsNet对文本的整体特征进行提取；最后，使用softmax分类器进行分类。在文本分类中，所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明，改进CapsNet模型更适用于文本分类。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题,提出了一种改进的CapsNet模型。首先,使用两层卷积层对特征信息进行局部特征提取;然后,使用CapsNet对文本的整体特征进行提取;最后,使用softmax分类器进行分类。在文本分类中,所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明,改进CapsNet模型更适用于文本分类。     

面向复杂图像分类的共享转换矩阵胶囊网络

针对胶囊网络（CapsNet）在处理含有背景噪声信息的复杂图像时分类效果不佳且计算开销大的问题，提出一种基于注意力机制和权值共享的改进胶囊网络模型——共享转换矩阵胶囊网络（STM-CapsNet）。该模型主要包括以下改进：1）在特征提取层中引入注意力模块，使低层胶囊能够聚焦于与分类任务相关的实体特征；2）将空间位置接近的低层胶囊分为若干组，每组内的低层胶囊通过共享转换矩阵映射到高层胶囊，降低计算开销，提高模型鲁棒性；3）在间隔损失与重构损失的基础上加入L2正则化项，防止模型过拟合。在CIFAR10、SVHN(Street View House Number)、FashionMNIST复杂图像数据集上的实验结果表明，各改进均能有效提升模型性能；当迭代次数为3，共享转换矩阵数为5时，STM-CapsNet模型的平均准确率分别为85.26%、93.17%、94.96%，平均参数量为8.29 MB，比基线模型的综合性能更优。     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果，在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法，提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先，使用梯度统计特征提取层对图像中的梯度信息进行统计，构建方向梯度直方图（HOG）特征图；其次，使用卷积层提取出图像的颜色信息，把提取出的颜色信息与HOG特征图融合构成HOG-C特征图；最后，输入卷积层提取HOG-C特征图的抽象特征，并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装，使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中，该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明，该模型在交通监控下的车型分类上具有更好的效果。     

基于CapsNet的中国手指语识别

传统的手指语识别采用卷积神经网络的方法，模型结构单一，在池化层会丢弃很多信息； Capsule（胶囊）是在神经网络中构建和抽象出的子网络，每个胶囊都专注于一些单独的任务，又能保留图像的空间特征。分析了中国手语中手指语的特征，构建并扩展了手指语图片训练集，试图用CapsNet（胶囊网络）模型解决手指语的识别任务，对比了不同参数下CapsNet的识别率，并与经典的GoogLeNet卷积网络作对比。实验结果表明，CapsNet在手语识别任务上能达到较好的识别效果。     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果,在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法,提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先,使用梯度统计特征提取层对图像中的梯度信息进行统计,构建方向梯度直方图（HOG）特征图;其次,使用卷积层提取出图像的颜色信息,把提取出的颜色信息与HOG特征图融合构成HOG-C特征图;最后,输入卷积层提取HOG-C特征图的抽象特征,并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装,使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中,该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明,该模型在交通监控下的车型分类上具有更好的效果。     

结合多尺度特征与掩码图网络的小样本学习

对样本所含信息的提取能力决定网络模型进行小样本分类的效果,为了进一步提高模型挖掘信息的能力,提出一种结合多尺度特征与掩码图网络的小样本学习方法。设计由1×1卷积、全局平均池化和跳跃连接组成的最小残差神经网络块,与卷积块拼接成特征提取器,以提取样本不同尺度的特征,并通过注意力机制将不同尺度特征融合;使用融合的多尺度特征构建包含结点与边特征的图神经网络,并在其中加入一个元学习器（meta-learner）用于生成边的掩码,通过筛选边特征来指导图结点聚类与更新,进一步强化样本特征;通过特征贡献度和互斥损失改进类在嵌入空间表达特征的求解过程,提升模型度量学习能力。在MiniImagenet数据集上,该方法 1-shot准确率为61.4%,5-shot准确率为78.6%,分别超过传统度量学习方法 12.0个百分点与10.4个百分点;在Cifar-100数据集上分别提升9.7个百分点和6.0个百分点。该方法有效提升了小样本学习场景下的模型分类准确率。     

卷积神经网络池化方法研究

为解决随机池化中零元素概率为0导致不能被选择的问题,提出一种改进的混合概率随机池化方法。将池化域中的元素去重复并按升序排序,然后加上对应次序的幂次,得到元素的权重概率。在此基础上,根据多项分布取样给出池化值。在数据集MNIST、CIFAR-10、CIFAR-100上进行实验,结果表明,该方法在3种数据集上的分类准确率分别为99.50%、72.25%、39.05%,相较于传统池化方法具有较好的分类效果与稳健性。     

基于深度残差胶囊网络与注意力机制的加密流量识别方法

随着用户安全意识的提高和加密技术的发展,加密流量已经成为网络流量中的重要部分,识别加密流量成为网络流量监管的重要部分。基于传统深度学习模型的加密流量识别方法存在效果差、模型训练时间长等问题。针对上述问题,提出了一种基于深度残差胶囊网络模型（DRCN,deep residual capsule network）的加密流量识别方法。原始胶囊网络通过全连接形式堆叠导致模型耦合系数变小,无法搭建深层网络模型。针对上述问题,DRCN模型采用三维卷积算法（3DCNN）动态路由算法代替全连接动态路由算法,减少了每个胶囊层之间传递的参数,降低了运算复杂度,进而构建深层胶囊网络,提高识别的准确率和效率;引入通道注意力机制为不同的特征赋予不同的权重,减少无用特征对识别结果的影响,进一步增强模型特征提取能力;将残差网络引入胶囊网络层,搭建残差胶囊网络模块缓解了深度胶囊网络的梯度消失问题。在数据预处理方面,截取的数据包前784byte,将截取的字节转化成图像输入到DRCN模型中,该方法避免了人工特征提取,减少了加密流量识别的人工成本。在ISCXVPN2016数据集上的实验结果表明,与效果最好的BLSTM模型相比,DRCN模型的准确率提高了5.54%,模型的训练时间缩短了232s。此外,在小数据集上,DRCN模型准确率达到了94.3%。上述实验结果证明,所提出的识别方案具有较高的识别率、良好的性能和适用性。     

基于双池化特征加权结构CNN的图像分类

传统的池化方式会造成特征信息丢失,导致卷积神经网络中提取的特征信息不足。为了提高卷积神经网络在图像分类过程中的准确率,优化其学习性能,本文在传统池化方式的基础上提出一种双池化特征加权结构的池化算法,利用最大池化和平均池化2种方式保留更多的有价值的特征信息,并通过遗传算法对模型进行优化。通过训练不同池化方式的卷积神经网络,研究卷积神经网络在不同数据集上的分类准确率和收敛速度。实验在遥感图像数据集NWPU-RESISC45和彩色图像数据集Cifar-10上对采用几种池化方式的卷积神经网络分类结果进行对比验证,结果分析表明：双池化特征加权结构使得卷积神经网络的分类准确率有很大程度的提高,同时模型的收敛速度得到进一步提高。     

基于GAN的遥感图像协同数据增强方法

针对基于深度学习的分类模型在少样本训练时所遭受的梯度消失、过拟合问题，结合DCGAN和SRGAN特性，提出一种抑制过拟合、提升图像生成质量的DS-GAN协同数据增强算法。通过改进DCGAN生成新的图像，使用改进SRGAN对其进行超分辨率重构，二者协同得到新的超分辨率图像。首先，提出一种软标签函数，代替DCGAN原始固定标签；其次，引入空洞卷积残差块作为SRGAN判别器主结构，同时加入CBAM注意力机制实现权重的再分配；最后，在SRGAN判别器中引入自适应平均池化，降低网络参数量。实验结果表明，使用标准数据集AID和RSOD,经MobileNet V2分类网络进行测验，DS-GAN数据增强方法相较于常规增强和DCGAN增强方法有明显提高。在AID数据集上，准确率分别提升8.01%、9.49%。在RSOD数据集上，准确率分别提升4.76%、1.4%。     

关于视觉特征与CapsNet的图像大数据分类研究

随着信息技术的快速发展,每天都有数以万计的图像产生,如何从中挖掘重要的图像信息是当前研究的热点问题之一,对此提出了一种关于视觉特征与CapsNet的图像大数据分类方法.为了解决大量图像数据的计算复杂度过高,以及灰度颜色直方图中没有对图像位置的问题,将图像灰度进行压缩,并采用共生矩阵和分形维数对视觉特征进行提取.采用胶囊网络中神经元的输出来表达图像中所包含的各种属性信息,为了更新胶囊网络的耦合系数,通过动态路由算法表示胶囊与子胶囊间的关系,在训练和测试中对动态路由不断进行计算得出胶囊网络的输出.把图像大数据分类算法部署到云计算节点上,采用批量更新的数据模型,将图像的训练集划分为众多数据块进行Map并行训练,利用训练样本向前、后传播得出权值梯度,并采用Reduce计算出所有训练样本权值梯度的平均值,同时对样本权值进行更新.实验结果表明,提出的方法可以有效地防止图像过拟合现象发生,图像分类的准确率和效率均有明显地提高,在图像大数据分类方面表现出显著的性能优势.     

端到端双通道特征重标定DenseNet图像分类

目的 针对密集连接卷积神经网络（DenseNet）没有充分考虑通道特征相关性以及层间特征相关性的缺点,本文结合软注意力机制提出了端到端双通道特征重标定密集连接卷积神经网络。方法 提出的网络同时实现了DenseNet网络的通道特征重标定与层间特征重标定。给出了DenseNet网络通道特征重标定与层间特征重标定方法;构建了端到端双通道特征重标定密集连接卷积神经网络,该网络每个卷积层的输出特征图经过两个通道分别完成通道特征重标定以及层间特征重标定,再进行两种重标定后特征图的融合。结果 为了验证本文方法在不同图像分类数据集上的有效性和适应性,在图像分类数据集CIFAR-10/100以及人脸年龄数据集MORPH、Adience上进行了实验,提高了图像分类准确率,并分析了模型的参数量、训练及测试时长,验证了本文方法的实用性。与DenseNet网络相比,40层及64层双通道特征重标定密集连接卷积神经网络DFR-DenseNet（dual feature reweight DenseNet）,在CIFAR-10数据集上,参数量仅分别增加1.87%、1.23%,错误率分别降低了12%、9.11%,在CIFAR-100数据集上,错误率分别降低了5.56%、5.41%;与121层DFR-DenseNet网络相比,在MORPH数据集上,平均绝对误差（MAE）值降低了7.33%,在Adience数据集上,年龄组估计准确率提高了2%;与多级特征重标定密集连接卷积神经网络MFR-DenseNet（multiple feature reweight DenseNet）相比,DFR-DenseNet网络参数量减少了一半,测试耗时约缩短为MFR-DenseNet的61%。结论 实验结果表明本文端到端双通道特征重标定密集连接卷积神经网络能够增强网络的学习能力,提高图像分类的准确率,并对不同图像分类数据集具有一定的适应性、实用性。     

基于沙漏结构与注意力机制的轻量级人脸表情识别方法

人脸表情检测分类是人机交互领域的一个挑战性任务。为了解决当前表情识别模型参数量大、分类准确率低等问题,提出一种基于沙漏结构与注意力机制的轻量级人脸表情识别方法。首先利用改进的沙漏结构构建轻量级主干特征提取网络;然后设计一个新颖的特征融合注意模块,融合Focus池化特征以提取关键的细节信息,同时嵌入轻量级ECA注意力机制,强化关键表情特征以提升模型的特征表达能力;最后采取Random Erasing、Dropout等多种训练策略以缓解轻量级网络过拟合现象,从而提升模型的泛化性能。在2个经典表情数据集FER2013和CK+上进行测试实验,识别率分别达到了71.72%、95.96%,同时参数量仅约为1×106。     

基于注意力的共享参数胶囊网络

针对传统胶囊网络特征信息的传播冗余性和解构低效性问题,提出一种共享参数的注意力胶囊网络.该网络的优点主要体现于以下两方面:1)提出注意力机制的动态路由方法,通过计算低级胶囊的相关性,使得在保留特征空间信息的同时更加关注相关性高的特征信息,并完成前向传播;2)在动态路由层提出共享转换矩阵,基于低级胶囊投票一致性对高级胶囊激活,并通过共享转换矩阵减少模型的参数量,同时实现改进胶囊网络的稳健性.首先,通过5个公开数据集的分类对比实验,表明所提出胶囊网络在Fashion-MNIST、SVHN和CIFAR10数据集上分别取得了5.17%、3.67%和9.35%的最好分类结果,而且在复杂数据集上具有显著的白盒对抗攻击鲁棒性;然后,通过在基于smallNORB和affNISH公开数据集的仿射变换对比实验,表明所提出的胶囊网络具有显著的仿射变换鲁棒性;最后,通过计算效率分析对比实验结果,表明所提出共享参数胶囊网络在不增加浮点运算的情况下,参数量比传统的胶囊网络减少4.9%,具有突出的计算量优势.     

基于改进胶囊神经网络的遥感影像分类

针对遥感影像卷积神经网络（CNN）分类会导致特征信息丢失及泛化能力差的问题,提出一种基于通道注意力和混合注意力改进的胶囊神经网络分类模型。首先,为了胶囊神经网络能够适应于大尺寸输入图像,在特征提取模块中使用2个最大池化层;其次,为了提高分类精度,分别将SENet注意力和CBAM注意力加在特征提取模块的最后一层去改进特征提取模块;最后,将样本集随机地划分为训练集、验证集和测试集,进一步使用训练集和验证集训练模型,测试集测试模型,使用AID数据集对模型分类的泛化能力进行验证。实验结果表明:基于SENet网络改进的胶囊神经网络的准确率与Kappa系数要高于其他模型,泛化能力也优于其他模型,本文提出的模型的总体分类精度和泛化能力有了显著性提升,从而验证了本文方法的可行性和使用性。     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能。提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,该方法能有效压缩网络模型规模并降低计算复杂度,尤其在SVHN数据集上,压缩后的VGG-16网络模型在参数量和浮点运算量分别减少97.3%和91.2%的情况下,图像分类准确率仅损失了0.57个百分点。