分类激活图增强的图像分类算法

分类激活图(CAM)具有稀疏、不连续、不完整等问题,并且目前大部分研究仅将其用于可视化分析。基于此,首先利用扩张卷积设计了自动加权的多尺度特征学习来弥补分类激活图存在的问题,并将该多尺度特征与分类激活图生成方法结合,设计了多尺度分类激活图生成方法。进一步,将该多尺度的分类激活图嵌入到网络中构成了端到端的结构,实现分类性能增强的目的。以残差网络ResNet为骨干网络,提出了分类增强模型ResNet-CE。在三个公开数据集CIFAR10、CIFAR100和STL10上,对该模型进行了大量的实验。实验表明:ResNet-CE在这三个数据集上的分类性能与参数量相当的ResNet相比有明显的提升,识别的错误率分别降低了0.23%、3.56%和7.96%,并且分类性能优于当前大部分的分类网络。提出的算法能够简单地迁移到已有的分类模型中,提高原有模型的分类性能。同时,该算法保留了对模型判断依据可视化和解释的功能,这在医疗影像中的疾病识别、无人驾驶的场景识别等场景中具有一定的应用价值和意义。     

面向群体行为识别的非局部网络模型

目的 视频行为识别一直广受计算机视觉领域研究者的关注，主要包括个体行为识别与群体行为识别。群体行为识别以人群动作作为研究对象，对其行为进行有效表示及分类，在智能监控、运动分析以及视频检索等领域有重要的应用价值。现有的算法大多以多层递归神经网络（RNN）模型作为基础，构建出可表征个体与所属群体之间关系的群体行为特征，但是未能充分考虑个体之间的相互影响，致使识别精度较低。为此，提出一种基于非局部卷积神经网络的群体行为识别模型，充分利用个体间上下文信息，有效提升了群体行为识别准确率。方法 所提模型采用一种自底向上的方式来同时对个体行为与群体行为进行分层识别。首先从原始视频中沿着个人运动的轨迹导出个体附近的图像区块；随后使用非局部卷积神经网络（CNN）来提取包含个体间影响关系的静态特征，紧接着将提取到的个体静态特征输入多层长短期记忆（LSTM）时序模型中，得到个体动态特征并通过个体特征聚合得到群体行为特征；最后利用个体、群体行为特征同时完成个体行为与群体行为的识别。结果 本文在国际通用的Volleyball Dataset上进行实验。实验结果表明，所提模型在未进行群体精细划分条件下取得了77.6%的准确率，在群体精细划分的条件下取得了83.5%的准确率。结论 首次提出了面向群体行为识别的非局部卷积网络，并依此构建了一种非局部群体行为识别模型。所提模型通过考虑个体之间的相互影响，结合个体上下文信息，可从训练数据中学习到更具判别性的群体行为特征。该特征既包含个体间上下文信息、也保留了群体内层次结构信息，更有利于最终的群体行为分类。