多层次知识自蒸馏联合多步骤训练的细粒度图像识别

细粒度图像识别具有类内差异大、类间差异小的特点,在智能零售、生物多样性检测和智慧交通等领域中有着广阔的应用场景.提取到判别性强的多粒度特征是提升细粒度图像识别精度的关键,而已有工作大多只在单一层次进行知识获取,忽略了多层次信息交互对于提取鲁棒性特征的有效性.另外一些工作通过引入注意力机制来找到局部判别区域,但这不可避免地增加了网络复杂度.为了解决这些问题,提出了多层次知识自蒸馏联合多步骤训练的细粒度图像识别（multi-level knowledge self-distillation with multi-step training for fine-grained image recognition, MKSMT）模型.该模型首先在网络浅层进行特征学习,然后在深层网络再次进行特征学习,并利用知识自蒸馏将深层网络知识迁移至浅层网络中,优化后的浅层网络又能帮助深层网络提取到更鲁棒的特征,进而提高整个模型的性能.实验结果表明,MKSMT在CUB-200-2011、 NA-Birds和Stanford Dogs这3个公开细粒度图像数据集上分别达到了92.8%、 92.6%和91.1%的分类...     

基于One-Shot聚合自编码器的图表示学习

自编码器（AE）是一种高效的图数据表示学习模型,但大多数图自编码器（GAE）为浅层模型,其效率会随着隐藏层的增加而降低。针对上述问题,提出基于One-Shot聚合（OSA）和指数线性（ELU）函数的GAE模型OSA-GAE和图变分自编码器模型OSA-VGAE。首先,利用多层图卷积网络（GCN）构建编码器,并引入OSA和ELU函数;然后,在解码阶段使用内积解码器恢复图的拓扑结构;此外,为了防止模型训练过程中的参数过拟合,在损失函数中引入正则化项。实验结果表明,OSA和ELU函数可以有效提高深层GAE的性能,改善模型的梯度信息传递。在使用6层GCN时,基准引文数据集PubMed的链接预测任务中,深层OSA-VGAE相较于原始的VGAE在ROC曲线下的面积（AUC）和平均精度（AP）上分别提升了8.67和6.85个百分点,深层OSA-GAE相较于原始的GAE在AP和AUC上分别提升了6.82和4.39个百分点。     

基于姿态编码器的2D/3D脊椎医学图像实时配准方法

2D/3D医学图像配准是骨科手术三维实时导航中的一项关键技术,然而传统的基于优化迭代的2D/3D配准方法需要经过多次迭代计算,无法满足医生在手术过程中对于实时配准的要求。针对该问题,提出一种基于自编码器的姿态回归网络来通过隐空间解码捕获几何姿态信息,从而快速地回归出术中X射线图像对应的术前脊椎位置的3D姿态,并经过重新投影生成最终的配准图像。通过引入新的损失函数,以“粗细”结合配准的方式对模型进行约束,保证了姿态回归的精确度。在CTSpine1K脊椎数据集中抽取100组CT扫描图像进行10折交叉验证,实验结果表明：所提出的模型所生成的配准结果图像与X射线图像的平均绝对误差（MAE）为0.04,平均目标配准误差（mTRE）为1.16 mm,单帧耗时1.7 s。与基于传统优化的方法相比,该模型配准时间大幅缩短。相较于基于学习的方法,该模型在快速配准的同时,保证了较高的配准精度。可见,所提模型可以满足术中实时高精配准的要求。     

双路自编码器的属性网络表示学习

属性网络表示学习的目的是在保证网络中节点性质的前提下,结合结构和属性信息学习节点的低维稠密向量表示。目前属性网络表示学习方法忽略了网络中属性信息的学习,且这些方法中的属性信息与网络拓扑结构的交互性不足,不能高效融合网络结构和属性信息。针对以上问题,提出一种双路自编码器的属性网络表示学习（DENRL）算法。首先,通过多跳注意力机制捕获节点的高阶邻域信息;其次,设计低通拉普拉斯滤波器去除高频信号,并迭代获取重要邻居节点的属性信息;最后,构建自适应融合模块,通过结构和属性信息的一致性及差异性约束来增加对重要信息的获取,并通过监督两个自编码器的联合重构损失函数训练编码器。在Cora、Citeseer、Pubmed和Wiki数据集上的实验结果表明,与DeepWalk、ANRL(Attributed Network Representation Learning)等算法相比,DENRL算法在3个引文网络数据集上聚类准确率最高、算法运行时间最少,在Cora数据集上聚类准确率为0.775和运行时间为0.460 2 s;且DENRL算法在Cora和Citeseer数据集上链路预测精确率最高,分别达到了0...     

具有输入死区与扰动的四旋翼无人机自抗扰控制

研究了具有输入死区与扰动的四旋翼无人机的姿态控制问题。由于输入死区普遍存在于四旋翼无人机的执行机构,并且易受到扰动的影响。针对具有输入死区与扰动的四旋翼无人机系统,设计基于自抗扰的动态面控制器。采用自抗扰控制算法设计扩张状态观测器估计系统的总扰动,采用动态面方法设计控制律。所设计的控制器使四旋翼无人机实现对期望姿态角跟踪。仿真结果验证了该方案的有效性。     

基于互补滤波的两轮自平衡小车的实现

要使两轮自平衡小车协同运动、平衡稳定、有效控制,最为关键的首要因素是准确、快速地解算出其运动姿态信息。该文针对姿态信息解算的卡尔曼滤波解算复杂、运算量大等缺点,采用互补滤波将倾角、加速度传感器信息进行数据融合、优化,得到与实际姿态信息相一致的最优估计值。再综合视觉传感器,两轮自平衡小车自动调整运动姿态、及时修正并回归至平衡位置,实现平稳控制。提出利用传感器—倾角、加速度、磁力计、视觉,互补滤波,ARM微控制器,4G通信等多种技术,设计出基于互补滤波的两轮自平衡小车。详细阐述了工作原理、系统架构、硬件设计及姿态信息检测、互补滤波、方向检测等算法。实践表明,基于互补滤波的两轮竞速自平衡小车姿态解算准确快速、运动控制精准、转弯快速。     

视觉Transformer识别任务研究综述

Transformer模型在自然语言处理领域取得了很好的效果,同时因其能够更好地连接视觉和语言,也激发了计算机视觉界的极大兴趣。本文总结了视觉Transformer处理多种识别任务的百余种代表性方法,并对比分析了不同任务内的模型表现,在此基础上总结了每类任务模型的优点、不足以及面临的挑战。根据识别粒度的不同,分别着眼于诸如图像分类、视频分类的基于全局识别的方法,以及目标检测、视觉分割的基于局部识别的方法。考虑到现有方法在3种具体识别任务的广泛流行,总结了在人脸识别、动作识别和姿态估计中的方法。同时,也总结了可用于多种视觉任务或领域无关的通用方法的研究现状。基于Transformer的模型实现了许多端到端的方法,并不断追求准确率与计算成本的平衡。全局识别任务下的Transformer模型对补丁序列切分和标记特征表示进行了探索,局部识别任务下的Transformer模型因能够更好地捕获全局信息而取得了较好的表现。在人脸识别和动作识别方面,注意力机制减少了特征表示的误差,可以处理丰富多样的特征。Transformer可以解决姿态估计中特征错位的问题,有利于改善基于回归的方法性能,还减少了三维估计时深度映射所产生的歧义。大量探索表明视觉Transformer在识别任务中的有效性,并且在特征表示或网络结构等方面的改进有利于提升性能。     

面向多模态自监督特征融合的音视频对抗对比学习

目的 同一视频中的视觉与听觉是两个共生模态,二者相辅相成,同时发生,从而形成一种自监督模式。随着对比学习在视觉领域取得很好的效果,将对比学习这一自监督表示学习范式应用于音视频多模态领域引起了研究人员的极大兴趣。本文专注于构建一个高效的音视频负样本空间,提高对比学习的音视频特征融合能力。方法 提出了面向多模态自监督特征融合的音视频对抗对比学习方法：1)创新性地引入了视觉、听觉对抗性负样本集合来构建音视频负样本空间;2)在模态间与模态内进行对抗对比学习,使得音视频负样本空间中的视觉和听觉对抗性负样本可以不断跟踪难以区分的视听觉样本,有效地促进了音视频自监督特征融合。在上述两点基础上,进一步简化了音视频对抗对比学习框架。结果 本文方法在Kinetics-400数据集的子集上进行训练,得到音视频特征。这一音视频特征用于指导动作识别和音频分类任务,取得了很好的效果。具体来说,在动作识别数据集UCF-101和HMDB-51(human metabolome database)上,本文方法相较于Cross-AVID(cross-audio visual instance discrimination...     

融合改进ASPP和极化自注意力的自底向上全景分割

目的 针对ASPP（atrous spatial pyramid pooling）在空洞率变大时空洞（atrous）卷积效果会变差的情况,以及图像分类经典模型ResNet （residual neural network）并不能有效地适用于细粒度图像分割任务的问题,提出一种基于改进ASPP和极化自注意力的自底向上全景分割方法。方法 重新设计ASPP模块,将小空洞率卷积的输出与原始输入进行拼接（concat）,将得到的结果作为新的输入传递给大空洞率卷积,然后将不同空洞率卷积的输出结果拼接,并将得到的结果与ASPP中的其他模块进行最后拼接,从而改善ASPP中因空洞率变大导致的空洞卷积效果变差的问题,达到既获得足够感受野的同时又能编码多尺度信息的目的;在主干网络的输出后引入改进的极化自注意力模块,实现对图像像素级的自我注意强化,使其得到的特征能直接适用于细粒度像素分割任务。结果 本文在Cityscapes数据集的验证集上进行测试,与复现的基线网络Panoptic-DeepLab（58.26%）相比,改进ASPP模块后分割精度PQ（panoptic quality）（58.61%）提高了0.35%,运行时间从103 ms增加到124 ms,运行速度没有明显变化;通过进一步引入极化自注意力,PQ指标（58.86%）提高了0.25%,运行时间增加到187 ms;通过对该注意力模块进一步改进,PQ指标（59.36%）在58.86%基础上又提高了0.50%,运行时间增加到192 ms,速度略有下降,但实时性仍好于大多数方法。结论 本文采用改进ASPP和极化自注意力模块,能够更有效地提取适合细粒度像素分割的特征,且在保证足够感受野的同时能编码多尺度信息,从而提升全景分割性能。     

基于ATLG混合模型的股票价格预测

股市是金融市场的重要组成部分,对股票价格预测有着重要的意义.同时,深度学习具有强大的数据处理能力,可以解决金融时间序列的复杂性所带来的问题.对此,本文提出一种结合自注意力机制的混合神经网络模型(ATLG).该模型由长短期记忆网络(LSTM)、门控递归单元(GRU)、自注意力机制构建而成,用于对股票价格的预测.实验结果表明:(1)与LSTM、GRU、RNN-LSTM、RNN-GRU等模型相比, ATLG模型的准确率更高;(2)引入自注意力机制使模型更能聚焦于重要时间点的股票特征信息;(3)通过对比,双层神经网络起到的效果更为明显.(4)通过MACD (moving average convergence and divergence)指标进行回测检验,获得了53%的收益,高于同期沪深300的收益.结果证明了该模型在股票价格预测中的有效性和实用性.