采用蒸馏训练的时空图卷积动作识别融合模型

目的 基于深度学习的动作识别方法识别准确率显著提升,但仍然存在很多挑战和困难。现行方法在一些训练数据大、分类类别多的数据集以及实际应用中鲁棒性较差,而且许多方法使用的模型参数量较大、计算复杂,提高模型准确度和鲁棒性的同时对模型进行轻量化仍然是一个重要的研究方向。为此,提出了一种基于知识蒸馏的轻量化时空图卷积动作识别融合模型。方法 改进最新的时空卷积网络,利用分组卷积等设计参数量较少的时空卷积子模型;为了训练该模型,选取两个现有的基于全卷积的模型作为教师模型在数据集上训练,在得到训练好的教师模型后,再利用知识蒸馏的方法结合数据增强技术训练参数量较少的时空卷积子模型;利用线性融合的方法将知识蒸馏训练得到的子模型融合得到最终的融合模型。结果 在广泛使用的NTU RGB + D数据集上与前沿的多种方法进行了比较,在CS(cross-subject)和CV(cross-view)两种评估标准下,本文模型的准确率分别为90.9%和96.5%,与教师模型2s-AGCN(two-stream adaptive graph convolutional networks for skeleton-based action)相比,分别提高了2.4%和1.4%;与教师模型DGNN(directed graph neural network)相比,分别提高了1.0%和0.4%;与MS-AAGCN(multi-stream attention-enhanced adaptive graph convolutional neural network)模型相比,分别提高了0.9%和0.3%。结论 本文提出的融合模型,综合了知识蒸馏、数据增强技术和模型融合的优点,使动作识别更加准确和鲁棒。     

动态三维场景重建研究综述

三维重建技术旨在通过传感器输入,恢复所观测场景的数字化三维表示,是计算机图形学与视觉领域的重要研究方向,在可视化、模拟、路线规划等各类任务上都有重要应用。相比于静态场景,动态场景额外引入了时间维度,对应的重建任务不仅需要重构每帧细节几何,还需刻画目标随着时间变化的趋势与关联关系用于下游分析任务,为重建算法设计带来了更大的挑战。然而,目前学界就动态场景重建的讨论依然仅处于起步阶段,且关于现有方法的系统性总结也较为欠缺。为了填补上述空缺、进一步启发算法设计,对学界当前最新的动态三维场景重建技术进行整理和归纳,对动态三维场景重建问题及其通用求解框架进行一般性的定义,从动态三维表示方式、优化框架方面对已有技术进行综述,并针对结构化的特殊场景讨论对应的重建方法与处理方式。最终,介绍相关数据集,并对动态三维场景重建现存的问题进行分析总结,对未来工作进行展望。