基于多特征融合的小样本视频行为识别算法

现有基于小样本学习的视频行为识别方法,在解决小样本学习中信息量稀缺问题时存在信息重复度高以及类间相似性大等不足,而且鲜有关注小样本学习中的域偏移与枢纽点问题,从而导致动作类表达能力弱和行为识别中错误分类的问题,此外,复杂的网络结构导致参数量与计算量成倍增加.针对以上问题,本文提出一种基于多特征融合的小样本视频行为识别算法,具体来说,该方法提出深度特征与流形特征的融合策略.首先,针对特征形式之一的流形特征,提出使用表征传播对流形结构进行平滑操作,更好地缓解了小样本学习中的域偏移与枢纽点问题.其次,通过同时使用对视频特征表达能力不同的深度特征与流形特征,获得更多的样本有效信息,进而缓解小样本学习中样本稀缺的问题.最后,为减小模型的参数量与计算量,选择基于2D方法构建模型.在HMDB51、UCF101以及Kinetics三个数据集上进行实验,结果表明,本文方法在“5-way 1-shot”任务下表现突出,识别率优于现有的小样本视频行为识别方法,在HMDB51上提高了8.5%,在UCF101上提高了9.5%,在Kinetics上提高了1.0%.