基于多特征融合网络的独居老人行为识别研究

为了识别独居老人的行为，选用NTURGB+D120数据集的23个医疗与日常行为类别的多场景视频作为数据集，并设计了一套高效特征融合策略。该策略改进了SlowFast网络的输入方式，使得改进后的网络能够同时处理输入的两个不同特征的图像序列，实现向量上的合并融合。实验结果表明，将使用AlphaPose网络获取的骨骼信息嵌入在红、绿、蓝（Red Green Blue,RGB）与红外图像序列中，作为网络输入，并得到行为识别的Top-1准确率与Top-5准确率，分别为91.58%与90.00%，与RGB单特征输入的Slow Fast网络识别的准确率相比较为提升。