基于双路时空网络的驾驶员行为识别

驾驶员危险驾驶行为是恶性交通事故发生的主要原因之一，因此识别驾驶员行为具有工程应用上的重要意义。目前，主流基于视觉的检测方法是对驾驶员行为的局部时空特征进行研究，针对全局空间特征及长时序相关性特征研究较少，这在一定程度上无法结合场景上下文信息对危险驾驶行为进行识别。为了解决上述问题，提出一种基于双路时空网络的驾驶员行为识别方法，整合不同时空通路的优点以提高行为特征丰富度。首先，使用一种改进的双流卷积神经网络(TSN)对时空信息进行表征学习，同时降低提取特征的稀疏性；其次，构建一种基于Transformer的串行时空网络补充长时序相关性信息；最后，联合双路时空网络进行融合决策，增强模型的鲁棒性。实验结果表明，所提方法在驾驶员疲劳检测数据集YawDD、驾驶员分心检测数据集SF-DDDD和最新驾驶员行为识别数据集SynDD1这3个公开数据集上分别取得99.85%、99.94%和98.77%的识别准确率，特别是在SynDD1上，与使用动作识别的网络MoviNet-A0相比识别准确率提升了1.64个百分点；消融实验结果也验证了该方法对驾驶员行为有较高的识别精度。