基于时空建模的视频帧预测模型

视频帧预测是计算机视觉领域一个重要的研究领域,并且拥有广泛的应用。目前,常用的视频帧预测模型虽然取得了一定的效果,但由于这类模型并不能在时空信息上同时建模,因此难以在更加复杂度的现实场景下应用。针对此问题,文中提出一种深度时空建模神经络。该网络通过预测未来光流,并利用该光流对前一帧图像进行采用的方法来预测未来图像,此外分别加入卷积LSTM与自注意力机制进行时空信息的建模。文章在Caltech行人数据集上进行了充分的实验,并取得了较好的实验结果。