基于卷积网络的帧率提升算法研究*

基于运动补偿的帧率提升算法是目前主要的帧率提升方法。为减小内插帧中的块效应、孔洞和遮挡问题,提高插值帧质量,本文提出一种基于卷积神经网络（convolutional neural network）的自学习帧率提升（frame rate up-conversion）方法。卷积神经网络用于利用两相邻帧预测待插值帧。在卷积神经网络的训练阶段,我们假设高帧率视频是存在的,网络参数由高帧率视频与低帧率视频训练而来。最后视频数据以低帧率视频加网络参数的形式传输,在接收端就可以利用卷积神经网络重建高帧率视频。实质上,我们这样做是通过增加视频发布者的负担以提供给视频接受者更多便利。对于视频点播网站来说,这是提升用户体验的重要因素。实验表明,我们的方案相对于传统的基于运动补偿的帧率提升算法,平均PSNR提升至少0.6 DB,取得较大程度提升。并且,我们的方法是基于全局的帧预测方法,可以有效避免快效应、孔洞和遮挡问题。