短视频场景在线起始检测任务及方法研究

现有视频在线检测研究所用数据集主要集中于长视频,且类别范畴相对单一,同时,需要设计符合在线形式需求的检测评价体系以满足日益增长的手机端短视频应用需求。该文提出一项短视频场景下在线精彩时刻起始检测的新任务,以辅助引导手机在拍摄过程中智能捕捉精彩时刻或实现其他短视频应用。具体实验包括：(1)构建经过仔细时序标注的基于手机端拍摄的短视频数据集Highlight45,用于填补新任务的训练和评估数据空缺;(2)设定在线评价指标——首个检出的平均查准率,可视化结果显示该指标更加契合起始检测任务需求;(3)设计带有序列对比损失函数的混合双流网络作为该任务的基线方法。实验结果显示,相比传统方法,该研究所提出的方法在已有起始检测指标和首个检出的平均查准率指标中分别取得了 6.98% 和 4.11% 的性能提升。