| 跨语言知识蒸馏的视频中文字幕生成 |
| |
| 引用本文： | 侯静怡,齐雅昀,吴心筱,贾云得.跨语言知识蒸馏的视频中文字幕生成[J].计算机学报,2021,44(9):1907-1921. |
| |
| 作者姓名： | 侯静怡 齐雅昀 吴心筱 贾云得 |
| |
| 作者单位： | 北京理工大学计算机学院智能信息技术北京市重点实验室 北京100081 |
| |
| 摘 要： | 视频字幕生成(video captioning)在视频推荐、辅助视觉、人机交互等领域具有广泛的应用前景.目前已有大量的视频英文字幕生成方法和数据,通过机器翻译视频英文字幕可以实现视频中文字幕的生成.然而,中西方文化差异和机器翻译算法性能都会影响中文字幕生成的质量.为此,本文提出了一种跨语言知识蒸馏的视频中文字幕生成方法.该方法不仅可以根据视频内容直接生成中文语句,还充分利用了易于获取的视频英文字幕作为特权信息(privileged information)指导视频中文字幕的生成.由于同一视频的英文字幕与中文字幕之间存在语义关联关系,本文方法从中学习到与视频内容相关的跨语言知识,并利用知识蒸馏将英文字幕包含的高层语义信息融入中文字幕生成.同时,通过端到端的训练方式确保模型训练目标与视频中文字幕生成任务目标的一致性,有效提升中文字幕生成性能.此外,本文还对视频英文字幕数据集MSVD扩展,给出了中英文视频字幕数据集MSVD-CN.
|
| 关 键 词： | 中文字幕生成 视频理解 知识蒸馏 视频中英字幕数据集 特权信息 |
Cross-Lingual Knowledge Distillation for Chinese Video Captioning |
| |
| HOU Jing-Yi,QI Ya-Yun,WU Xin-Xiao,JIA Yun-De.Cross-Lingual Knowledge Distillation for Chinese Video Captioning[J].Chinese Journal of Computers,2021,44(9):1907-1921. |
| |
| Authors: | HOU Jing-Yi QI Ya-Yun WU Xin-Xiao JIA Yun-De |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
