针对用户兴趣的视频精彩片段提取

目的 视频精彩片段提取是视频内容标注、基于内容的视频检索等领域的热点研究问题。视频精彩片段提取主要根据视频底层特征进行精彩片段的提取,忽略了用户兴趣对于提取结果的影响,导致提取结果可能与用户期望不相符。另一方面,基于用户兴趣的语义建模需要大量的标注视频训练样本才能获得较为鲁棒的语义分类器,而对于大量训练样本的标注费时费力。考虑到互联网中包含内容丰富且易于获取的图像,将互联网图像中的知识迁移到视频片段的语义模型中可以减少大量的视频数据标注工作。因此,提出利用互联网图像的用户兴趣的视频精彩片段提取框架。方法 利用大量互联网图像对用户兴趣语义进行建模,考虑到从互联网中获取的知识变化多样且有噪声,如果不加选择盲目地使用会影响视频片段提取效果,因此,将图像根据语义近似性进行分组,将语义相似但使用不同关键词检索得到的图像称为近义图像组。在此基础上,提出使用近义语义联合组权重模型权衡,根据图像组与视频的语义相关性为不同图像组分配不同的权重。首先,根据用户兴趣从互联网图像搜索引擎中检索与该兴趣语义相关的图像集,作为用户兴趣精彩片段提取的知识来源;然后,通过对近义语义图像组的联合组权重学习,将图像中习得的知识迁移到视频中;最后,使用图像集中习得的语义模型对待提取片段进行精彩片段提取。结果 本文使用CCV数据库中的视频对本文提出的方法进行验证,同时与多种已有的视频关键帧提取算法进行比较,实验结果显示本文算法的平均准确率达到46.54,较其他算法相比提高了21.6%,同时算法耗时并无增加。此外,为探究优化过程中不同平衡参数对最终结果的影响,进一步验证本文方法的有效性,本文在实验过程中通过移除算法中的正则项来验证每一项对于算法框架的影响。实验结果显示,在移除任何一项后算法的准确率明显降低,这表明本文方法所提出的联合组权重模型对提取用户感兴趣视频片段的有效性。结论 本文提出了一种针对用户兴趣语义的视频精彩片段提取方法,根据用户关注点的不同,为不同用户提取其感兴趣的视频片段。     

基于用户兴趣语义的视频关键帧提取

目前,视频关键信息提取技术主要集中于根据视频低层特征进行关键帧的提取,忽略了与用户兴趣相关的语义信息。对视频进行语义建模需收集大量已标注的视频训练样本,费时费力。为缓解这一问题,使用大量互联网图像数据构建基于用户兴趣的语义模型,这些图像数据内容丰富、同时涵盖大量事件信息;然而,从互联网获取的图像知识多样且常伴随图像噪声,使用蛮力迁移将大幅影响视频最终提取效果,提出使用近义词联合权重模型衡量互联网中存在差异但语义相近的图像组,并利用这些图像组构建语义模型。通过联合权重学习获取语义权重,每一图像组在知识迁移中所起的作用由权重值决定。使用来自不同视频网站的多段视频对所提方法进行验证,实验结果表明对用户感兴趣的内容进行联合权重语义建模能更加全面、准确地获取信息,从而有效指导视频关键帧提取。