语义视频检索综述

视频内容检索是多媒体应用的一个活跃研究方向,现有的内容检索技术大多是基于低层次特征的。这些非语义的低层特征难以理解,与人思维中的高层语义概念相差甚远,严重影响视频内容检索系统的易用性。低层特征和高层语义概念间的语义鸿沟很难逾越。如何跨越语义鸿沟,用语义概念检索视频内容是目前基于内容视频检索最具挑战性的研究方向。本文介绍语义视频检索出现的背景,分析语义鸿沟出现的原因,对现有尝试跨越语义鸿沟的主要方法进行综述;评述了相关技术的优缺点,探讨了各方法将来可能的研究发展方向以及视频语义检索近期、长期可能的技术突破点。     

基于语义的视频检索技术综述

本文综述了基于语义的视频检索的研究现状,以帮助未来的研究人员了解基于语义的视频检索领域中可用的技术,视频检索系统的产生是为了在互联网或数据库中的大量视频数据集中找到用户想要查询的视频.本文对基于语义的视频检索过程进行了说明与讨论,本文还对基于语义的视频检索中,解决语义鸿沟这一主要问题的相关技术进行了综述.语义鸿沟的形成是因为从视频内容中提取的低层特征与现实世界中用户对这些特征的认知存在差异,将视频内容的低层特征转化为高层的语义概念是一个备受关注的研究课题.     

基于高层语义的视频检索研究

视频语义检索的研究是目前研究的热点之一。现有的视频检索系统技术多是基于底层特征的、非语义层次的检索。与人类思维中所能理解的高层语义概念相去甚远,这严重影响视频检索的实际效果。如何跨越底层特征和高层语义的鸿沟,用高层语义概念进行视频检索是当前研究的重点。通过对视频内容的语义理解、语义分析、语义提取的简要概述,试图构造一种视频语义检索模型。     

综合利用声视特征的新闻视频结构化模型

视频结构化表征和基于这种表征进行相似度比较是视频检索的前提和最基础的重要工作。该文受视频制作过程的启发,通过分析新闻视频的内容结构特点,提出一个基于多语义抽象层次表示的5层视频目录结构化模型;在此基础上,采用分层处理思想,通过综合利用声视特征实现了基于目录结构的新闻视频结构化,克服了单纯用视觉特征难以胜任场景分段的困难,实验验证了该文思想及相应算法的有效性。     

基于领域本体的新闻视频检索

新闻视频作为视频数据中有代表性的一种媒体,受到人们的广泛关注,对新闻视频的检索要求也越来越高.传统的新闻视频检索大多是非语义层面的,采用的是基于关键词的检索方法，难于获得令人满意的查准率和查全率．本文提出一种基于领域本体的新闻视频检索框架，定义了新闻视频检索中的新闻视频对象，使用语义表达能力强的领域本体来指导视频语义对象的标注，并针对“一词多义”问题提出了“概念域-概念”两阶段概念消歧算法；针对自然语言检索问题，使用领域本体进行查询优化和查询扩展，并提出了查询语句自动生成方法．实验表明，基于领域本体的新闻视频检索方法可以有效的提高检索性能．     

基于潜在语义分析的视频检索

潜在语义分析技术是建立在视频分析基础之上的，它通过某种映射关系来建立视频特征矩阵，实现了基于内容的视频检索。阐述了潜在语义分析技术，进行了视频颜色和纹理特征提取研究，实验结果表明，潜在语义分析对于视频内容检索效果较好。     

一种用于MAM的语义可扩展视频编目与检索方法

针对媒体资产管理系统(media assetmanagement,MAM)对视频检索有着精确定位的特殊要求,提出了一种新的编目与检索方法,该方法结合了基于内容检索和基于手工检索的优点。首先采用主元分析(PCA)的方法对视频图像帧的高维特征进行降维,实现镜头自动分割,并对大量存在的新闻相似镜头进行语义自动标注,然后实现视频编目语义的动态更新与扩展。实验结果表明该方法有效、可行,大大提高了编目工作的效率以及编目语义的质量。     

基于内容检索中的视频处理技术研究

基于内容的检索能使用户根据媒体特征对媒体内容进行检索和查询。由于多媒体数据中含有丰富的视频数据，并且是随时间动态变化的，其特征很难用一般的静态特征来描述。这给基于内容的检索带来很大困难。为了取得视频数据的特征，对视频数据的处理非常重要。本文介绍了基于内容的视频检索中视频的处理技术和方法，提出了一种渐变镜头的检测方法。讨论了基于内容的视频检索研究中值得探索的几个主要问题。     

基于内容的视频检索研究

基于内容的检索能使用户根据媒体特征对媒体内容进行检索和查询．由于多媒体数据中含有丰富的视频数据，并且是随时间动态变化的其特征很难用一般的静态特征来描述，为了取得视频数据的特征．对视频数据的处理非常重要，本文将介绍基于内容的视频检索中相似索引的处理技术和方法。     

基于内容的新闻视频检索技术研究

新闻视频的检索具有较大的实用意义。本文结合新闻视频的层次结构,从具体的每一步骤对现有的基于内容的新闻视频检索的常用技术,尤其是关于利用音视特征来进行新闻单元分割,进行了总结和探讨比较,指出了目前研究中存在的主要问题并提出了今后的研究方向。     

三维模型语义检索研究进展

针对近年来三维模型检索研究不只是考虑形状相似性匹配,而更多地关注如何把语义知识应用于检索这一研究新动态,对三维模型语义检索研究现状,包括三维模型知识提取、语义检索中的主动学习机制、三维模型语义检索系统等方面进行总结.在此基础上,对已有研究成果进行比较分析,突出三维模型语义检索取得的进展以及存在的问题.最后,提出三维模型语义检索需要进一步深入研究的方向.     

一个基于语义的图像检索系统:VisEngine

介绍了一个基于语义的图像检索系统——VisEngine，该系统采用基于图像主要区域的图像分割方法，分别提取图像前景、背景和全局的视觉和抽象语义内容，构造相应的语义模板。接着把这些特征导入到一个面向对象的中间信息结构中，在此基础上进行多种方式的相似性匹配和检索。系统支持多种查询方式，用户交互界面自然友好。实验表明，VisEngine系统能有效地提高首次用户查询的正确性。     

基于语义匹配的交互式视频检索框架

近年来基于内容的视频检索技术受到人们越来越多的关注. 本文提出了一套基于语义匹配的交互式视频检索框架, 其贡献主要为以下三方面: 1)定义新型的视频高层特征---语义直方图用以描述视频的高层语义信息; 2)使用主导集聚类算法建立基于非监督学习的检索机制, 用以降低在线计算复杂度和提高检索效率; 3)提出新型的相关反馈机制---基于语义的分支反馈, 该机制采用分支反馈结构和分支更新策略实现检索性能的提升. 实验结果表明了本框架的有效性.     

基于语义的Web信息检索

用户要从网络中得到所需的信息一般是通过各种搜索引擎。但是现有的搜索引擎都存在着检索相关度不高等问题。随着语义Web概念的提出及相关技术的发展,基于语义的Web信息检索逐渐成为了语义Web研究的热点。给出了传统搜索引擎存在的问题,从理论上分析了如何将语义Web技术融入Web信息检索中去,并在理论分析的基础上给出了基于语义的Web信息检索的模型。     

新闻视频、音频中的主题检测

1.引言面对日益庞大的信息量,如何有效地检索到感兴趣的内容是至关重要的。新闻视频、音频(包括电视、广播)与文字报道相比,更为生动,表达更为丰富,但也有数据量大、难以组织、索引、检索等缺点。这主要体现在两方面; 文本有标题、段等明显的辅助标记,而视频、音频则没有。一般的浏览工具只有播放、快进、快退、拖动定位等简单手段。这对于几十、几百小时,而且还在日益增长的视频、音频数据库,是远远不能满足要求的。     

区域语义模板在CBIR中的应用

基于语义的图像检索的研究已经成为许多领域研究的热点,但是底层特征与高层语义之间存在着不可逾越的鸿沟,因而传统的基于底层特征的检索无法在语义的层次上给予用户充分的支持。在文献[1]提出的语义模板的基础上,提出了基于区域的语义模板的概念并给出了形式化的描述,同时给出了相同语义的语义模板的关系组合策略。实验证明了区域语义模板的有效性。     

基于模糊支持向量机的面向语义图像检索算法*

为了缩减图像低层特征和高层语义之间的“语义鸿沟”,本文提出一种基于模糊支持向量机的面向语义图像检索(SBIR-FSVM)算法。在提取图像的低层特征的基础上,本文将最小隶属度模糊支持向量机引入到图像检索技术中,获取图像语义信息及消除传统支持向量机(SVM)在多类分类中产生的不可分区域,从而实现面向语义的图像检索。实验结果表明,本文提出的SBIR-FSVM算法与基于SVM的图像检索算法及综合多特征的基于内容的图像检索算法相比均有了显著的改进。     

Exploiting information extraction techniques for automatic semantic video indexing with an application to Turkish news videos

This paper targets at the problem of automatic semantic indexing of news videos by presenting a video annotation and retrieval system which is able to perform automatic semantic annotation of news video archives and provide access to the archives via these annotations. The presented system relies on the video texts as the information source and exploits several information extraction techniques on these texts to arrive at representative semantic information regarding the underlying videos. These techniques include named entity recognition, person entity extraction, coreference resolution, and semantic event extraction. Apart from the information extraction components, the proposed system also encompasses modules for news story segmentation, text extraction, and video retrieval along with a news video database to make it a full-fledged system to be employed in practical settings. The proposed system is a generic one employing a wide range of techniques to automate the semantic video indexing process and to bridge the semantic gap between what can be automatically extracted from videos and what people perceive as the video semantics. Based on the proposed system, a novel automatic semantic annotation and retrieval system is built for Turkish and evaluated on a broadcast news video collection, providing evidence for its feasibility and convenience for news videos with a satisfactory overall performance.