视频的检索反馈

基于内容的视频检索是一个重要的研究领导领域,吸引了众多研究者的举,常用的查询方式是通过例子视频进行检索,但是如何定义是否两个视频相似,仍然是尚未解决的问题,限制了检索系统的应用范围,而且由于视频内容的复杂性,不同在检索过程中,即使对同一部视频,其注重的角度也有可能不同,因此接受用户的反馈意见,当用户对查询结果不满意时可以优化查询结果,突出用户的需求,在综合了人类礼堂心理特征的基础上,介绍了一种视频相似衡量的模型,从镜头、视频等多个层次,多种视觉判断角度,对视频间相似度进行衡量,并在此基础上提出了多个粒度－－镜头层次和视频层次进行检索反馈的方法,整个过程是自动进行的,根据用户的意见灵活地优化检索结果。     

基于内容检索中的镜头相似度度量

基于内容的视频检索中的一个最普遍的方法是根据给定例子视频的检索，因此视频相似度度量是基于内容检索中的一个基本问题。该文在视频签名算法基础上提出了镜头粒度上的镜头基调算法，同时为了增加匹配的准确性。提出了赋权的镜头基调，以体现基调中各帧在镜头相似度中的重要性差异，并解决了原算法可能出现的基调帧对逆序的问题。     

视频检索中镜头相似度的融合

基于内容的视频检索系统中,最常用的方法是示例查询,即用户提交一段视频,系统返回一系列相似视频.在这一过程中,定义镜头的相似度是一个重要的问题.本文介绍了在不同层次上利用多种特征进行镜头相似度融合的方法.特征层次上,对任意两个镜头,给依据不同的特征计算得到的相似度赋予不同的加权系数,进行加权得到融合后的镜头相似度.在决策层次上,运用Dempster-Shafer证据理论融合镜头相似度.首先,运用多种特征计算得到相似度的多种排序结果;然后,指定期望得到的检索结果数;最后应用证据理论对相似度的多种排序结果进行融合处理,得到最终的镜头相似度排序结果.本文最后进行了检索实验,结果表明,融合后的相似度结果更接近人的主观判断,证明了融合效果的有效性.     

基于关键帧序列的视频片段检索

提出了一种基于关键帧融合的视频片段检索方法。使用特征联合分布直方图将视频分割为子镜头,子镜头用关键帧表示。检索时,对范例视频片段的每个关键帧检索到相似的关键帧,所有的相似关键帧按照时间连续性融合为视频片段。提出一种快速的视频片段相似度计算模型。实验表明,本文的方法快速有效。     

基于镜头的视频场景构造方法研究

由于内容颗粒度地小,镜头层次的检索不能满足视频内容使用的需要。场景比镜头高一个层次的视频内容结构单,能在一定程度上缓解镜头颗粒度过小的问题。“场景”是一组镜头的集合,在内容上包含相似的对象或包含类似的背景。本文提出了一种基于镜头构造频场景的思路,包括三个环节：镜头边界探测,镜头特征提取和镜头聚类。     

一种通过视频片段进行视频检索的方法

视频片段检索是基于内容的视频检索的主要方式,它需要解决两个问题:(1) 从视频库里自动分割出与查询片段相似的多个片段;(2) 按照相似度从高到低排列这些相似片段.首次尝试运用图论的匹配理论来解决这两个问题.针对问题(1),把检索过程分为两个阶段:镜头检索和片段检索.在镜头检索阶段,利用相机运动信息,一个变化较大的镜头被划分为几个内容一致的子镜头,两个镜头的相似性通过对应子镜头的相似性计算得到;在片段检索阶段,通过考察相似镜头的连续性初步得到一个个相似片段,再运用最大匹配的Hungarian算法来确定真正的相似片段.针对问题(2),考虑了片段相似性判断的视觉、粒度、顺序和干扰因子,提出用最优匹配的Kuhn-Munkres算法和动态规划算法相结合,来解决片段相似度的度量问题.实验对比结果表明,所提出的方法在片段检索中可以取得更高的检索精度和更快的检索速度.     

一种基于时空变化信息的视频内容检索方法

提出一种基于时空变化信息的视频内容检索方法.此方法以自适应变间隔关键帧选择策略提取镜头在时间域上的变化内容,采用时空注意力模型提取空域显著内容;然后对每一显著区域按Mpeg-7标准抽取相似纹理描述子、可扩展颜色描述子和基于轮廓的形状描述子,联合三低层视觉特征进行显著区域间的匹配度计算;最后提出用于视频检索的两镜头相似度匹配算法.对比实验表明该方法能有效进行基于内容的视频检索.     

利用等价关系理论进行视频片段检索的方法

视频片段检索是基于内容的视频检索的主要方式,可是现有的片段检索方法大多只是对预先分割好的片段进行检索。为了从连续的视频节目中自动分割出多个相似的片段,提出了一种新的有效的视频片段检索方法,并首次尝试将等价关系理论应用于视频片段的检索.该方法首先用等价关系理论定义了片段匹配函数,同时采用滑动镜头窗自动分割出多个真正相似的片段;然后把等价类映射为矩阵表达形式,再通过矩阵的特性来度量影响片段相似度的不同因子,实现了相似片段的排序。实验结果表明,该方法能够一次性快速准确地从连续视频库中自动分割出与查询片段相似的多个片段。     

基于视频指纹的视频片段检索方法

提出一种基于视频指纹的视频片段检索方法,通过视频指纹的相似性匹配对视频片段进行检索。通过改进的Harris检测计算DC图像的角点信息,去掉视频图像边缘提取视频运动特征,根据图像特征相似度和运动特征相似度的调和因子得到视频片段总的相似度。实验结果表明,与现有方法相比,该方法能准确检测视频片段,具有较强的鲁棒性,满足视频检索的实时要求。     

基于位置敏感哈希的网络视频重复检测

针对当前网络上存在着大量的重复或近似重复的视频问题,提出了一种基于镜头层比较和位置敏感哈希的快速准确的网络视频重复检测方法。通过视频间匹配的镜头数占查询视频总镜头数的比例来判断视频的相似性。除此之外,还利用著名的近似最近邻查找技术——LSH在镜头层来快速查找相似镜头,从而提高检测速度。通过将镜头作为检索单元,把数据库中所有视频的镜头放到一起构建一个新的数据集,将种子(查询)视频的每一个镜头作为一个查询请求,应用基于LSH的近似近邻检索方法,检索出与查询镜头相匹配的所有镜头,最后融合这些返回的结果,得到查询视频的重复或者近似重复的视频集。通过在包含12 790个视频的CC_WEB_VIDEO数据集上的实验结果表明,该方法取得了相比已有方法更好的检测性能。     

基于内容的检索中视频相似性度量方法研究

视频检索中,最普遍的检索方式是提交例子视频,查询出类似的视频。所以要设计一个准确可靠的视频检索系统,就必须定义好怎样的视频才是相似的。论文对基于内容的视频检索的基本原理进行了阐述,介绍了基于帧和镜头的相似性度量方法的基本思想和主要公式,然后对视频相似性度量方法进行了分析研究,最后对新的视频相似性度量研究向提出了展望。     

一种支持不同时间尺度的视频相似性匹配算法*

针对不同时间尺度视频间的匹配问题,如人为再编辑（快进、慢放等）视频与原始视频间的匹配以及不同帧率视频间的检索等,提出了一种基于动态时间规划的最优匹配算法。在子片段的基础上进行视频相似性匹配,通过极小化两段视频的整体距离建立视频之间的子片段对应关系,引入搜索门限值,将全局搜索转变为在门限区域内的局部搜索,保持视频内部各子片段之间的时序关系并能处理非线性偏移。该算法能够成功地匹配不同时间尺度的相似视频,并能实现海量视频的快速检索。实验结果证明了该算法比传统的基于视觉相似性的视频片段检索算法更快速有效。     

基于索引结构的高效运动视频检索

视频片断检索是视频领域的研究热点，为了提高查询效率，利用高维索引结构Vector-Approximation File（VA-File）来组织视频子片段，并采用新的相似度模型和基于限定性滑动窗口的高效视频检索算法进行视频片段检索．提出的子片段的分割算法能够较好地区分运动的细节动作，且相似度模型充分考虑了对应子片段之间的视觉相似性以及时间顺序关系，因此对于运动视频的检索十分有效．实验证明，对于运动视频片段检索不仅具有较高的查询效率，而且能够得到较高的查全率和准确率．     

A video summarization approach based on the emulation of bottom-up mechanisms of visual attention

This work addresses the development of a computational model of visual attention to perform the automatic summarization of digital videos from television archives. Although the television system represents one of the most fascinating media phenomena ever created, we still observe the absence of effective solutions for content-based information retrieval from video recordings of programs produced by this media universe. This fact relates to the high complexity of the content-based video retrieval problem, which involves several challenges, among which we may highlight the usual demand on video summaries to facilitate indexing, browsing and retrieval operations. To achieve this goal, we propose a new computational visual attention model, inspired on the human visual system and based on computer vision methods (face detection, motion estimation and saliency map computation), to estimate static video abstracts, that is, collections of salient images or key frames extracted from the original videos. Experimental results with videos from the Open Video Project show that our approach represents an effective solution to the problem of automatic video summarization, producing video summaries with similar quality to the ground-truth manually created by a group of 50 users.     

Extracting representative motion flows for effective video retrieval

In this paper, we propose a novel motion-based video retrieval approach to find desired videos from video databases through trajectory matching. The main component of our approach is to extract representative motion features from the video, which could be broken down to the following three steps. First, we extract the motion vectors from each frame of videos and utilize Harris corner points to compensate the effect of the camera motion. Second, we find interesting motion flows from frames using sliding window mechanism and a clustering algorithm. Third, we merge the generated motion flows and select representative ones to capture the motion features of videos. Furthermore, we design a symbolic based trajectory matching method for effective video retrieval. The experimental results show that our algorithm is capable to effectively extract motion flows with high accuracy and outperforms existing approaches for video retrieval.     

Exploiting information extraction techniques for automatic semantic video indexing with an application to Turkish news videos

This paper targets at the problem of automatic semantic indexing of news videos by presenting a video annotation and retrieval system which is able to perform automatic semantic annotation of news video archives and provide access to the archives via these annotations. The presented system relies on the video texts as the information source and exploits several information extraction techniques on these texts to arrive at representative semantic information regarding the underlying videos. These techniques include named entity recognition, person entity extraction, coreference resolution, and semantic event extraction. Apart from the information extraction components, the proposed system also encompasses modules for news story segmentation, text extraction, and video retrieval along with a news video database to make it a full-fledged system to be employed in practical settings. The proposed system is a generic one employing a wide range of techniques to automate the semantic video indexing process and to bridge the semantic gap between what can be automatically extracted from videos and what people perceive as the video semantics. Based on the proposed system, a novel automatic semantic annotation and retrieval system is built for Turkish and evaluated on a broadcast news video collection, providing evidence for its feasibility and convenience for news videos with a satisfactory overall performance.     

SHIATSU: tagging and retrieving videos without worries

The dramatic growth of video content over modern media channels (such as the Internet and mobile phone platforms) directs the interest of media broadcasters towards the topics of video retrieval and content browsing. Several video retrieval systems benefit from the use of semantic indexing based on content, since it allows an intuitive categorization of videos. However, indexing is usually performed through manual annotation, thus introducing potential problems such as ambiguity, lack of information, and non-relevance of index terms. In this paper, we present SHIATSU, a complete system for video retrieval which is based on the (semi-)automatic hierarchical semantic annotation of videos exploiting the analysis of visual content; videos can then be searched by means of attached tags and/or visual features. We experimentally evaluate the performance of SHIATSU on two different real video benchmarks, proving its accuracy and efficiency.     

Compressed domain content based retrieval using H.264 DC-pictures

A fast and simple method for content based retrieval using the DC-pictures of H.264 coded video without full decompression is presented. Compressed domain retrieval is very desirable for content analysis and retrieval of compressed image and video. Even though, DC-pictures are among the most widely used compressed domain indexing and retrieval methods in pre H.264 coded videos, they are not generally used in the H.264 coded video. This is due to two main facts, first, the I-frame in the H.264 standard are spatially predicatively coded and second, the H.264 standard employs Integer Discrete Cosine Transform. In this paper we have applied color histogram indexing method on the DC-pictures derived from H.264 coded I-frames. Since the method is based on independent I-frame coded pictures, it can be used either for video analysis of H.264 coded videos, or image retrieval of the I-frame based coded images such as advanced image coding. The retrieval performance of the proposed algorithm is compared with that the fully decoded images. Simulation results indicate that the performance of the proposed method is very close to the fully decompressed image systems. Moreover the proposed method has much lower computational load.     

一种面向多维特征分析过滤的视频推荐算法

近年来,抖音、快手、微视等短视频APP取得了巨大成功,用户拍摄并上传到APP平台上的视频数量暴增。在这种信息过载的环境下,为用户挖掘并推荐其感兴趣的视频成为了视频发布平台面临的难题,因此为这些平台设计高效的视频推荐算法显得尤其重要。文中针对媒体大数据挖掘和推荐领域的数据集稀疏性高和规模巨大的问题,提出一种面向多维特征分析过滤的视频推荐算法。首先,从用户行为和视频标签等多个维度对视频进行特征提取,然后进行相似性分析,加权计算视频相似度,从而获取相似视频候选集,并对相似视频候选集进行过滤,再通过排序选择评分最高的若干个视频推荐给用户。最后,基于MovieLens公开数据集,使用python3语言实现了文中提出的视频推荐算法。在数据集上进行的大量实验表明,相比传统的协同过滤算法,文中提出的面向多维特征分析过滤的视频推荐算法将推荐结果的准确率提升了6%,召回率提升了4%,覆盖率提升了18%。实验数据充分说明,从多个维度考虑视频之间的相似性,并配合大规模矩阵分解技术,在一定程度上缓解了数据集稀疏性高、数据量巨大的难题,从而有效地提高了推荐结果的准确性、召回率和覆盖率。