基于深度学习的视频近似拷贝检索

随着网络和多媒体技术的发展,越来越多的视频数据充斥着互联网,对视频进行有效的管理,尽可能排除其中的重复内容已经成为一项很重要的工作。基于这种现状,设计了一套快速而有效的视频近似拷贝检索系统。不同于传统的视频近似检测方法,该系统采用深度学习的方法,使用深度卷积神经网络快速地为采样帧提取特征,使用k-d树为视频库中的特征值建立索引,从而提高相似查找的速度,最后计算输入视频与所有候选视频的相似度,并按相似度对候选视频排序输出。     

基于随机化映射和模式熵的近似重复图像检测

针对传统方法检测效率低的问题,提出了一种基于随机化映射和模式熵的近似重复图像检测方法。该方法先利用精确欧式空间位置敏感哈希(Exact euclidean locality sensitive hasing,E2LSH)进行快速过滤,滤除大部分非近似重复图像对,然后对于剩余的图像对,再采用尺度旋转不变模式熵(Scale-rotation invariant patternentropy,SR-PE)进一步去除错误的匹配,从而实现近似重复图像检测。实验结果表明,新方法在不明显降低性能的前提下大大加快了近似重复图像检测的速度,在检测性能与速度之间取得了较好的平衡。     

基于E2LSH的近似重复图像检测

快速准确地检测出近似重复图像对于版权侵犯检测和检索结果冗余去除具有重要的意义。针对传统方法检测效率低的问题,提出了一种基于E2LSH（Exact Euclidean Locality Sensitive Hashing）的近似重复图像检测新方法。首先,利用E2LSH进行快速过滤,过滤掉大部分非近似重复图像对;然后,对于过滤后剩余的少量图像对,再采用视觉词袋法BoVW（Bag of Visual Words）进一步去除错误的匹配,从而实现近似重复图像检测。实验结果表明,新方法在不明显降低性能的前提下大大加快了近似重复图像检测的速度,在检测性能与速度之间取得了较好的平衡。     

网页近似重复检测算法研究

搜索引擎的爬行程序在日益庞大的互联网中采集到的网页包含有大量的重复或近似重复网页,这不仅降低了检索效率,增加了存储空间,还降低了最终用户的体验。本文针对现有的网页近似重复检测技术进行了比较,并重点讨论了改进的模糊哈希算法对网页内容进行近似重复检测。     

H．264／AVC重复编解码性能分析

研究H．264／AVC帧内重复编解码的性能,通过论证和实验把导致重复编解码尸舯m损失的因素归纳为4个方面：量化-变换误差,预测模式再选择误差,Clipping误差和环路滤波误差。为了提高H．264／AVC帧内重复编解码的性能,通过选择相同的预测模式且不使用环路滤波的方法进行重复编码,实验结果表明该方法使重复编解码的嗍损失减少0．5dB～1．4dB。     

基于Bag-of-words和Hash编码的近似重复图像检测算法

针对近似重复图像检测的传统算法存在检测效率和准确率不够高的缺点,提出了基于Bag-of-words和哈希编码的近似重复图像检测算法。该算法首先利用Bag-of-words把一幅图像表示成一个500维的特征向量; 然后,利用主成分分析(PCA)和尺度不变特征转换(SIFT)进行特征降维,并利用Hash编码技术对特征进行编码; 最后,利用动态距离度量技术实现近似重复图像的检测。实验结果表明,利用该算法进行近似重复图像检测是完全可行的,在准确度和查全率之间做到了较好的平衡,查准率可达90%~95%,查全率可达70%~80%。     

基于位置敏感哈希的网络视频重复检测

针对当前网络上存在着大量的重复或近似重复的视频问题,提出了一种基于镜头层比较和位置敏感哈希的快速准确的网络视频重复检测方法。通过视频间匹配的镜头数占查询视频总镜头数的比例来判断视频的相似性。除此之外,还利用著名的近似最近邻查找技术——LSH在镜头层来快速查找相似镜头,从而提高检测速度。通过将镜头作为检索单元,把数据库中所有视频的镜头放到一起构建一个新的数据集,将种子(查询)视频的每一个镜头作为一个查询请求,应用基于LSH的近似近邻检索方法,检索出与查询镜头相匹配的所有镜头,最后融合这些返回的结果,得到查询视频的重复或者近似重复的视频集。通过在包含12 790个视频的CC_WEB_VIDEO数据集上的实验结果表明,该方法取得了相比已有方法更好的检测性能。     

一种新的近重复监控视频检测算法

设计了一种使用视频镜头时序特征来实现级联式检测近重复视频的算法.首先在进行关键帧特征提取之前,直接在镜头层次上提取时序特征,初步滤除完全不相同的视频,然后对剩下的视频帧提取全局颜色特征和SURF特征进行逐步检测,最终获得与查询视频近重复的视频.对实验室的监控视频进行小范围的验证实验,实验结果表明,该算法与不用时序特征的方法相比有一定的有效性和准确性.     

基于交互信息量和联合熵的镜头检测算法

镜头检测在视频检索中起着关键作用。文章提出了一种基于信息论的镜头检测方法,该方法使用相邻帧间的交互信息量检测突变,使用相邻帧间的联合熵检测淡入/淡出镜头。试验表明:该方法简单、有效,且识别的准确率较高。     

基于YOLOv3和光流的船舶火灾检测

为了提高船舶火灾检测的检测效率,在基于视频的方式下,提出将原始帧和光流融合的深度学习检测方法。首先,利用模拟试验和部分公开数据集建立火灾视频数据集;其次,对火灾视频进行处理,提取原始帧和对应的光流;然后,使用像素级融合的方法融合原始帧和光流,充分利用视频的静态信息和动态信息;最后,使用YOLOv3算法,并利用迁移学习方法,实现火灾检测模型的训练。实验结果表明,所用算法能够更有效地识别烟雾和火焰,显著地减少了火灾视频中的误检情况,进行抽帧检测时能够满足实时检测的要求。     

基于关键帧序列的视频片段检索

提出了一种基于关键帧融合的视频片段检索方法。使用特征联合分布直方图将视频分割为子镜头,子镜头用关键帧表示。检索时,对范例视频片段的每个关键帧检索到相似的关键帧,所有的相似关键帧按照时间连续性融合为视频片段。提出一种快速的视频片段相似度计算模型。实验表明,本文的方法快速有效。     

面向半稠密三维重建的改进单目ORB-SLAM

构建更详细的地图以及估计更精准的相机位姿一直都是同时定位与地图构建（Simultaneous Localization And Mapping,SLAM）技术所追求的目标,但是以上目标与实时性要求、较低的计算代价和受限的计算资源条件是相矛盾的。提出一种在单目ORB-SLAM（Oriented FAST and Rotated BRIEF-SLAM）方法的基础上利用关键帧中提取到的直线特征进行半稠密三维重建的方法。由ORB-SLAM实时提供一组关键帧及其对应的相机位姿信息和一系列地图点,提出一种关键帧再剔除算法进一步减少冗余帧数目,使用直线段提取方法提取各帧中的直线段,使用纯几何约束方法对以上检测得到的直线段进行匹配,生成一个由直线段构成的半稠密三维场景模型。实验结果表明新方法持续稳定的运行,能在低计算代价条件下快速地在线三维重建。     

Optimized keyframe extraction for 3D character animations

In this paper, we propose a new method to automatically extract keyframes from animation sequences. Our method can be applied equally to both skeletal and mesh animations. It uses animation saliency computed on the original data to help select the group of keyframes that can reconstruct the input animation with less perception error. For computational efficiency, we perform nonlinear dimension reduction using locally linear embedding and then carry out the optimal search in much lower‐dimensional space. With this approach, reconstruction of the animation from the extracted keyframes shows much better results as compared with earlier approaches. Copyright © 2012 John Wiley & Sons, Ltd.     

人体运动视频关键帧优化及行为识别

在行为识别过程中,提取视频关键帧可以有效减少视频索引的数据量,从而提高 动作识别的准确性和实时性。为提高关键帧的代表性,提出一种关键帧序列优化方法,并在此 基础上进行行为识别。首先根据3D 人体骨架特征利用K-均值聚类算法提取人体运动视频序列 中的关键帧,然后根据关键帧所在序列中的位置进行二次优化以提取最优关键帧,解决了传统 方法中关键帧序列冗余等问题。最后根据最优关键帧利用卷积神经网络(CNN)分类器对行为视 频进行识别。在Florence3D-Action 数据库上的实验结果表明,该方法具有较高的识别率,并且 与传统方法相比大幅度缩短了识别时间。     

Video shot characterization

This paper presents a practical approach to detecting shot cuts and extracting keyframes from video sequences. Shot cut detection has two stages - global motion compensation, followed by an adaptive thresholding algorithm. The motion information is further utilized to extract representative keyframes. Special consideration has been given to achieving real-time performance on a regular PC, which led to a motion estimation algorithm of linear complexity.Received: 1 September 2003, Accepted: 12 March 2004, Published online: 8 June 2004 Correspondence to: Mihai OsianResearch supported by the EC project VIBES     

Time-Constrained Keyframe Selection Technique

In accessing large collections of digitized videos, it is often difficult to find both the appropriate video file and the portion of the video that is of interest. This paper describes a novel technique for determining keyframes that are different from each other and provide a good representation of the whole video. We use keyframes to distinguish videos from each other, to summarize videos, and to provide access points into them. The technique can determine any number of keyframes by clustering the frames in a video and by selecting a representative frame from each cluster. Temporal constraints are used to filter out some clusters and to determine the representative frame for a cluster. Desirable visual features can be emphasized in the set of keyframes. An application for browsing a collection of videos makes use of the keyframes to support skimming and to provide visual summaries.     

基于向量空间模型的视频语义相关内容挖掘

对海量视频数据库中所蕴涵的语义相关内容进行挖掘分析，是视频摘要生成方法面临的难题。该文提出了一种基于向量空间模型的视频语义相关内容挖掘方法：对新闻视频进行预处理，将视频转化为向量形式的数据集，采用主题关键帧提取算法对视频聚类内容进行挖掘，保留蕴涵场景独特信息的关键帧，去除视频中冗余的内容，这些主题关键帧按原有的时间顺序排列生成视频的摘要。实验结果表明，使用该视频语义相关内容挖掘的算法生成的新闻视频具有良好的压缩率和内容涵盖率。     

光流估计下的移动端实时人脸检测

为了提高移动设备人脸检测准确率,提出一种应用于移动设备的实时人脸检测算法。通过改进Viola-Jones方法进行人脸区域快速分割,在不损失速度的情况下提高分割精度;同时应用了光流估计方法将卷积神经网络子网络在离散关键帧上的特征提取结果传播至非关键帧,提高神经网络实际检测运行效率。实验使用YouTube视频人脸数据库、自建20人各1 min正位人脸视频数据库和实际检测项目在不同分辨率下进行,实验结果表明运行速度在2.35帧/秒~22.25帧/秒,达到了一般人脸检测水平;人脸检测在10%误检率下召回率由Viola-Jones的65.93%提高到82.5%~90.8%,接近卷积神经网络检测精度,满足了移动设备实时人脸检测的速度和精度要求。     

基于混合遗传算法的人体运动捕获数据关键帧提取

为实现基于最佳关键帧集合的人体运动的紧致表示,提出一种遗传算法与单纯形法结合的人体运动捕获数据关键帧提取方法。以重构误差最小化和压缩率最优为目标,定义适应度函数,度量重构运动与原始运动之间的重构误差,通过关节位置和关节速率加权计算,并考虑数据的运动特性。利用背景知识对初始种群的个体进行优化,保证进化的良好基础和种群的多样性。将遗传算法和局部搜索技术结合,提高算法运行效率和求解质量。实验结果表明,该方法能够高效地从运动捕获数据中提取出最优的关键帧集合,较好地满足运动数据的紧致表示,且能高质量重构其它帧。