AVS监控档视频的压缩域摘要研究

传统的像素域视频摘要方法需要完全解码视频,计算时间长。因此提出了一种在不解码的前提下直接在压缩域生成AVS格式摘要视频的算法。首先对AVS码流中的运动向量(MV)进行分析,提取前景运动宏块;然后跟踪前景宏块,得到有效的运动目标轨迹;最后提取AVS监控档视频中的背景帧,并将它与运动目标轨迹相结合,生成摘要视频。实验表明,该算法能够在压缩域下有效地生成摘要视频,相比于传统方法具有更快的处理速度。     

侦查目标追踪过程中视频浓缩方法仿真

在侦查目标追踪过程中,采用当前方法对视频进行浓缩处理时,所用时间较长,浓缩处理后视频中有效信息丢失率较高。为此,提出新的侦查目标追踪过程中视频浓缩方法。通过混合高斯模型模拟视频信号,实现视频前景建模和背景建模;在Camshift算法下降H分量的颜色概率分布图和颜色直方图相结合,对视频中存在的图像帧进行运算,通过调整搜索窗的大小实现对运动目标的追踪;采用松弛线性规划算法获得目标运动轨迹对应的最优时间标签,结合目标轨迹、背景序列和最优时间标签实现视频的浓缩处理。仿真结果表明,所提方法的浓缩耗时较短,视频中有效信息得到了有效保存。     

拥挤场景下基于密集轨迹对准及其运动影响描述符的异常活动检测

针对现有异常活动检测算法对拥挤场景下的目标跟踪和描述能力不足的问题,文中提出基于密集轨迹对准及其运动影响描述符的算法,捕捉视频目标运动的关键信息.密集轨迹保证对视频运动目标的有效提议,沿着轨迹的方向提取与轨迹对准的运动影响描述符.最后提出完整框架,准确检测全局和局部的异常活动.在UCSD公共数据集上的实验证明文中方法性能较优.     

基于视频序列的平面海报生成方法

视频摘要是海量视频浏览的重要手段,现有的方法一般生成短帧视频或多帧序列图像以概括原视频,但它们都受限于原有时间序列,难以高效地表达信息.为此,提出了一种视频海报的自动生成方法来制作更为精练的视频摘要.如何提取视频中的关键画面与如何实现海报自动排版是其中的2个核心问题.对现有的视频关键帧提取方法进行扩展,采用综合视觉关注度模型,提出了基于视觉重要性的关键帧排序算法;在现有排版规则基础上,增加了版面位置对视觉心理感知的影响,设计出位置重要性驱动的视频海报自动排版算法.实验结果证明了文中算法的有效性.     

基于运动信息与多尺度分水岭的视频目标分割

从视频序列中提取视频目标是基于内容编码中的一项关键技术。提出了将高阶统计运动检测和多尺度分水岭相结合的视频目标分割算法。该算法首先利用高阶统计运动检测算法检测出运动区域,通过后处理得到运动目标的初始模板。然后,用小波变换对视频图像进行多分辨率分解。在最低分辨率上应用分水岭算法分割得到具有精确边缘的分割区域,通过将区域融合后的区域逐步投影到高分辨率图像上并结合高分辨率图像上的分水岭算法逐步提取出具有精确边缘的区域。最后,将运动目标的初始模板和多尺度分水岭分割得到的区域结合起来提取出具有精确边缘的视频对象。实验结果表明该算法能有效地分割和提取出视频序列中的视频对象。     

基于轨迹分段LDA主题模型的视频异常行为检测方法

基于目标轨迹的异常行为检测算法忽略了轨迹内部信息,容易导致异常检测虚警率偏高。为解决该问题,提出一种基于轨迹分段主题模型的视频异常行为检测方法。首先将目标原始轨迹根据轨迹转角分段,然后采用分段量化的方式提取轨迹片段中包含的行为特征信息,接着通过潜在狄利克雷分配(LDA)主题模型建模发掘目标轨迹之间的时空关系,最后通过学习所构建的模型并结合贝叶斯理论进行行为模式分析和异常行为检测。分别对两个视频场景进行了目标行为模式分析和异常行为检测的仿真实验,检测出了场景内多种异常行为模式。实验结果表明,通过结合轨迹分段与LDA主题模型,该算法能够充分挖掘目标轨迹内部的行为特征信息,识别多种异常行为模式,并且能提高对异常行为检测的准确率。     

梯度约束SLIC的快速视频目标提取方法

提出了一种基于梯度约束SLIC(simple linear iterative clustering)的快速视频目标提取方法,允许在关键视频帧上提供少量用户交互下,该方法能够快速并精确地提取复杂视频片段中的视频目标。首先,采用梯度约束的SLIC算法对视频片段进行预处理,有效降低待处理的视频数据量;其次,以预处理生成的超像素为结点构建三维无向图,在此基础上定义能量函数,并结合外观特征与运动特征建立鲁棒的相似外观度量机制;最后,采用最大流/最小割算法最小化能量函数以得到三维无向图的最优划分,从而最终实现视频目标提取。实验结果表明,该方法在处理包含复杂场景的视频片段时能够获得理想的视频目标提取结果,且时间效率相比现有视频目标提取方法明显提高。     

MPEG-4码流中的数字水印

基于视频码流内嵌入数字水印典型系统H&G算法的基础,提出了在MPEG-4码流中嵌入数字水印的一种新算法。该算法在MPEG-4视频流中,根据局部图像特性调整水印嵌入的局部强度以达到水印鲁棒性的最大化和视频质量影响的最小化;同时构造了具有纠错功能的水印信息并且在水印信息提取过程中采用了信号合并技术得到了较高的正确率。计算机试验表明此算法与嵌入水印前的原视频图像相比,嵌入水印后的视频图像信噪比损失很小.并证明信号合并技术具有很好的提取水印能力。     

基于Radon变换的视频测速算法

为了从视频监测图像中自动提取车辆行驶速度,提出了一种基于Radon变换的视频测速算法。根据车辆行驶轨迹的时空特点,利用道路交通标线为图像与道路建立距离映射关系,简化了现场标定的条件和过程;利用时间堆栈成像方法,建立了车辆行驶轨迹的时空关系;基于Radon变换的图像处理,实现了行驶车辆的视频测速技术。算法具有较好的鲁棒性,与传统方法相比,计算复杂性也要低很多。     

基于双通道卷积神经网络算法的视频处理超分辨率增强方法

为提高视频清晰度,引进双通道卷积神经网络算法,设计了一种针对视频处理过程的超分辨率增强方法。将视频录入计算机,建立视频信息与输入特征之间的级联关系,提取视频处理中的图像边缘纹理信息;引进双通道卷积神经网络算法,使用3×3的滤波处理器,提取视频特征信息,将提取的信息映射到双通道3×3区域中,匹配视频的矢量信息;引进Pair-wise模型将输入的低分辨率图像作为模型的分支,通过训练分支得到一个针对处理视频特征的字典,并据此生成高分辨率图像块。实验结果证明,设计方法可以在提高视频清晰度的同时,提高视频峰值信噪比,达到优化视频处理效果的目的。     

Key observation selection-based effective video synopsis for camera network

Nowadays, tremendous amount of video is captured endlessly from increased numbers of video cameras distributed around the world. Since needless information is abundant in the raw videos, making video browsing and retrieval is inefficient and time consuming. Video synopsis is an effective way to browse and index such video, by producing a short video representation, while keeping the essential activities of the original video. However, video synopsis for single camera is limited in its view scope, while understanding and monitoring overall activity for large scenarios is valuable and demanding. To solve the above issues, we propose a novel video synopsis algorithm for partially overlapping camera network. Our main contributions reside in three aspects: First, our algorithm can generate video synopsis for large scenarios, which can facilitate understanding overall activities. Second, for generating overall activity, we adopt a novel unsupervised graph matching algorithm to associate trajectories across cameras. Third, a novel multiple kernel similarity is adopted in selecting key observations for eliminating content redundancy in video synopsis. We have demonstrated the effectiveness of our approach on real surveillance videos captured by our camera network.     

Preserving interactions among moving objects in surveillance video synopsis

Video synopsis is an effective solution for fast browsing and retrieval of long surveillance videos. It aims to shorten long video sequences into its equivalent compact video representation by rearranging the video events in the temporal domain and/or spatial domain. Conventional video synopsis methods focus on reducing the collisions between tubes and maintaining their chronological order, which may alter the original interactions between tubes due to improper tube rearrangement. In this paper, we present an approach to preserve the relationships among tubes (tracks of moving objects) of the original video in the synopsis video. First, a recursive tube-grouping algorithm is proposed to determine the behavior interactions among tubes in a video and group the related tubes together to form tube sets. Second, to preserve the discovered relationships, a spatio-temporal cube voting algorithm is proposed. This cube voting method optimally rearranges the tube sets in the synopsis video, minimizing false collisions between tubes. Third, a method to estimate the duration of the synopsis video is proposed based on an entropy measure of tube collisions. The extensive experimental results demonstrate that the proposed video synopsis framework condenses videos by preserving the original tube interactions and reducing false tube collisions.

     

基于对象的视频摘要技术

视频摘要技术是当前多媒体领域研究的热点之一。视频摘要生成方法归结为两类:基于关键帧的视频摘要和基于对象的视频摘要;对基于关键帧的视频摘要方法做了简要的介绍,并重点总结了历年来出现的基于对象的视频摘要的生成方法。最后对视频摘要技术的发展做出了总结和展望。     

时空联合视差优化的立体视频重定向

目的智能适配显示的图像/视频重定向技术近年受到广泛关注。与图像重定向以及2D视频重定向相比,3D视频重定向需要同时考虑视差保持和时域保持。现有的3D视频重定向方法虽然考虑了视差保持却忽略了对视差舒适度的调整,针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间。方法在原始视频上建立均匀网格,并提取显著信息和视差,进而得到每个网格的平均显著值;根据相似性变化原理构建形状保持能量项,利用目标轨迹以及原始视频的视差变化构建时域保持能量项,并结合人眼辐辏调节原理构建视差舒适度调整能量项;结合各个网格的显著性,联合求解所有能量项得到优化后的网格顶点坐标,将其用于确定网格形变,从而生成指定宽高比的视频。结果实验结果表明,与基于细缝裁剪的立体视频重定向方法对比,本文方法在形状保持、时域保持及视差舒适度方面均具有更好的性能。另外,使用现有的客观质量评价方法对重定向结果进行评价,本文方法客观质量评价指标性能优于均匀缩放和细缝裁剪的视频重定向方法,时间复杂度较低,每帧的时间复杂度至少比细缝裁剪方法降低了98%。结论提出的时空联合...     

运动目标三维轨迹可视化与关联分析方法

随着治安监控系统的普及,越来越多的监控摄像头被安装在各个交通道路和公共场所中,每天都产生大量的监控视频.如今,监控视频分析工作主要是采用人工观看的方式来排查异常,以这种方式来分析视频内容耗费大量的人力和时间.目前,关于视频分析方面的研究大多是针对目标个体的异常行为检测和追踪,缺乏针对对象之间的关联关系的分析,对视频中的一些对象和场景之间的关联关系等还没有较为有效的表示和分析方法.针对这一现状,提出一种基于运动目标三维轨迹的关联视频可视分析方法来辅助人工分析视频,首先对视频资料进行预处理,获取各个目标对象的运动轨迹信息,由于二维轨迹难以处理轨迹的自相交、循环运动和停留等现象,并且没有时间信息就难以对同一空间内多个对象轨迹进行的关联性分析,于是结合时间维度对轨迹进行三维化扩展.该方法支持草图交互方式来操作,在分析过程中进行添加草图注释来辅助分析.可结合场景和对象的时空关系对轨迹进行关联性计算,得出对象及场景之间的关联模型,通过对对象在各个场景出现状况的统计,结合人工预先设定的规则,可实现对异常行为报警,辅助用户决策.     

Full-frame video stabilization with motion inpainting

Video stabilization is an important video enhancement technology which aims at removing annoying shaky motion from videos. We propose a practical and robust approach of video stabilization that produces full-frame stabilized videos with good visual quality. While most previous methods end up with producing smaller size stabilized videos, our completion method can produce full-frame videos by naturally filling in missing image parts by locally aligning image data of neighboring frames. To achieve this, motion inpainting is proposed to enforce spatial and temporal consistency of the completion in both static and dynamic image areas. In addition, image quality in the stabilized video is enhanced with a new practical deblurring algorithm. Instead of estimating point spread functions, our method transfers and interpolates sharper image pixels of neighboring frames to increase the sharpness of the frame. The proposed video completion and deblurring methods enabled us to develop a complete video stabilizer which can naturally keep the original image quality in the stabilized videos. The effectiveness of our method is confirmed by extensive experiments over a wide variety of videos.     

联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。     

Semantic and structural analysis of TV diving programs

Automatic content analysis of sports videos is a valuable and challenging task. Motivated by analogies between a class of sports videos and languages, the authors propose a novel approach for sports video analysis based on compiler principles. It integrates both semantic analysis and syntactic analysis to automatically create an index and a table of contents for a sports video. Each shot of the video sequence is first annotated and indexed with semantic labels through detection of events using domain knowledge. A grammar-based parser is then constructed to identify the tree structure of the video content based on the labels. Meanwhile, the grammar can be used to detect and recover errors during the analysis. As a case study, a sports video parsing system is presented in the particular domain of diving. Experimental results indicate the proposed approach is effective.