Real-time video object segmentation in H.264 compressed domain

In this study the authors proposed a real-time video object segmentation algorithm that works in the H.264 compressed domain. The algorithm utilises the motion information from the H.264 compressed bit stream to identify background motion model and moving objects. In order to preserve spatial and temporal continuity of objects, Markov random field (MRF) is used to model the foreground field. Quantised transform coefficients of the residual frame are also used to improve segmentation result. Experimental results show that the proposed algorithm can effectively extract moving objects from different kinds of sequences. The computation time of the segmentation process is merely about 16 ms per frame for CIF size frame, allowing the algorithm to be applied in real-time applications.     

基于熵能的H.264压缩域运动对象分割

提出了一种基于熵能选取自适应阈值的时空域运动对象分割方法。首先对H.264压缩码流中提取的原始运动矢量场进行连续多帧的累加来增强运动信息,并对累积运动矢量场进行相似性判断,初步获得运动块;然后提取压缩码流中4×4块残差编码位数,并基于熵能自动选取自适应局部阈值,获取运动区域的轮廓信息;最后结合运动块和轮廓信息按照一定的规则对边界进行校正。对多个视频序列进行了实验,结果表明,该算法能快速取得较好的分割结果。     

Effective moving object detection in H.264/AVC compressed domain for video surveillance

Multimedia Tools and Applications - In this paper a novel approach is presented to detect moving object in H.264/AVC compressed domain for video surveillance applications. The proposed algorithm...     

基于H.264压缩域的视频盲水印算法

为了解决H.264视频信息的版权保护问题,提出了一种基于即时解码刷新(IDR)帧离散余弦变换(DCT)域的盲水印算法。该算法首先分析IDR帧的纹理特征,利用滑动矩形窗根据图像的梯度特性提取出复杂纹理区域;然后,计算该区域内每个宏块的16个4×4子块能量,得到能量最高子块;最后,通过自适应修改子块的一个交流(AC)系数幅值以达到嵌入水印的目的。实验结果表明：对CIF分辨率视频测试序列嵌入水印后,视频图像的峰值信噪比(PSNR)平均下降0.15dB,码率平均增加了0.49%,水印检测准确率达到91%以上,并且该算法能够有效抵抗不同量化参数(QP)的重复编码攻击。     

H．264压缩域中利用Biased-SVM检测镜头边界

为了直接从H．264码流中检测镜头边界,提出了利用H．264压缩域多特征和Biased—SVM（不平衡支持向量机）分类算法的检测方法。分析帧类型、宏块类型、运动矢量、帧内预测模式等信息,以获得发生镜头突变和渐变的特征。针对镜头边界帧的数量远少于视频帧总数的特点,用Biased—SVM分类方法将视频帧分为突变帧、渐变帧和非镜头边界帧。在TRECVID视频集上的实验结果表明,与其他H．264压缩域的算法相比,该算法有更好的性能。     

一种MPEG压缩域的运动对象快速提取算法

针对目前压缩域直接得到的运动矢量过于稀疏且不可靠,导致运动对象分割精度不高等问题,提出一种适合于MPEG视频流的压缩域运动对象提取算法。它先对MPEG码流进行熵解码得到的运动矢量场进行可靠性度量校正、置密和滤波处理,并采用基于块的区域增长算法得到每个对象的大致运动区域;然后解码属于运动区域的块,并把被还原的每个位置的像素值分布视为高斯分布,用统计的方法建立其高斯模型,通过阈值判断可靠地提取出最终具有像素精度运动对象。仿真实验表明,该算法可以有效地去除运动矢量噪声的影响,分割精度显著提高,并且具有较高的处理速度。对于QCIF 格式的视频码流, 每秒可以处理约50帧。     

基于块划分的HEVC运动目标分割方法

针对压缩域视频的运动对象分割在复杂背景下分割精度不高的问题,提出一种基于最新压缩编码HEVC的运动分割方法。首先从HEVC压缩码流中提取块划分和相对应的运动矢量信息,并分别在帧内和帧间对运动矢量进行空域和时域的标签分类,然后利用MRF模型对标签场进行运动一致性估计,得到更精确的运动目标,最后输出MRF分割后形成的掩模信息。通过实验证明,该运动分割方法能够达到有效并可靠的分割效果,尤其对于多目标运动的视频分割效果优于其他比较的方法。     

A low cost fragile watermarking scheme in H.264/AVC compressed domain

H.264/AVC-based products have grown tremendously in social networks; issues of content-based authentication become increasingly important. This paper presents a blind fragile watermarking scheme for content-based H.264/AVC authentication, which enjoys high sensitivity to typical video attacks. A spatiotemporal analysis is exploited to guarantee a minimum impact on perceptual quality and bit-rate increment. The watermark features are extracted from intra/inter prediction modes of intra/inter macroblocks, constituting the content-based Message Authentication Code (MAC) which is embedded/extracted in a Group-of-Pictures GOP-based fashion utilizing the syntactic elements of the Network Application Layer (NAL) units from the compressed bitstream. It’s unnecessary to fully decode a compressed bitstream before the embedding or detection processes. A content-based key is generated to control fragile watermark generation, embedding, extraction, and verification algorithms. Additionally, fragility is ensured by selecting the last nonzero quantized ac residuals for watermark embedding. The embedded watermark can be detected and verified by means of partially decoding intra/inter prediction modes from syntactic elements of the bitstream without the prior knowledge of the original video or complete decoding. Experiment results demonstrate that the performance of the proposed scheme is excellent in terms of bit-rate and perceptual quality. Furthermore, various types of content-preserving and/or content-changing attacks can be detected efficiently.     

一种基于凸壳的压缩域运动对象快速分割算法

目前在H.264/AVC压缩域分割领域中现有的方法存在时间复杂度高,且分割运动对象不完整的问题,提出一种新的基于凸壳的压缩域运动对象快速分割(CHSTF)算法。该方法主要利用码流中的运动矢量场信息进行分割,即首先利用后向迭代累积对MV进行归一化处理,再利用时空域滤波(STF)算法对运动矢量场进行滤波得到稳定MV场,然后对滤波MV场求解凸壳并对其进行区域填充,最后对其进行优化掩膜达到分割运动对象的效果。本方法着重于快速求得整体运动对象,并获得较好分割精准度。实验表明,通过本方法能够较好地解决上述问题,并且在运动场严重缺失的环境下,相比传统方法,本方法能获得更好的效果。     

H.264视频码流中运动物体的提取

H.264是新一代视频编码标准,具有广泛的应用前景。本文主要讨论了基于H.264视频流中运动物体检测的问题。首先简要介绍了H.264视频编码标准,然后分析了各种编码图像帧的编码过程,从而得出根据运动矢量来检测运动物体的方法,并分析了因摄像机运动而对检测方法造成的影响及相应的处理方法。从实验结果可以看出,检测效果还是比较令人满意的。     

基于H.264的视频水印技术

针对H.264/AVC编码标准的新特性,提出一种基于H.264低比特率视频流的视频内容认证和版权保护方案。在H.264视频编码时,在传统差分能量水印（DEW）算法基础上,通过在水印嵌入过程中引入能量分布公式,改进了传统的差分能量水印算法,增加了嵌入的有效性和水印的稳健性;视频解码阶段提取水印,不需要原视频作参考,为盲检测。实验结果表明该方案具有较小的码率变化和视频失真,证明了该算法的有效性。     

Human action recognition in H.264/AVC compressed domain using meta-cognitive radial basis function network

In this paper, we propose a H.264/AVC compressed domain human action recognition system with projection based metacognitive learning classifier (PBL-McRBFN). The features are extracted from the quantization parameters and the motion vectors of the compressed video stream for a time window and used as input to the classifier. Since compressed domain analysis is done with noisy, sparse compression parameters, it is a huge challenge to achieve performance comparable to pixel domain analysis. On the positive side, compressed domain allows rapid analysis of videos compared to pixel level analysis. The classification results are analyzed for different values of Group of Pictures (GOP) parameter, time window including full videos. The functional relationship between the features and action labels are established using PBL-McRBFN with a cognitive and meta-cognitive component. The cognitive component is a radial basis function, while the meta-cognitive component employs self-regulation to achieve better performance in subject independent action recognition task. The proposed approach is faster and shows comparable performance with respect to the state-of-the-art pixel domain counterparts. It employs partial decoding, which rules out the complexity of full decoding, and minimizes computational load and memory usage. This results in reduced hardware utilization and increased speed of classification. The results are compared with two benchmark datasets and show more than 90% accuracy using the PBL-McRBFN. The performance for various GOP parameters and group of frames are obtained with twenty random trials and compared with other well-known classifiers in machine learning literature.     

Mean shift 模糊C 均值聚类图像分割算法

针对传统模糊C均值(FCM)聚类算法对结构复杂图像分割效果不理想且算法执行效率较低的缺陷,提出一种融合均值平移(mean shift)的FCM聚类算法.利用mean shift算法将图像分成若干同质区域,将此区域视为新的节点;通过图像局部信息熵描述新节点的空间和灰度特征;采用能较好模拟人眼非线性视觉响应的指数函数进行相似性测度.实验结果表明,对于复杂背景图像和含噪声图像,所提出的算法在目标提取效果和执行效率上具有较强的鲁棒性.     

基于H.264与新一代视频编码标准的压缩域视频水印综述

数字水印技术为视频传输、视频共享以及一些扩展视频服务中存在的诸多问题提供了一种有效的解决途径,属于信息隐藏领域,它的基本思想是通过在数字媒体信号中嵌入一定量的附加信息,例如作品的所有权、使用权或者公司的标识等,实现信息管理或保护的目的。H.264是当前广泛使用的视频编码标准,它采用混合编码框架,包括帧内预测、帧间预测、变换、量化、自适应熵编码等模块。视频信号的数据量庞大、带宽高、冗余信息多,基本上都是以压缩的格式存储的特性,使得在视频中嵌入数字水印更为困难。这些特征使得视频水印在水印容量、水印复杂度以及结合压缩域处理操作等方面的要求比其他多媒体信号更高,因此,视频水印除了要满足数字水印的一般要求,如安全性、鲁棒性、隐藏性等特性之外,还有一些独特的技术要求。本文对压缩域视频水印相关技术进行了分析并对研究方法进行了讨论,提出了目前存在的问题及未来研究的方向。     

推广GAC模型在运动目标分割中的应用

针对视频序列运动目标的分割,研究了传统的运动目标检测算法和基于推广GAC模型的图像分割算法的优势和缺陷,并将二者进行系统的结合,由“粗”到“细”地实现了对运动目标边缘的精确分割。实验表明,算法简单有效,在保证目标分割实时性的前提下,发挥了推广GAC模型在目标分割中的优势。     

压缩域中基于自动标记的图像分割

针对传统像素域中图像分割算法计算复杂的缺陷,提出了一种压缩域中快速图像分割算法。对图像分块,提取离散余弦变换（DCT）系数结合颜色矩作为块特征,利用支持向量机（SVM）实现对压缩域中图像块的自动标记,采用提出的阈值最小生成树（TMST）算法对已标记块进行区域生长,应用形态学相关算法对分割出的图像进行修补。通过Corel图像数据库对提出的方法进行验证,结果表明该方法能够更加快速有效地进行图像分割。     

Robust spatio-temporal saliency estimation method for H.264 compressed videos

Multimedia Tools and Applications - This paper presents a robust spatio-temporal saliency estimation method based on modeling motion vectors and transform residuals extracted from the H.264/AVC...     

面向对象的全时域移动对象数据模型

在面向对象模型中加入对动态属性的支持,提出和建立了一种面向对象的支持全时域数据存储和查询的移动对象数据模型。探讨了GPS定位信息中精度、方位等信息对移动对象位置更新的影响,并给出了一种新的基于定位精度、速度和方位的动态阈值位置更新策略,解决了移动对象的全时域存储和查询方法。最后对面向对象的全时域移动对象数据模型进行了验证,实验表明该动态阈值位置更新策略在不影响移动对象运动轨迹精度的情况下,可以有效减少位置更新,节省数据传输流量,减少数据存储量。