空时形状预测与高效编码

目的 形状是视觉对象的关键特征,形状编码是对象基图像和视频处理中的关键技术,但现有无损形状编码方法压缩效率普遍不高.为此,提出一种基于链码表示和空时预测的高效无损形状编码新算法.方法 首先逐帧提取视觉对象的形状轮廓并转化为链码表示;然后基于对象轮廓的帧间活动性将形状视频序列分成帧内预测编码帧和帧间预测编码帧,并基于轮廓链码的空域相关性和时域相关性对二者分别进行空域和时域补偿与预测;最后基于链码的方向约束特性对预测后的位移矢量和预测残差进行高效编码压缩.结果 为了检验所提算法的性能,基于MPEG-4标准形状测试序列进行了编码实验测试.与现有主要方法相比本文算法能提高压缩效率6%到71.6%不等.结论 本文算法可广泛应用于对象基编码、基于内容的图像检索、图像分析与理解等领域.     

多模式3维视频形状编码

目的 具有立体感和高端真实感的3D视频正越来越受到学术界和产业界的关注和重视,未来在3D影视、机器视觉、远程医疗、军事航天等领域将有着广泛的应用前景。对象基3D视频是未来3D视频技术的重要发展趋势,其中高效形状编码是对象基3D视频应用中的关键问题。但现有形状编码方法主要针对图像和视频对象,面向3D视频的形状编码算法还很少。为此,基于对象基3D视频的应用需求,提出一种基于轮廓和链码表示的高效多模式3D视频形状编码方法。方法 对于给定的3D视频形状序列逐帧进行对象轮廓提取并预处理后,进行对象轮廓活动性分析,将形状图像分成帧内模式编码图像和帧间预测模式编码图像。对于帧内编码图像,基于轮廓内链码方向约束和线性特征进行高效编码。对于帧间编码图像,采用基于链码表示的轮廓基运动补偿预测、视差补偿预测、联合运动与视差补偿预测等多种模式进行编码,以充分利用视点内对象轮廓的帧间时域相关性和视点间对象轮廓的空域相关性,从而达到高效编码的目的。结果 实验仿真结果显示所提算法性能优于经典和现有的最新同类方法,压缩效率平均能提高9.3%到64.8%不等。结论 提出的多模式3D视频形状编码方法可以有效去除对象轮廓的帧间和视点间冗余,能够进行高效编码压缩,性能优于现有同类方法,可广泛应用于对象基编码、对象基检索、对象基内容分析与理解等。     

形状自适应小波编码

一种基于扩展SPIHT的形状自适应小波编码方法在文中被提出。其对形状自适应小波变换的机理进行讨论，根据掩模图像对视频对象进行三级形状自适应小波分解。对现有SPIHT进行改进，提出一种扩展SPIHT的压缩方法。该方法利用小波子带自相关特性对任意形状的视频对象进行编码，并且根据对应的三级掩模图像对视频对象外的零值不编码以减少码流。实验结果表明该方法在保证对任意形状视频对象的交互操作功能的同时有效提高编码效率。     

全局运动补偿技术在形状信息错误隐藏中研究

深入研究MPEG-4的形状编码技术和视频图像帧的编码方式,参照全局运动补偿技术,在图像形状信息全部丢失、部分丢失信息变化复杂的情况下,提出一种基于全局运动补偿的前向错误隐藏方法对出现传输错误的图像进行恢复。通过与Cheng方法对比仿真实验证明该方法取得很好的恢复效果,尤其是对象形状信息全部丢失时。     

基于Zh变换的视频对象形状编码方法

根据视频对象形状的特点，提出了一种新的视频对象形状编码方法．这种方法仍然属于基于位图的方法，但是具有很好的可扩展性和压缩效率．这种方法的核心是Zh变换．利用Zh变换可以把表示视频对象形状的二值位图分解为一系列较小的二值位图．这些小位图从粗到精地描述了视频对象的形状，这使得本方法具有很好的可扩展性．压缩效率的提高来自以下两个方面：(1)通过设置变换终止条件，可以自动标记位图中远离对象边缘的块；(2)采用基于上下文的算术编码方法编码变换后的小位图，由于变换后的数据之间存在较强的相关性，算术编码器可以根据已经编码的数据更准确地预测下一个被编码位．     

用于立体视频会议系统的立体对象分割与跟踪算法

基于对象的立体视频编码压缩技术能在立体视频会议系统中得到很好的应用，从立体视频信号中正确分割出立体视频对象是基于对象的立体视频编码压缩的一个前提条件，基于立体视频会议图像序列的时空特性和左右通道间的视差特性，提出了一种立体视频对象分割与跟踪算法，首先利用空域分割和运动检测相结合的方法，提取左通道中的运动物体；然后，提出一种左右通道间基于边缘轮廓的二级视差匹配算法，并根据已分割的左通道运动对象提取右通道的视频运动对象；最后利用对象边界轮廓的跟踪方法对后续图像中的运动对象进行快速跟踪，实验结果说明文中算法能够应用于立体视频会议图像序列的立体对象分割与跟踪。     

MPEG-4中基于对象的视频编码

MPEG-4标准的视频部分引入了可视对象的概念,并提供了基于对象的视频编码工具。基于对象的编码比传统的视频编码方法更接近于信息表示和传输的本质,具有更好的编码特性,并为基于内容的应用提供了基础。介绍了MPEG-4中基于对象的视频编码的算法和功能,并讨论了目前存在的问题和未来潜在的应用。     

Zh变换及其在视频对象形状编码中的应用研究

为了提高基于位图的形状编码方法的可扩展性，提出一种能够用于二值位图的图像变换——Zh变换．表示视频对象形状的二值位图经过Zh变换以后，被分解为一些较小的位图．这些小位图从粗到精地描述了原来视频对象的形状．在Zh变换的基础上，结合基于上下文的算术编码，提出一种视频对象形状编码方法．实验结果证明，该方法不仅具有很好的空间和信噪比可扩展性，而且在编码效率上也明显高于MPEG-4第一版采用的形状编码方法．     

一种压缩域中基于镜头的关键帧提取改进算法*

关键帧提取技术是基于内容视频检索的基础。针对压缩视频序列提出一种基于镜头的关键帧提取改进算法。其核心是根据压缩视频序列的编码特点,只需要对其进行部分解码,利用I帧信息的直流分量信息构造DC缩微图,并结合图像帧不同区域DC信息的重要程度差异进行相似性度量,进而实现关键帧提取。实验证明,该算法较之传统算法,在查全率和检索时间两项指标上均有显著改善,尤其适用于新闻纪录片、电影片等局部运动较为剧烈的视频序列。     

MPEG-4中的运动图像分割算法

MPEG-4采纳了基于对象的编码技术,它要求对图像和视频作更多的分析,甚至是理解。基于对象的编码是MPEG-4的一个重要特点,但是对象的分割问题至今仍未得到满意的解决。为了应用MPEG-4视频标准,视频序列的每一帧应该根据视频对象平面来描述,编码前的首要工作是视频对象的识别,把每一帧分解为若干视频对象平面,每个视频对象平面代表不同的有语义的对象。该论文介绍了MPEG-4的标准、国际上图像分割的发展状况,在此基础上提出了利用空时域信息实现MPEG-4视频对象的自动分割的算法。     

Automatic key video object plane selection using the shapeinformation in the MPEG-4 compressed domain

Object-based video representation, such as the one suggested by the MPEG-4 standard, offers a framework that is better suited for object-based video indexing and retrieval. In such a framework, the concept of a “key frame” is replaced by that of a “key video object plane”. In this paper, we propose a method for key video object plane selection using the shape information in the MPEG-4 compressed domain. The shape of the video object (VO) is approximated using the shape coding modes of I, P, and B video object planes (VOPs) without decoding the shape information in the MPEG-4 bit stream. Two popular shape distance measures, the Hamming and Hausdorff distance measures, are modified to measure the similarities between the approximated shapes of the video objects. Although they feature different computational and implementation complexity tradeoffs, the corresponding algorithms achieve essentially the same performance levels in selecting key video object planes that represent efficiently the salient content of the video objects     

视频处理与压缩技术

视频处理与压缩是多媒体计算与通信领域的核心主题之一,是连接视频采集传输和视觉分析理解的关键桥梁,也是诸多视频应用的基础。当前“5G+超高清+AI”正在引发多媒体计算与通信领域的新一轮重大技术革新,视频处理与压缩技术正在发生深刻变革,亟需建立视频大数据高效紧凑表示理论和方法。为此,学术研究机构和工业界对视频大数据的视觉表示机理、视觉信息紧凑表达、视频信号重建与恢复、高层与低层视觉融合处理方法及相应硬件技术等前沿领域进行了广泛深入研究。本文从数字信号处理基础理论出发,分析了当前视频处理与压缩领域的热点问题和研究内容,包括基于统计先验模型的视频数据表示模型及处理方法、融合深度网络模型的视频处理技术、视频压缩技术以及视频压缩标准进展等领域。详细描述了视频超分辨率、视频重建与恢复、视频压缩技术等领域面临的前沿动态、发展趋势、技术瓶颈和标准化进程等内容,对国际国内研究内容和发展现状进行了综合对比与分析,并展望了视频处理与压缩技术的发展与演进方向。更高质量视觉效果和高效率视觉表达之间将不再是单独研究的个体,融合类脑视觉系统及编码机理的视频处理与压缩技术将是未来研究的重要领域之一。     

基于对象的视频编码技术

首先介绍了视频对象的分割技术,然后着重对视频对象编码的相关问题进行了分析和阐述,包括典型的形状编码方法,对纹理编码、形状和纹理数据的运动估计以及任意形状视频对象的可扩展编码等问题进行了分析;最后介绍了视频对象编码中的比特分配问题.     

基于对象的编码模式优化选择算法

各种视频压缩编码标准都是根据人们在不同领域中对声像数据的要求所制定的,并且随着人们的需求不断地发展。目前,视频压缩编码研究主要分为两个方向：一是基于传统的DCT混合编码方案;另一个是基于第二代图像编码技术而提出的基于对象的编码方案。其中,基于对象的编码方法不仅能满足进一步获得更大的图像数据压缩比的要求,而且能够实现人机对话的功能,所以,我们认为它将是未来视频压缩编码的发展方向。本文对基于对象的编码模式选择算法进行了研完,借用了MPEG-4中视频对象的概念,提出了一种视频分割的方法。     

Coding techniques for process plant VDU formats

The results of a literature survey of human performance and coding techniques are presented. Recommendations are given for the application of coding techniques to the design of VDU formats (screen layouts) in a process plant context. The coding techniques considered are colour, brightness, inverse video, flash, size and shape. The recommendations discuss the relative merits of the different techniques for presenting plant information, and the practical problems of applying a particular code. Some suggestions are given for further work.     

MPEG—4标准视频编码初论

MPEG－4视频部分（ISO／IEC 14496－3）是MPEG－4标准核心内容之一，它既提供了传统的基于帧的编码方法也提供了基于视频对象的编码方法，为高效压缩与基于内容的交互提供了坚实的基础，文章对MPEG－4标准视频编码部分做了详细的描述，并对MPEG－4视频的应用做了简要介绍。     

Least squares estimation of 3D shape and motion of rigid objectsfrom their orthographic projections

The extraction of motion and shape information of three-dimensional objects from their two-dimensional projections is a task that emerges in various applications such as computer vision, biomedical engineering, and video coding and mining especially after the recent guidelines of the Motion Pictures Expert Group regarding MPEG-4 and MPEG-7 standards. Present work establishes a novel approach for extracting the motion and shape parameters of a rigid three-dimensional object on the basis of its orthographic projections and the associated motion field. Experimental results have been included to verify the theoretical analysis     

MPEG-4视频编码技术的研究及实现

通过对MPEG-4的特点和VOP编码原理及其关键算法的研究,提出了实现形状信息编码、运动信息编码、纹理信息编码的方法,针对运动信息编码、纹理信息编码这两种编码方式给出了流程图并进行详细说明,提出了MPEG-4编码技术中两种新的编码——可伸缩编码和Sprite对象编码。     

分布式视频编码方法研究

分布式视频编码(Distributed Video Coding,DVC)是一种新颖的视频压缩方法,具有极低的编码复杂度和良好的抗噪声鲁棒性。为了使人们对该编码方法有所了解,该文首先详细介绍了分布式视频编码的理论基础和特点,然后讨论了分布式视频编码的两大关键技术,包括编码端高效压缩和解码端边信息(side information)插值;最后总结分析了分布式视频编码在低复杂度编码和视频信号鲁棒传输等两大应用领域的研究现状,并对其研究前景进行了探讨。