Real-time interactive MPEG-4 system encoder using a cluster ofworkstations

MPEG-4 currently being finalized by the Moving Pictures Experts Group of the ISO is a multimedia standard, MPEG-4 aims to support content-based coding of audio, text, image, and video (synthetic and natural) data, multiplexing of coded data, as well as composition and representation of audiovisual scenes. One of the most critical components of an MPEG-4 environment is the system encoder. An MPEG-4 scene may contain several audio and video objects, images, and text, each of which must be encoded individually and then multiplexed to form the system bitstream. Due to its flexible features, object-based nature, and provision for user interaction, MPEG-4 encoder is highly suitable for a software-based implementation. A full-scale software-based MPEG-J system encoder with real-time encoding speed is a nontrivial task and requires massive computation. We have built such an encoder using a cluster of workstations collectively working as a virtual parallel machine. Parallel processing of MPEG-4 encoder needs to be carried out carefully as objects may appear or disappear dynamically in a scene. In addition, objects may be synchronized with each other. User interactions may also prohibit a straightforward parallelization. We propose a modeling methodology that captures the spatio-temporal relationship between various objects and user interaction. We then propose a number of scheduling algorithms that periodically allocate MPEG-4 objects to multiple workstations ensuring load balancing and synchronization requirements among multiple objects. Each scheduling algorithm has its own performance and complexity characteristics. The experimental results, while showing real-time encoding rates, exhibit tradeoffs between load balancing, scheduling overhead cost, and global performance     

MPEG-4系统解码模型与码流管理及其实现

MPEG-4标准的编码是基于对象的,用户可以对对象进行操作和控制,这种操作和控制是通过对象描述符来实现的,一系列描述符组成对象描述框架,将基本码流和具体的视音频对象联系起来,该文对此进行了详细的阐述。MPEG-4系统层是MPEG-4标准得以实现的关键所在,为此该文对解码器模型和码流同步管理结合IM1实现作出分析。     

一种支持交互式多媒体场景的MPEG-4传输架构设计与实现

在MPEG-4体系结构网络传输的基础上,结合MPEG-4基于对象编码及可交互的特点,提出一种传输架构设计来支持交互式多媒体场景,它能够让终端用户选择感兴趣的多媒体内容来合成符合其要求的场景,控制媒体数据的传输并和服务端相互作用以实时修改场景.详细讨论了该交互式多媒体系统的客户端和服务器端的具体设计,并对传输架构进行了描述,最后对交互传输过程中的QoS进行了讨论,并给出了一个交互式多媒体场景实现实例.     

基于XMT的MPEG-4场景视频制作及系统设计

介绍了MPEG-4标准中的二进制格式的场景描述，基于XML的两种可扩展文本格式的描述框架：XMT-A和XMT-Ω及其支持的节点、属性、域与BIFS流的映射关系；给出了MPEG-4标准场景视频制作及发布系统的功能结构和基于XMT的系统层次分析。利用该系统制作和发布的多媒体交互式场景视频，可以进行网上教学的节目制作和远程点播。系统建立在MPEG-4标准上，提高了远程教学的质量，满足了用户与场景视频的交互需求；利用XMT作为中间描述格式，满足了相同场景在MPEG-4、SMIL、VRML等标准间的内容交换及互操作功能。     

用于区分服务的MPEG-4多媒体内容分类机制

描述了一种用于区分服务的MPEG-4多媒体内容分类机制。它通过向MPEG-4系统结构中加入一个新的媒体QoS分类层,把具有相近QoS性能需求的MPEG-4 AVO分为一类并映射到区分服务中。新的媒体QoS分类层采用一种对于应用层和网络层均透明的分类算法对MPEG-4 AVO进行分类。给出了该算法的结构和设计原则。     

基于MPEG-4关键技术的视频医疗系统

通过对MPEG-4视频编码关键技术及原理的分析,利用MPEG-4视频技术实时、高效无线视频传输的特性,开发、设计并实现了基于JMF技术、应用于智能化社区的视频医疗系统。在视频医疗系统中,由JMF提供一个统一的架构和通信协议来管理基于时间媒体的获取、处理和传输。采用实时传输协议/实时传输控制协议(RTP/RTCP)很好的保证了视频传输过程中的实时性,并在JMF中引入了MPEG-4压缩算法插件进行视频压缩。MPEG-4压缩算法压缩比高,并且具有良好的网络适应性。     

MPEG-4编码的现状和研究

随着计算机和通信技术的发展,多媒体编码进入了一个新的时代,即将公布的ＭＰＥＧ－４国际标准表明基于对象的编码、基于模型的编码等第二代编码技术趋于成熟．文中首先从ＭＰＥＧ－４所支持的各种视频对象及其特点、场景的描述和不同应用的框架／级别等３个方面讨论了新的编码标准的主要内容和现状．新的标准用于实际应用还需要提供大量的标准之外的配套工具和研究．在随后的内容中,文中讨论了图像和视频的分割、全景图像的生成、人脸的检测与跟踪、２Ｄ网格模型的建立与跟踪以及３Ｄ人脸的分析和合成等相关领域的研究和进展情况．     

MPEG-4形式化同步描述信息的研究与设计

媒体对象内部和多个媒体对象之间的同步是多媒体研究的一个重要研究方向。简述了MPEG-4的相关概念以及体系结构,融合并扩展了诸多传统方法,提出加权有向图的形式化同步描述方法在MPEG-4体系结构中的同步层中应用,这种方法更加适应MPEG-4面向对象的内容编码和传输。通过测试结果可以看出,加权有向图的形式化同步描述方法可以有效地实现同步。     

基于MPEG-4的人脸动画技术研究

MPEG-4提出的基于对象的编码格式，将人脸作为一个特殊的对象，为人脸建模和动画研究奠定了基础。本文通过对MPEG-4人脸动画标准的分析，提出基于MPEG-4人脸动画系统的设计思想和需解决的关键问题。     

MPEG-4中的运动图像分割算法

MPEG-4采纳了基于对象的编码技术,它要求对图像和视频作更多的分析,甚至是理解。基于对象的编码是MPEG-4的一个重要特点,但是对象的分割问题至今仍未得到满意的解决。为了应用MPEG-4视频标准,视频序列的每一帧应该根据视频对象平面来描述,编码前的首要工作是视频对象的识别,把每一帧分解为若干视频对象平面,每个视频对象平面代表不同的有语义的对象。该论文介绍了MPEG-4的标准、国际上图像分割的发展状况,在此基础上提出了利用空时域信息实现MPEG-4视频对象的自动分割的算法。     

MPEG-4的RTP封装技术及其应用

宽带网络的迅速发展,为网络流媒体应用提供了广阔的前景,MPEG-4具有的高压缩率、强交互性和灵活分级扩展的特性,使之特别适合网络流媒体应用。首先对MPEG-4在网络流媒体应用中的关键问题的RTP封装技术进行深入研究,然后将其应用到视频点播系统中。     

基于MPEG-4视频流的QoS映射研究

基于XVID和实时传输协议(RTP)提出了一种MPEG-4视频流的服务质量(QoS)映射管理方法。分析了MPEG-4视频流特点、编解码软件和QoS分层管理方法,提出了基于RTP协议的QoS管理逻辑结构、不同层次上的QoS参数,即应用层和系统层QoS参数,以及应用层到系统层QoS参数的映射算法。在模拟网络环境下的实验结果表明这种QoS参数的映射算法能够保证MPEG-4视频流的服务质量。     

MPEG-4中的运动图像分割算法

MPEG-4采纳了基于对象的编码技术，它要求对图像和视频作更多的分析，甚至是理解。基于对象的编码是MPEG-4的一个重要特点，但是对象的分割问题至今仍未得到满意的解决。为了应用MPEG-4视频标准，视频序列的每一帧应该根据视频对象平面采描述，编码前的首要工作是视频对象的识别，把每一帧分解为若干视频对象平面，每个视频对象平面代表不同的有语义的对象。该论文介绍了MPEG-4的标准、国际上图像分割的发展状况，在此基础上提出了利用空时域信息实现MPEG-4视频对象的自动分割的算法。     

多媒体结构的设计与选择

构造一个上下文敏感,具有可交互性的多媒体表示远比单纯构造视听信息或者单纯构造文本信息复杂得多.多媒体对象之间的交互需要有一个用来同步和异步交互的,包括立即响应的时空关系组织起来.根据构造环境的需要来考虑多媒体的结构构造.先通过介绍影响多媒体结构构造的7个要素来认识多媒体,然后在4种典型的构造模式中进行多媒体环境的选择.这4种构造模式分别是:结构化、时间关系、图关系、脚本形式.通过各种各样的观察和分析发现,结构化的多媒体构造为多媒体的表示提供了最为有效的表示形式.     

基于MPEG-4的多媒体同步模型设计

文中旨在研究基于MPEG-4技术的面向对象多媒体同步。所采用的方法是在分析现有多媒体同步模型的基础上,结合MPEG-4系统同步机制和高级同步模型(FlexTime),设计面向对象的多媒体同步模型,以实现MPEG-4中各媒体对象间同步。由此方法设计的层结构同步模型是一种有效可行的多媒体间同步的实现方法。和其它的多媒体间同步方法相比,这种方法在基于对象的多媒体的传输过程中携带较少的时间信息来完成对象间的同步,并且增强了基于对象内容交互的灵活性。     

DanVideo: an MPEG-7 authoring and retrieval system for dance videos

A well-annotated dance media is an essential part of a nation’s identity, transcending cultural and language barriers. Many dance video archives suffer from problems concerning authoring and access, because of the complex spatio-temporal relationships that exist between the dancers in terms of movements of their body parts and the emotions expressed by them in a dance. This paper presents a system named DanVideo for semi-automatic authoring and access to dance archives. DanVideo provides methods of annotation and authoring and retrieval tools for choreographers, dancers, and students. We demonstrate how dance media can be semantically annotated and how this information can be used for the retrieval of the dance video semantics. In particular, DanVideo offers an MPEG-7 based semi-automatic authoring tool that takes dance video annotations generated by dance experts and produces MPEG-7 metadata. DanVideo also has a search engine that takes users’ queries and retrieves dance semantics from metadata arranged using tree-embedding technique and based on spatial, temporal and spatio-temporal features of dancers. The search engine also leverages a domain-specific ontology to process knowledge-based queries. We have assessed the dance-video queries and semantic annotations in terms of precision, recall, and fidelity.     

MPEG-4流媒体系统中的视音频同步

流媒体系统中视音频同步是非常重要的。首先简要地介绍了MPEG 4的相关概念,分析了流媒体系统中影响视音频同步的因素,提出了一套相应的解决方案,最后,给出了一个基于MPEG 4的视频监控系统的实现。     

基于IPP的MPEG-4编解码研究与实现

研究了Intel提供的用于多媒体处理的集成性能原件IPP函数库以及MPEG-4视频压缩编解码技术,提出了一种利用IPP函数进行MPEG-4视频压缩编解码方法,并在Intel PXA255上成功地实现了无线网络环境下的MPEG-4视频图像实时传输,为在嵌入式系统中进行多媒体实时处理提供了一种新方法。实验结果证明了该方法的有效性。     

MPEG—4视频的实时传输

MPEG－4是一个全新的多媒体标准,采用了基于对象和模型的编码方法。简要总结了MPEG－4视频编码的各种特点,对网络实时传输MPEG－4视频提出了各种评估标准,并针对面临的困难介绍了相应的解决方案。