面向多媒体文档的多通道检索系统

提出和实现了一个面向多媒体文档的多通道(对应多种模态,如文本、图像、视频等)检索系统.系统定义了一个新的用来描述多媒体文档内容的框架,该框架不但提取出多媒体文档在各通道下的基于内容的底层特征,而且还记录下多媒体文档中不同多媒体对象间的链接关系.同时,提出一种基于图模型的交叉参照知识库,用来存储从链接关系中挖掘出的多媒体对象间的语义关系,通过一个有效的语义上下文分析算法,在检索过程中计算每个对象与查询的语义相似度.语义上下文分析算法不仅使得基于内容的多媒体信息检索中考虑了多媒体对象的语义信息,同时支持用户通过通道切换的方式进行相关反馈,提供了一种较为灵活的查询模式.实验表明在交叉参照知识库基础上,该系统还能够有效地提高基于内容的多媒体对象的检索性能(如内容覆盖率等).     

协同多媒体著作工具中演示文档的同步模型

多媒体演示文档的协同著作对文档本身的结构与同步模型提出了一定的要求。为了便于面向对象的实现以及灵活多粒度的共享，提出了一个协同多媒体著作工具中分布交互式多媒体文档的同步模型。在此模型中，文档结构分为三层：页面层、对象组层及单媒体对象层，根据各层的特点，其同步分别采用基于跳转、基于事件及基于时间的策略     

协同多媒体菱工具中演示文档的同步模型

多媒体演示文档的协同菱对文档本身的结构与同步模型提出了一定的要求。为了便于面向对象的实现以及灵活多粒度的共享，提出了一个协同多媒体著作工具中分布交互式多媒体文档的同步模型。在此模型中，文档结构分为三层：页面层、对象组层及单媒体对象层，根据各层的特点，其同步分别采用基于跳转、基于事件及基于时间的策略。     

多媒体数据库系统中的同步表示管理

支持多媒体应用的扩展数据库系统必须具有新的机制以确保多种媒体数据流的同步表示。为了使用户同时具有多媒体数据流表示的灵活性和高效率,必须将媒体数据流分割成媒体对象,并且定义和保持其间的时间限制。为此要在现有数据库系统上采用能高效管理多媒体数据时间传性的新管理工具。文中讨论了多媒体数据库系统中同步表示管理。当考虑延迟的影响时,提出了多种媒体数据流同步表示的原则。基于这些原则,可以设计出各种同步机制。     

一种面向多对象多媒体应用的同步控制方法

多对象多媒体应用允许多路媒体同时呈现,其同步控制比较复杂,可分为传输过程中与呈现过程中的同步。然而现有的同步方法忽略了媒体在最后呈现过程中的同步,也没有考虑各媒体对象之间的同步要求差异。针对以上问题,为视频点播提出了一种在应用层上控制多对象多媒体同步呈现质量的方法。在采用多级缓冲门限实现媒体内同步反馈控制的基础上,依据主要媒体对象的呈现时间戳,在每一个呈现场景内调整次要媒体对象的呈现速率,从而实现媒体间的同步呈现。实验结果表明该方案能够有效地提高同步质量,且媒体间的同步性能平均提高28.45%。     

基于MPEG-4的多媒体同步模型设计

文中旨在研究基于MPEG-4技术的面向对象多媒体同步。所采用的方法是在分析现有多媒体同步模型的基础上,结合MPEG-4系统同步机制和高级同步模型(FlexTime),设计面向对象的多媒体同步模型,以实现MPEG-4中各媒体对象间同步。由此方法设计的层结构同步模型是一种有效可行的多媒体间同步的实现方法。和其它的多媒体间同步方法相比,这种方法在基于对象的多媒体的传输过程中携带较少的时间信息来完成对象间的同步,并且增强了基于对象内容交互的灵活性。     

基于MPEG-4的多媒体同步模型设计

文中旨在研究基于MPEG4技术的面向对象多媒体同步。所采用的方法是在分析现有多媒体同步模型的基础上，结合MPEG-4系统同步机制和高级同步模型（FlexTime），设计面向对象的多媒体同步模型，以实现MPEG-4中各媒体对象间同步。由此方法设计的层结构同步模型是一种有效可行的多媒体间同步的实现方法。和其它的多媒体间同步方法相比，这种方法在基于对象的多媒体的传输过程中携带较少的时间信息来完成对象间的同步，并且增强了基于对象内容交互的灵活性。     

SMIL多媒体时间同步参考模型的提出和实现

SMIL首先将媒体对象组织成由时间控制的树结构形式。通过进一步完善和扩展，最终扩展成图。图结构的复杂度保证了SMIL控制效果的多样性，实际上，SMIL的主要功能都是建立在一个基于XML环境的时间同步模型上，该时间同步模型可以理解成一个三层的系统。本文提出了定义的系统层的SMIL时间同步参考模型。该模型重点描述如何由外来的交互事件来引发所谓的时间控制命令以达到交互控制的效果。根据处理内容的不同，整个SMIL时间同步参考模型基本可以分为四个功能模块：予取准备模块，同步进间依赖关系模块。确定时间表模块和同步时间控制模块。     

多媒体时空表现模型

表现模型是多媒体数据模型的一个重要部分，也是媒体数据库的关键技术之一。一般的表现模型都由两部分组成：时间同步与空间同步，本文提出一种以时间为基础的，空间时间同步模型，这个模型的最大特点是以对象理论为基础描述空间与时间的关系，描述媒体对象的复杂运动，大大提高了媒体对象的的表现能力。     

SMIL多媒体时间同步参考模型的提出和实现

SMIL首先将媒体对象组织成由时间控制的树结构形式,通过进一步完善和扩展,最终扩展成图。图结构的复杂度保证了SMIL控制效果的多样性。实际上,SMIL的主要功能都是建立在一个基于XML环境的时间同步模型上,该时间同步模型可以理解成一个三层的系统。本文提出了定义在系统层的SMIL时间同步参考模型。该模型重点描述如何由外来的交互事件来引发所谓的时间控制命令以达到交互控制的效果。根据处理内容的不同,整个SMIL时间同步参考模型基本可以分为四个功能模块：预取准备模块,同步时间依赖关系模块,确定时间表模块和同步时间控制模块。     

Checking consistency in multimedia synchronization constraints

Constraint-based design is often used to correctly author a multimedia scenario due to its flexibility and efficiency. However, such a system must provide a mechanism with which users can easily manipulate the underlying structures to meet the application requirements. This paper proposes a novel method for analyzing multimedia synchronization constraints based on the constraint graph and classification, which is essential in developing efficient system support tools for constraint-based authoring systems. We specify temporal and spatial relations between multimedia objects, and use a directed graph to represent the constraints among the objects in a multimedia scenario. Moreover, we develop a method for analyzing temporal and spatial synchronization constraints based on graph theory, solving the problems of completeness checking, consistency checking, constraints relaxation and automatic spatio-temporal layout generation in a unified theoretical framework. We also discuss the effects of user interactive authoring. Compared with other methods, the proposed approach is simpler, more efficient, and easier to implement.     

一种新的基于Petri网的多媒体同步模型

多媒体信息的同步是分布式多媒体信息系统的关键技术。本文在对国外几个典型多媒体同步模型进行分析、比较的基础上,提出一个新的多媒体同步要模型。该模型不但可以充分、准确、形式化地描述和规模多媒体信息流的时间行为,而且还考虑到了分布式环境中多媒体信息的时间特性（如抖动）,并且有人机交互功能。     

一个多媒体数据同步模型的建立和实现

文章对多媒体数据流间存在的时序问题和时序关系进行介绍，对现有研究情况进行分析.结合一个多媒体数据模型，基于PETRI网，提出了一个同步模型，以表达媒体数据之间存在的同步关系.根据这两个模型对多媒体数据建立了相应的数据结构，并采用该数据结构介绍了对多媒体数据存取播放的实现算法.     

A data model and a query languagefor multimedia documents databases

A multimedia application involves information that may be in a form of video, images, audio, text and graphics, need to be stored, retrieved and manipulated in large databases. In this paper, we propose an object-oriented database schema that supports multimedia documents and their temporal, spatial and logical structures. We present a document example and show how the schema can adress all the structures described. We also present a multimedia query specification language that can be used to describe a multimedia content portion to be retrieved from the database. The language provides means by which the user can specify the information on the media as well as the temoral and spatial relationships among these media.     

The Directors’ cut: a solution to collaborative multimedia management

Web 2.0 applications allow rich media contents to be exposed and shared by users. Nevertheless, usually, a multimedia is provided as an unicum, made by synchronized media items. Sound tracks, video sequences, captions, cannot be customized “on-the-fly” by users. Managing multimedia in a deep way would meet the expectations of nowadays Web prosumers (i.e. producers and consumers), and it would widen the audience. Describing and synchronizing each medium, as well as specifying different alternative contents for it, are the keystones of multimedia customization and of audience widening. This paper presents a multimedia collaborative system, which provides support to the arrangement of medium into a multi-views composed multimedia. Each prosumer can add medium by juxtaposition or by defining it as an alternative (audio, video, textual) version of an existing one. The implementation of such a system is based on SMIL 3.0 specification but implements a new and compact syntax to let users manipulate the original multimedia synchronization and their alternatives. The proposed approach has been put to test in two different scenarios.     

Synchronization of distributed multimedia systems with user interactions

Without user interactions, multimedia presentations are just fancy slide shows with sound and video supports. User interactions by themselves do not change the temporal relationships among multimedia objects, such as texts, graphics, images, audio, and video, but affect the playback schedules. In this paper, we propose a synchronization mechanism to guarantee the quality of multimedia presentation with user interactions. In our protocol, each presentation site requests media transmission from the required media servers at certain time intervals prior to the playback deadlines, where these time intervals are the response times to cover possible experienced end-to-end delays and packet losses, and waits for an initial setup time to ensure intermedia synchronization before starting the presentation. Users may interact with the presentation. This synchronization mechanism solves the problems incurred by user interactions by determining the new presentation scenario produced by the interactive operation, calculating the corresponding setup time, and then rendering the new playback and retrieval schedules.