多媒体信息检索技术研究应用

在网络和多媒体技术快速发展的今天,如何在众多以图像、音频、视频等信息为代表的多媒体数据中有效的对其进行组织、存取、查询、提取是当前面临的一个重要问题。通过分析目前的多媒体信息检索技术,介绍了用于多媒体内容描述的国际标准MPEG-7;从图像、音频、视频三方面讨论当前广泛使用的一些信息检索技术并对这些技术的实际应用作了分析;最后,给出了一个视频应用模型。     

多媒体信息检索中的查询与反馈技术

历经几十年的发展,多媒体检索取得了长足的进步,然而检索性能的提升依然受到“意图鸿沟”与“语义鸿沟”的制约.针对此问题,学术界提出了一系列查询技术帮助用户清楚地表达检索意图以及反馈技术帮助系统准确地理解用户意图与媒体数据,有效提升了检索性能.对多媒体检索中的查询与反馈技术进行了分析与讨论.分析了查询方式的演变与反馈技术的发展,综述了面向PC机、移动智能终端、触屏设备的查询技术,介绍了不同时期的反馈技术,探讨了探索式搜索中的交互问题,最后分析了该领域的未来研究趋势.     

领域相关多媒体对象的基于内容查询

该文通过对多媒体对象领域知识特点的分析，指出了领域属性与多媒体对象分离的必要性，对多媒体对象的领域属性进行了分类，采用框架（frame）结构作为领域知识的表示模式，利用语义网表示领域概念之 分类关系以及同义关系，并用上下文（context）记录了特定用户更细的辅助知识，包括多媒体相似阈值刻画、模糊值的描述以及用户查询反馈等参数。该文还给出了多媒体对象相似的计算公式，分析了多媒体基于内容查询的各种类型，研究了多媒体查询处理过程。     

Information Retrieval and Filtering of Multimedia Mineral Data

Most of the written materials are consisted of Multimedia (MM) information because beside text usually contain image information. The present information retrieval and filtering systems use only text parts of the documents or in best case images represented by keywords or image captions. Why do not use both, text and image features of the documents and in the retrieval or filtering process utilize more completely the document information content? Can such approach increase the effectiveness of retrieval and filtering processes? There is a very little difference between retrieval and filtering at an abstract level. In this paper, we will discuss some possible similarities and differences between them on the application level taking into account the experiments in retrieval and filtering of multimedia mineral information.     

基于内容的多媒体检索技术浅析

基于内容的多媒体检索是从新的角度来管理多媒体信息,包括视频媒体的结构化组织和浏览;图像和音频信号的处理.使其应用于更广泛的信息存取.文章分析了内容的多媒体检索的技术原理、特点和方法.指出一些需要完善的问题,如特征提取和语义获取、基于内容的编码等.     

基于MPEG-7的多媒体信息检索研究

研究了MPEG-7的核心内容和多媒体信息检索的主要技术,并对应用MPEG-7进行多媒体信息检索作了一定的探讨.     

数字图书馆信息检索技术及其应用

从数字图书馆的发展现状展开研究,对数字图书馆与传统图书馆进行了比较,分析了信息检索概念和技术。介绍了CBR的特点,重点阐述了数字图书馆多媒体检索技术分类及各自特点,明确指出了数字图书馆建设的意义、应用中存在的问题,展望了数字图书馆的前景。     

多媒体节目时序描述的完全性和协调性

完全性和协调性是形式规范的两个基本性质,针对不同的形式规范,完全性和协调性的定义可能是不同的。该文首先根据通信顺序的理论,把一个多媒体用两个瞬时事件表示,并且定义了时间区间向量的概念和在它之上的一些运算,基于这些准确工作,文中给出了多媒体系统中媒体对象时序关系描述的完全性和协调性的形式定义,由于文中讨论的时序描述语言较简单,但是对于多媒体领域又是足够的,因此,与相关工作比较,该文研究的完全性和协调     

一种面向领域文档的结构化检索模型及其在农技处方检索中的应用

各种专业领域中的文档往往具有显著的结构化特征,即一篇文档往往是由具有不同表达功能的相对固定的多个文本字段构成,同时这些字段蕴含了相关的领域知识。针对专业文档的结构化和领域化特征,设计了一种面向结构化领域文档的信息检索模型。在该模型中,首先对领域文档集进行挖掘以构建能够反映领域知识的结构化模型,之后以此为基础设计了结构化文档检索算法来为用户查询返回相关的领域文档。选择一类典型的领域文档——农技处方开展了应用研究,利用一份现实的农技处方文档数据集将提出的方法与传统的信息检索方法进行了实验对比分析,并开发了农技处方检索原型系统。     

Constraint Techniques for Authoring Multimedia Documents

Authoring a multimedia document requires to specify both its spatial layout and its temporal organization, i.e. when and where objects such as pictures, texts and videos appear/disappear on /from the screen and when objects such as audios and videos start/end to play. In this paper, we present some benefits authors can gain when using an authoring tool in which constraints are used to specify these two kinds of information. We describe our experience in building Madeus, a constraint-based environment to design multimedia documents and we point out technical problems that still need to be solved to more completely satisfy author requirements.     

多媒体数据基于内容的查询

分析了多媒体数据与传统数据之间的异同。将多媒体数据的属性分成“内容无关”、“导出”、“用户定义”３种类型,研究了多媒体对象之间的相似特点,最后给出了４种基本查询类型。     

多媒体节目时序描述的组合技术

组合性是形式描述研究的基本问题,便于大型程序的设计、分析、测试和复用.为了方便用户编制大型多媒体系统的时序描述,组合模型是必须的.目前,这样的模型有基于语言的、基于图形的、基于时间区间的和面向对象的等等.但是,这些模型描述层次过低,很难支持两个多媒体节目之间的时序描述.通过引入单位流的概念和扩展两种时序关系,研究一种多媒体节目时序描述的结构化技术,使复杂的多媒体节目易于理解,以方便用户运用组合方法把一些可以复用于不同多媒体节目的节目模块进行组合设计.     

Search Algorithms for Subdatatype-Based Multimedia Retrieval

Recently, researchers have mainly been interested only in the search for data content that are globally similar to the query and not in the search for inside data items. This paper presents an algorithm, called a generalized virtual node (GVN) algorithm, to search for data items where parts (subdatatype) are similar to the incoming query. We call this subdatatype-based multimedia retrieval. Each multimedia datatype, such as image and audio is represented in this paper as a k-dimensional signal in the spatio-temporal domain. A k-dimensional signal is transformed into characteristic features and these features are stored in a hierarchical multidimensional structure, called the k-tree. Each node on the k-tree contains partial content corresponding to the spatial and/or temporal positions in the data. The k-tree structure allows us to build a unified retrieval model for any types of multimedia data. It also eliminates unnecessary comparisons of cross-media querying. The experimental results of the use of the new GVN algorithm for subaudio and subimage retrievals show that it takes much less retrieval times than other earlier algorithms such as brute-force and the partial-matching algorithm, while the accuracy is acceptable.     

多媒体救援通信系统应用管理软件设计

针对现有矿山救援软件存在信息量有限、存储数据分散、功能单一等问题,提出了一种与多媒体救援通信系统的前端设备相配合、可及时处理并存储救援信息的多媒体救援通信系统应用管理软件的设计方案;分析了该软件的设计要求,详细介绍了该软件功能模块的设计,并给出了该软件所采用的多媒体信息融合及检索技术的实现原理。实际应用表明,该软件具有视频显示及存储、多方通话、环境参数显示及报警等功能,满足了救援工作对信息多样化及救援资料共享的需求。     

基于内容的音频检索与分类

音频信息检索技术是多媒体检索技术中的一个重要组成部分。该文在分析国内外现行的音频信息检索方法的基础上,总结出了基于内容的音频检索的一般方法,提出了一种基于内容的音频信息检索与分类方法,并通过已研制的ARS音频检索系统进行了性能测试。此方法具有较高的准确性和灵活性,可适用于不同的系统和应用。     

The Cambridge University Multimedia Document Retrieval Demo System

The Cambridge University Multimedia Document Retrieval (CU-MDR) Demo System is a web-based application that allows the user to query a database of radio broadcasts that are available on the Internet. The audio from several radio stations is downloaded and transcribed automatically. This gives a collection of text and audio documents that can be searched by a user. The paper describes how speech recognition and information retrieval techniques are combined in the CU-MDR Demo System and shows how the user can interact with it.     

数据网格环境下的多媒体资源检索

提出一种数据网格环境下的多媒体资源检索方法。通过设计分层结构的虚拟资源空间管理非结构化异构资源,当网格查询节点收到检索请求时,根据虚拟集和元数据等信息进行信息过滤,得到候选集及相应的结构化特征和语义标注,执行节点对候选集进行相似度求精和排序运算,并将排序结果返回查询节点。仿真结果表明,该方法具有较好的时间性能和较高的查准率。