基于突发事件的跨媒体信息检索系统的研究

随着突发事件信息规模的不断增大,如何实现突发事件应急管理领域跨媒体数据的精准搜索是高效利用信息资源迫切需要解决的问题。提出突发事件跨媒体信息检索系统(ECIR),详细阐述系统架构、关键技术和具体实现。ECIR集成本体、互联网信息采集、图像语义检索、智能移动终端、垂直搜索等技术,采集互联网突发事件的跨媒体信息,进行跨媒体分析和索引,实现突发事件跨媒体信息的快速检索和提供移动终端的跨媒体信息检索服务,为突发事件应急信息的挖掘和融合提供科学准确的决策依据。     

跨媒体深层细粒度关联学习方法

随着互联网与多媒体技术的迅猛发展，网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体，使得跨媒体检索成为信息检索的新趋势.然而，"异构鸿沟"问题导致不同媒体的数据表征不一致，难以直接进行相似性度量，因此，多种媒体之间的交叉检索面临着巨大挑战.随着深度学习的兴起，利用深度神经网络模型的非线性建模能力有望突破跨媒体信息表示的壁垒，但现有基于深度学习的跨媒体检索方法一般仅考虑图像和文本两种媒体数据之间的成对关联，难以实现更多种媒体的交叉检索.针对上述问题，提出了跨媒体深层细粒度关联学习方法，支持多达5种媒体类型数据（图像、视频、文本、音频和3D模型）的交叉检索.首先，提出了跨媒体循环神经网络，通过联合建模多达5种媒体类型数据的细粒度信息，充分挖掘不同媒体内部的细节信息以及上下文关联.然后，提出了跨媒体联合关联损失函数，通过将分布对齐和语义对齐相结合，更加准确地挖掘媒体内和媒体间的细粒度跨媒体关联，同时利用语义类别信息增强关联学习过程的语义辨识能力，提高跨媒体检索的准确率.在两个包含5种媒体的跨媒体数据集PKU XMedia和PKU XMediaNet上与现有方法进行实验对比，实验结果表明了所提方法的有效性.     

基于残差注意力网络的跨媒体检索方法

随着多媒体技术的快速发展,跨媒体检索逐渐替代传统的单媒体检索成为主流的信息检索方式.现有跨媒体检索方法复杂度高,且不能充分挖掘数据的细节特征,在映射的过程中会产生偏移,难以学习到精准的数据关联.针对上述问题,提出了一种基于残差注意力网络的跨媒体检索方法.首先,为了更好地提取不同媒体数据的关键特征,同时简化跨媒体检索模型,提出了融入注意力机制的残差神经网络.然后,提出了跨媒体检索联合损失函数,通过约束网络的映射过程,增强网络的语义辨别能力,提高网络检索精度.实验结果表明,与现有的一些方法对比,本文提出的基于残差注意力网络的跨媒体检索方法能够较好地学习到不同媒体数据之间的关联,有效地提高了跨媒体检索的精度.     

跨媒体相关性推理与检索研究

针对不同模态的多媒体数据之间难以度量跨媒体相关性的问题,提出了一种基于相关性推理的跨媒体检索方法,首先从相同模态内部(intra-media)的相似性和不同模态之间(cross-media)的相关性两个方面进行分析和量化,然后构造跨媒体关联图将相似性和相关性学习结果进行统一表达,以跨媒体关联图的最短路径为基础进行跨媒体检索,并提出相关反馈算法将用户交互中的先验知识融入到跨媒体关联图中,有效提高了跨媒体检索效率.该方法可以应用于针对用户提交查询样例的不同模态交叉检索系统.     

基于柯西分布的深度哈希跨媒体检索

针对深度哈希跨媒体检索方法中,语义相似的媒体对象的哈希码在汉明空间内的分布不合理问题,提出了一种新的深度哈希跨媒体检索模型.该模型是在汉明空间内利用柯西分布对现有的深度哈希跨媒体关联损失进行改进,使得语义相似的媒体对象哈希码距离较小,语义不相似的媒体对象哈希码较大,进而提高模型的检索效果.同时,本文给出了一种高效的模型求解方法,采用交替迭代方式获得模型的近似最优解.在Flickr-25k数据集,IAPR TC-12数据集和MS COCO数据集上的实验结果表明,该方法可以有效的提高跨媒体检索性能.     

基于双向学习排序的跨媒体语义相似性度量方法

随着互联网技术的迅猛发展,网络信息的呈现形式不断从简单的文本扩展到图像、声音、视频等多媒体表达形式。在多媒体信息检索领域中,传统方法往往在同一个特征空间中表示所有的媒体模式,并采取一对一的配对数据,或者利用单向排序实例作为训练样本进行检索。在此背景下,考虑了学习双向排序实例,进而实现了跨媒体检索的方法。在Wikipedia数据集上进行测试,实验结果表明,基于双向排序的跨媒体语义相似性度量方法具有更好的性能。     

基于共同子空间分类学习的跨媒体检索研究

不同媒体数据间由于存在严重的异构鸿沟和语义鸿沟,而不能直接计算它们之间的语义相似度,从而影响了跨媒体检索的实现和效果.当前提出的共同子空间学习虽能实现跨媒体语义关联和检索,但多采用一般的特征提取技术,且在语义匹配时的分类效果较差,不能有效实现跨媒体数据的高层语义关联计算,影响了检索效果.对此,提出Stacking-DS...     

基于语义相关性与拓扑关系的跨媒体检索算法

针对如何挖掘不同模态中具有相同语义的特征数据之间的内在相关性的问题,提出了一种基于语义相关性与拓扑关系（SCTR）的跨媒体检索算法。一方面,利用具有相同语义的多媒体数据之间的潜在相关性去构造多媒体语义相关超图;另一方面,挖掘多媒体数据的拓扑关系来构建多媒体近邻关系超图。通过结合多媒体数据语义相关性与拓扑关系去为每种媒体类型学习一个最优的投影矩阵,然后将多媒体数据的特征向量投影到一个共同空间,从而实现跨媒体检索。该算法在XMedia数据集上,对多项跨媒体检索任务的平均查准率为51.73%,与联合图正则化的异构度量学习（JGRHML）、跨模态相关传播（CMCP）、近邻的异构相似性度量（HSNN）、共同的表示学习（JRL）算法相比,分别提高了22.73、15.23、11.7、9.11个百分点。实验结果从多方面证明了该算法有效提高了跨媒体检索的平均查准率。     

跨媒体检索研究

随着多媒体技术的飞速发展,人们越来越关注不同模态媒体间的相互检索,因此跨媒体检索已经成为人们研究的热点,它是模式识别、人机交互、人工智能、统计分析、网络通讯、数据库等多个领域知识的综合。本文主要介绍了跨媒体检索的背景及意义,然后研究了一些典型的跨媒体检索方法,并给出了跨媒体检索系统框架。其在信息检索、信息挖掘领域具有广泛的应用前景。     

跨模态检索研究进展综述

随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生.跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据,其核心任务是数据特征提取和不同模态间数据的相关性度量.文中梳理了跨模态检索领域近期的研究进展,从传统方法、深度学习方法、手工特征的哈希编码方法以及深度学习的哈希编码方法等角度归纳论述了跨模态检索领域的研究成果.在此基础上,对比分析了各类算法在跨模态检索常用标准数据集上的性能.最后,分析了跨模态检索研究存在的问题,并对该领域未来发展趋势以及应用进行了展望.     

基于Ontology的跨媒体检索

从当前跨媒体检索的相关研究出发,介绍跨媒体检索的系统结构和基于OntologY的跨媒体检索结构和算法。     

跨媒体组合方法研究

大数据时代以多媒体计算为基础的跨媒体计算技术已成为信息技术研究的热点。但是,对跨媒体的获取、组合和应用仍缺乏有效的方法。提出了两种跨媒体组合方法。以开发跨媒体在线二叉树遍历课程为例。第一种方法以Web服务的模式,引用多种类型多媒体数据,将其以服务组合的方式进行拼接,从而构成跨媒体服务。第二种方法是基于本实验室团队自主研发的PAR平台中的"New SQL"技术与Apla语言程序,使用PAR平台的多媒体数据库技术实现对跨媒体数据的存储和检索,进而构成Apla语言程序,实现部署在云端的多媒体服务,有效地解决了跨媒体的组合与存储问题。     

跨模态检索研究综述

近年来,各种类型的媒体数据,如音频、文本、图像和视频,在互联网上呈现爆发式增长,不同类型的数据通常用于描述同一事件或主题。跨模态检索提供了一些有效的方法,可以为任何模态的给定查询搜索不同模态的语义相关结果,使用户能够获得有关事件/主题的更多信息,从而达到以一种模态数据检索另外一种模态数据的效果。随着数据检索需求以及各种新技术的发展,单一模态检索难以满足用户需求,研究者提出许多跨模态检索的技术来解决这个问题。梳理近期跨模态检索领域研究者的研究成果,简要分析传统的跨模态检索方法,着重介绍近五年研究者提出跨模态检索方法,并对其性能表现进行对比;总结现阶段跨模态检索研究过程中面临的问题,并对后续发展做出展望。     

基于迁移学习的图像检索算法

近年来,随着互联网的发展和智能设备的普及,网络上存储的图片数量呈现爆发式增长,同时,不同类型的社交网络、媒体的用户数量也连续增长。在这种情况下,网络上的多媒体数据类型也发生了变革,在包含其本身携带的视觉信息的同时,也包含用户为其设定的标签信息、文本信息。在这种多模态信息杂糅的环境下,如何向用户提供快速准确的图像检索结果,是多媒体检索领域的一个新挑战。文中提出了一种基于迁移学习的图像检索算法,在对图像的视觉信息进行学习的同时,也对图像的文本信息进行学习,并将学习到的结果迁移到视觉信息领域,进行跨模态信息融合,进而产生包含跨模态信息的图像特征。经实验证明,所提算法能够实现更优的图像检索结果。     

Multimedia technologies for structuring and retrieval of TV news

Because of the media digitization, a large amount of information such as speech, audio and video data is produced everyday. In order to retrieve data from these databases quickly and precisely, multimedia technologies for structuring and retrieving of speech, audio and video data are strongly required. In this paper, we overview the multimedia technologies such as structuring and retrieval of speech, audio and video data, speaker indexing, audio summarization and cross media retrieval existing today for TV news detabase. The main purpose of structuring is to produce tables of contents and indices from audio and video data automatically. In order to make these technologies feasible, first, processing units such as words on audio data and shots on video data are extracted. On a second step, they are meaningfully integrated into topics. Furthermore, the units extracted from different types of media are integrated for higher functions. Yasuo Ariki, Ph.D.: He is a Professor in the Department of Electronics and Informatics at the Ryukoku University. He received his B.E., M.E. and Ph.D. in information science from Kyoto University in 1974, 1976 and 1979, respectively. He had been an Assistant in Kyoto University from 1980 to 1990, and stayed at Edinburgh University as visiting academic from 1987 to 1990. His research interests are in speech and image recognition and in information retrieval and database. He is a member of IPSJ, IEICE, ASJ, Soc. Artif. Intel. and IEEE.     

一种支持海量跨媒体检索的集成索引结构

提出一种支持海量跨媒体检索的集成索引结构.该方法首先通过对网页的预处理,分析其中不同模态媒体对象之间的链接关系,生成交叉参照图.然后通过用户相关反馈进行调节.当用户提交一个查询对象时,首先对交叉参照图进行基于索引的快速定位,得到与查询对象相关的候选媒体对象.然后对得到的候选媒体对象进行距离运算,得到结果媒体对象.理论分析和实验表明,该方法较顺序检索具有更好的性能,非常适合海量跨媒体数据检索.     

跨模态检索技术研究综述

跨模态检索可以通过一种模态检索出其他模态的信息,已经成为大数据时代的研究热点。研究者基于实值表示和二进制表示两种方法来减小不同模态信息的语义差距并进行有效的相似度对比,但仍会有检索效率低或信息丢失的问题。目前,如何进一步提高检索效率和信息利用率是跨模态检索研究面临的关键挑战。介绍了跨模态检索研究中基于实值表示和二进制表示两种方法的发展现状;分析对比了包含两种表示技术下以建模技术和相似性对比为主线的五种跨模态检索方法：子空间学习、主题统计模型学习、深度学习、传统哈希和深度哈希;对最新的多模态数据集进行总结,为相关的研究和工程人员提供有价值的参考资料;分析了跨模态检索面临的挑战并指出了该领域未来研究方向。     

一种基于内容的图象检索方法的实现

现有的许多多媒体数据库系统只提供了基于媒体描述关键字的检索和查询，却忽略了另一个重要的信息来源——媒体的内容。基于内容的图象检索技术一般采用颜色直方图为特征，但是这种方法不能反映空间特性。本文在直方图技术的基础上引入了颜色对方法，将图象的空间特性反映出来，因而能检索具有清晰边界的图象，并且图象的大小变化和旋转以及轻微的光照变化不影响检索结果。实验结果表明这种方法改善了检索效果。     

一种基于内容和图象检索方法的实现

本文在直方图技术的基础上引入了颜色对方法，将图象的空间特性反映出来，因而能检索具有清晰边界的图象，并且图象的大小变化和旋转以及轻微的光照变化不影响检索结果。     

基于Ontology的跨媒体检索技术

针对如何在相似媒体之间进行有效关联,描述跨媒体的相似性等问题,提出一种新的跨媒体检索方法。提取多媒体对象的低层特征,利用Ontology对其进行组织,在语义层次实现多媒体关联。实验结果证明,基于Ontology的方式可以有效完成跨媒体检索。