跨媒体相关性推理与检索研究

针对不同模态的多媒体数据之间难以度量跨媒体相关性的问题,提出了一种基于相关性推理的跨媒体检索方法,首先从相同模态内部(intra-media)的相似性和不同模态之间(cross-media)的相关性两个方面进行分析和量化,然后构造跨媒体关联图将相似性和相关性学习结果进行统一表达,以跨媒体关联图的最短路径为基础进行跨媒体检索,并提出相关反馈算法将用户交互中的先验知识融入到跨媒体关联图中,有效提高了跨媒体检索效率.该方法可以应用于针对用户提交查询样例的不同模态交叉检索系统.     

多媒体交叉参照检索系统研究

描述并实现了一个面向数字图书馆的多媒体交叉参照检索系统．该系统将对多模态数据的检索无缝地融合到一个系统中,基于交叉参照图模型,多模态交叉参照搜索引擎综合计算媒体对象与查询之间在语义和内容层上的相似度;系统还支持用户相关反馈调整交叉参照图模型．实验结果表明,该系统能够比较有效地进行多模态交叉参照检索．     

基于混合距离树的海量书法字索引

提出一种基于混合距离树的高维书法字索引方法以加速检索.首先将n个书法字通过层次聚类聚成若干类,然后分别计算每个字对应的统一化始点距离和质心距离,最后将两者结合生成索引键值.给定一个查询字,借助混合距离树索引完成高维书法字的查询.实验证明,该方法能够取得较高的查询效率,特别适合海量书法字检索.     

基于流形空间的交互式人脸图像索引

认知科学表明基于流形学习的人脸图像检索能准确反映人脸图片的内在相似性和人类的视觉感知本质. 提出一种基于相关反馈的人脸高维索引方法--NDL,以提高人脸图像检索的性能.同时在该索引基础上提出一种流形空间下的相似查询--虚拟k近邻查询(Vk-NN), 该查询方法特别为基于NDL的人脸检索而设计.首先通过在一定阈值约束下计算任何两个人脸图片的相似度,建立一个称为邻接距离表(NDL)的二维距离图. 同时将距离值用B+-树建立索引.最后, 高维流形空间的Vk-NN查询转化为一维空间的基于B+树的查询. 实验表明:NDL索引在流形空间的检索效率明显优于顺序检索,特别适合海量人脸图片的检索.     

基于用户反馈的top-k查询修改算法

top-k查询主要用来从海量的数据中返回用户最为偏好的k个对象.目前已经有大量的研究工作致力于top-k查询中的性能研究,近年来针对top-k查询结果进行解释的研究逐渐得到了广泛的关注.在top-k查询中,由于用户不能精确地指定自己的偏好,因此针对top-k查询的结果用户可能产生这样的质疑:"既然连对象p都出现在top-k结果中,为什么我期望的对象m块没有出现在top-k结果/"针对用户这样的疑问,提出了一种基于用户反馈的top-k查询修改算法,该算法首先定义了用来衡量初始化top-k查询变化的评估模型函数,基于该评估模型函数,使用抽样方法得到候选权重集合,针对每一个候选权重通过渐进式top-k算法来得到新的最优化查询.最后在模拟数据上验证了提出算法的效率.     

通信网络数据云存储数据库可验证密文检索研究

云端数据加密在保障数据安全的同时,也给数据检索工作带来了困难.为此,提出一种通信网络数据云存储数据库可验证密文检索方法.首先分析云存储数据库加密形式,选取字符型数据作为加密检索对象;然后预处理字符型数据,建立密文索引结构,再对用户检索词进行处理,包括去停用词、查询切分、查询扩展、检索词加密等过程,最后通过计算密文检索词...     

基于多模态概念关联图的视频检索

为了有效地提高基于概念的视频检索的检索性能,提出一种新颖的基于多模态概念关联图的视频检索方法.首先通过分析查询与概念之间的组织关系得到网状关系模型描述,并基于该模型构建概念关联图;然后提出查询与概念的多模态映射结构,将多模态查询融入概念关联图,增强概念扩展的针对性;之后使用流形排序动态地扩展索引概念集;全局稳态后采用正交的概念融合方法计算视频索引值,用于视频检索.与多种典型的基于概念的视频检索方法相比,文中方法的平均检索精度增幅达14.6%～86.2%.此外,实验结果表明,该方法在实际的交互式视频检索系统中也具有良好的适用性.     

跨媒体深层细粒度关联学习方法

随着互联网与多媒体技术的迅猛发展，网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体，使得跨媒体检索成为信息检索的新趋势.然而，"异构鸿沟"问题导致不同媒体的数据表征不一致，难以直接进行相似性度量，因此，多种媒体之间的交叉检索面临着巨大挑战.随着深度学习的兴起，利用深度神经网络模型的非线性建模能力有望突破跨媒体信息表示的壁垒，但现有基于深度学习的跨媒体检索方法一般仅考虑图像和文本两种媒体数据之间的成对关联，难以实现更多种媒体的交叉检索.针对上述问题，提出了跨媒体深层细粒度关联学习方法，支持多达5种媒体类型数据（图像、视频、文本、音频和3D模型）的交叉检索.首先，提出了跨媒体循环神经网络，通过联合建模多达5种媒体类型数据的细粒度信息，充分挖掘不同媒体内部的细节信息以及上下文关联.然后，提出了跨媒体联合关联损失函数，通过将分布对齐和语义对齐相结合，更加准确地挖掘媒体内和媒体间的细粒度跨媒体关联，同时利用语义类别信息增强关联学习过程的语义辨识能力，提高跨媒体检索的准确率.在两个包含5种媒体的跨媒体数据集PKU XMedia和PKU XMediaNet上与现有方法进行实验对比，实验结果表明了所提方法的有效性.     

选择-验证-过滤:一种迭代的子图包含查询处理机制

近年来,图模型广泛应用于生物信息、计算化学、语义网等领域.目前,"过滤-验证"机制被广泛用于子图包含查询,即首先根据图数据的特征构造索引,然后根据索引产生候选集,最后对候选集中的每一个图进行子图同构验证.在这类算法中,"过滤"阶段是关注的重点,力争过滤掉更多的数据;而"验证"阶段则只是单纯地进行候选图子图同构检测,并没有进一步优化查询性能的可能.因此,提出了一种新的子图包含查询的迭代处理机制:"选择-验证-过滤",可利用从子图同构验证过程中得到的信息,结合数据库中图数据之间的相关关系,进行迭代查询处理.该机制首先选择数据库中的图与查询图进行同构验证,然后根据本次验证得到的信息,结合图数据之间的子图映射关系,进行迭代查询处理.一旦子图同构验证成功则可直接获得查询结果,而若验证不成功,则可以缩小下次迭代的查询搜索空间.为提高验证成功概率,提出了一种基于搜索空间预测的图选择策略.大量实验表明,该算法具有较"过滤-验证"机制更高的查询处理性能.     

基于特征索引的图相似查询过滤算法

分析图相似查询候选集的产生过程以及特征图之间的关系对候选图集的影响,提出一种基于特征索引的图相似查询过滤算法,使用GIndex算法建立特征图索引结构,通过特征图之间的选择性关系给出一个有序的特征集,并借助特征-图矩阵对数据库进行筛选得到候选图集。实验结果证明,该方法能准确地产生候选图集,从而提高图查询的效率。     

Harmonizing Hierarchical Manifolds for Multimedia Document Semantics Understanding and Cross-Media Retrieval

In this paper, we consider the problem of multimedia document (MMD) semantics understanding and content-based cross-media retrieval. An MMD is a set of media objects of different modalities but carrying the same semantics and the content-based cross-media retrieval is a new kind of retrieval method by which the query examples and search results can be of different modalities. Two levels of manifolds are learned to explore the relationships among all the data in the level of MMD and in the level of media object respectively. We first construct a Laplacian media object space for media object representation of each modality and an MMD semantic graph to learn the MMD semantic correlations. The characteristics of media objects propagate along the MMD semantic graph and an MMD semantic space is constructed to perform cross-media retrieval. Different methods are proposed to utilize relevance feedback and experiment shows that the proposed approaches are effective.     

A Novel Approach Towards Large Scale Cross-Media Retrieval

With the rapid development of Internet and multimedia technology,cross-media retrieval is concerned to retrieve all the related media objects with multi-modality by submitting a query media object.Unfortunately,the complexity and the heterogeneity of multi-modality have posed the following two major challenges for cross-media retrieval:1) how to construct a unified and compact model for media objects with multi-modality,2) how to improve the performance of retrieval for large scale cross-media database.In this paper,we propose a novel method which is dedicate to solving these issues to achieve effective and accurate cross-media retrieval.Firstly,a multi-modality semantic relationship graph(MSRG) is constructed using the semantic correlation amongst the media objects with multi-modality.Secondly,all the media objects in MSRG are mapped onto an isomorphic semantic space.Further,an efficient indexing MK-tree based on heterogeneous data distribution is proposed to manage the media objects within the semantic space and improve the performance of cross-media retrieval.Extensive experiments on real large scale cross-media datasets indicate that our proposal dramatically improves the accuracy and efficiency of cross-media retrieval,outperforming the existing methods significantly.     

Mining Semantic Correlation of Heterogeneous Multimedia Data for Cross-Media Retrieval

Although multimedia objects such as images, audios and texts are of different modalities, there are a great amount of semantic correlations among them. In this paper, we propose a method of transductive learning to mine the semantic correlations among media objects of different modalities so that to achieve the cross-media retrieval. Cross-media retrieval is a new kind of searching technology by which the query examples and the returned results can be of different modalities, e.g., to query images by an example of audio. First, according to the media objects features and their co-existence information, we construct a uniform cross-media correlation graph, in which media objects of different modalities are represented uniformly. To perform the cross-media retrieval, a positive score is assigned to the query example; the score spreads along the graph and media objects of target modality or MMDs with the highest scores are returned. To boost the retrieval performance, we also propose different approaches of long-term and short-term relevance feedback to mine the information contained in the positive and negative examples.     

Cross-media retrieval using query dependent search methods

The content-based cross-media retrieval is a new type of multimedia retrieval in which the media types of query examples and the returned results can be different. In order to learn the semantic correlations among multimedia objects of different modalities, the heterogeneous multimedia objects are analyzed in the form of multimedia document (MMD), which is a set of multimedia objects that are of different media types but carry the same semantics. We first construct an MMD semi-semantic graph (MMDSSG) by jointly analyzing the heterogeneous multimedia data. After that, cross-media indexing space (CMIS) is constructed. For each query, the optimal dimension of CMIS is automatically determined and the cross-media retrieval is performed on a per-query basis. By doing this, the most appropriate retrieval approach for each query is selected, i.e. different search methods are used for different queries. The query dependent search methods make cross-media retrieval performance not only accurate but also stable. We also propose different learning methods of relevance feedback (RF) to improve the performance. Experiment is encouraging and validates the proposed methods.     

一种基于内容相关性的跨媒体检索方法

针对传统基于内容的多媒体检索对单一模态的限制,提出一种新的跨媒体检索方法.分析了不同模态的内容特征之间在统计意义上的典型相关性,并通过子空间映射解决了特征向量的异构性问题,同时结合相关反馈中的先验知识,修正不同模态多媒体数据集在子空间中的拓扑结构,实现跨媒体相关性的准确度量.实验以图像和音频数据为例验证了基于相关性学习的跨媒体检索方法的有效性.     

面向跨媒体检索的层级循环注意力网络模型

目的 跨媒体检索旨在以任意媒体数据检索其他媒体的相关数据,实现图像、文本等不同媒体的语义互通和交叉检索。然而,"异构鸿沟"导致不同媒体数据的特征表示不一致,难以实现语义关联,使得跨媒体检索面临巨大挑战。而描述同一语义的不同媒体数据存在语义一致性,且数据内部蕴含着丰富的细粒度信息,为跨媒体关联学习提供了重要依据。现有方法仅仅考虑了不同媒体数据之间的成对关联,而忽略了数据内细粒度局部之间的上下文信息,无法充分挖掘跨媒体关联。针对上述问题,提出基于层级循环注意力网络的跨媒体检索方法。方法 首先提出媒体内-媒体间两级循环神经网络,其中底层网络分别建模不同媒体内部的细粒度上下文信息,顶层网络通过共享参数的方式挖掘不同媒体之间的上下文关联关系。然后提出基于注意力的跨媒体联合损失函数,通过学习媒体间联合注意力来挖掘更加精确的细粒度跨媒体关联,同时利用语义类别信息增强关联学习过程中的语义辨识能力,从而提升跨媒体检索的准确率。结果 在2个广泛使用的跨媒体数据集上,与10种现有方法进行实验对比,并采用平均准确率均值MAP作为评价指标。实验结果表明,本文方法在2个数据集上的MAP分别达到了0.469和0.575,超过了所有对比方法。结论 本文提出的层级循环注意力网络模型通过挖掘图像和文本的细粒度信息,能够充分学习图像和文本之间精确跨媒体关联关系,有效地提高了跨媒体检索的准确率。     

基于Ontology的跨媒体检索技术

针对如何在相似媒体之间进行有效关联,描述跨媒体的相似性等问题,提出一种新的跨媒体检索方法。提取多媒体对象的低层特征,利用Ontology对其进行组织,在语义层次实现多媒体关联。实验结果证明,基于Ontology的方式可以有效完成跨媒体检索。     

基于柯西分布的深度哈希跨媒体检索

针对深度哈希跨媒体检索方法中,语义相似的媒体对象的哈希码在汉明空间内的分布不合理问题,提出了一种新的深度哈希跨媒体检索模型.该模型是在汉明空间内利用柯西分布对现有的深度哈希跨媒体关联损失进行改进,使得语义相似的媒体对象哈希码距离较小,语义不相似的媒体对象哈希码较大,进而提高模型的检索效果.同时,本文给出了一种高效的模型求解方法,采用交替迭代方式获得模型的近似最优解.在Flickr-25k数据集,IAPR TC-12数据集和MS COCO数据集上的实验结果表明,该方法可以有效的提高跨媒体检索性能.