一种基于内容相关性的跨媒体检索方法

针对传统基于内容的多媒体检索对单一模态的限制,提出一种新的跨媒体检索方法.分析了不同模态的内容特征之间在统计意义上的典型相关性,并通过子空间映射解决了特征向量的异构性问题,同时结合相关反馈中的先验知识,修正不同模态多媒体数据集在子空间中的拓扑结构,实现跨媒体相关性的准确度量.实验以图像和音频数据为例验证了基于相关性学习的跨媒体检索方法的有效性.     

基于分层语义的体育视频标注及索引研究

如何在海量的图像、视频和音频数据中快速找到用户关心的内容是检索领域研究的热点之一.从体育视频结构的特点出发,分析并给出一种语义标注及分层索引方法,对于一个体育视频数据,可通过与特征库匹配自动完成视频数据标注.检索时根据分层分级结构索引,能快速定位搜索范围,并根据用户反馈信息,执行一个新的动态学习检索过程,提高检索效率.     

一种基于SVM和主动学习的图像检索方法

主动学习已被证明是提升基于内容图像检索性能的一种重要技术。而相关反馈技术可以有效地减少用户标注。提出一种主动学习算法,带权Co-ASVM,用于改进相关反馈中样本选择的性能。颜色和纹理可以认为是一张图片的两个充分不相关的视图,分别计算颜色和纹理两种特征空间的权值,并在两种特征空间上分别进行SVM学习,对未标注样本进行分类;为了减少反馈样本的冗余,提出一种K-means聚类的主动反馈策略,将未标注样本返回给用户标注。实验表明,该图像检索方法有较高的准确性,并且有不错的检索效果。     

基于压缩感知和音频指纹的固定音频检索方法

针对现有音频检索中样本音频特征库数据量较大且检索速率慢问题, 本文提出一种基于压缩感知和音频指纹降维的固定音频检索方法. 在音频检索的训练阶段, 首先, 对样本音频信号进行稀疏化处理, 并通过压缩感知算法对稀疏化后的音频数据进行压缩; 其次, 提取压缩信号的音频指纹; 再次, 引入音频指纹离散基尼系数通过计算音频指纹各维度的离散基尼系数对指纹实施降维, 最终得到检索特征库. 在音频检索阶段用和训练阶段相同的算法提取待检音频的特征与音频特征库数据匹配得出检索结论. 实验结果表明, 所提音频检索方法在确保较好的检索准确率的基础上, 大幅度减小了样本音频数据库的存储量, 提高了音频的检索速率.     

跨媒体深层细粒度关联学习方法

随着互联网与多媒体技术的迅猛发展，网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体，使得跨媒体检索成为信息检索的新趋势.然而，"异构鸿沟"问题导致不同媒体的数据表征不一致，难以直接进行相似性度量，因此，多种媒体之间的交叉检索面临着巨大挑战.随着深度学习的兴起，利用深度神经网络模型的非线性建模能力有望突破跨媒体信息表示的壁垒，但现有基于深度学习的跨媒体检索方法一般仅考虑图像和文本两种媒体数据之间的成对关联，难以实现更多种媒体的交叉检索.针对上述问题，提出了跨媒体深层细粒度关联学习方法，支持多达5种媒体类型数据（图像、视频、文本、音频和3D模型）的交叉检索.首先，提出了跨媒体循环神经网络，通过联合建模多达5种媒体类型数据的细粒度信息，充分挖掘不同媒体内部的细节信息以及上下文关联.然后，提出了跨媒体联合关联损失函数，通过将分布对齐和语义对齐相结合，更加准确地挖掘媒体内和媒体间的细粒度跨媒体关联，同时利用语义类别信息增强关联学习过程的语义辨识能力，提高跨媒体检索的准确率.在两个包含5种媒体的跨媒体数据集PKU XMedia和PKU XMediaNet上与现有方法进行实验对比，实验结果表明了所提方法的有效性.     

集成视觉特征和语义信息的相关反馈方法

为了有效地利用图像检索系统的语义分类信息和视觉特征,提出一种基于Bayes的集成视觉特征和语义信息的相关反馈检索方法.首先,将图像库的数据经语义监督的视觉特征聚类算法划分为小的聚类,每个聚类内数据的视觉特征相似并且语义类别相同;然后以聚类为单位标注正负反馈的实例,这显著区别于以单个图像为单位的相关反馈过程;最后分别以基于视觉特征的Bayes分类器和基于语义的Bayes分类器修正相似距离.在图像库上的实验表明,只用较少的反馈次数就可以达到较高的检索准确率.     

面向草图检索的小样本增量有偏学习算法

为了解决草图检索相关反馈中小样本训练、数据不对称及实时性要求这3个难点问题,提出了一种小样本增量有偏学习算法.该算法将主动式学习、有偏分类和增量学习结合起来,对相关反馈过程中的小样本有偏学习问题进行建模.其中,主动式学习通过不确定性采样,选择最佳的用户标注样本,实现有限训练样本条件下分类器泛化能力的最大化;有偏分类通过构造超球面区别对待正例和反例,准确挖掘用户目标类别;每次反馈循环中新加入的样本则用于分类器的增量学习,在减少分类器训练时间的同时积累样本信息,进一步缓解小样本问题.实验结果表明,该算法可以有效地改善草图检索性能,也适用于图像检索和三维模型检索等应用领域.     

互联网跨媒体分析与检索:理论与算法

互联网信息不仅规模巨大,而且存在着十分广泛、错综复杂的交叉关联,呈现跨媒体特性.实现互联网中跨媒体数据的精确挖掘与检索是高效利用互联网资源迫切需要解决问题.文中对该领域所涉及的人脑认知跨媒体特性、多媒体检索标注与语义理解、跨媒体表达与识别、互联网跨媒体搜索以及海量数据处理机制等几个方面进行了综述,讨论了该领域目前存在问题和今后的发展趋势.     

混合生成式和判别式模型的图像自动标注

目的 由于图像检索中存在着低层特征和高层语义之间的“语义鸿沟”,图像自动标注成为当前的关键性问题.为缩减语义鸿沟,提出了一种混合生成式和判别式模型的图像自动标注方法.方法 在生成式学习阶段,采用连续的概率潜在语义分析模型对图像进行建模,可得到相应的模型参数和每幅图像的主题分布.将这个主题分布作为每幅图像的中间表示向量,那么图像自动标注的问题就转化为一个基于多标记学习的分类问题.在判别式学习阶段,使用构造集群分类器链的方法对图像的中间表示向量进行学习,在建立分类器链的同时也集成了标注关键词之间的上下文信息,因而能够取得更高的标注精度和更好的检索效果.结果 在两个基准数据集上进行的实验表明,本文方法在Corel5k数据集上的平均精度、平均召回率分别达到0.28和0.32,在IAPR-TC12数据集上则达到0.29和0.18,其性能优于大多数当前先进的图像自动标注方法.此外,从精度—召回率曲线上看,本文方法也优于几种典型的具有代表性的标注方法.结论 提出了一种基于混合学习策略的图像自动标注方法,集成了生成式模型和判别式模型各自的优点,并在图像语义检索的任务中表现出良好的有效性和鲁棒性.本文方法和技术不仅能应用于图像检索和识别的领域,经过适当的改进之后也能在跨媒体检索和数据挖掘领域发挥重要作用.     

一个相关反馈三维模型深度图像检索算法

基于图像的三维模型检索比形状特征和拓扑结构特征具有更易于实现且检索效果好等优点,但现有基于图像的三维模型检索方法存在一些问题,如没有考虑三维深度信息、所提特征不能全部表达三维模型信息且不能实现用户交互操作等。对此提出一种基于深度图像的三维模型相关反馈检索算法:首先提取三维模型深度图像边界方向直方图和Zernike矩特征;然后利用特征距离度量进行三维模型检索,并采用相关反馈技术实现分类器的构造和模型的标注;最后利用调整好的权值分类器进行检索和标注。实验表明,该算法实现了三维模型的相关反馈检索和标注,提高了检索的精确性,并增强了系统的实用性,为进一步进行语义检索打下基础。