跨媒体相关性推理与检索研究

针对不同模态的多媒体数据之间难以度量跨媒体相关性的问题,提出了一种基于相关性推理的跨媒体检索方法,首先从相同模态内部(intra media)的相似性和不同模态之间(cross media)的相关性两个方面进行分析和量化,然后构造跨媒体关联图将相似性和相关性学习结果进行统一表达,以跨媒体关联图的最短路径为基础进行跨媒体检索,并提出相关反馈算法将用户交互中的先验知识融入到跨媒体关联图中,有效提高了跨媒体检索效率.该方法可以应用于针对用户提交查询样例的不同模态交叉检索系统.     

基于特征子空间学习的跨媒体检索方法

学习不同模态的多媒体数据在底层特征上的潜在关系,在降维得到的特征子空间中通过基于相似度传递的优化算法对图像和音频的聚类质量进行修正.相关反馈过程中设计了3种主动学习策略用以计算用户标注样本周围未标注样本的条件概率,从而在反馈样本有限的情况下提高跨媒体检索效率.实验结果表明该方法准确度量跨媒体的相关性,有效实现图像和音频数据之间的相互检索.     

基于Ontology的跨媒体检索

从当前跨媒体检索的相关研究出发,介绍跨媒体检索的系统结构和基于OntologY的跨媒体检索结构和算法。     

基于字典学习的跨媒体检索技术

在研究跨媒体信息检索时,对于不同模态数据的异构性提出了挑战,针对如何更好的克服异构问题以提高多模态数据之间的检索精度,提出了一种基于字典学习的新跨媒体检索技术。首先,通过字典学习方法学习两个不同模态数据之间的稀疏系数,然后,通过特征映射方案由两个不同的投影矩阵分别把它们投入共同的特征子空间,最后,通过标签对齐同一类来增强不同模态之间的相关性。实验结果表明,与传统的同构子空间学习方法相比,基于字典的算法分类性能优越,该实验方法在两个数据集上优于几种最先进的方法。     

基于语义相关性与拓扑关系的跨媒体检索算法

针对如何挖掘不同模态中具有相同语义的特征数据之间的内在相关性的问题,提出了一种基于语义相关性与拓扑关系（SCTR）的跨媒体检索算法。一方面,利用具有相同语义的多媒体数据之间的潜在相关性去构造多媒体语义相关超图;另一方面,挖掘多媒体数据的拓扑关系来构建多媒体近邻关系超图。通过结合多媒体数据语义相关性与拓扑关系去为每种媒体类型学习一个最优的投影矩阵,然后将多媒体数据的特征向量投影到一个共同空间,从而实现跨媒体检索。该算法在XMedia数据集上,对多项跨媒体检索任务的平均查准率为51.73%,与联合图正则化的异构度量学习（JGRHML）、跨模态相关传播（CMCP）、近邻的异构相似性度量（HSNN）、共同的表示学习（JRL）算法相比,分别提高了22.73、15.23、11.7、9.11个百分点。实验结果从多方面证明了该算法有效提高了跨媒体检索的平均查准率。     

基于Ontology的跨媒体检索技术

针对如何在相似媒体之间进行有效关联,描述跨媒体的相似性等问题,提出一种新的跨媒体检索方法。提取多媒体对象的低层特征,利用Ontology对其进行组织,在语义层次实现多媒体关联。实验结果证明,基于Ontology的方式可以有效完成跨媒体检索。     

基于残差注意力网络的跨媒体检索方法

随着多媒体技术的快速发展,跨媒体检索逐渐替代传统的单媒体检索成为主流的信息检索方式.现有跨媒体检索方法复杂度高,且不能充分挖掘数据的细节特征,在映射的过程中会产生偏移,难以学习到精准的数据关联.针对上述问题,提出了一种基于残差注意力网络的跨媒体检索方法.首先,为了更好地提取不同媒体数据的关键特征,同时简化跨媒体检索模型...     

基于内容的图像检索技术

本文分析了基于内容的图像检索的关键技术以及各个阶段的研究特点,重点分析了基于颜色和纹理特征的图像检索技术。指出了目前研究中存在的主要问题并提出了今后的研究方向。     

基于柯西分布的深度哈希跨媒体检索

针对深度哈希跨媒体检索方法中,语义相似的媒体对象的哈希码在汉明空间内的分布不合理问题,提出了一种新的深度哈希跨媒体检索模型.该模型是在汉明空间内利用柯西分布对现有的深度哈希跨媒体关联损失进行改进,使得语义相似的媒体对象哈希码距离较小,语义不相似的媒体对象哈希码较大,进而提高模型的检索效果.同时,本文给出了一种高效的模型...     

一种基于区域检测的图像检索相关反馈方法

提出一种基于用户兴趣区域检测的图像检索相关反馈学习方法,利用用户反馈为正相关的图像进行学习,进而猜测用户意图,获得更令用户满意的检索结果。该反馈学习方法的框架如下：1）对正相关的反馈图像与查询图像进行特征匹配;2）对匹配的特征使用RANSAC模型进行校准;3）进行区域选取。在选取了兴趣区域以后,可以将该区域直接抠取或将其中的特征点权值增强作为新的待查图像进行检索,提高检索的精度。实验表明本文方法可以返回更符合用户心意的检索结果。     

基于综合推理的多媒体语义挖掘和跨媒体检索

为了更准确地进行跨媒体检索,需要挖掘、学习不同类型多媒体对象之间的语义关联,为此提出一种基于综合推理模型的多媒体语义挖掘和跨媒体检索技术.首先根据多媒体对象的底层特征构造推理源,根据多媒体对象的共生关系构造影响源场来进行综合推理,并构造出多媒体语义空间;然后针对不同检索例子,根据伪相关反馈为每一个检索例子自适应地选择不同的榆索方法进行跨媒体检索.为了处理检索例子不在训练集合内的情况,提出了两阶段学习方法完成检索;同时还提出了一种基于日志的长程反馈学习算法,以提高系统性能.实验结果证明,该技术能够准确地挖掘多媒体语义,多媒体文档检索和跨媒体检索效果准确_凡稳定.     

一种基于显著点和SVM相关反馈的图像检索方法

针对传统基于全局特征的图像检索方法存在的不足,提出一种基于显著点特征和SVM(support vector machine)相关反馈相结合的图像检索方法.显著点提取方法是对图像进行小波分解,选择粗分辨率下绝对值较大的小波系数,它们对应原图像中变化较大的区域,然后在细分辨率下跟踪这些小波系数,提取原图像中的能代表这些变化的点,即显著点;然后利用显著点的空间分布信息,提取显著点周围局部区域的特征进行检索,并对检索结果进行SVM相关反馈.实验结果表明,引入反馈的方法可有效地检索更多的相关图像,明显提高了检索的准确性.     

带相关反馈的基于深度神经网络模型的人脸检索方法

针对大规模人脸检索问题,提出了一种带相关反馈的基于深度神经网络模型的人脸检索方法.首先利用卷积神经网络对人脸进行特征提取,再利用传统的检索方法进行人脸检索,在检索环节之后加入相关反馈环节.根据用户反馈的结果,将样本分成正例和负例,作为反馈环节的训练样本,完成反馈环节的训练.实验表明,该方法能够显著提高人脸检索的准确率.     

基于颜色分布的图像检索技术

提出将描述图像中颜色分布信息的主色矩阵和主色对矩阵作为图像的检索特征。通过使用主色矩阵和主色对矩阵,实现初次检索后,又针对这两种特征分别应用了两种不同的相关反馈,进一步提高了查准率。     

一种基于用户感兴趣区域的图像检索算法

利用图像全局特征的检索不能很好地检索用户想要的对象内容,而基于分割后各区域特征的检索又过分依赖于复杂的图像分割算法。针对上述两者的缺点,文中提出了一种基于用户感兴趣区域的图像检索算法。该算法首先对样例进行多分辨率树状分解,再由用户选择分解后的任意多个感兴趣的子图,提取子图的特征以进行相似性度量,并应用相关反馈以更好地捕获用户的检索意图。该方法无需对图像进行复杂的分割就能提取对象特征,且经由实验证明具有较高的查全率。     

基于相关反馈的语音检索引擎

提出并实现了一种基于相关反馈的语音检索引擎，该引擎基于Sphinx语音识别工具将语音转化为文本，再采用Lucene对文本进行索引。为了提高语音检索的质量，系统引入了相关反馈机制，不仅通过局部相关反馈修正用户的查询，还通过全局类相关反馈机制挖掘Sphinx的识别错误模式，扩展了用户的查询，大大增强了该索引系统的准确性和实时动态性。实验结果证明该系统能符合检索者的需求，具有实用价值。