互联网跨媒体分析与检索:理论与算法

互联网信息不仅规模巨大,而且存在着十分广泛、错综复杂的交叉关联,呈现跨媒体特性.实现互联网中跨媒体数据的精确挖掘与检索是高效利用互联网资源迫切需要解决问题.文中对该领域所涉及的人脑认知跨媒体特性、多媒体检索标注与语义理解、跨媒体表达与识别、互联网跨媒体搜索以及海量数据处理机制等几个方面进行了综述,讨论了该领域目前存在问题和今后的发展趋势.     

基于多模态融合和时空上下文语义的跨媒体检索模型的研究

如何跨越低层特征描述到高层语义知识的“语义鸿沟”已成为跨媒体检索(CMR)问题的关键,提出一个基于多模态融合描述和时空上下文语义的跨媒体检索模型,对多模态融合的特征采用主成分分析(PCA)和独立成分分析(ICA)相结合的降维算法、采用基于支持向量机(SVM)和隐马尔可夫模型(HMM)的混合分类器进行语义映射,同时给出了时空模糊聚类分析方法和基于相关反馈的跨媒体检索算法。并在此基础上开发出基于该模型的原型系统,成功验证了该模型的可行性和正确性,可为相关系统的设计者提供思路。     

基于Ontology的跨媒体检索技术

针对如何在相似媒体之间进行有效关联,描述跨媒体的相似性等问题,提出一种新的跨媒体检索方法。提取多媒体对象的低层特征,利用Ontology对其进行组织,在语义层次实现多媒体关联。实验结果证明,基于Ontology的方式可以有效完成跨媒体检索。     

基于共同子空间分类学习的跨媒体检索研究

不同媒体数据间由于存在严重的异构鸿沟和语义鸿沟,而不能直接计算它们之间的语义相似度,从而影响了跨媒体检索的实现和效果.当前提出的共同子空间学习虽能实现跨媒体语义关联和检索,但多采用一般的特征提取技术,且在语义匹配时的分类效果较差,不能有效实现跨媒体数据的高层语义关联计算,影响了检索效果.对此,提出Stacking-DS...     

基于残差注意力网络的跨媒体检索方法

随着多媒体技术的快速发展,跨媒体检索逐渐替代传统的单媒体检索成为主流的信息检索方式.现有跨媒体检索方法复杂度高,且不能充分挖掘数据的细节特征,在映射的过程中会产生偏移,难以学习到精准的数据关联.针对上述问题,提出了一种基于残差注意力网络的跨媒体检索方法.首先,为了更好地提取不同媒体数据的关键特征,同时简化跨媒体检索模型,提出了融入注意力机制的残差神经网络.然后,提出了跨媒体检索联合损失函数,通过约束网络的映射过程,增强网络的语义辨别能力,提高网络检索精度.实验结果表明,与现有的一些方法对比,本文提出的基于残差注意力网络的跨媒体检索方法能够较好地学习到不同媒体数据之间的关联,有效地提高了跨媒体检索的精度.     

基于综合推理的多媒体语义挖掘和跨媒体检索

为了更准确地进行跨媒体检索,需要挖掘、学习不同类型多媒体对象之间的语义关联,为此提出一种基于综合推理模型的多媒体语义挖掘和跨媒体检索技术.首先根据多媒体对象的底层特征构造推理源,根据多媒体对象的共生关系构造影响源场来进行综合推理,并构造出多媒体语义空间;然后针对不同检索例子,根据伪相关反馈为每一个检索例子自适应地选择不同的榆索方法进行跨媒体检索.为了处理检索例子不在训练集合内的情况,提出了两阶段学习方法完成检索;同时还提出了一种基于日志的长程反馈学习算法,以提高系统性能.实验结果证明,该技术能够准确地挖掘多媒体语义,多媒体文档检索和跨媒体检索效果准确_凡稳定.     

面向跨媒体检索的层级循环注意力网络模型

目的 跨媒体检索旨在以任意媒体数据检索其他媒体的相关数据,实现图像、文本等不同媒体的语义互通和交叉检索。然而,"异构鸿沟"导致不同媒体数据的特征表示不一致,难以实现语义关联,使得跨媒体检索面临巨大挑战。而描述同一语义的不同媒体数据存在语义一致性,且数据内部蕴含着丰富的细粒度信息,为跨媒体关联学习提供了重要依据。现有方法仅仅考虑了不同媒体数据之间的成对关联,而忽略了数据内细粒度局部之间的上下文信息,无法充分挖掘跨媒体关联。针对上述问题,提出基于层级循环注意力网络的跨媒体检索方法。方法 首先提出媒体内-媒体间两级循环神经网络,其中底层网络分别建模不同媒体内部的细粒度上下文信息,顶层网络通过共享参数的方式挖掘不同媒体之间的上下文关联关系。然后提出基于注意力的跨媒体联合损失函数,通过学习媒体间联合注意力来挖掘更加精确的细粒度跨媒体关联,同时利用语义类别信息增强关联学习过程中的语义辨识能力,从而提升跨媒体检索的准确率。结果 在2个广泛使用的跨媒体数据集上,与10种现有方法进行实验对比,并采用平均准确率均值MAP作为评价指标。实验结果表明,本文方法在2个数据集上的MAP分别达到了0.469和0.575,超过了所有对比方法。结论 本文提出的层级循环注意力网络模型通过挖掘图像和文本的细粒度信息,能够充分学习图像和文本之间精确跨媒体关联关系,有效地提高了跨媒体检索的准确率。     

基于突发事件的跨媒体信息检索系统的研究

随着突发事件信息规模的不断增大,如何实现突发事件应急管理领域跨媒体数据的精准搜索是高效利用信息资源迫切需要解决的问题。提出突发事件跨媒体信息检索系统(ECIR),详细阐述系统架构、关键技术和具体实现。ECIR集成本体、互联网信息采集、图像语义检索、智能移动终端、垂直搜索等技术,采集互联网突发事件的跨媒体信息,进行跨媒体分析和索引,实现突发事件跨媒体信息的快速检索和提供移动终端的跨媒体信息检索服务,为突发事件应急信息的挖掘和融合提供科学准确的决策依据。     

基于柯西分布的深度哈希跨媒体检索

针对深度哈希跨媒体检索方法中,语义相似的媒体对象的哈希码在汉明空间内的分布不合理问题,提出了一种新的深度哈希跨媒体检索模型.该模型是在汉明空间内利用柯西分布对现有的深度哈希跨媒体关联损失进行改进,使得语义相似的媒体对象哈希码距离较小,语义不相似的媒体对象哈希码较大,进而提高模型的检索效果.同时,本文给出了一种高效的模型求解方法,采用交替迭代方式获得模型的近似最优解.在Flickr-25k数据集,IAPR TC-12数据集和MS COCO数据集上的实验结果表明,该方法可以有效的提高跨媒体检索性能.     

跨媒体深层细粒度关联学习方法

随着互联网与多媒体技术的迅猛发展，网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体，使得跨媒体检索成为信息检索的新趋势.然而，"异构鸿沟"问题导致不同媒体的数据表征不一致，难以直接进行相似性度量，因此，多种媒体之间的交叉检索面临着巨大挑战.随着深度学习的兴起，利用深度神经网络模型的非线性建模能力有望突破跨媒体信息表示的壁垒，但现有基于深度学习的跨媒体检索方法一般仅考虑图像和文本两种媒体数据之间的成对关联，难以实现更多种媒体的交叉检索.针对上述问题，提出了跨媒体深层细粒度关联学习方法，支持多达5种媒体类型数据（图像、视频、文本、音频和3D模型）的交叉检索.首先，提出了跨媒体循环神经网络，通过联合建模多达5种媒体类型数据的细粒度信息，充分挖掘不同媒体内部的细节信息以及上下文关联.然后，提出了跨媒体联合关联损失函数，通过将分布对齐和语义对齐相结合，更加准确地挖掘媒体内和媒体间的细粒度跨媒体关联，同时利用语义类别信息增强关联学习过程的语义辨识能力，提高跨媒体检索的准确率.在两个包含5种媒体的跨媒体数据集PKU XMedia和PKU XMediaNet上与现有方法进行实验对比，实验结果表明了所提方法的有效性.     

基于语义计算的聚类算法

该文提出了一种基于语义计算的聚类算法。通过计算词语的语义信息,从语义知识库获取词语的生成概率,构建文本的语义表征,将余弦夹角和相对熵等方法引入进行文本单元的语义相似度计算对比实验。实验结果表明,该文提出的算法效果较好。     

语义网格核心技术及其应用研究

网格是近年来兴起的一个研究热点。它旨在使互联网上所有资源(计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等)实现全面共享与协同工作,使整个因特网整合成一台巨大的超级计算机,为用户提供"即连即用"式的服务。语义网格结合了网格,语义网和Web服务的优点。通过讨论语义网格的框架,分析了语义网格的核心技术;研究了语义网格的应用,并对语义网格发展面临的困难及其未来的前景进行了分析探讨。     

基于语义网格的E-Learning平台研究

E-Learning是信息时代重要的学习方式,它旨在打破时间和空间的限制,支持大规模范围的资源共享和学习协作,提供个性化和自适应的学习环境.在分析语义Web和网格计算对E-Learning开发的支持作用的基础上,提出了基于语义网格的E-Learning平台体系结构框架,面向服务的语义网格中间件是核心.对提出的E-Learning平台体系结构框架的层次结构进行了分析,描述了各层的功能划分和组成,最后探讨了通用E-Learning平台的组件化构建策略.     

Measuring the semantic discrimination capability of association relations

Association relations between concepts are a class of simple but powerful regularities in binary data, which play important roles in enterprises and organizations with huge amounts of data. However, although there can be easily large number of association relation mined from databases, since existing objective and subjective methods scarcely take semantics into consideration, it has been recognized early in the knowledge discovery literature that most of them are of no interest to the user. In this paper, the semantic discrimination capability (SDC) of association relation is measured based on discrimination value model first. The formula of SDC integrating both statistical and graph features is proposed from five different strategies. The high correlation coefficient of the proposed method against discrimination value shows that the proposed SDC measure is accuracy. Moreover, an application using SDC on document clustering is carried out, which shows that SDC has broad prospects on data‐related task such as document clustering. Copyright 2013 John Wiley © Sons, Ltd.     

跨媒体主题分析及应用研究

研究食品安全领域跨媒体数据的主题分析技术,融合多种媒体形式数据的语义,准确表达跨媒体文档的主题。由于食品安全事件相关多媒体数据的大量涌现,单一媒体的主题分析技术不能全面反映整个数据集的主题分布,存在语义缺失、主题空间不统一,语义融合困难等问题。提出一种跨媒体主题分析方法,首先以概率生成方法分别对文本和图像数据进行语义分析,然后利用跨媒体数据间的语义相关性进行视觉主题学习,建立视觉主题模型,进而实现视觉数据和文本主题之间的映射。仿真结果表明,跨媒体主题分析方法能够有效获取与图像语义相关的文本主题,且主题跟踪的准确度优于文本主题跟踪方法,能够为食品安全事件的监测提供依据。     

一种基于对等语义连接网络的路由查询

对等网络（简称P2P）的非集中结构、良好的自治性及容错性等特征,使其成为Internet上有效的信息共享模型。提出一种非结构化对等语义连接网络（NSPSLN）指定和管理在节点数据框架之间的语义关系,从而实现一个基于节点类似于有效路由查询的测量尺度,再形成和不同种类数据的综合模式映射算法。通过研究,为分布式资源提供一种新的方法,并加速知识产生在合作的研究过程中的繁殖、熔化和管理的过程。     

基于聋人案例的空间隐喻语义认知计算

我们从心理语言学的角度,对空间隐喻进行相似性分类和计算,使用多维量表和聚类方法,以聋人为被试分别进行了两个实验。实验结果表明,聋人为实现空间隐喻理解的计算,使用了地形空间和语法空间的特征信息,同时受手语语言特点的影响,其空间隐喻的认知主题包括手势者自身参照系、参照物的相对坐标系、手势空间的饱和度、以手部或胸部为边界。同时表明由于两种空间的存在,聋人大脑对空间隐喻的理解存在着层次,并且在长期使用手语交流的过程中,其地形空间和语法空间相互作用,影响了聋人大脑空间隐喻的结构和表征,从而导致了独特的高效快速空间隐喻计算。
     

基于属性坐标系框架下的Freebase语义库研究

属性坐标系是由n个不相关的属性组成的一个n—1维坐标系。第n＋1个属性,可以由这n个属性做合取运算得到;这样在这个n-1维坐标系中,就形成一个唯一点来表示这第n＋1个属性。2007年Freebase数据库的建立,使得该属性坐标系理论得以验证,并为属性坐标系的建立提供可能,而且将在语义相关度计算中发挥重要作用。     

潜在语义分析中词汇-文本矩阵奇异值分解的并行实现

针对潜在语义分析中词汇-文本矩阵奇异值分解的特点,设计并实现了一种基于单边Jacobi的矩阵奇异值分解的并行算法.并行算法采用了一种新的扫描策略和任务划分策略,该策略在一次扫描中能产生n(n-1)/2个不同的列向量对,同时能够对矩阵的列向量按模排序,使奇异值按从大到小的顺序排列.通过在自强3000高性能计算机上的实验表明,并行算法大大缩短了奇异值分解的计算时间,而且随着矩阵规模逐渐变大,加速比趋于稳定.     

中文文法规则的化简及其语义计算效果对比

为在自然语言处理中进行更快的语义计算,分析自然语言中最普适语法规则的基本特征,在此基础上,将语义功能相似的文法符号合并,构造一个更为简洁的文法规则,用来描述自然语言;依据自然语言语义计算模型,通过语义计算,进行模型求解,求出最符合语义逻辑的语法分析方案。通过实验比较文法简化前后的计算复杂度和正确率,得到模型求解“时间复杂度”和“正确率”之间的关系。