面向跨媒体检索的层级循环注意力网络模型

目的 跨媒体检索旨在以任意媒体数据检索其他媒体的相关数据,实现图像、文本等不同媒体的语义互通和交叉检索。然而,"异构鸿沟"导致不同媒体数据的特征表示不一致,难以实现语义关联,使得跨媒体检索面临巨大挑战。而描述同一语义的不同媒体数据存在语义一致性,且数据内部蕴含着丰富的细粒度信息,为跨媒体关联学习提供了重要依据。现有方法仅仅考虑了不同媒体数据之间的成对关联,而忽略了数据内细粒度局部之间的上下文信息,无法充分挖掘跨媒体关联。针对上述问题,提出基于层级循环注意力网络的跨媒体检索方法。方法 首先提出媒体内-媒体间两级循环神经网络,其中底层网络分别建模不同媒体内部的细粒度上下文信息,顶层网络通过共享参数的方式挖掘不同媒体之间的上下文关联关系。然后提出基于注意力的跨媒体联合损失函数,通过学习媒体间联合注意力来挖掘更加精确的细粒度跨媒体关联,同时利用语义类别信息增强关联学习过程中的语义辨识能力,从而提升跨媒体检索的准确率。结果 在2个广泛使用的跨媒体数据集上,与10种现有方法进行实验对比,并采用平均准确率均值MAP作为评价指标。实验结果表明,本文方法在2个数据集上的MAP分别达到了0.469和0.575,超过了所有对比方法。结论 本文提出的层级循环注意力网络模型通过挖掘图像和文本的细粒度信息,能够充分学习图像和文本之间精确跨媒体关联关系,有效地提高了跨媒体检索的准确率。     

跨媒体深层细粒度关联学习方法

随着互联网与多媒体技术的迅猛发展，网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体，使得跨媒体检索成为信息检索的新趋势.然而，"异构鸿沟"问题导致不同媒体的数据表征不一致，难以直接进行相似性度量，因此，多种媒体之间的交叉检索面临着巨大挑战.随着深度学习的兴起，利用深度神经网络模型的非线性建模能力有望突破跨媒体信息表示的壁垒，但现有基于深度学习的跨媒体检索方法一般仅考虑图像和文本两种媒体数据之间的成对关联，难以实现更多种媒体的交叉检索.针对上述问题，提出了跨媒体深层细粒度关联学习方法，支持多达5种媒体类型数据（图像、视频、文本、音频和3D模型）的交叉检索.首先，提出了跨媒体循环神经网络，通过联合建模多达5种媒体类型数据的细粒度信息，充分挖掘不同媒体内部的细节信息以及上下文关联.然后，提出了跨媒体联合关联损失函数，通过将分布对齐和语义对齐相结合，更加准确地挖掘媒体内和媒体间的细粒度跨媒体关联，同时利用语义类别信息增强关联学习过程的语义辨识能力，提高跨媒体检索的准确率.在两个包含5种媒体的跨媒体数据集PKU XMedia和PKU XMediaNet上与现有方法进行实验对比，实验结果表明了所提方法的有效性.     

基于残差注意力网络的跨媒体检索方法

随着多媒体技术的快速发展,跨媒体检索逐渐替代传统的单媒体检索成为主流的信息检索方式.现有跨媒体检索方法复杂度高,且不能充分挖掘数据的细节特征,在映射的过程中会产生偏移,难以学习到精准的数据关联.针对上述问题,提出了一种基于残差注意力网络的跨媒体检索方法.首先,为了更好地提取不同媒体数据的关键特征,同时简化跨媒体检索模型,提出了融入注意力机制的残差神经网络.然后,提出了跨媒体检索联合损失函数,通过约束网络的映射过程,增强网络的语义辨别能力,提高网络检索精度.实验结果表明,与现有的一些方法对比,本文提出的基于残差注意力网络的跨媒体检索方法能够较好地学习到不同媒体数据之间的关联,有效地提高了跨媒体检索的精度.     

一种基于对抗学习和语义相似度的社交网络跨媒体搜索方法

社交网络蕴含着丰富的多媒体信息,如何实现社交网络跨媒体信息的搜索已成为研究热点.基于深度学习的单一模态语义特征提取和学习在社交网络信息搜索上取得了较好的效果.在跨模态信息搜索时不同模态的数据特征不能直接比较,因此不同模态之间的语义鸿沟是亟待解决的关键问题.针对上述问题,本文提出了一种基于对抗学习和语义相似度的跨媒体搜索...     

基于多模态图和对抗哈希注意力网络的跨媒体细粒度表示学习

跨媒体数据搜索中不同媒体类型的数据间存在特征异构和语义鸿沟问题,且社交网络数据往往呈现语义稀疏性、多样性等特性.针对上述问题,文中提出基于多模态图和对抗哈希注意力网络的跨媒体细粒度表示学习模型,获取统一的跨媒体语义表示,应用于社交网络跨媒体搜索.首先,构建图像-单词关联图,并基于图随机游走策略挖掘图像和文本单词间直接语...     

基于柯西分布的深度哈希跨媒体检索

针对深度哈希跨媒体检索方法中,语义相似的媒体对象的哈希码在汉明空间内的分布不合理问题,提出了一种新的深度哈希跨媒体检索模型.该模型是在汉明空间内利用柯西分布对现有的深度哈希跨媒体关联损失进行改进,使得语义相似的媒体对象哈希码距离较小,语义不相似的媒体对象哈希码较大,进而提高模型的检索效果.同时,本文给出了一种高效的模型求解方法,采用交替迭代方式获得模型的近似最优解.在Flickr-25k数据集,IAPR TC-12数据集和MS COCO数据集上的实验结果表明,该方法可以有效的提高跨媒体检索性能.     

基于综合推理的多媒体语义挖掘和跨媒体检索

为了更准确地进行跨媒体检索,需要挖掘、学习不同类型多媒体对象之间的语义关联,为此提出一种基于综合推理模型的多媒体语义挖掘和跨媒体检索技术.首先根据多媒体对象的底层特征构造推理源,根据多媒体对象的共生关系构造影响源场来进行综合推理,并构造出多媒体语义空间;然后针对不同检索例子,根据伪相关反馈为每一个检索例子自适应地选择不同的榆索方法进行跨媒体检索.为了处理检索例子不在训练集合内的情况,提出了两阶段学习方法完成检索;同时还提出了一种基于日志的长程反馈学习算法,以提高系统性能.实验结果证明,该技术能够准确地挖掘多媒体语义,多媒体文档检索和跨媒体检索效果准确_凡稳定.     

互联网跨媒体分析与检索:理论与算法

互联网信息不仅规模巨大,而且存在着十分广泛、错综复杂的交叉关联,呈现跨媒体特性.实现互联网中跨媒体数据的精确挖掘与检索是高效利用互联网资源迫切需要解决问题.文中对该领域所涉及的人脑认知跨媒体特性、多媒体检索标注与语义理解、跨媒体表达与识别、互联网跨媒体搜索以及海量数据处理机制等几个方面进行了综述,讨论了该领域目前存在问题和今后的发展趋势.     

以图像视频为中心的跨媒体分析与推理

如何跨越从跨媒体数据到跨媒体知识所面临的“异构鸿沟”和“语义鸿沟”,对体量巨大的跨媒体数据进行有效管理与利用,是发展新一代人工智能亟待突破的瓶颈问题。针对以图像视频为代表的海量网络跨媒体内容,借鉴人类感知与认知机理,本文对跨媒体内容统一表征与符号化表征、跨媒体深度关联理解、类人跨媒体智能推理等关键技术开展研究。基于上述关键技术,着力于解决发展新一代人工智能的知识匮乏共性难题,开展大规模跨媒体知识图谱的构建及人机协同标注技术研究,为跨媒体感知进阶到认知提供关键支撑,进一步为跨媒体理解、检索、内容转换生成等跨媒体内容管理与服务热点应用领域提供了可行思路。     

跨媒体智能关联分析与语义理解理论与技术研究进展

深入分析了跨媒体智能关联分析与语义理解理论技术的最新研究进展,包括多模态数据的统一表达、知识引导的数据融合、跨媒体关联分析、基于知识图谱的跨媒体表征技术以及面向多模态的智能应用.其中,多模态数据的统一表达是对跨媒体信息进行分析推理的先决条件,利用多模态信息间的语义一致性剔除冗余信息,通过跨模态相互转化来实现跨媒体信息统一表达,学习更全面的特征表示;跨媒体关联分析立足于图像语言、视频语言以及音视频语言的跨模态关联分析与理解技术,旨在弥合视觉、听觉以及语言之间的语义鸿沟,充分建立不同模态间的语义关联;基于知识图谱的跨媒体表征技术通过引入跨媒体的知识图谱,从跨媒体知识图谱构建、跨媒体知识图谱嵌入以及跨媒体知识推理3个方面展开研究,增强跨媒体数据表征的可靠性,并提升后续推理任务的分析效率和准确性;随着跨模态分析技术的快速发展,面向多模态的智能应用得到了更多的技术支撑,依据智能应用所需要的领域知识,选取了多模态视觉问答,多模式视频摘要、多模式视觉模式挖掘、多模式推荐、跨模态智能推理和跨模态医学图像预测等跨模态应用实例,梳理了其在多模态数据融合以及跨媒体分析推理方面的研究进展.     

基于JSP分页技术的研究

电子商务应用中的数据量往往非常大,甚至会达到几十万到几千万条记录的规模,将如此大量的数据显示在一个页面里困难大、效率低。在这种情况下就需要采用分页显示技术将数据库中符合条件的数据逐页显示给用户。对JSP分页技术进行比较,在分析JSP分页技术特点的基础上,提出一种有效的分页解决方案,同时对分页技术的优化进行阐述。     

系统集成芯片综述

集成电路芯片工艺的发展已可使一个系统或一个子系统集成在一个芯片上 ,称为系统集成芯片。本文综述了系统集成芯片的硬件构造、超长指令 (VLIW )结构、芯片嵌入软件及软硬件协同设计方法。     

基于CUDA的引导源目标定位快速算法研究

研究引导源的目标定位问题,为实现水下目标定位提供了一种新的途径。实际海洋环境中存在噪声,对定位精度的影响非常大,为了实现低信噪比条件下对目标的准确定位,提出了一种改进的邻域平均法对条纹图像进行降噪处理。同时,由于声场计算和图像处理需要非常大的计算量,实现会耗费较长的时间,提出了利用CUDA技术对GTL算法进行加速处理。处理结果表明,经降噪方法处理后,目标距离估计结果准确,误差较小;与传统CPU方法相比,CUDA技术能不改变精度,且使算法时间减少,为目标定位提供了依据。     

基于《伤寒论》的命名实体识别研究

研究《伤寒论》中命名实体的识别方法,助力张仲景《伤寒论》不同版本文本的深度挖掘,有助于传承中医文化.该文尝试构建ALBERT-BiLSTM-CRF模型,提取《伤寒论》中疾病、证候、症状、处方、药物等实体,并与BiLSTM-CRF模型和BERT-BiLSTM-CRF模型进行对比.五次实验ALBERT-BiLSTM-CRF模型三个评价指标准确率(P),召回率(R)和F1-测度值(F1-score)的平均值分别为85.37％,86.84％和86.02％,相较于BiLSTM-CRF模型和BERT-BiLSTM-CRF模型F1-score分别提升了6％和3％.实验表明相比BiLSTM-CRF和BERT-BiLSTM-CRF模型,ALBERT-BiLSTM-CRF模型在基于《伤寒论》的实体识别任务中效果最好,更适用于中文古籍的知识挖掘.     

Hibernate技术在基于GIS数据库中的应用研究

空间信息的存储和处理问题是地理信息系统(GIS)的核心问题.对空间数据和属性数据的统一存储管理已成为必然趋势.本文通过对GIS中海量数据的存储方式进行研究,指出对象-关系型的数据库存储方式是空间数据库的发展方向.在此基础上讨论了Hibernate技术与GIS数据库的结合,使用Hibernate技术将关系数据库中空间数据和属性数据进行封装,屏蔽了数据库底层操作,使得程序员可以用面向对象的思想随意操纵数据库,在利用了关系数据库的快速检索、查询能力的同时也增强了数据的一致性和可移植性.     

面向性能的软件再工程研究

将提高遗产系统性能作为软件再工程的一大目标加以考虑,提出了一种基于反模式的再工程方法。这种方法通过对一些反模式的特征进行识别,在遗产系统中发现对于系统性能有不良影响的设计并通过一定的方法加以消除,从而达到改善遗产系统性能的目的。     

Elastos中间件ContentProvider的设计与实现

E1astos是具有中国自主知识产权的面向服务的新型嵌入式网络操作系统。目前主要用嵌入式设备,多款基于Elastos的3G手机已经面世．一款基于Elastos的电子书也即将进入量产。本文提出了基于Elastos的Content Provider,这是一种易于使用和扩展的应用程序数据访问模式．解决了在需求多变的市场背景下,手机应用程序如何方便的访问数据的问题。     

Elastos中间件ContentProvider的设计与实现

Elastos是具有中国自主知识产权的面向服务的新型嵌入式网络操作系统。目前主要用嵌入式设备,多款基于Elastos的3G手机已经面世,一款基于Elastos的电子书也即将进入量产。本文提出了基于Elastos的ContentProvider,这是一种易于使用和扩展的应用程序数据访问模式,解决了在需求多变的市场背景下,手机应用程序如何方便的访问数据的问题。     

AADL模型的测试方法研究

近几年来,MDA开发方式的应用使得如何保证模型质量成为研究的热点.以基于模型的测试为研究对象,研究了对AADL模型进行模型测试的方法,并提出了结合马尔可夫链对AADL模型进行测试的框架以及实施方法.最后,通过示例进一步说明了该方法.     

剖析Windows的用户验证机制

随着Internet和电子商务的发展,信息安全越来越得到业界的重视,其中网络操作系统的安全更是系统安全的基础.本文从计算机安全性的角度出发,着重讨论了Windows针对不同的使用环境所提供的用户身份验证的机制.