多模态数据融合综述

随着当今信息技术的飞速发展,信息的存在形式多种多样,来源也十分广泛。不同的存在形式或信息来源均可被称之为一种模态,由两种或两种以上模态组成的数据称之为多模态数据。多模态数据融合负责将多个模态的信息进行有效的整合,汲取不同模态的优点,完成对信息的整合。自然现象具有十分丰富的特征,单一模态很难提供某个现象的完整信息。面对保持融合后具有各个模态信息的多样性以及完整性、使各个模态的优点最大化、减少融合过程造成的信息损失等方面的融合要求,如何对各个模态的信息进行融合成为了多个领域广泛存在的一个新挑战。简要阐述了常见的多模态融合方法、融合架构,总结了三个常见的融合模型,简要分析协同、联合、编解码器三大架构的优缺点以及多核学习、图像模型等具体融合方法。在多模态的应用方面,对多模态视频片段检索、综合多模态信息生成内容摘要、多模态情感分析、多模态人机对话系统进行了分析与总结。指出了当前多模态融合出现的问题,并提出未来的研究方向。     

基于多模态融合的情感分析算法研究综述

情感分析是一项新兴技术,其旨在探索人们对实体的态度,可应用于各种领域和场景,例如产品评价分析、舆情分析、心理健康分析和风险评估。传统的情感分析模型主要关注文本内容,然而一些特殊的表达形式,如讽刺和夸张,则很难通过文本检测出来。随着技术的不断进步,人们现在可以通过音频、图像和视频等多种渠道来表达自己的观点和感受,因此情感分析正向多模态转变,这也为情感分析带来了新的机遇。多模态情感分析除了包含文本信息外,还包含丰富的视觉和听觉信息,利用融合分析可以更准确地推断隐含的情感极性（积极、中性、消极）。多模态情感分析面临的主要挑战是跨模态情感信息的整合,因此,重点介绍了不同融合方法的框架和特点,并对近几年流行的融合算法进行了阐述,同时对目前小样本场景下的多模态情感分析进行了讨论,此外,还介绍了多模态情感分析的发展现状、常用数据集、特征提取算法、应用领域和存在的挑战。期望此综述能够帮助研究人员了解多模态情感分析领域的研究现状,并从中得到启发,开发出更加有效的模型。     

基于多模态融合的人脸反欺骗算法研究

人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障.传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题.鉴于此,该文提出...     

环绕智能环境多模态数据融合技术研究

针对环绕智能环境中感知数据类型不同、格式多样问题,设计了基于XML的数据表示方法。其次,提出数据级和决策级相结合的数据融合架构,解决了环绕智能环境数据存在的异质、弱关联问题。最后,设计实现了基于加权自适应和模糊逻辑的数据融合算法,并应用于环绕智能环境监测,实验证明本技术可有效抑止传感器精度差异及噪声等因素导致的感知数据漂移问题,提高了系统决策的准确性。     

拥抱融合的多模态灾害分析算法

融合文本和图像的多模态信息相对于单模态可以提升灾害事件分析准确率。但是已有的工作多数将文本特征和图片特征进行简单的融合,在提取、融合特征的时候造成特征的冗余,同时忽略了模态之间的联系,没有考虑到图像和文本之间特征的相关性。为此,本文分析和研究目前流行的多模态融合算法,提出一种拥抱融合的多模态灾害事件分析算法。首先将文本特征和图像的特征向量互相对比,考虑文本和图像特征之间的相关性。然后基于多项抽样,剔除冗余的特征,融合文本特征和图像特征。实验结果表明,拥抱融合在Crisis MMD2.0数据集上实验1的2个任务的分类效果准确率分别高达88.2%、85.1%,都明显优于其他多模态融合模型,表明了该模型的有效性。同时第2个实验也验证了拥抱模型对于不同文本和图像深度学习模型的适用性。     

多模态检索在医学领域的研究综述

随着计算机与大数据技术在医学领域中的迅速应用以及医疗信息存储标准的逐渐完善,医学数据呈爆炸式增长。医学数据由于其自身特点而呈现出多模态形式,且这些多模态数据往往同时出现、互相补充,因此实现多模态数据间的相互检索具有重要的临床价值。回顾了近年来多模态检索在医学领域的实现方法,将其归纳为基于文本、基于内容以及基于融合信息的多模态检索,基于内容的多模态检索可进一步划分为基于传统特征的检索和基于深度特征的检索。针对多模态检索算法的性能,介绍了准确率、召回率以及平均精度均值等常用的评价指标。分析了当前医学领域多模态检索所面临的挑战,并对未来医学领域多模态检索的研究发展进行了展望。     

基于多小波变换域特征的多模态医学图像融合

多小波是小波理论的扩展,在图像处理方面具有单小波所不具有的优点.它能够为图像提供一种比小波多分辨率分析更加精确的分析方法.在研究了多小波变换域上同一尺度多个子带间相关性、子带内相邻系数的相关性以及能量的低聚性的特性后,提出了一种基于离散多小波变换域特征的融合方法,并将不同模态的医学脑部CT图像和MR图像利用此方法进行融合,相比于传统小波域内的图像融合方法.该方法不仅能够完好地显示源图像各自的信息,很好地将源图像的细节融合在一起,而且得到的融合图像具有更良好的视觉效果和更优的量化指标,体现出更好的融合效果.     

多模态数据融合与检索技术研究

对跨模态数据检索精确性问题,提出一种基于多模态数据融合的检索方法。采用CNN+Bi＿LSTM与Glove+Bi＿GRU的方法分别对图片和文本数据进行编码,并通过Transforme+LSTM对编码后数据分别提取图像和文本的语义特征,使用同模态下与不同模态间的多种相似度损失函数,对提取的图像和文本语义特征进行监督和优化。最终根据查询样本与检索结果之间的语义相似度,确定正确检索结果。实验证明,设计的多模态数据融合与检索模型,相较于其他跨模态搜索分类模型,辨别损失更低。且在模型各部分功能上,无论是引入LSTM的多模态特征提取模块,还是基于双尺度相似性计算的语义建模方法,都在数据检索中发挥了一定的作用,当k=12时,本模型相较于传统特征提取模型R@K均值9.9,相较于仅采用中线性分类器代替双尺度相似度的本模型、与仅移除LSTM使用三个头进行语义特征提取的本模型,R@K均值分别高出4.3、2.0;mAP的均值相较于其他三个模型分别高出0.12、0.07、0.03。相较于其他基线跨模态数据检索模型而言,提出的多模态数据融合与检索模型则具有更好的检索结果。当k=12时,相较于LSCO、MADLG、D...     

信息物理融合系统中基于多模态数据的事件模型研究

在信息物理融合系统中,通过部署在系统区域内的传感器节点来获得物理世界的信息。信息物理融合系统通常包含若干个异构的无线传感器网络。这些异构网络包含不同类型的传感器节点,这些节点具有不同的感知、计算和通信能力。将异构的传感器节点获得的不同类型的感知数据融合是一个十分重要并亟待解决的问题。在本文中,提出了基于多模态数据的事件模型,以事件为载体将多种不同模态的数据融合计算。文中描述并定义了信息物理融合系统中的事件,给出了基本事件和复合事件的定义,并提出了事件的合成规则。     

基于循环神经网络的多模态无线传感数据自适应融合方法

为了去除无线传感数据冗余,降低传感器能量消耗。提出了一种基于循环神经网络的多模态无线传感数据自适应融合方法。利用格拉布斯准则预处理传感数据,剔除了不具备参考利用价值的粗数据。在相似性指标计算下,获得精细数据的相似元获得关键数据。利用循环神经网络解决了无线传感器数据过度依赖和梯度过长问题,获得了数据自适应融合的特征参数。考虑传感器发生异常检测和不发生异常检测时数据融合情况,完成数据自适应融合。经仿真实验证明,在相同数据相似度门限值下,90个时隙的最低融合比为10%,可有效控制数据压缩量。该方法下传感器能量消耗始终低于0.25 J,其最低传输延迟为10 ms,提高了传感数据融合的性能。     

基于K-L变换的PCA多模医学图象融合算法研究

CT和MRI图像融合在临床医学中得到广泛应用。文章在研究主成分分析(PCA)算法的同时,基于K-L变换进行图像融合,结果表明这种算法在执行中速度快、效果清晰能够满足临床需要。     

基于二维经验模式分解的医学图像融合方法

基于多尺度多分辨率的图像融合是医学图像融合的重要方法,二维经验模式分解（BEMD）方法是一种新的多尺度多分辨率图像分解方法. 本文提出了一种基于BEMD的医学图像融合方法. 首先将待融合的两幅图像进行BEMD分解,获得多个BIMF分量和一个剩余分量;然后针对BIMF分量和剩余分量采用不同的融合规则进行图像融合;最后对融合后的各分量进行BEMD逆变换,得到最终的融合结果. 实验结果表明,本文方法可得到较好的融合效果,融合图像清晰,含有的更多信息.     

一种并行XML数据分片算法的设计与实现

随着XML在各个领域的广泛应用，XML数据规模急剧增加，查询处理也日趋复杂。集中式环境由于单机存在的I／O瓶颈问题，在处理日益复杂的查询操作时已渐渐不能满足应用需求。因此，高性能的并行数据库在XML处理方面的研究，必将为XML数据库的。存储和查询处理带来新的曙光。本文讨论了一种对XML文档的基于节点轮循法进行分片的设计原理及实现算法。实验结果证明该方法具有很好的加速比和缩放比性能。     

基于复小波变换的遥感图像并行融合算法

随着遥感技术的快速发展,多源遥感图像的快速融合成为很多遥感任务的关键处理步骤。为了加速遥感图像的融合处理过程,本文首先提出了一种新的基于双树复小波变换的并行融合算法（PACWT）。算法中综合运用了数据分布、并行数据处理和负载均衡技术,以克服单机处理在计算能力和存储器空间上的限制;针对基于CWT的图像融合处理的计
计算特点,设计了一种可有效避免计算过程中数据通信的冗余划分方法。然后,从理论上分析了算法在时间和空间两方面的性能。最后,通过实验分析了算法在32-CPU的Cluster系统上的实际性能。结果表明,本文提出的算法具有良好的可扩展性,在数据量较大时可获得良好的加速比和并行效率。     

A Parallel Genetic Algorithm for Solving the Container Loading Problem

This paper presents a parallel genetic algorithm (PGA) for the container loading problem with a single container to be loaded. The emphasis is on the case of a strongly heterogeneous load. The PGA follows a migration model. Several separate sub-populations are subjected to an evolutionary process independently of each other. At the same time the best individuals are exchanged between the sub-populations. The evolution of the different sub-populations is carried out on a corresponding number of LAN workstations. The quality of the PGA is demonstrated by an extensive comparative test including well-known reference problems and loading procedures from other authors.     

并行技术在数据仓库中的应用

由于庞大的细节数据的存储 ,使得数据仓库向TB级发展 ,加之许多复杂处理 ,所以使并行技术的实现成为必然。在分析了并行技术的基础上 ,认为采用基于无共享结构的MPP体系结构最适合于数据仓库的现状和发展趋势 ,并指出了利用并行技术设计大型数据仓库应注意的问题。     

QAR数据的数据融合算法

分析了QAR数据中影响飞机性能衰减的主要因素,采用自适应加权数据融合算法和扩展卡尔曼滤波算法对相关性能参数进行了状态参量的估计,并验证了自适应加权融合算法在外界环境影响较小时的便捷性和外界环境影响过大时的局限性.引入扩展卡尔曼滤波算法,加入高斯噪声的计算,提高了状态估计值的精确度,为航空公司改善飞机运行提供了参考.     

Oracle中数据装载与数据重组的研究

数据装载和数据重组是在管理和维护Oracle数据库中经常遇到的问题。文中介绍了目前向Omcle数据库中装载数据的几种常用方法,并简要介绍了数据重组的问题。文中随后给出了这几种方法的使用原则以及性能分析,最后讨论了这几种方法的应用场合。     

TB级海量数据实时加载技术的研究与实现

随着网络和通信技术的不断发展,在大规模科学计算中间结果的保存和处理、基于Internet信息的分析和研究、实时监控系统信息的存储和处理等诸多应用领域,都产生了TB级的海量数据.数据规模的不断增加以及实时的海量数据加载要求对传统的数据库技术提出了新的挑战.设计并实现了一个面向实时Internet监控信息的海量数据实时加载系统IMIL(Internet monitoring information loader),包括可扩展、高度容错的硬件体系结构,使用SQL*Loader以及交换分区机制的高效批量加载算法以及优化的并行调度机制.性能测试显示,这些海量数据加载及优化技术使得数据加载速度由每天2.2亿条提高到12亿条,10个Cluster同时工作时峰值数据加载速度达到每天6TB.IMIL系统对需要实时加载TB级海量数据的大规模复杂数据库系统具有重要的参考和借鉴价值.     

基于数据融合及小波变换的医学超声图像去噪方法

医学超声图像固有的斑纹噪声,极大地降低了超声图像的质量,严重影响了对病灶的识别。经典的去噪方法在抑制斑纹噪声时丢失了图像中大量的细节和微弱的边缘信息。本文提出一种基于数据融合的小波变换去噪算法,首先对医学超声图像进行对数变换,将乘性噪声变成加性噪声,然后对同一原始信号含噪声的两幅同源图像分别进行小波分解,对两幅图像中小波系数的低频分量作加权融合;对水平、垂直与对角方向高频分量取两幅图像中各尺度下对应小波系数绝对值较大者各自分别融合,使高频分量中信号得以最大限度地保留,最后,经小波逆变换和指数变换得到去噪后图像。该方法在去除噪声同时能够有效保持边缘信息,较好地改善去噪后图像的视觉效果,取得了良好的效果。