基于语义融合和多重相似性学习的跨模态检索

针对现有跨模态检索方法不能充分挖掘模态之间的相似性信息的问题,提出一种基于语义融合和多重相似性学习（CFMSL）方法。首先,在特征提取过程中融合不同模态的语义信息,加强不同模态特征间的交互,使得模型能够充分挖掘模态间的关联信息。然后,利用生成器将单模态特征和融合模态特征映射到公共子空间中,通过最大化锚点与正例样本之间的相似性和最小化锚点与负例样本间的相似性得到具有判别性的特征进行模态对齐。最后,基于决策融合方式对相似性列表进行重排序,使得最终排序结果同时考虑单模态特征和融合模态特征,提高检索性能。通过在Pascal Sentences、Wikipedia、NUS-WIDE-10K这3个广泛使用的图文数据集上进行实验,实验结果表明CFMSL模型能够有效提高跨模态检索任务的性能。     

基于超图的多模态情绪识别

近年来多模态情绪识别获得广泛关注,模态间的特征融合决定了情绪识别的效果,现有基于图的情绪特征融合方法多基于二元关系图,在处理三种及以上模态数据时难以实现有效的模态间特征融合,限制了多模态情绪识别的效果.为解决该问题,本文提出基于超图的多模态情绪识别模型（Multi-modal Emotion Recognition Based on Hypergraph,MORAH）,引入超图来建立多模态的多元关系,以此替代现有图结构采用的多个二元关系,实现更加充分、高效的多模态特征融合.具体来说,该模型将多模态特征融合分为两个阶段：超边构建阶段和超图学习阶段.在超边构建阶段,通过胶囊网络实现对序列中每个时间步的信息聚合,并建立单模态的图,然后使用图卷积进行第二次信息聚合,并以此作为下一阶段建立超图的基础,得益于图胶囊聚合方法的加入,MORAH可以同时处理对齐数据和未对齐数据,无需手动对齐;在超图学习阶段,模型建立同一样本不同模态节点之间的关联,以及同类样本所有模态之间的关联,同时,在超图卷积过程中,使用分层多级超边来避免过于平滑的节点嵌入,并使用简化的超图卷积方法来融合模型之间的高级特征,以确保所有...     

基于模糊神经网络和证据理论的列车智能控制系统多信息融合故障诊断研究

针对列车智能控制系统故障诊断中的多故障特征信息输入时的时变、冗余、不确定性和空间分布性,给出了一种列车智能控制系统多信息融合故障诊断的系统结构。讨论了采用模糊神经网络进行特征层融合和证据理论进行决策层融合相结合的列车智能控制系统多信息融合故障诊断方法。故障诊断实例的结果表明:该方法能够有效地提高诊断的可信度,减小诊断的不确定性。     

基于YOLO的多模态特征差分注意融合行人检测

针对可见光模态与热红外模态间的差异问题和如何充分利用多模态信息进行行人检测,本文提出了一种基于YOLO的多模态特征差分注意融合行人检测方法.该方法首先利用YOLOv3深度神经网络的特征提取主干分别提取多模态特征;其次在对应多模态特征层之间嵌入模态特征差分注意模块充分挖掘模态间的差异信息,并经过注意机制强化差异特征表示进而改善特征融合质量,再将差异信息分别反馈到多模态特征提取主干中,提升网络对多模态互补信息的学习融合能力;然后对多模态特征进行分层融合得到融合后的多尺度特征;最后在多尺度特征层上进行目标检测,预测行人目标的概率和位置.在KAIST和LLVIP公开多模态行人检测据集上的实验结果表明,提出的多模态行人检测方法能有效解决模态间的差异问题,实现多模态信息的充分利用,具有较高的检测精度和速度,具有实际应用价值.     

基于可信度的航迹融合

本文提出了一种基于可信度的数据融合的航迹处理方法。该方法基于各雷达提供的信息的相对可信度,对不同航迹分别建立多雷达可信度判断矩阵,求得各雷达对该目标的可信度,进而求得各雷达的综合可信度。根据雷达的可信度,采用可信度高的雷达所获取的航迹信息进行卡尔曼滤波,获得每条航迹的最佳估计值。然后对多部雷达滤波后的数据进行线性加权融合处理,最终得到唯一航迹。     

关系敏感型多子图图神经网络的多模态实体对齐

作为融合多源异构知识图谱的主要手段, 实体对齐一般首先编码实体等图结构信息, 而后通过计算实体间相似度来获取对齐实体. 然而, 现存的多模态对齐方法往往直接引入预训练方法表达模态特征, 忽略了模态间的融合以及模态特征与图结构间的融合. 因此, 本文提出一种关系敏感型的多子图图神经网络(RAMS)方法. 通过多子图图神经网络编码方法对模态信息与图结构进行结合并获得实体表征, 通过跨域相似度计算得到对齐结果. 广泛且多角度的实验证明了本文所提出的模型在准确率、效率、鲁棒性方面均超过了基线模型.     

多模态数据融合综述

随着当今信息技术的飞速发展,信息的存在形式多种多样,来源也十分广泛。不同的存在形式或信息来源均可被称之为一种模态,由两种或两种以上模态组成的数据称之为多模态数据。多模态数据融合负责将多个模态的信息进行有效的整合,汲取不同模态的优点,完成对信息的整合。自然现象具有十分丰富的特征,单一模态很难提供某个现象的完整信息。面对保持融合后具有各个模态信息的多样性以及完整性、使各个模态的优点最大化、减少融合过程造成的信息损失等方面的融合要求,如何对各个模态的信息进行融合成为了多个领域广泛存在的一个新挑战。简要阐述了常见的多模态融合方法、融合架构,总结了三个常见的融合模型,简要分析协同、联合、编解码器三大架构的优缺点以及多核学习、图像模型等具体融合方法。在多模态的应用方面,对多模态视频片段检索、综合多模态信息生成内容摘要、多模态情感分析、多模态人机对话系统进行了分析与总结。指出了当前多模态融合出现的问题,并提出未来的研究方向。     

基于双向注意力机制的多模态情感分类方法

社交网络的发展为情感分析研究提供了大量的多模态数据。结合多模态内容进行情感分类可以利用模态间数据的关联信息,从而避免单一模态对总体情感把握不全面的情况。使用简单的共享表征学习方法无法充分挖掘模态间的互补特征,因此提出多模态双向注意力融合(Multimodal Bidirectional Attention Hybrid, MBAH)模型,在深度模型提取的图像和文本特征基础上,利用双向注意力机制在一个模态下引入另一个模态信息,将该模态的底层特征与另一模态语义特征通过注意力计算学习模态间的关联信息,然后联结两种模态的高层特征形成跨模态共享表征并输入多层感知器得到分类结果。此外MBAH模型应用后期融合技术结合图文单模态自注意力模型搜寻最优决策权值,形成最终决策。实验结果表明,MBAH模型情感分类结果相较于其他方法具有明显的提升。     

兼顾个性特征和融合特征的阿尔茨海默病分类

智能诊断在阿尔茨海默病（AD）的诊断中已得到广泛研究,但已有的智能建模方法还不能充分利用多模态的数据信息,以至于在病程早期阶段的诊断中出现识别精确度不高的问题。为提高阿尔茨海默病及其早期阶段智能诊断的效果,提出一种兼顾个性特征和融合特征的阿尔茨海默病分类方法。首先使用超图卷积网络（HGCN）对MRI、PET和CSF三个模态的数据分别进行特征提取,以获得每个模态的高阶深度特征。同时通过低秩多模态融合对这三个模态的数据进行特征融合,以获得多个模态之间的隐藏关联特征。最后通过一个多视角分类器对以上获取的特征进行综合分类。利用ADNI数据集对阿尔茨海默病进行多组任务分类,以验证所提方法。与其他先进方法相比,该方法在保证AD阶段分类效果的情况下,有效提高了病程早期阶段的分类精度。     

信息融合技术在多Agent故障诊断中的应用

由于分布式多Agent故障诊断系统中各Agent知识和经验的限制,提供的结果和可信度将有所不同而很难得到一个正确解。所以在信息融合技术的基础上,提出了解决这类问题的四种信息融合方法。模糊信息融合方法、贝叶斯信息型融合方法、D—S证据理论信息融合方法和可信度信息融合方法。这些信息融合方法功能互补、相互配合协助多Agent故障诊断专家系统将来自不同Agent的、带有差异的结果进行融合,使融合后的结果比单个Agent的诊断结果可信度更高,从而提高故障诊断专家系统诊断结果正确率。     

基于置信距离的冲突证据合成方法

雷达目标识别中多源信息融合面临各种不确定冲突信息。为此,提出一种基于置信距离的冲突证据合成方法。在不改变D-S证据组合规则的前提下,考虑到证据之间的关联性,通过计算证据间的相似度和可信度,利用可信度的加权平均来代替冲突证据,从而消除冲突证据并进行信息融合。仿真实验结果证明,该方法能有效进行冲突证据的合成。     

基于信息融合的罪案关联证据推理模型

针对传统犯罪案件中出现的冲突证据难以处理的情况,提出一种基于证据可信度和灰色关联的冲突证据融合处理方法;基于相似性视角的灰色关联度作为证据间的联系,采用改变证据源的证据组合规则来衡量证据源中各个证据之间的贴近度;考虑到证据的可信度,提出新的基于证据贴近度的权重确定方法,以证据的可信度作为权重,对参与融合的证据的基本概率分配函数进行加权平均,使证据融合收敛速度更快,并提升融合效果.最后以安徽省某市的入室盗窃犯罪案件为例,运用基于信息融合的关联证据推理方法处理案件中的冲突证据问题,验证了所提出方法的合理性和有效性.     

考虑决策者时序偏好的时域证据融合方法

针对时域不确定信息的融合难题，为充分体现时域信息融合的动态性特点和时间因素对融合的影响，在证据理论的基础上，提出一种考虑决策者时序偏好的时域证据融合方法。首先将决策者对时序的偏好融入时域证据融合，通过分析时域证据序列的特点，在定义时序记忆因子的基础上，对决策者的时序偏好进行度量；然后通过构建优化模型求解时序权重，再结合证据信任度的概念，对证据源进行修正；最后利用Dempster组合规则对修正后的证据进行融合。数值算例表明，与没有考虑时间因素的融合方法相比，考虑决策者时序偏好的证据融合方法可以有效处理时域信息序列中的冲突信息，得到合理的融合结果；同时，所提方法充分考虑了时域证据序列的信任度和决策者的主观偏好，可以反映决策者主观因素对时域证据融合的影响，较好地体现了时域证据融合的动态性特点。     

可信度双三次插值的PMD距离信息和RGB图像数据融合

PMD(photonic mixer device)相机是一款基于TOF(time-of-flight)技术的3维成像设备,在获取2维灰度的同时能够获取高精度的距离信息.但它存在水平分辨率低,随机噪声较大的缺点.针对此问题,将PMD距离信息和高分辨率RGB图像相融合,提出一种新的基于可信度的双三次插值和投影纹理的数据融合方法.该方法充分考虑了PMD相机信号幅值和距离信息可信度的关系,加强了精确的距离信息对融合结果的影响,并且给出了直接运用距离信息进行PMD距离图像在世界坐标系的重建方法,降低了运算的复杂度.实验结果表明,本文方法可以得到具有彩色信息和距离信息的高分辨率图像,融合后图像的距离信息更为准确和丰富,有效降低了随机噪声的影响,并且在运行时间上也有较强的优势.     

在线商品评论可信性评价方法

针对现有商品评论存在数量大、质量参差不齐、可信度差，导致用户难以快速获取有效信息并制定高效的决策，而现有评论可信性评估主要考虑评论来源和投票形式的支持度等问题，提出了一种从评论内在质量角度实现评论可信度评估方法，即通过融合评论者等级、评论支持度和评论观点一致性等实现评论可信性评估。首先基于规则库和方法库完成了评论数据的预处理；然后基于商品特征库、通用词典、情感词典以及方法库，完成了商品特征识别和特征值提取及标准化；最后基于建立的模型完成评论可信度评估。实验结果验证了该方法的可行性，该方法可以应用于其他电商平台实现商品评论可信性自动评估。     

基于中心语匹配的共指消解

共指消解是自然语言处理的核心任务之一。在传统机器学习方法使用的平面特征基础上,该文提出一种利用中心语信息的新方法。该方法首先引进一种基于简单平面特征的实例匹配算法用于共指消解。在此基础上,又引入了先行语与照应语的中心语字符串作为新特征,并提出一种竞争模式对将中心语约束融合进实例匹配算法,提升了消解效果。该方法与其他只使用平面特征的传统机器学习方法相比,能充分地利用每一个训练实例的特征信息,进一步融合中心语字符串特征使消解效果更加准确。     

基于sparse group Lasso方法的脑功能超网络构建与特征融合分析

功能超网络广泛地应用于脑疾病诊断和分类研究中,而现有的关于超网络创建的研究缺乏解释分组效应的能力或者仅考虑到脑区间组级的信息,这样构建的脑功能超网络会丢失一些有用的连接或包含一些虚假的信息,因此,考虑到脑区间的组结构问题,引入sparse group Lasso（sgLasso）方法进一步改善超网络的创建。首先,利用sgLasso方法进行超网络创建;然后,引入两组超网络特有的属性指标进行特征提取以及特征选择,这些指标分别是基于单一节点的聚类系数和基于一对节点的聚类系数;最后,将特征选择后得到的两组有显著差异的特征通过多核学习进行特征融合和分类。实验结果表明,所提方法经过多特征融合取得了87.88%的分类准确率。该结果表明为了改善脑功能超网络的创建,需要考虑到组信息,但不能逼迫使用整组信息,可以适当地对组结构进行扩展。     

基于证据理论物联网安全态势感知方法研究

社会物联网技术迅速发展,安全问题日益严重,对简便易用的物联网安全态势感知方法进行了研究。针对当前物联网安全态势感知系统缺乏通用性、过分依赖专家知识的缺点,提出了一种基于改进D-S证据理论的物联网安全态势感知方法。利用模糊高斯隶属函数计算漏洞信息隶属度矩阵,归一化后作为证据分布矩阵;利用改进Topsis方法衡量证据可信度,聚合两两证据间的局部可信度,根据态势评估场景改进期望正负解向量,充分抑制冲突性证据可信度,提高相互支持证据间可信度,利用加权平均方法进行漏洞信息融合得到态势评估结果;基于时间因子折扣和高危漏洞比例折扣证据理论融合形成态势感知结果,利用时间因子聚合多个态势评估数据,根据时间尺度对不同时刻的态势评估证据进行折扣,越接近当前时刻的证据折扣度越小,反之越大。同时,综合考虑不同时刻物联网漏洞信息,利用高危漏洞比例信息进行自适应动态加权,把不同时刻的高危信息折扣入识别框架,系统的危险变化信息集中体现在证据融合过程中。经过实验表明,在不同数量证据体融合和4种常见冲突证据融合中,改进Topsis方法对可信命题的融合概率更高;在态势评估方面,准确评估当前系统危险程度;在态势感知方面,折扣...     

DenseNet和SeNet融合残差结构的DR分类方法

糖尿病性视网膜病变(diabetic retinopathy, DR)是糖尿病在发病过程中影响视网膜的症状。针对模型下采样过程中特征提取DR图像微动脉瘤等病灶区域信息丢失问题,提出了一种DenseNet融合残差结构的模块。该模块首先连接两个连续的dense block,然后利用残差结构对特征信息求和,并行融合处理特征图像信息,以防止有效特征信息的丢失,最后残差连接两个含有dropout的卷积块,抑制过拟合现象。针对以往卷积操作中未对病变区域的特征图通道加权的问题,提出了一种SeNet融合残差结构的模块。该模块首先连接SeNet,把全局平均池化和全局最大池化的特征信息相加,以提高有效通道信息的利用率,然后通过Conv1×1的残差方式来保证特征图信息的完整性。基于以上两个模块的设计,提出了一种DenseNet和SeNet融合残差结构的DR分类方法。该模型在APTOS2019数据集上的精确度达到89.8%,特异性达到97.0%,在Messidor-2数据集上的精确度达到78.8%,特异性达到91.9%,能够有效地提高视网膜图像病变程度的分类能力。