多模态自适应特征融合的目标检测

随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。     

基于光照感知权重融合的多模态行人检测算法

针对现有利用可见光与红外模态融合的行人目标检测算法在全天候环境下漏检率高的问题，提出一种基于光照感知权重融合的多模态行人目标检测算法。首先，使用引入高效通道注意力（ECA）机制模块的ResNet50作为特征提取网络，分别提取两个模态的特征；其次，对现有光照加权感知融合策略进行改进，通过设计一种新的光照感知加权融合机制获取可见光与红外模态的对应权重，并进行加权融合得到融合特征，从而降低算法的检测漏检率；最后，将从特征网络最后一层提取的多模态特征和生成的融合特征共同送入到检测网络，完成行人目标检测。实验结果表明，所提算法在KAIST数据集下具有良好的检测性能，在全天候下对行人目标的检测漏检率为11.16%。     

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。      

基于多模态遥感影像的边缘感知引导显著性检测

针对多模态遥感影像显著性检测鲁棒性差和检测精确度不佳等问题,提出一种基于多模态边缘感知引导的显著性检测方法,该方法主要由多模态遥感影像显著检测主干网络、跨模态特征共享模块和边缘感知引导网络构成。通过在特征提取主干网络中加入跨模态特征共享模块,使得不同模态间特征通过共享交互实现协同增强,并且抑制具有缺陷的特征信息。基于边缘感知引导网络,通过边缘图监督模块来检测边缘特征的有效性,从而生成准确边界。在3种显著目标检测遥感图像数据集上进行实验,平均的F_β、平均绝对误差(MAE)、S_m分数分别为0.917 6,0.009 5和0.919 9。实验结果表明,提出的多模态边缘感知引导网络(MEGNet)适用于在多模态场景中进行显著性检测。     

基于异构数据融合的地震综合数据分析系统设计

针对地震综合数据因格式、来源不同导致数据分析效率低的问题,文中开展了基于异构数据融合的地震综合数据分析系统设计研究。通过构建无监督多模态、非负相关特征融合算法,以解决多模态数据共享空间内部特征的融合规律学习和聚类分析;同时针对多模态数据的相关和不相关特征,构建共享学习机制,将私有特征分离后得到具有可靠鲁棒性的模态共享特征;利用深度置信网络在网络平滑约束下将融合后的特征进行学习与分类,以提高数据分析能力。通过设置对照组进行对比测试,使用基于无监督多模态、非负相关特征融合算法的地震综合数据分析模型可以显著提高预测精度和纯度,纯度与精度分别提高了0.05%和0.06%,具有良好的可行性及优越性。     

基于有效载荷和数据包长度的多模态加密流量分类

针对大多数深度学习算法只使用单一模态进行分类会导致结果具有偏差性的问题，提出了一种基于双模态特征的混合神经网络。该方法能够使用两种不同的模态训练分类模型，提高分类模型的准确率。首先使用传输层流量数据包的有效载荷特征作为数据包级模态，数据包的长度序列特征作为流级模态；其次分成两个路径使用神经网络分析双模特征；再次将两条路径提取的高维特征进行融合；最后输出模型的分类结果。分别使用两个公开数据集对模型进行训练和测试，实验结果表明，多模态模型的分类精确率分别达到96.46%和93.01%，与当前4种比较优秀的单模态和多模态方法相比，均有明显提升。     

基于特征金字塔融合表征网络的跨模态哈希方法

随着多模态数据的爆发式增长,跨模态检索作为一种搜索多模态数据的最常用方法,受到越来越多的关注。然而,目前存在的大多数深度学习的方法仅仅采用模型后端最后一个全连接层输出作为模态独有的高层语义表征,忽视了多个层次上不同尺度特征之间的语义相关性,具有一定的局限性。为此,本文提出一种基于特征金字塔融合表征网络的跨模态哈希检索方法。该方法设计了一种特征金字塔融合表征网络,通过在多个层次和不同尺度上进行特征提取并融合,挖掘多个层次上不同尺度下模态特征的语义相关性,充分利用模态特有的特征,使网络输出的语义表征更具有代表性。最后设计了三重损失函数:模态间损失,模态内损失和汉明空间损失对模型进行训练学习。实验结果表明,本文所提方法在MIRFLICKR-25K和NUS-WIDE数据集上均获得了良好的跨模态检索效果。      

基于特征融合的通信语音干扰效果客观评估

针对通信语音干扰效果客观评估问题，提出了基于多测度与多模态融合的2种评估方法。首先，利用端点检测算法以及动态时间弯折算法对受扰语音数据进行预处理。然后，提取数据中的语音内容并与标准语音进行测度计算得到5种测度，将5种测度融合后利用随机森林模型进行质量等级评估。最后，结合多模态融合技术，设计了基于残差结构的神经网络模型，融合受扰语音数据的图域、测度域特征并进行质量等级评估。实验结果表明，2种方法的评估准确率均达到了90%以上。其中，多模态评估方法与现有的研究方法相比，准确率提升了约3.269%，证明所提方法具有更优的性能。     

基于双模态特征增强的目标检测算法研究与应用北大核心CSCD

为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果;特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重;同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性;最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。     

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI,CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力：在分类指标(Acc2,F 1)和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMUMOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在C...     

基于多模态深度学习的流量分类识别方法

针对流量分类效果与实际情况存在偏差的问题,首先将多模态深度学习运用在流量分类中,通过利用多模态之间的互补性,剔除模态间的冗余,从而学习到更好的流量数据特征表示.然后,提出了一种基于多模态流量数据的检测和分类方法,对同一流量单位的不同模态输入分别采用卷积神经网络(Convolutional Neural Networks...     

基于多模态的车辆行人检测技术研究

针对单一传感器在复杂路况以及恶劣天气情况下车辆行人检测效果不佳,搭建了一套可见光、可见光偏振、短波红外和长波红外多模态数据采集系统,构建了一个多模态数据集,并提出了一种多模态车辆行人检测算法。首先,提出了一种基于改进型SIFT特征点的多尺度部分强度不变特征的异源图像配准算法;然后,提出基于YOLOv5多模态数据目标检测网络。最终实现了平均精度在日间数据集1.0%的提升,日间夜间混合数据集10.9%的提升。     

基于数字孪生的自组网多模态数据快速融合

随着自组网性能的提升与大规模应用,其内部数据呈现出多模态特征,数据量更是达到了海量级别,为数据融合处理工作带来了极大的挑战。为此,提出基于数字孪生的自组网多模态数据快速融合方法。实时采集自组网数据后,利用NLM算法与卡尔曼滤波算法去除数据中的噪声与冗余信息。然后,构建数字孪生自组网（包括自组网、孪生网络与服务系统）,从服务系统加载的数据中提取多模态数据特征,搭建双线性融合模型,从而实现对多模态数据的快速融合处理。实验表明：应用该方法后,多模态数据融合过程的时延始终保持在3 s以下,融合后多模态数据质量系数可达到0.9,证明该方法具有更优的数据融合性能。     

基于孪生网络的无人机目标多模态融合检测

为解决小型无人机“黑飞”对公共领域的威胁问题。基于无人机目标多模态图像信息，文中提出一种轻量化多模态自适应融合孪生网络（Multimodal adaptive fusion Siamese network,MAFS）。设计一种全新的自适应融合策略，该模块通过定义两个模型训练参数赋予不同模态权重以实现自适应融合；本文在Ghost PAN基础上进行结构重建，构建一种更适合无人机目标检测的金字塔融合结构。消融实验结果表明本文算法各个模块对无人机目标检测精度均有提升，多算法对比实验结果表明本文算法鲁棒性更强，与Nanodet Plus-m相比检测时间基本不变的情况下m AP提升9%。     

手指多模态Gabor编码特征局部融合方法研究

鲁棒性特征提取一直是生物特征识别领域研究的一个重要问题。由于手指姿态易变,这个问题在手指多模态生物特征描述方面显得更为突出。为了较为稳定地刻画手指多模态生物特征信息,本文提出了一种新的基于Gabor特征编码的局部灰度特征提取方法。首先,对手指的三个模态指纹、指静脉和指节纹图像分别进行Gabor滤波,刻画它们的纹理方向特性,并分别获取Gabor方向特征编码。然后,分别对特征编码图像进行局部灰度特征分析,并以局部串联的方式对手指多模态生物特征进行融合。实验表明,该方法在自制的手指姿态多变的数据库中具有良好的识别性能。      

基于内容与知识理解多模态融合的高泛化性伪造信息检测

该研究旨在开发一种高泛化性伪造信息检测方法,该方法基于内容与知识理解多模态融合以及响应知识迁移。首先,通过跨模态融合实现内容不一致性表征,通过对视频和音频模态进行编码并融合,捕捉和表征不一致的内容特征,其次,为了提升模型在不同数据集上的泛化性能,该研究引入知识迁移技术,使用现有数据集训练教师模型,然后将教师模型的知识转移到学生模型上,使学生模型能够从更广泛的角度理解伪造信息,并在未见过的数据上展现出更好的泛化性能。     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。     

半配对的多模态询问哈希方法

多模态哈希能够将异构的多模态数据转化为联合的二进制编码串。由于其具有低存储成本、快速的汉明距离排序的优点,已经在大规模多媒体检索中受到了广泛的关注。现有的多模态哈希方法假设所有的询问数据都具备完整的多种模态信息以生成它们的联合哈希码。然而,实际应用中很难获得全完整的多模态信息,针对存在模态信息缺失的半配对询问场景,该文提出一种新颖的半配对询问哈希(SPQH),以解决半配对的询问样本的联合编码问题。首先,提出的方法执行投影学习和跨模态重建学习以保持多模态数据间的语义一致性。然后,标签空间的语义相似结构信息和多模态数据间的互补信息被有效地捕捉以学习判别性的哈希函数。在询问编码阶段,通过学习到的跨模态重构矩阵为未配对的样本数据补全缺失的模态特征,然后再经习得的联合哈希函数生成哈希特征。相比最先进的基线方法,在Pascal Sentence, NUS-WIDE和IAPR TC-12数据集上的平均检索精度提高了2.48%。实验结果表明该算法能够有效编码半配对的多模态询问数据,取得了优越的检索性能。     

基于多模态特征融合监督的RGB-D图像显著性检测

RGB-D图像显著性检测是在一组成对的RGB和Depth图中识别出视觉上最显著突出的目标区域。已有的双流网络,同等对待多模态的RGB和Depth图像数据,在提取特征方面几乎一致。然而,低层的Depth特征存在较大噪声,不能很好地表征图像特征。因此,该文提出一种多模态特征融合监督的RGB-D图像显著性检测网络,通过两个独立流分别学习RGB和Depth数据,使用双流侧边监督模块分别获取网络各层基于RGB和Depth特征的显著图,然后采用多模态特征融合模块来融合后3层RGB和Depth高维信息生成高层显著预测结果。网络从第1层至第5层逐步生成RGB和Depth各模态特征,然后从第5层到第3层,利用高层指导低层的方式产生多模态融合特征,接着从第2层到第1层,利用第3层产生的融合特征去逐步地优化前两层的RGB特征,最终输出既包含RGB低层信息又融合RGB-D高层多模态信息的显著图。在3个公开数据集上的实验表明,该文所提网络因为使用了双流侧边监督模块和多模态特征融合模块,其性能优于目前主流的RGB-D显著性检测模型,具有较强的鲁棒性。