多模态自适应特征融合的目标检测

随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。     

多模态医学图像融合技术概述

介绍多模态医学图像融合的意义和多模态医学图像融合的方式，重点介绍多模态医学图像融合的实现及主要的医学图像配准方法，并讨论了目前的多模态医学图像融合方法中存在的主要问题，直观地从整体上阐述多模态医学图像融合技术。     

基于双模态特征增强的目标检测算法研究与应用北大核心CSCD

为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果;特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重;同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性;最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。     

基于信息融合的PCB红外热像检测关键技术研究

利用红外热像技术对PCB(Printed Circuit Board,印制电路板)的板载元件工作状态进行探测,是一种新型的非接触式的检测方法.针对传统检测方法未将PCB的可见光图像作为检测信息的有益补充,本文把两种图像进行融合,将有用的信息有机地结合了起来.首先检测可见光与红外图像的最大稳定极值区域特征,利用简化的SURF描述子实现多模态图像的配准.接下来采用结合非下采样轮廓波变换和压缩感知技术进行红外与可见光图像融合,获得兼具元器件位置和工作属性等信息的图像.最后使用ID3决策树获得被测故障的最大的类别信息,通过实验表明了基于信息融合的红外热像技术进行PCB检测的可行性,同时也对局限性进行了分析和阐述.     

SAR图像车辆目标多模态联合协同表示分类方法

为提高合成孔径雷达图像车辆目标的识别性能,本文提出一种SAR图像车辆目标多模态联合协同表示分类(Joint Multimode Cooperative Representation Classification,JMCRC)方法.首先采用二维变分模态分解技术将SAR图像分解为分别表征全局信息和边缘信息的多个子模态分量,...     

基于语义空间统一表征的视频多模态内容分析技术

视频是数据处理中综合性能最高,包含内容最广的载体.视频题目通过文字表达,内容通过连续图像帧表达,另外部分视频还包含背景音乐或者解说旁白.因此,视频处理即是对文字、图像、声音的多模态处理.着眼于多模态处理技术,提出基于语义空间统一表征的视频多模态内容分析框架,利用多种架构的深度神经网络,对视频的文字、图像、音频进行分别处理,为达到统一的功效,将不同结构的深度神经网络归结到语义空间,通过语义空间进行综合认知.提出的架构清晰、层次分明,对于视频理解的建模具有指导意义.     

基于多模态特征融合监督的RGB-D图像显著性检测

RGB-D图像显著性检测是在一组成对的RGB和Depth图中识别出视觉上最显著突出的目标区域。已有的双流网络,同等对待多模态的RGB和Depth图像数据,在提取特征方面几乎一致。然而,低层的Depth特征存在较大噪声,不能很好地表征图像特征。因此,该文提出一种多模态特征融合监督的RGB-D图像显著性检测网络,通过两个独立流分别学习RGB和Depth数据,使用双流侧边监督模块分别获取网络各层基于RGB和Depth特征的显著图,然后采用多模态特征融合模块来融合后3层RGB和Depth高维信息生成高层显著预测结果。网络从第1层至第5层逐步生成RGB和Depth各模态特征,然后从第5层到第3层,利用高层指导低层的方式产生多模态融合特征,接着从第2层到第1层,利用第3层产生的融合特征去逐步地优化前两层的RGB特征,最终输出既包含RGB低层信息又融合RGB-D高层多模态信息的显著图。在3个公开数据集上的实验表明,该文所提网络因为使用了双流侧边监督模块和多模态特征融合模块,其性能优于目前主流的RGB-D显著性检测模型,具有较强的鲁棒性。

     

多模态传感器融合在智能视频监控中的应用

<正>随着科技的不断进步,多模态传感器在智能视频监控领域发挥着越来越重要的作用。本文深入探讨了多模态传感器的数据特征,包括图像信息、语音信号和环境参数,并详细研究了多模态数据融合在智能视频监控中的应用方法,包括特征级融合、决策级融合和概率统计建模。在此基础上,文章还探讨了多模态传感器在智能视频监控中的具体设计,包括目标检测与识别、异常行为分析判断以及智能预警与提示等方面。通过深度学习和人工智能等技术手段,多模态传感器的融合应用使得监控系统更加智能化和准确。     

图像指代分割研究综述

图像指代分割作为计算机视觉与自然语言处理交叉领域的热点问题,其目的是根据自然语言描述在图像中分割出相应的目标区域。随着相关深度学习技术的成熟和大规模数据集的出现,这项任务引起了研究者的广泛关注。本文对图像指代分割算法的发展进行了梳理和分析。首先根据多模态信息的编码解码方式,将现有图像指代分割算法分成基于多模态信息融合和基于多尺度信息融合两类进行了系统阐述,重点介绍了基于CNN-LSTM框架的方法、结构复杂的模块化方法和基于图的方法;然后,对用于图像指代分割任务的典型数据集和主流评价指标进行了总结与统计;之后,通过实验综合比较了现有的图像指代分割模型之间的性能差异并进一步验证了各种模型的优缺点。最后,对这一领域现有方法中存在的问题进行讨论分析,并对未来的发展方向进行了展望,表明了针对复杂的指代描述,需要通过多步、显式的推理步骤来解决图像指代分割问题。      

基于多模态数据的车辆行人检测

针对图像作为数据源在车辆行人检测任务中无法确定车辆行人空间位置、预测框不准确的问题,提出一种基于多模态数据的车辆行人检测方法.对点云预处理后获得的点云图像投影;通过卷积神经网络检测图像中的车辆行人;利用该方法提出的匹配公式和基于MLP的多模态联合评价方法,对点云和图像处理结果进行融合,实验结果表明,该方法可以获得准确的车辆行人空间位置,88.5％的目标位置误差在1 m以内;融合检测框相比于YOLOv3和DeepLabv3分别提升2.2％和3.3％;方法具有可推广性.     

融合红外特征的可见光图像目标检测算法研究

为提升复杂场景下基于可见光图像的目标检测性能,将深层卷积神经网络与多源信息融合技术相结合,提出了一种自适应融合红外特征的可见光目标检测算法.该算法以红外和可见光图像作为输入,通过卷积、激活结合残差结构的方式分别提取目标红外和可见光特征,并利用空间和通道注意力机制提升目标所属类别以及所在图像区域的特征权重.其次,将提取的红外特征以自适应加权的方式融入对应维度的可见光特征中,充分弥补目标在单模态模型下的局限.最后,针对多尺度目标,设计了金字塔采样结构,通过交替上采样和下采样方式来充分融合目标全局及局部特征,增强网络尺度不变性.通过实验验证,所提注意力机制、特征自适应融合以及金字塔采样结构都能有效提升目标检测效果,相比于同类型红外-可见光目标检测方法,该方法可以充分融合目标多模态特征,并有效降低噪声干扰,使网络具有更高的检测性能.同时,在实际电网设备检测中,所提方法也表现出较高泛化能力和鲁棒性,可以准确高效的实现目标设备的识别及定位.     

累积结构特征描述的多模态遥感影像匹配

针对相位一致性图大部分特征值为零且易受噪声干扰,导致其构造的多模态图像特征描述子能力有限的问题,提出了一种累积结构特征图(Cumulative Structural Feature,CSF)构造及其特征描述子建立方法,通过增强图像结构来提高特征点描述子的辨识能力。首先,采用Log-Gabor奇对称滤波器提取多模态图像多个尺度和方向的边缘结构特征,通过特征信号平方和归一化构造CSF,增强图像的结构相似性,并直接在CSF上提取特征点;再利用多个尺度和方向的边缘结构信息构造方向特征图;最后,结合CSF和方向特征图建立特征描述子,提高描述子的辨识能力。六种场景的多模态图像匹配实验表明,与其他方法的最好结果相比,所提方法的平均正确匹配数量提升了27.07%,平均正确率提升了2.26%,且增强了对场景的适应能力。     

基于多模态双向导向注意的视觉问答

针对视觉问答(VQA)任务中现存深度协同注意模型只考虑问题引导图像的单向注意方式,导致多模态学习交互性不足的问题,提出一种多模态双向导向注意力网络.该网络由多模态特征提取模块、双向导向注意力模块、特征融合模块以及分类器组成.将提取出的图像和问题特征分别经过层层注意后输出加权的注意特征;经过特征线性融合后送入softma...     

基于Matlab的多模态医学图像融合仿真

多模态医学图像融合是一种集医学图像处理和医学影像诊断于一体的新技术,其迅猛发展对医学影像技术的进步和临床诊疗产生了深远的影响。本文使用几种多模态医学图像融合的典型方法,在Matlab环境下进行了仿真实验,为相关领域的专业人员和非专业关注者提供了参考。     

一种多层多模态融合3D目标检测方法

在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法：首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息（Red Green Blue, RGB）涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果 .在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.     

跨模态跨尺度跨维度的PET/CT图像的Transformer分割模型

多模态医学图像能够有效融合解剖图像和功能图像的信息,将人体内部的功能、解剖等多方面信息反映在同一幅图像上,在临床上有十分重要的意义。针对如何高效利用多模态医学图像信息的综合表达能力,以及如何充分提取跨尺度上下文信息的问题,该文提出跨模态跨尺度跨维度的PET/CT图像的Transformer分割模型。该模型主要改进是,首先,在编码器部分设计了PET/CT主干分支和PET, CT辅助分支提取多模态图像信息;然后,在跳跃连接部分设计了跨模态跨维度注意力模块从模态和维度角度出发捕获跨模态图像各维的有效信息;其次,在瓶颈层构造跨尺度Transformer模块,自适应融合深层的语义信息和浅层的空间信息使网络学习到更多的上下文信息,并从中获取跨尺度全局信息;最后,在解码器部分提出多尺度自适应解码特征融合模块,聚合并充分利用解码路径得到精细程度不同的多尺度特征图,缓解上采样引入的噪声。在临床多模态肺部医学图像数据集验证算法的有效性,结果表明所提模型对于肺部病灶分割的Acc, Recall, Dice, Voe, Rvd和Miou分别为97.99%, 94.29%, 95.32%, 92.74%, 92.95%和90.14%,模型对于形状复杂的病灶分割具有较高的精度和相对较低的冗余度。     

基于数字孪生的自组网多模态数据快速融合

随着自组网性能的提升与大规模应用,其内部数据呈现出多模态特征,数据量更是达到了海量级别,为数据融合处理工作带来了极大的挑战。为此,提出基于数字孪生的自组网多模态数据快速融合方法。实时采集自组网数据后,利用NLM算法与卡尔曼滤波算法去除数据中的噪声与冗余信息。然后,构建数字孪生自组网（包括自组网、孪生网络与服务系统）,从服务系统加载的数据中提取多模态数据特征,搭建双线性融合模型,从而实现对多模态数据的快速融合处理。实验表明：应用该方法后,多模态数据融合过程的时延始终保持在3 s以下,融合后多模态数据质量系数可达到0.9,证明该方法具有更优的数据融合性能。     

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。     

基于人脸表情与生理信号的多模态情绪识别研究

利用多模态智能技术识别情绪已成为业界研究热点。利用摄像头采集到的人脸图像信息传入已经训练好的模型之中,融合传感设备采集到的用户皮肤电反应和心电信息,提出采用支持向量机分类得到情绪所属的二维情绪模型位置,从而得出用户的准确情绪状态,提高了整体情绪识别、分类的准确率。算法对于人类基本情绪的识别准确率达到77.85%,高于单一模态识别的准确率,为多模态情绪识别研究提供了一种新的思路和探索。     

基于多模态特征图融合的红外热图像目标区域提取算法

红外热图像目标区域(Region of Interest,ROI)提取对故障检测、目标跟踪等有着重要意义.为解决红外热图像干扰多、需人工标记及准确率低等问题,提出一种基于多模态特征图融合的红外热图像ROI提取算法.通过对比度、熵及梯度特征构建多模态特征图并进行区域填充,实现ROI提取.将新算法应用于实际采集的光伏太阳能板图像中.结果表明,新算法具有平均查准率高(93. 0553%)、平均查全率高(90. 2841%)、F1指数和J指数均优于图割法,人工标记少等优点,可有效用于红外热图像ROI提取.