基于多模态学习的空间科学实验图像描述

为了让科学家快速定位实验关键过程,获取更为详细的实验过程信息,需要对空间科学实验自动添加描述性文字内容.针对空间科学实验目标较小且数据样本较少的问题,本文提出了基于多模态学习的空间科学实验图像描述算法模型,主要分为四部分:基于改进U-Net的语义分割模型,基于语义分割的空间科学实验词汇候选,自下而上的通用场景图像特征向量提取和基于多模态学习的描述语句生成.此外,本文构建了空间科学实验目标数据集,包括语义掩码标注和图像描述标注,来对空间科学实验进行图像描述.实验结果表明:相对于经典的图像描述模型Neuraltalk2,本文提出的算法在精度评定方面,METEOR结果平均提升了0.089,SPICE结果平均提升了0.174;解决了空间科学实验目标较小、样本较少的难点,构建基于多模态学习的空间科学实验图像描述模型,满足对空间科学实验场景进行专业性、精准性的描述要求,实现从低层次感知到深层场景理解的能力.     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态(3种)图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态(3种)图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

应用图学习算法的跨媒体相关模型图像语义标注

针对传统跨媒体相关模型(CMRM)只考虑图像的视觉信息与标注词之间的相关性,忽略标注词之间所具有的语义相关性的问题,本文提出了一种新的基于图学习算法的CMRM图像语义标注方法。该方法首先根据运动领域图片训练集中的标注词,建立运动领域本体来标注图像;然后采用传统的CMRM标注算法对训练集图像进行第一次标注,获得基于概率模型的图像标注结果;最后,根据本体概念相似度,利用图学习方法对第一次标注结果进行修正,在每幅图像的概率关系表中选择概率最大的N个关键词作为最终的标注结果,完成第二次标注。实验结果表明,本文提出的模型的查全率和查准率均高于传统的CMRM算法。     

基于经验模式分解和互信息的多模态图像配准

基于互信息的配准方法是目前多模态图像配准研究中的热点.提出了一种基于经验模式分解后剩余图像和互信息的多模态图像配准方法.首先通过理论分析得出通过求解剩余图像之间的变换参数即可获得原始图像之间的变换参数,从而论证了二维经验模式分解(BEMD)应用于多模态图像配准的可行性,然后给出了图像配准方法的实现步骤.典型多模态图像配准实验结果表明此方法与传统互信息法和基于小波分解结合互信息的方法相比,旋转角度估计误差可以降低1个数量级,缩放参数的估计误差也有很大降低.表明该方法获得了更高的配准精度.     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

多模态特征融合与多任务学习的特种视频分类

特种视频(本文特指暴力视频)的智能分类技术有助于实现网络信息内容安全的智能监控。针对现有特种视频多模态特征融合时未考虑语义一致性等问题,本文提出了一种基于音视频多模态特征融合与多任务学习的特种视频识别方法。首先,提取特种视频的表观信息和运动信息随时空变化的视觉语义特征及音频信息语义特征;然后,构建具有语义保持的共享特征子空间,以实现音视频多种模态特征的融合;最后,提出基于音视频特征的语义一致性度量和特种视频分类的多任务学习特种视频分类理论框架,设计了对应的损失函数,实现了端到端的特种视频智能识别。实验结果表明,本文提出的算法在Violent Flow和MediaEval VSD 2015两个数据集上平均精度分别为97.97%和39.76%,优于已有研究。结果证明了该算法的有效性,有助于提升特种视频监控的智能化水平。     

自适应性多模态特征融合的远小困难目标检测（英文）

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

Hausdorff距离与GA相结合的医学图像配准

针对医学上多模态图像的特点,给出Hausdorff距离和遗传算法(GA)相结合的方法.通过给出适当的适应度函数,寻找出全局的最优解,并得到配准结果.这为医学临床诊断多模态信息融合提供了一种方法.     

基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,Q^AB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。     

一种双分支结构的图像语义分割算法

图像语义分割需要精细的细节信息和丰富的语义信息,然而在特征提取阶段,连续下采样操作会导致图像中物体的空间细节信息丢失。为解决该问题,提出一种双分支结构语义分割算法,在特征提取阶段既能有效获取丰富的语义信息又能减少物体细节信息的丢失。该算法的一个分支使用浅层网络保留高分辨率细节信息有助于物体的边缘分割,另一个分支使用深层网络进行下采样获取语义信息有助于物体的类别识别,再将两种信息有效融合可以生成精确的像素预测。通过Cityscapes数据集和CamVid数据集上的实验验证,与现有语义分割算法相比,所提算法在较少的参数条件下,获得了较好的分割效果。     

基于多尺度特征融合的遥感图像场景分类

为了解决遥感图像场景分类中因样本量小而分类精度不高的问题,提出了一种基于多尺度特征融合(MSFF)的分类方法。首先,对遥感图像进行尺度变换,得到同一遥感源图像的多个不同尺度图像。接着,将其分别输入深度卷积神经网络(DCNN)中进行卷积操作。然后,将各卷积层和全连接层提取出的不同尺度特征进行降维和编码/平均池化操作。最后,将各尺度特征进行编码融合并利用多核支持向量机(MKSVM)进行场景分类。在两个公开遥感图像数据集UCM Land-Use和NWPU-RESISC45中进行试验,分类精度最高分别达到98.91%和99.33%。本文方法能够利用不同尺度的图像特征,结合低、中、高层语义表示,使融合特征的可辨识性更高,同时使用多核支持向量机提高了深度网络学习的泛化能力,因此分类效果更好。     

一种面向运动解码的 EEG-fNIRS 时频特征融合 与协同分类方法

脑功能成像技术可以反映人体运动时的大脑生理变化,进而解码运动状态,但单模态信号反映的大脑生理信息存在局 限性。 为此,本文提出了一种基于 EEG 和 fNIRS 信号的时频特征融合与协同分类方法,利用脑神经电活动和血氧信息的互补 特性提高运动状态解码精度。 首先,提取 EEG 的小波包能量熵特征,使用双向长短期记忆网络(Bi-LSTM)提取 fNIRS 的时域特 征,将两类特征组合得到包含时频域信息的融合特征,实现 EEG 和 fNIRS 不同层次特征的信息互补。 然后,利用 1DCNN 提取 融合特征深层次信息。 最后,采用全连接神经网络进行任务分类。 将所提方法应用于公开数据集,本文所提的 EEG-fNIRS 信号 协同分类方法准确率为 95. 31% ,较单模态分类高 7. 81% ~ 9. 60% 。 结果表明,该方法充分融合了两互补信号的时频域信息,提 高了对左右手握力运动的分类准确率。     

基于多尺度特征融合网络的多聚焦图像融合技术

多聚焦图像融合技术是为了突破传统相机景深的限制,将焦点不同的多幅图像合成一幅全聚焦图像,以获得更加全面的信息。以往基于空间域和基于变换域的方法,需要手动进行活动水平的测量和融合规则的设计,较为复杂。所提出的方法与传统的神经网络相比增加了提取浅层特征信息的部分,提高了分类准确率。将源图像输入训练好的多尺度特征网络中获得初始焦点图,然后对焦点图进行后处理,最后使用逐像素加权平均规则获得全聚焦融合图像。实验结果表明,本文方法融合而成的全聚焦图像清晰度高,保有细节丰富且失真度小,主、客观评价结果均优于其他方法。     

基于水平集方法的产品异构模型融合研究*

复杂产品设计往往涉及多个CAD/CAE系统,不同系统在几何模型构建、表达和存储等方面存在异构性,导致系统间数据和信息难以融合集成,降低了复杂产品的设计与开发效率。为了实现异构CAD/CAE模型语义信息和几何特征的融合,提出基于水平集方法的产品异构模型融合方法。构建了基于模型距离场的体素化模型,给出了体素化模型的可视表达方法,建立了距离场交、差和并集操作函数与产品造型特征复制、提取和识别的映射关系,建立了构造速度场操作函数和形位误差信息、高级语义信息和局部特征信息融合的映射关系,实现了产品异构模型的信息融合。通过复杂汽轮机叶片模型形位误差和高级语义信息融合试验,证明了方法在异构CAD/CAE系统信息集成方面的有效性和实用性。     

基于卷积神经网络的光学遥感图像检索

提出了一种基于深度卷积神经网络的光学遥感图像检索方法。首先,通过多层卷积神经网络对遥感图像进行卷积和池化处理,得到每幅图像的特征图,抽取高层特征构建图像特征库;在此过程中使用特征图完成网络模型参数和Softmax分类器的训练。然后,借助Softmax分类器在图像检索阶段对查询图像引入类别反馈,提高图像检索准确度,并根据查询图像特征和图像特征库中特征向量之间的距离,按相似程度由大到小进行排序,得到最终的检索结果。在高分辨率遥感图像数据库中进行了实验,结果显示:针对水体、植被、建筑、农田、裸地等5类图像的平均检索准确度约98.4%,增加飞机、舰船后7类遥感图像的平均检索准确度约95.9%;类别信息的引入有效提高了遥感图像的检索速度和准确度,检索时间减少了约17.6%;与颜色、纹理、词袋模型的对比实验表明,利用深度卷积神经网络抽取的高层信息能够更好地描述图像内容。实验表明该方法能够有效提高光学遥感图像的检索速度和准确度。     

加权空-谱与最近邻分类器相结合的高光谱图像分类

提出了一种基于加权空-谱距离(WSSD)的相似性度量方法 ,并将其应用到最近邻分类器(KNN)中,导出了一种新的高光谱图像分类算法。该算法利用高光谱图像的物理特性,通过引入空间窗口和光谱因子这两个参数来挖掘出图像中的空间信息与光谱信息,利用空间近邻点对中心像元进行重构。在最大限度减少图像冗余信息的基础上,增大了同类像元间的相似性以及异类像元间的差异性,获得了更为有效的鉴别特征,从而更好地实现了数据间的相似性度量。基于Indian Pines和PaviaU高光谱数据集进行了实验,结果表明:将提出的WSSD-KNN算法应用于高光谱图像分类时,其分类精度高于其他算法,总体分类精度分别达到了91.72%和96.56%。由于算法较好地融合了图像中的空间-光谱信息,提取出了更为有效的鉴别特征,故不仅有效地改善了高光谱数据的地物分类精度,而且可在训练样本较少时,保持较高的识别率。     

基于语音频谱图像特征的人体疲劳检测方法

为了将语谱图的可视化图像分析手段有效应用于人体疲劳检测,提出一种基于语音频谱图像特征的人体疲劳检测方法.首先,在研究分析人体疲劳对语谱图影响机理的基础上,对语谱图进行基于听觉感知理论的Mel频率拉伸变换,以突出易受疲劳影响的感兴趣区域.其次,将Mel频率拉伸后的语谱图分割为24个相互交叠的临界频带子图,并从各子图在4个...