基于多模态信息融合的图像情感标注方法

随着互联网中图像资源的不断增长,情感作为图像的一个重要语义,是人们检索和选择图像的重要依据,因此对于图像进行情感标注显得至关重要。结合脑电信号(EEG)和图像内容,提出了一种基于多模态信息融合的图像情感标注方法。首先,提取EEG频域特征及图像特征(颜色及纹理);其次,结合两者特征信息,基于两种融合策略(特征层和决策层),构建支持向量机分类模型,进行图像情感识别与标注。为了评估方法的有效性,使用国际情绪图片系统公共数据集进行了实验验证。结果表明,提出的多模态信息融合图像情感标注方法优于单独使用EEG或图像内容的标注方法。此外,该成果有助于缩小低层视觉特征和高层情感语义之间的语义鸿沟。     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法.基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态(3种)图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应...     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

自适应性多模态特征融合的远小困难目标检测（英文）

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

基于多模态学习的空间科学实验图像描述

为了让科学家快速定位实验关键过程,获取更为详细的实验过程信息,需要对空间科学实验自动添加描述性文字内容.针对空间科学实验目标较小且数据样本较少的问题,本文提出了基于多模态学习的空间科学实验图像描述算法模型,主要分为四部分:基于改进U-Net的语义分割模型,基于语义分割的空间科学实验词汇候选,自下而上的通用场景图像特征向量提取和基于多模态学习的描述语句生成.此外,本文构建了空间科学实验目标数据集,包括语义掩码标注和图像描述标注,来对空间科学实验进行图像描述.实验结果表明:相对于经典的图像描述模型Neuraltalk2,本文提出的算法在精度评定方面,METEOR结果平均提升了0.089,SPICE结果平均提升了0.174;解决了空间科学实验目标较小、样本较少的难点,构建基于多模态学习的空间科学实验图像描述模型,满足对空间科学实验场景进行专业性、精准性的描述要求,实现从低层次感知到深层场景理解的能力.     

互注意力融合图像和点云数据的3D目标检测

为了利用图像信息辅助点云数据提高3D目标检测精度,需要解决图像特征空间和点云特征空间自适应对齐融合的问题。本文提出了一种多模态特征自适应融合的3D目标检测深度学习网络。首先,对点云数据体素化,基于体素内的点云特征学习体素特征表示,用3D稀疏卷积神经网络获取点云数据的特征,同时用ResNet神经网络提取图像特征。然后通过引入互注意力模块自适应对齐图像特征和点云特征,得到基于图像特征增强后的点云特征。最后在此特征基础上应用区域提案网络和分类回归多任务学习网络实现3D目标检测。在KITTI 3D目标检测数据集上的实验结果表明:在小汽车的简易、中等、困难三个不同检测难度等级上,平均检测精度分别为88.76%,77.63%和76.14%。该方法能够有效融合图像信息和点云信息,提高3D目标检测的准确率。     

基于循环一致性对抗网络的室内火焰图像场景迁移

基于深度学习的视频火灾探测模型的训练依赖于大量的正负样本数据,即火灾视频和带有干扰的场景视频。由于很多室内场合禁止点火,导致该场景下的火灾视频样本不足。本文基于生成对抗网络,将其他相似场景下录制的火焰迁移到指定场景,以此增广限制性场合下的火灾视频数据。文中提出将火焰内核预先植入场景使之具备完整的内容信息,再通过添加烟雾和地面反射等风格信息,完成场景与火焰的融合。该方法克服了现有多模态图像转换方法在图像转换过程中因丢失信息而造成的背景失真问题。同时为减少数据采集工作量,采用循环一致性生成对抗网络以解除训练图像必须严格匹配的限制。实验表明,与现有多模态图像转换相比,本文方法可以保证场景中火焰形态的多样性,迁移后的场景具有较高的视觉真实性,所得结果的FID与LPIPS值最小,分别为119.6和0.134 2。     

基于SSVEP_SSA融合的混合脑机接口研究

针对目前基于体感选择性注意范式的脑机接口控制指令数少,信息传输率低等缺点,提出了一种全新的多模态混合脑机接口系统。该系统融合稳态视觉刺激(SSVEP)和体感选择性注意范式(SSA),在外部视觉和体感刺激的作用下,诱发大脑产生稳态视觉电位和事件相关去同步现象。同时,为了解决传统脑电信息特征提取中需要大量先验知识等问题,引入深度学习算法对混合脑机接口信息进行意图解码,该方法将多通道的时域信息转换成具有时-频-空域三维特征的二维特征图。对8名受试者的离线实验显示,平均识别准确率达到81. 35%,确认了所提出的基于SSVEP_SSA融合的多模态混合脑机接口是可行的,实现了脑机接口(BCI)系统的指令集扩展和高精度解码。     

基于点云稀疏语义特征的智能网联汽车协同感知配准算法

针对道路场景下多智能网联汽车协同感知问题,本文提出一种基于点云稀疏语义特征的智能网联汽车协同感知配准算法。所提算法旨在通过点云集成配准扩展智能网联汽车感知范围,进而实现智能网联汽车协同感知。首先,在道路语义特征基础上进行几何特征提取进而得到点云稀疏语义特征。其次,计算道路语义特征点云间的角度偏差以提供配准初值,并将点云语义信息作为配准约束条件实现全局语义集成配准。实验表明所提算法有效扩大了多智能网联汽车协同感知范围,提高了多点云集成配准的精度与鲁棒性。与当前主流算法JRMPC相比,本文所提算法配准精度提高了2.45%。     

采用轮廓特征匹配的红外-可见光视频自动配准

为了精确地配准近平面场景下的红外-可见光视频序列,本文提出了一种基于轮廓特征匹配的自动配准方法,通过迭代匹配目标轮廓特征来解决异源图像中配准特征的提取和匹配难题。首先,采用运动目标检测技术获取目标轮廓,并由曲率尺度空间(CSS)角点检测算法提取轮廓特征点。此后,建立全局形状上下文描述子和局部边缘方向直方图描述子描述特征,从而实现可靠的特征匹配。来自不同时刻的匹配点对被保存在一个基于高斯距离准则的特征匹配库中。最后,为了克服近平面场景中目标深度变化的影响,本文结合前景样本随机抽样策略计算配准矩阵的损失函数,完成对全局配准矩阵的更新。在LITIV数据库上对方法进行实验验证,结果表明本文方法的配准精度优于当前先进的对比方法,在9个测试视频上的平均重叠率误差仅为0.194,与对比方法相比下降了18.5%。基本满足了近平面场景下红外-可见光视频序列配准的精度要求,且具有较高的鲁棒性。     

基于一致性点漂移的智能车视觉目标跟踪方法

针对智能车未知运动下的多目标跟踪问题,提出一种基于一致性点漂移的视觉多目标跟踪方法。 首先利用一致性点漂 移算法构建智能车未知运动模型,得到局部目标状态变换关系;其次建立一种基于外观相似性和运动一致性的自适应特征融合 函数;最后通过匈牙利算法求解轨迹与检测的对应关系,以实现面向智能车的鲁棒数据关联。 实验结果表明,与现有的 5 种主 流目标跟踪方法对比,所提方法在多个指标方面具有更好的效果,相较于结构约束(SCEA)算法,在 KITTI 数据集中较大运动场 景下,所提方法多目标跟踪准确率提高了 6. 3% ,在实拍实验数据下,所提方法多目标跟踪准确率提高了 7. 3% ,证明该算法能 在智能车未知运动下有效的进行多目标跟踪。     

基于简化的ISPF算法与视听信息融合的目标跟踪

提出了一种适用于视听融合的简化型重要性函数粒子滤波器(ISPF),该算法充分利用视听媒体间的天然时空相关性,基于视听信息的融合实现了特定场景中对说话人的跟踪.将声源定位结果转换为一个具有特殊权重的粒子,以图像彩色信息模板匹配算法作为视觉底层跟踪,通过具有特殊权重的粒子来限制和引导视觉跟踪结果.实验结果表明,文中算法与基于单一信息的目标跟踪相比平均误差降低了约三倍,具有明显的优越性.     

基于场景辅助特征的T-S目标跟踪

针对遮挡同时目标附近出现相似目标干扰所导致的错跟问题,本文提出利用场景中辅助特征提升目标跟踪抗遮挡以及抗相似目标干扰性能。首先检测场景强特征及目标附近相似干扰,定义二者为场景辅助特征;其次,建立能够较好描述场景强特征及目标运动规律的动态模型以及相似干扰约束;最后,将场景辅助特征及目标的动态模型以粒子滤波的形式表达,提出T-S跟踪算法。采用SPEVI及OTB100数据库中若干典型测试视频,与近年来6种先进跟踪算法进行对比实验,并采用两种评价体系考量。实验结果表明,本文T-S算法对SPEVI多人脸、红外车辆的跟踪误差分别为24 pixel和8 pixel;对OTB100数据库中8种视频跟踪测试时,在重叠率阈值为0.5时的跟踪成功率为0.51,优于其它对比算法。本文T-S跟踪算法能够较好应对遮挡及相似目标干扰。     

Multi-modal Gesture Recognition using Integrated Model of Motion,Audio and Video

Gesture recognition is used in many practical applications such as human-robot interaction, medical rehabilitation and sign language. With increasing motion sensor development, multiple data sources ha...     

基于多任务学习的视频异常检测方法

针对异常事件位于图像前景的某个局部区域,且背景区域对于异常检测存在干扰的问题,提出了一种多任务异常检测双流模型,模型架构包含未来帧预测网络和光流重构网络。首先利用前景检测算法获取自然图像和光流图像的目标区域,再将选取的区域送入到编码-解码网络完成未来帧预测和运动重构,对运动特征和表观特征进行提取,最后,使用深度概率网络给出的概率值作为判断异常的决策,并与重构损失及预测损失相结合来判断视频的异常性。本文针对大型场景的3个视频监控数据集(UCSD行人数据集、Avenue、Shanghai Tech)对本文提出的模型进行了异常性评估,所提出的方法在3个数据集上的AUC值分别为97.4%,86.4%,73.4%。与现有工作相比,本文的模型架构简洁且易于训练,异常检测结果更加准确。     

结合人眼对比度敏感视觉特性的视频质量客观评价

结合人眼对亮度、色度、对比度以及运动目标的感知特性,提出了一种基于人眼对视频内容感知的视频质量客观评价方法。该方法将视频分为空域和时域信息分别描述,并利用人眼感知特性,从视频的亮度、色度、对比度以及目标运动4个方面提取特征,计算其强度。然后以人眼对比度敏感值作为强度的权重因子求和,构建人眼感知视频内容模型。最后,分别以此模型模拟人眼感知源视频和失真后的视频,计算每对应单元的所有像素之间和运动矢量之间的强度差;以强度差作为视频质量评价的分数,构建视频质量客观评价模型。采用LIVE数据库中的6个源视频和48个测试视频进行了质量评价实验,并与视频质量专家组(VQEG)推荐的5个较好的视频质量客观评价模型进行了对比分析。结果表明:提出模型的视频质量评价结果与主观评价结果之间的线性相关性系数达到0.8705,显示了较好的一致性,评价效果优于5个典型的模型。