自适应性多模态特征融合的远小困难目标检测（英文）

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

互注意力融合图像和点云数据的3D目标检测

为了利用图像信息辅助点云数据提高3D目标检测精度,需要解决图像特征空间和点云特征空间自适应对齐融合的问题。本文提出了一种多模态特征自适应融合的3D目标检测深度学习网络。首先,对点云数据体素化,基于体素内的点云特征学习体素特征表示,用3D稀疏卷积神经网络获取点云数据的特征,同时用ResNet神经网络提取图像特征。然后通过引入互注意力模块自适应对齐图像特征和点云特征,得到基于图像特征增强后的点云特征。最后在此特征基础上应用区域提案网络和分类回归多任务学习网络实现3D目标检测。在KITTI 3D目标检测数据集上的实验结果表明:在小汽车的简易、中等、困难三个不同检测难度等级上,平均检测精度分别为88.76%,77.63%和76.14%。该方法能够有效融合图像信息和点云信息,提高3D目标检测的准确率。     

增强点云局部显著性特征的细粒度语义分割网

点云细粒度语义分割，即物体部件分割，在机械臂控制、智能化装配、物体检测等工业生产中有着重要的应用价值。然而由于点云数据形式散乱，导致物体部件边界处几何特征不明显且计算困难，从而致使细粒度分割精度较低，难以满足生产需求。针对点云的部件级分割，本文提出了增强点云局部显著性特征的细粒度语义分割网，网络中构建了局部数据上下文信息，提高细粒度分割精度。本网络建立了利用几何曲率改进的的最远点采样算法，增强点云局部数据子集特征计算能力；创建多尺度高维特征提取器，提取不同尺度的高维特征；在点云特征计算过程中使用seq2seq的方式，引入注意力机制，融合不同尺度的高维特征，进而获取细粒度语义分割的上下文信息。最终使得细粒度分割精度得到了有效提高，尤其是对边界处的分割效果提升显著。实验结果表明，本网络在ShapeNet Part数据集上的总体交并比达到了85.2%，准确率达到95.6%，且具有一定泛化能力。该方法对三维物体的细粒度语义分割具有重要的意义。     

位置敏感Transformer航拍图像目标检测模型

针对无人机视角下航拍图像小目标多且检测困难的问题,提出了一个位置敏感Transformer目标检测（PS-TOD）模型。设计了一个基于位置通道嵌入三维注意力（PCE3DA）的多尺度特征融合（MSFF）模块,即PCE3DA利用空间与通道信息的相互依赖关系生成三维注意力,用于加强模型对兴趣区域的特征表达能力,且基于它构造了一个自底向上的跨层MSFF方案,使得融合后的特征语义信息更加丰富;然后,设计了一种新的位置敏感自注意力（PSSA）机制,且以此构造位置敏感Transformer编-解码器,使模型在捕获图像全局上下文信息的长期依赖关系时,也可提高模型对目标的位置敏感能力。基于无人机航拍数据集VisDrone的对比实验结果表明,提出模型的AP达到28.8%,与基线模型（DETR）相比提高了4.1%。该模型在复杂背景下能对无人机航拍图像进行精确的目标检测,且改善小目标的检测效果。     

基于多模态信息融合的图像情感标注方法

随着互联网中图像资源的不断增长,情感作为图像的一个重要语义,是人们检索和选择图像的重要依据,因此对于图像进行情感标注显得至关重要。结合脑电信号(EEG)和图像内容,提出了一种基于多模态信息融合的图像情感标注方法。首先,提取EEG频域特征及图像特征(颜色及纹理);其次,结合两者特征信息,基于两种融合策略(特征层和决策层),构建支持向量机分类模型,进行图像情感识别与标注。为了评估方法的有效性,使用国际情绪图片系统公共数据集进行了实验验证。结果表明,提出的多模态信息融合图像情感标注方法优于单独使用EEG或图像内容的标注方法。此外,该成果有助于缩小低层视觉特征和高层情感语义之间的语义鸿沟。     

多模态特征融合与多任务学习的特种视频分类

特种视频(本文特指暴力视频)的智能分类技术有助于实现网络信息内容安全的智能监控。针对现有特种视频多模态特征融合时未考虑语义一致性等问题,本文提出了一种基于音视频多模态特征融合与多任务学习的特种视频识别方法。首先,提取特种视频的表观信息和运动信息随时空变化的视觉语义特征及音频信息语义特征;然后,构建具有语义保持的共享特征子空间,以实现音视频多种模态特征的融合;最后,提出基于音视频特征的语义一致性度量和特种视频分类的多任务学习特种视频分类理论框架,设计了对应的损失函数,实现了端到端的特种视频智能识别。实验结果表明,本文提出的算法在Violent Flow和MediaEval VSD 2015两个数据集上平均精度分别为97.97%和39.76%,优于已有研究。结果证明了该算法的有效性,有助于提升特种视频监控的智能化水平。     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法.基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态(3种)图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应...     

基于改进特征金字塔的小目标增强检测算法

小尺寸的物体由于其在图像中分辨率相对较低的原因,在检测任务中容易被丢失和误判。针对目前目标检测算法对小尺寸目标检测精确度远低于其他尺寸目标检测精度的问题加以改进,将小尺寸目标特征增强融入特征金字塔结构。利用多尺度特征融合的特征增强能力丰富小尺寸目标特征层的特征信息,从而使小尺寸目标检测精准度得到提升。将改进特征金字塔结构应用于YOLOv3网络,实验对比研究表明,小尺寸目标检测精准度可以达到0.179,较原网络提升了22.6%。     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

基于特征融合的改进型PointPillar点云目标检测

针对PointPillar在自动驾驶道路场景下对点云稀疏小目标检测效果差的问题,通过引入一种多尺度特征融合策略和注意力机制,提出一种点云目标检测网络Pillar-FFNet。针对网络中的特征提取问题,设计了一种基于残差结构的主干网络;针对馈入检测头的特征图没有充分利用高层特征的语义信息和低层特征的空间信息的问题,设计了一种简单有效的多尺度特征融合策略;针对主干网络提取的特征图中信息冗余的问题,提出了一种卷积注意力机制。为验证所提算法的性能,在KITTI和DAIR-V2X-I数据集上进行实验。实验结果表明,所提出的算法在KITTI数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.84%,2.13%和4.02%;在DAIR-V2X-I数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.33%,2.09%和4.71%,由此证明了所提方法对点云稀疏小目标检测的有效性。     

基于水平集方法的产品异构模型融合研究*

复杂产品设计往往涉及多个CAD/CAE系统,不同系统在几何模型构建、表达和存储等方面存在异构性,导致系统间数据和信息难以融合集成,降低了复杂产品的设计与开发效率。为了实现异构CAD/CAE模型语义信息和几何特征的融合,提出基于水平集方法的产品异构模型融合方法。构建了基于模型距离场的体素化模型,给出了体素化模型的可视表达方法,建立了距离场交、差和并集操作函数与产品造型特征复制、提取和识别的映射关系,建立了构造速度场操作函数和形位误差信息、高级语义信息和局部特征信息融合的映射关系,实现了产品异构模型的信息融合。通过复杂汽轮机叶片模型形位误差和高级语义信息融合试验,证明了方法在异构CAD/CAE系统信息集成方面的有效性和实用性。     

基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

基于对称形状生成的三维目标检测网络

基于点云的三维目标检测在机器人、自动驾驶等领域起着至关重要的作用,激光点云能为场景理解提供精确的几何信 息。 然而,由于点云的稀疏性和物体间的遮挡关系,激光点云通常只能描述物体的部分形状,导致目标结构信息不完整,从而降 低检测精度。 针对这个问题,提出基于对称形状生成的三维目标检测网络( SSG-RCNN),一种双阶段目标检测器。 考虑到感兴 趣目标形状的对称性,SSG-RCNN 在一阶段生成候选框的同时为每个前景点预测镜像对称点,从而恢复目标的整体形状。 二阶 段中,使用自注意力池化层从原始点和对称点中聚合特征用于候选框修正,完成三维框预测。 KITTI 数据集上的实验表明 SSG-RCNN 取得了卓越的检测性能,在测试集上对困难目标的检测精度达到 77. 64% ,高于所有对比方法。     

特征融合和模型自适应更新相结合的相关滤波目标跟踪

提出了一种基于自适应特征融合和自适应模型更新的相关滤波跟踪算法(CFT)。该算法在跟踪的训练阶段利用损失函数计算特征的自适应权重,在检测阶段对不同特征的响应图进行加权求和,从而实现了响应图层面的自适应特征融合。设计了自适应的模型更新策略,采用响应图的峰值旁瓣比判断是否发生遮挡或错误跟踪,据此决定是否在当前帧更新目标模型。在11个视频序列上对所提算法进行了实验,验证了所采用的自适应特征融合策略和自适应模型更新策略的有效性。与多个传统的采用单特征的相关滤波跟踪算法进行了比较,结果显示,所提算法的跟踪精度和成功率典型值分别提升了18.2%和11.5%。实验结果验证了特征融合和自适应模型更新对跟踪算法的改进具有指导意义。     

一种远距离行人小目标检测方法

远距离行人小目标成像像素少、缺乏纹理信息,深度卷积神经网络难以提取小目标细粒度特征,难以准确识别与检测。本文提出一种远距离行人小目标检测方法。首先,在YOLOv4的基础上引入浅层特征改进特征金字塔,提取行人小目标细粒度特征,提出引力模型特征自适应融合方法,增加多层次语义信息之间的关联度,防止小目标特征信息流失。然后,采用增强型超分辨率生成对抗网络增加行人小目标特征数量,提高行人小目标检测准确率。最后,选取图像像素中占比范围为0.004%～0.026%的行人小目标建立试验数据集,通过与Faster RCNN、ION、YOLOv4对比实验验证。结果表明,本文方法mAP_0.5提高了25.2%、26.3%、11.9%,FPS达到24,研究成果在远距离安防监测监控领域具有重要应用价值。     

空间目标识别技术与威胁评估算法综述

简要介绍了现有的空间目标探测技术地基／天基的雷达、光电等,指出目标识别的难点在于高效、准确、实时的数据融合。针对空间环境的复杂性,指出空间目标威胁评估的关键在于属性权值向量的确定,详细分析了现有的威胁评估算法：层次分析、专家系统、灰色聚类、Bayesian网络、云模型、神经网络、支持向量机等;通过对比研究,着重探讨其优势与不足,最后给出此类算法在空间环境下的普适性。     

采用八叉树体素生长的点云平面提取

提出了一种高效的基于八叉树体素自适应生成与体素分层次生长的平面提取方法,其主要思路为采用体素信息统计的方式进行相关阈值参数的自动选定,以及基于体素的生长替代基于点的生长进行平面提取。首先,对点云进行八叉树初始剖分并计算其几何属性信息(包括法矢、特征值以及维度特征描述符等);然后,通过统计得到细分终止条件,并对初始八叉树进行进一步自适应剖分,得到一系列非均匀八叉树体素;最后,在体素层面进行区域生长阈值的统计与体素的分层次生长,进行点云平面的精细提取。利用4种不同类型的点云数据对本文算法进行了测试。实验结果显示:精度和召回率可以达到95%以上,表明本文算法对数据质量不敏感,可以自动适应不同平台采集的、不同分布密度和不同数据质量的激光点云,并且高效地得到精细的点云平面提取结果。     

基于LAM-Net的轨道侵入界异物自主检测系统

针对轨道入侵异物对行车安全造成的极大威胁,而现有的轨道目标检测算法难以平衡检测精度和速度、易受复杂环境影响以及难以部署于嵌入式设备等问题,提出了一种轻量型自适应多尺度卷积神经网络,其通过特征图线性变换简化特征提取过程,使用自适应多尺度特征融合优化特征表达能力,并通过设计轻量型注意力进一步提升异物检测精度;同时,结合NVIDIA Jetson TX2嵌入式平台,研制了轨道入侵异物自主检测系统。实验结果表明,本文提出的模型很好地平衡了检测速度和精度,在NVIDIA GeForce GTX1080Ti的GPU平台上对轨道数据集的检测速度为297 FPS,检测精度为92.96%,比YOLOv4-tiny高7.72%,实现了在轨道交通复杂场景下高精度、高速度以及高鲁棒性的检测入侵异物。