基于注意力机制的毫米波雷达和视觉融合目标检测算法

传统目标检测大多基于摄像头采集图像进行,虽然近些年出现了许多优秀的检测网络,但在复杂场景下,仍存在大量漏检、误检等问题。针对这些问题,提出了一种基于注意力机制的毫米波雷达和视觉融合目标检测算法。首先将毫米波雷达数据进行扇形点云柱编码（Fan-shaped Cloud Pillar Code,FCPC）,将其转换为前景伪图像;然后,再将其通过坐标关系映射到像素平面,使用卷积注意力模块（Convolutional Block Attention Module,CBAM）对两者特征数据进行融合;采用Yolov4-tiny对融合特征进行检测,并引入Focal Loss对原损失函数进行改进以解决正负样本不均的问题。在Nuscenes数据集上进行模型验证与对比,结果表明,该算法在复杂场景下相比其他单传感器检测算法如Yolov3、Efficientent以及Faster-RCNN等,无论平均检测精度(mean Average Precision,mAP) 还是每秒检测帧数(Frames Per Second,FPS)都有明显的提升。     

毫米波雷达与相机两级融合的3D目标检测方法研究

多传感器融合是当前自动驾驶领域感知系统的重点。针对在恶劣复杂天气场景下目标以及远距离小目标检测效果差的问题,提出一种基于毫米波雷达与相机两级融合的3D目标检测方法。该方法先在数据层将毫米波雷达条码化处理与相机信息融合建立三通道图像,然后输入到加入注意力机制的特征提取网络中进行初级检测;在特征层采取截锥体数据关联的方式,将毫米波雷达信息与初级检测结果进行关联,进一步提升检测精度。实验结果显示,在大型自动驾驶数据集nuScenes下的mini集对融合网络进行评估,相比基准网络Centerfusion,平均精度(mAP)提升了1.09%,检测指标(NDS)提升了1.21%。     

基于特征融合与通道注意力的目标检测研究

目标检测作为计算机视觉领域的重要研究分支,受到了广泛关注。目前,特征融合已成为提高目标检测准确率的重要方法,基于特征金字塔网络（FPN）的特征融合方法结合了多维度感受野来弥补信息丢失的思想,改进了FPN,并取得了良好的效果。在众多以FPN为基础结构的特征金字塔模型中,BiFPN既包含了级联信息传递,也包含了跨层特征融合,DyFPN包含了多感受野Inception模块,也包含了动态门机制。受BiFPN和DyFPN的启发,文中提出了一种新的基于FPN且包含注意力机制的特征金字塔网络结构——CAI-BiFPN。CAI-BiFPN沿用了Inception-FPN的思想,在BiFPN的基础上加入了Inception模块,并引入了通道注意力和SE模块。该结构应用了BiFPN的分支注意力与SE模块的通道注意力,将Inception模块放置于BiFPN第4层和第6层,SE模块则放置在BiFPN的第5层。通过一系列简单的改进,相较于BiFPN,CAI-BiFPN的AP_s和AP_l提升了0.7个百分点,AP从31.0%提升到31.3%,提升了0.3个百分点。     

基于自注意力机制的点云3D目标检测算法

3D目标检测旨在感知点云数据中目标的类别与位置信息,其作为目标检测领域的重要分支,被广泛的应用于自动驾驶等?无人轨道等场景?因此,如何高效,精准地检测点云中目标成为当下重要的研究方向?但是现有的算法检测在过程中其仅考虑了点云数据中全局信息,而忽略了局部信息对检测任务的促进作用,难以取得较好的检测结果?因此,本文在现有的...     

基于注意力与特征融合的光学遥感图像飞机目标检测

光学遥感图像受背景复杂度和语义信息量大等影响,在检测精度和效率上仍然存在一定的不足。本文提出了以Resnet50为基础特征提取的SSD300网络模型,加入注意力机制CBAM模块和特征融合FPN模块,采用Soft-NMS策略选取最终预测框,对遥感图像飞机目标进行更加有效地检测。最后,在2150张飞机遥感图像数据集上进行训练,当IoU为0.5和0.75时平均精度MAP达到92.54%和63.44%,较改进前的算法模型提升了5.04%和11.38%,检测速度达到24.1FPS。实验结果表明,该方法可以有效提高物体的检测能力,以及快速、准确地检测机场区域内的飞机物体,有效降低了飞机物体的漏检率,提高了检测精度和速度。     

基于注意力和特征融合的遥感图像目标检测模型

针对环境背景复杂且包含小目标的遥感图像难以进行精准目标检测的问题,在单阶段检测(SSD)模型的基础上,提出了一种基于注意力和特征融合的单阶段目标检测模型,该模型主要由检测分支和注意力分支组成.首先,在检测分支SSD中加入注意力分支,注意力分支的全卷积网络通过逐像素回归得到待检测目标的位置特征;其次,采用对应元素相加的方...     

基于注意力的毫米波雷达与视觉融合方法

针对毫米波雷达与视觉传感器融合在数据层融合时对行人和小物体的检测效果不佳,以及特征层融合时权重难以分配的问题,提出一种基于注意力的融合方法,能够有效地解决以上两个问题.首先,在数据层的空间上利用雷达的空间信息确定重点检测区域,并且突出重点检测区域的特征,形成空间上的软注意力;其次,在特征层的通道上用通道注意力权重学习方...     

基于注意力特征融合的视觉问答模型

随着深度学习的兴起和不断发展,视觉问答领域的研究取得了显著进展,当前较多视觉问答模型通过引入注意力机制和相关迭代操作来提取图像区域与高频疑问词对的相关性,但在获取图像与问题的空间语义关联方面的有效性较低,从而影响答案的准确性.为此,提出一种基于MobileNetV3网络及注意力特征融合的视觉问答模型,首先,为优化图像特...     

基于多尺度特征融合的雷达海上目标检测方法

雷达目标检测对海上信息处理具有重要意义,目前提出的检测方法在召回率和精度上都难以满足海上检测要求。为了解决上述问题,提出基于多尺度特征的雷达海上目标检测方法。通过X波段非相参脉冲体制导航雷达采集数据,在完成预处理后检验数据集,提取雷达数据。分析杂散噪声,确定噪声范围,根据平均强度和灰度值的差值实现归一化处理。对目标进行归一化分析,融合多尺度特征实现目标选择,完成目标检测。实验结果表明,基于多尺度特征融合的雷达海上目标检测方法召回率能够在短时间内达到90%以上,精度在95%以上,能够很好地提取海上目标信息。     

基于注意力机制特征融合网络的SAR图像飞机目标快速检测

针对合成孔径雷达(Synthetic Aperture Radar,SAR)图像中飞机目标散射点离散化程度高,周围背景干扰复杂,现有算法对飞机浅层语义特征表征能力弱等问题,本文提出了基于注意力特征融合网络(Attention Feature Fu-sion Network,AFFN)的SAR图像飞机目标检测算法.通过引入瓶颈注意力模块(Bottleneck Attention Module,BAM),本文在AFFN中构建了包含注意力双向特征融合模块(Attention Bidirectional Feature Fusion Module,ABFFM)与注意力传输连接模块(Attention Transfer Connection Block,ATCB)的注意力特征融合策略并合理优化了网络结构,提升了算法对飞机离散化散射点浅层语义特征的提取与判别.基于自建的Gaofen-3与TerraSAR-X卫星图像混合飞机目标实测数据集,实验对AFFN与基于深度学习的通用目标检测以及SAR图像特定目标检测算法进行了比较,其结果验证了AFFN对SAR图像飞机目标检测的准确性与高效性.     

基于深度学习的场景文本检测算法研究

针对自然场景中任意形状文本图像因文本行难以区分导致的信息丢失问题,提出了 一种基于深度学习的场景文本检测算法。首先构建特征提取模块,使用Resnet50作为骨干 网络,在增加跨层连接的金字塔网络结构中引入并联的空洞卷积模块,以提取更多语义信息; 其次,对得到的特征图进行多尺度特征融合,学习不同尺度的特征;最后预测出不同内核大 小的文本实例,并通过尺度扩展逐渐扩大文本行区域,直到得到最终的检测结果。实验结果 表明,该方法在SCUT-CTW1500弯曲文本数据集上的准确率、召回率及F1值分别达到88.5%、 77.0%和81.3%,相比其他基于分割的算法,该算 法对弯曲文本的检测效果良好,具有一定的 应用价值。     

基于双模态特征增强的目标检测算法研究与应用

为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果;特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重;同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性;最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。     

School of Optical and Electronic Information,HUST,Wuhan 430074,China

基于水下距离选通激光成像技术,提出了一种可用于长距离下的水下线状目标检测算法。该算法针对水下成像中低对比度、模糊和噪声等特性,首先采用对比度拉升、中值滤波、小波变换等方法对图像进行增强处理;然后利用Canny边缘检测算子提取出目标的边缘特征;最后针对边缘特征中出现的噪声边缘问题,选用了鲁棒性强的随机抽样一致性参数估计算法从边缘特征中检测出线状目标,并计算得到目标的位置和方向等相关参数。实验结果表明,该算法可以有效地检测出水下曲线状目标,弥补现有方法只能检测直线目标的不足,检测率可以达到93%,有效检测距离能达到5倍水下衰减长度。     

FD-SSD: An improved SSD object detection algorithm based on feature fusion and dilated convolution

Objects that occupy a small portion of an image or a frame contain fewer pixels and contains less information. This makes small object detection a challenging task in computer vision. In this paper, an improved Single Shot multi-box Detector based on feature fusion and dilated convolution (FD-SSD) is proposed to solve the problem that small objects are difficult to detect. The proposed network uses VGG-16 as the backbone network, which mainly includes a multi-layer feature fusion module and a multi-branch residual dilated convolution module. In the multi-layer feature fusion module, the last two layers of the feature map are up-sampled, and then they are concatenated at the channel level with the shallow feature map to enhance the semantic information of the shallow feature map. In the multi-branch residual dilated convolution module, three dilated convolutions with different dilated ratios based on the residual network are combined to obtain the multi-scale context information of the feature without losing the original resolution of the feature map. In addition, deformable convolution is added to each detection layer to better adapt to the shape of small objects. The proposed FD-SSD achieved 79.1% mAP and 29.7% mAP on PASCAL VOC2007 dataset and MS COCO dataset respectively. Experimental results show that FD-SSD can effectively improve the utilization of multi-scale information of small objects, thus significantly improve the effect of the small object detection.     

边缘信息引导的伪装目标检测

伪装目标检测(camouflaged object detection,COD)旨在检测隐藏在复杂背景中的伪装目标。由于伪装目标的特点:前景与背景纹理相似、边缘对比度低,导致现有方法得到的预测图像边缘模糊、小目标区域缺失。因此,本文提出了边缘信息引导的伪装目标检测网络(edge information guided network,EIGNet) 。首先,通过低层特征和高层特征对目标的边缘进行显式建模,充分提取目标的边缘特征指导后续特征表示。然后,通过双分支结构处理不同维度的伪装目标。其中,全局分支用以提取全局上下文信息强调大目标的全局贡献,局部分支用以挖掘丰富的局部低级线索增强小目标的特征表示。最后,采用自顶向下的方式实现相邻层特征的逐步融合,得到具有精细边缘和完整区域的预测图像。在3个伪装数据集上的实验结果表明本文方法优于其他15个模型,在NC4K数据集上平均绝对误差(mean absolute error,MAE) 降至0.044。     

基于注意力掩模融合的目标检测算法

在计算机视觉任务中,平衡目标检测的精度与速度对于后续的实际应用如目标跟踪和识别起到关键作用。基于此,提出了一种基于注意力掩模融合的目标检测算法。首先,通过VGG网络提取特征,经过初步二分类和回归后得到一系列预选框;然后,将上述预选框输入到特征金字塔结构中,通过构建注意力掩模模块自适应地学习有效特征,同时融合特征金字塔结构与注意力掩模模块得到更具表征性的特征;最后经过多分类和回归得到多尺度的检测结果。在PASCALVOC2007和PASCALVOC2012数据集上展开了实验,测试集结果显示,在交集并集比（IOU）为0.5的条件下,对于320×320的图片输入,平均精度均值（mAP）分别为81.0%和79.0%,检测速度为60.9fps。本文算法将注意力信息结合到目标检测中,实现了通用目标检测的精度和速度均衡。     

基于注意力机制特征融合与增强的自然场景文本检测

为了解决自然场景文本检测中由于文本实例分布随机、形态与尺度多样造成的检测难题,设计了一种基于注意力机制特征融合与增强的自然场景文本检测算法。利用注意力机制对有效特征提取的优势,在模型的解码融合阶段设计并引入了一种基于注意力的特征融合模块(Attention-based Feature Fusion Module, AFFM),利用空间和通道注意力分别为高层特征和低层特征引入更丰富的细节和全局信息,进一步提高了检测的准确率;设计了联合注意力特征增强模块(Joint Attention Feature Enhancement Module, JAM),利用卷积对级联后的特征在不同通道之间、空间位置间的联系建模,并生成联合特征权重mask对级联特征做加权,从而提高信息的表征能力,有效减少误检与漏检。在Total-Text和ICDAR2015两个数据集上对模型做评估,测试结果表明,该方法的F1综合指标分别达到了85.1%和87.6%,均优于当前主流算法。     

基于what和where信息的目标检测方法

根据视觉系统两条通路理论,提出了一种基于what和where信息的目标检测方法.采用以环境为中心的where信息进行自顶向下的注意控制,指导what信息驱动的自底向上的注意.自顶向下的注意包括预注意和集中注意两个阶段,预注意依据where信息为特定目标出现与否提供先验,做出是否继续搜索的判定.集中注意的结果与what信息相结合,将注意指向目标最有可能出现的图像区域,并得到一系列样本显著区域.应用于多幅自然图像的实验结果证明了算法的有效性.     

结合视锥变换和RGB体素图的半监督三维目标检测

基于LiDAR、可见光等多模态传感器的高精度三维目标检测是自动驾驶领域的关键技术。为了提高目标检测的精度和方位感知能力,降低模型对于标注数据的依赖,结合视锥变换方法优化了三维点云方向特征提取策略,提出了一种基于视锥变换和半监督学习架构的三维目标检测技术。具体而言,基于通道注意力模块优化视锥体对远距离目标的感知能力,提出了RGB体素模块提升遮挡目标的识别精度。首先通过深度网络从 RGB 图像中提取纹理信息,将其与激光雷达的距离信息融合,以保持三维空间特征的完整性。其次,通过特征融合模块提取体素空间特征的权重。最后,采用自适应伪标签方法降低对标注样本的依赖,并基于群体投票方法进一步降低误报率。实验结果表明,该方法在KITTI数据集上取得了令人满意的成果,行人和车辆目标检测的准确率分别达到了56.30%和75.88%。该研究为未来在复杂的场景中实现高效的三维目标检测提供了思路,并为进一步优化自动驾驶的多模态数据融合技术奠定了基础。

     

基于空间感知和特征增强的三维点云分类与分割研究

针对直接处理点云数据的深度神经网络PointNet++无法充分学习点云形状信息的问题,提出一种融合空间感知模块和特征增强模块(spatial awareness and feature enhancement,SAFE) 的三维点云分类与分割方法(SAFE-PointNet++) 。首先,设计了空间感知(spatial awareness,SA) 模块,使特征提取网络在特征升维时融合了包含空间结构的权重信息,增强了特征在空间上的表现力。其次,设计了特征增强(feature enhancement,FE) 模块,通过把增强后的几何信息和附加信息拆分并分别进行编码,达到充分利用点云附加信息的目的。实验结果表明,在ModelNet40和S3DIS数据集上,SAFE-PointNet++与其他10种经典网络相比具有更高的分类和分割精度。