基于注意力机制的毫米波雷达和视觉融合目标检测算法

传统目标检测大多基于摄像头采集图像进行,虽然近些年出现了许多优秀的检测网络,但在复杂场景下,仍存在大量漏检、误检等问题。针对这些问题,提出了一种基于注意力机制的毫米波雷达和视觉融合目标检测算法。首先将毫米波雷达数据进行扇形点云柱编码（Fan-shaped Cloud Pillar Code,FCPC）,将其转换为前景伪图像;然后,再将其通过坐标关系映射到像素平面,使用卷积注意力模块（Convolutional Block Attention Module,CBAM）对两者特征数据进行融合;采用Yolov4-tiny对融合特征进行检测,并引入Focal Loss对原损失函数进行改进以解决正负样本不均的问题。在Nuscenes数据集上进行模型验证与对比,结果表明,该算法在复杂场景下相比其他单传感器检测算法如Yolov3、Efficientent以及Faster-RCNN等,无论平均检测精度(mean Average Precision,mAP) 还是每秒检测帧数(Frames Per Second,FPS)都有明显的提升。     

基于一种视觉注意力机制的图像描述方法

为了提高由图像生成文字描述的准确率,文中提出了一种基于传统的编码解码框架,分别在编码端和解码端融入视觉注意力机制的方法,即在编码端加入空间注意力机制和图像通道级注意力机制相结合的方法。在解码端运用自适应视觉注意力机制的方法,即在传统的解码端上加入一个额外的“视觉哨兵”模块。文中提出的方法在生成文字描述的过程中自动决定是依赖图像特征还是依赖语义特征,并传递给相应的注意力机制。实验证明,相比较单一的视觉注意力机制,文中方法取得了较高的图像描述语句的正确率,具有更好的图像描述性能。     

融合毫米波雷达与机器视觉的雾天车辆检测

车辆检测对于辅助驾驶系统至关重要,由于雾天道路场景严重退化,图像中的车辆信息不明显,导致车辆检测存在漏检、误检的问题。针对上述问题,本文提出了一种融合毫米波雷达和机器视觉的雾天车辆检测方法。首先,采用暗通道去雾算法对图像进行预处理,提高雾天图像中车辆信息的显著性。然后,采用知识蒸馏改进YOLOv5s算法,在YOLOv5s的特征提取网络中引入知识蒸馏,在目标定位和分类阶段计算蒸馏损失,对损失进行反向传播训练小型网络模型,在保证视觉检测准确度的同时提高检测速度。最后,采用基于潜在目标检测区域搜索的距离匹配算法对视觉检测结果和毫米波雷达检测结果进行决策级融合。以检测目标的类型和距离为匹配依据,滤除干扰信息和错误信息,保留毫米波雷达检测和视觉检测融合后的检测置信度较高的目标,从而提高车辆检测的准确率。实验结果表明,该方法在雾天下最高检测准确率达92.8%,召回率达90.7%,能够实现雾天对车辆的检测。     

基于注意力机制CNN-LSTM的毫米波雷达点云特征数据预测生成

在智能驾驶的环境感知领域,毫米波雷达是一种关键的传感器技术。然而,因数据量有限,其特征数据的采集具有一定的挑战性,这限制了环境感知分类模型的训练效果。针对这一难题,提出了一种融合自注意力机制的卷积长短期记忆网络模型,旨在预测并生成毫米波雷达点云的特征数据,以此来扩展雷达特征数据集。首先采集道路目标的运动状态数据,对数据进行二维快速傅里叶变换、恒虚警率检测,并利用多输入多输出（Multiple-Input Multiple-Output,MIMO）技术提升方位分辨率;接着执行点云聚类及特征提取;最后采用含注意力机制的卷积长短期记忆网络对特征数据进行进一步处理与预测。在真实采集的3类道路目标数据集上,与其他模型相比,该方法在不同道路目标运动特征的预测玆2上提高了1%~7%。     

基于毫米波雷达的接近感应传感器模块设计

目前,接近感应传感器在工业及消费场景中有大量需求.传统的接近感应技术主要依靠红外线和超声波,具有触发不稳定、容易被遮挡等缺点.雷达依赖于电磁收发技术,具有稳定性高、穿透性好等优点.随着雷达技术的进步,小型化低成本雷达芯片的出现为接近感应带来了新的技术方案.设计了一种基于雷达的接近感应传感器模块,用于汽车尾箱感应开关,包...     

毫米波雷达的应用及发展

随着毫米波技术的应用,毫米波频率的雷达也得到了更深的研究和发展,毫米波雷达具有导引精度高、抗干扰能力强、多普勒分辨率高、等离子体穿透能力强等特点;因此其广泛的用于末制导、引信、工业、医疗等方面．评述了毫米波雷达的优缺点,以及它的应用,详细阐述了军用毫米波雷达发展的新技术和新方法。     

基于双视角时序特征融合的毫米波雷达手势数字识别研究

疫情常态化背景下,非接触式人机交互在医疗、健康领域蕴藏着巨大的应用前景,其中利用手势识别方法实现非接触式的仪器操控逐渐成为研究热点。对此,该文提出一种利用毫米波雷达双视角时序特征融合来实现手势数字识别的方法,以提高手势识别的鲁棒性和准确性。首先,该文同步采集正面、侧面视角的毫米波雷达手势数字0～9的时序回波数据;接着,对各视角的数据进行预处理,实现杂波抑制、数据压缩;随后提取两方向的距离、速度的时序特征,并就特征的时间相关性构建嵌入注意力机制的双视角时序特征融合网络(ADVFNet);最后,基于实测数据集完成了网络训练、时序特征融合、手势数字识别等步骤。实验结果表明,该文所提方法在实测数据集上识别准确率达到95%,网络收敛速度快、模型泛化能力好,与现有方法相比具有一定优势,为后续毫米波雷达人机交互提供了新思路。     

基于视觉注意力模型的红外目标检测

根据视觉心理学的相关理论,提出一种基于灰度特征提取和视觉注意力模型的红外目标检测方法,并应用于复杂背景的红外目标检测.首先对输入图像进行采样,生成高斯金字塔,并用center-surround算子提取多尺度的视觉差异,通过对灰度特征图的归一化和线性融合获得综合的显著图,最后通过基于相似性和邻接性的阈值判断得到最终检测结果.该方法应用于多种地面目标的检测均取得较好效果,待检测的目标在显著图中得到明显的增强.试验结果进一步验证了算法具有很好的探测性能.     

基于毫米波雷达点云和视觉信息差异性特征注意力融合的3D目标检测

自动驾驶中传感器融合是感知系统的重要组成部分,雷达点云信息和视觉信息融合可以提高车辆的感知能力。然而现有的研究将雷达点投影到图像上时只是对雷达点简单的增加高度,无法提供更加准确的横向信息,缺乏空间信息。同时对两个模态只是进行简单的融合,虽然产生了一个联合表征,但不足以充分捕捉两种模态之间的复杂联系。文中同时增加了雷达点云的宽度来进行空间信息增强,另外设计了一种利用差异性特征注意力融合的方法,使两个模态进行跨模态交互融合。本文在具有挑战性的nuScenes数据集上对模型进行了评估,提出的模型的NDS评分和mAP分别达到了46.3%和33.9%,体现了优秀的性能。     

基于空间和通道注意力机制的目标跟踪方法

目标跟踪是计算机视觉中重要的研究领域之一,大多跟踪算法不能有效学习适合于跟踪场景的特征限制了跟踪算法性能的提升.该文提出了一种基于空间和通道注意力机制的目标跟踪算法(CNNSCAM).该方法包括离线训练的表观模型和自适应更新的分类器层.在离线训练时,引入空间和通道注意力机制模块对原始特征进行重新标定,分别获得空间和通道...     

基于空间和通道注意力机制的目标跟踪方法

目标跟踪是计算机视觉中重要的研究领域之一,大多跟踪算法不能有效学习适合于跟踪场景的特征限制了跟踪算法性能的提升.该文提出了一种基于空间和通道注意力机制的目标跟踪算法(CNNSCAM).该方法包括离线训练的表观模型和自适应更新的分类器层.在离线训练时,引入空间和通道注意力机制模块对原始特征进行重新标定,分别获得空间和通道权重,通过将权重归一化后加权到对应的原始特征上,以此挑选关键特征.在线跟踪时,首先训练全连接层和分类器层的网络参数,以及边界框回归.其次根据设定的阈值采集样本,每次迭代都选择分类器得分最高的负样本来微调网络层参数.在OTB2015数据集上的实验结果表明:相比其他主流的跟踪算法,该文所提算法获得了更好的跟踪精度,重叠成功率和误差成功率分别为67.6％,91.2％.     

基于渐进式学习与多尺度增强的客体视觉注意力估计方法

视觉注意力机制已引起学界和产业界的广泛关注,但既有工作主要从场景观察者的视角进行注意力检测。然而,现实中不断涌现的智能应用场景需要从客体视角进行视觉注意力检测。例如,检测监控目标的视觉注意力有助于预测其后续行为,智能机器人需要理解交互对象的意图才能有效互动。该文结合客体视觉注意力的认知机制,提出一种基于渐进式学习与多尺度增强的客体视觉注意力估计方法。该方法把客体视域视为几何结构和几何细节的组合,构建层次自注意力模块(HSAM)获取深层特征之间的长距离依赖关系,适应几何特征的多样性;并利用方向向量和视域生成器得到注视点的概率分布,构建特征融合模块将多分辨率特征进行结构共享、融合与增强,更好地获取空间上下文特征;最后构建综合损失函数来估计注视方向、视域和焦点预测的相关性。实验结果表明,该文所提方法在公开数据集和自建数据集上对客体视觉注意力估计的不同精度评价指标都优于目前的主流方法。     

基于RDSNet的毫米波雷达人体跌倒检测方法

随着人口老龄化的到来,跌倒检测逐渐成为研究热点.针对基于毫米波雷达的人体跌倒检测应用,该文提出了一种融合卷积神经网络和长短时记忆网络的距离多普勒热图序列检测网络(RDSNet)模型.首先通过卷积神经网络对距离多普勒热图进行特征提取得到特征向量,然后将动态序列对应的特征向量序列依次输入长短时记忆网络,进而学习得到热图序列...     

FMCW毫米波雷达多人呼吸检测方法

基于雷达的人体生命体征信号(如呼吸、心跳等)探测在诸多领域具有重要意义。当多个人体目标处于同一平面内,且雷达与多个目标共线时,会导致雷达无法检测较远距离的目标。为此,本文提出一种新的雷达空间布置方案,即将雷达布置在高处,并利用毫米波雷达高分辨率特性从距离维区分多目标,同时结合多种手段辨别人体目标和静止杂波。本文对FMCW毫米波雷达呼吸检测的信号处理流程进行了详细推导,并进行了实验验证。实验结果表明,本文所提方案可以有效地区分人体目标和静止杂波,并准确提取多目标呼吸信号和呼吸频率。此外,针对单部雷达存在空间检测盲区的问题,本文详细讨论了不同雷达数量和空间布置方案下的雷达空间检测盲区,并论证了三部不共线雷达可完全消除雷达空间检测盲区。      

基于毫米波雷达的车内儿童检测系统的研究

系统采用77 GHz毫米波雷达作为检测滞留人员传感器,该毫米波雷达可准确感知到人员存在,可通过串口或I/O口输出开关量,并且具有感应可靠性强、灵敏度高、体积小、使用简单、易于嵌入集成等特点。同时搭配CO浓度检测传感器,能够及时感知车内出现的多种危险情况。系统具有联网功能,能够将车内的采集到的数据发送到用户端以及保存在云端,并通过检测车内人员被困时间及时进行通风和灯光闪烁求救等操作。     

基于毫米波雷达的人体生命体征感知方法

文中旨在探讨基于毫米波雷达技术的人体生命体征感知方法。毫米波雷达作为一种无线传感技术,在生命体征感知领域具有广泛的应用潜力。它能实现非侵入性、远距离、高分辨率的生命体征监测,包括呼吸、心跳、运动等关键参数的测量。文中详细介绍了毫米波雷达技术,探讨了其在生命体征感知中的优势,研究并设计了一种利用毫米波雷达进行人体生命体征感知算法的系统,旨在为毫米波雷达在生命体征感知领域的应用提供参考,为未来研究和创新提供有力支持。     

改进的毫米波雷达静态目标识别与跟踪方法

毫米波雷达在进行静态目标识别时存在目标丢失和信息缺失、识别效果较差的问题。采用一种基于机器学习算法的方法来实现静态物体识别与跟踪。选取雷达检测目标的相对速度和相对距离作为观测量,使用高斯隐马尔科夫模型学习毫米波雷达检测结果的标签数据,获取目标相对距离、相对速度和目标状态之间的非线性关系。结合高斯聚类方法与毫米波雷达数据实现对目标标签结果的预测,通过前向后向算法实现目标跟踪。结果表明,使用的模型能够在受试车车速达到30 m/s时,对140 m远处的静态目标实现良好的识别、预测和跟踪效果。     

毫米波雷达的发展状况及其应用

给出了毫米波的概念及此波段的技术特性,综合分析了毫米波雷达技术国外的最新发展状况,较全面地介绍了毫米波雷达的应用及发展趋势。     

基于注意力特征融合的视觉问答模型

随着深度学习的兴起和不断发展,视觉问答领域的研究取得了显著进展,当前较多视觉问答模型通过引入注意力机制和相关迭代操作来提取图像区域与高频疑问词对的相关性,但在获取图像与问题的空间语义关联方面的有效性较低,从而影响答案的准确性.为此,提出一种基于MobileNetV3网络及注意力特征融合的视觉问答模型,首先,为优化图像特...     

基于改进型恒虚警的毫米波雷达检测算法

为了提高毫米波雷达在多目标环境下的检测性能,在变化指数恒虚警（Variability Index CFAR,VI-CFAR）的基础上提出了一种改进算法,即当背景环境为多目标环境时,采用KL散度单元筛选恒虚警（Kullback–Leibler Trimmed Mean CFAR,KLTM-CFAR）替换单元平均恒虚警（Cell Averaging CFAR,CA-CFAR）与最小选择恒虚警（Smallest of CFAR,SO-CFAR）进行策略选择,有效避免了毫米波雷达在多目标环境下的目标遮蔽问题,提升了检测性能。对改进后的检测算法进行了仿真分析,结果表明,多目标环境下,在其他几种检测器基本丧失检测能力的情况下,该检测器仍保持着90%以上的检测概率,并且在均匀环境和杂波边缘环境下,也有较为良好的表现。