基于多传感器融合的城市道路目标检测方法

面对动态目标种类繁多的城市道路复杂场景，单一传感器无法获取准确全面的目标状态信息，针对上述问题，提出了一种基于多传感器信息融合的城市道路目标检测方法。首先，基于中心点图像检测网络获取目标尺寸大小、估计深度等信息，构建3D感兴趣区域截锥，获取目标初始状态信息，利用体素网格滤波法进行激光雷达点云预处理，减少点云冗余信息，并提出一种F-PointPillars方法融合激光雷达与毫米波雷达点云特征信息，获取目标位置和速度信息。然后，在截锥区域内，依据最近相邻原则匹配目标图像对应的点云信息，数据关联后将融合结果输入归一化头网络，获取目标准确全面的目标状态信息，为下一步决策控制提供精准数据。最后，在标准数据集Nuscenes上进行评估，与单相机检测方法和激光雷达融合毫米波雷达检测方法相比，NDS得分分别增加了9.4%和15.6%,平均尺度误差和平均角度误差分别降低了4.9%和2.9%,验证了上述方法的有效性。     

动态环境中多帧点云融合算法及三维目标检测算法研究

低线束激光雷达扫描的点云数据较为稀疏,导致无人驾驶环境感知系统中三维目标检测效果欠佳,通过多帧点云配准可实现稀疏点云稠密化,但动态环境中的行人与移动车辆会降低激光雷达的定位精度,也会造成融合帧中运动目标上的点云偏移较大。针对上述问题,提出了一种动态环境中多帧点云融合算法,利用该算法在园区道路实况下进行三维目标检测,提高了低线束激光雷达的三维目标检测精度。利用16线和40线激光雷达采集的行驶路况数据进行实验,结果表明该算法能够增强稀疏点云密度,改善低成本激光雷达的环境感知能力。     

基于目标时空上下文融合的视频异常检测算法

视频异常检测旨在发现视频中的异常事件,异常事件的主体多为人、车等目标,每个目标都具有丰富的时空上下文信息,而现有检测方法大多只关注时间上下文,较少考虑代表检测目标和周围目标之间关系的空间上下文。提出一种融合目标时空上下文的视频异常检测算法。采用特征金字塔网络提取视频帧中的目标以减少背景干扰,同时计算相邻两帧的光流图,通过时空双流网络分别对目标的RGB帧和光流图进行编码,得到目标的外观特征和运动特征。在此基础上,利用视频帧中的多个目标构建空间上下文,对目标外观和运动特征重新编码,并通过时空双流网络重构上述特征,以重构误差作为异常分数对外观异常和运动异常进行联合检测。实验结果表明,该算法在UCSD-ped2和Avenue数据集上帧级AUC分别达到98.5%和86.3%,在UCSD-ped2数据集上使用时空双流网络相对于只用时间流和空间流网络分别提升5.1和0.3个百分点,采用空间上下文编码后进一步提升1个百分点,验证了融合方法的有效性。     

基于红外相机和毫米波雷达融合的夜间行人检测

为了提升夜间环境行人检测的能力,使用红外相机和毫米波雷达进行信息融合.对两传感器数据进行时间配准并分别进行处理,利用改进YOLO算法处理红外图像得到目标类别特征,处理毫米波雷达数据获得目标的距离和速度特征,再建立空间对准模型对两传感器进行目标匹配,最后利用基于特征的融合算法完成夜间行人多模态信息输出.两传感器检测目标首次匹配之后,可以将类别信息反馈给雷达数据处理单元进行记录,当红外图像检测算法漏检时,利用雷达记录的信息补充输出类别特征.通过实验证明该融合算法提升了单一传感器行人检测成功率,在夜间场景具有良好的应用效果.     

基于长短期存储的聚合增强型煤矸石视频识别模型

采用煤矸石图像识别技术进行煤矸石识别会错过一些关键目标的识别。视频目标识别模型比图像目标识别模型更贴近煤矸石识别分选场景需求,对视频数据中的煤矸石特征可以进行更广泛、更有深度的提取。但目前煤矸石视频目标识别技术未考虑视频帧重复性、帧间相似性、关键帧偶然性对模型性能的影响。针对上述问题,提出了一种基于长短期存储（LSS）的聚合增强型煤矸石视频识别模型。首先,采用关键帧与非关键帧对海量信息进行初筛。对煤矸石视频帧序列进行多帧聚合,通过时空关系网络（TRN）将关键帧与相邻帧特征信息相聚合,建立长期视频帧和短期视频帧,在不丢失关键特征信息的同时减少模型计算量。然后,采用语义相似性权重、可学习权重和感兴趣区域（ROI）相似性权重融合的注意力机制,对长期视频帧、短期视频帧与关键帧之间的特征进行权重再分配。最后,设计用于存储增强的LSS模块,对长期视频帧与短期视频帧进行有效特征存储,并在关键帧识别时加以融合,增强关键帧特征的表征能力,以实现煤矸石识别。基于枣泉选煤厂自建煤矸石视频数据集对该模型进行实验验证,结果表明：相较于记忆增强全局-局部聚合（MEGA）网络、基于流引导的特征聚合视频目标检测（FG...     

基于全局视觉优化的视频目标检测算法

提出一种基于全局视觉优化的视频目标检测算法,在原有流引导特征聚合算法(FGFA)基础上,更关注寻找检测精度与运行时间之间的折衷策略。首先利用全局视觉优化的思想,使用感知哈希算法在多帧特征聚合前进行帧段两端的全局视觉相似度计算,判断当前帧段的时序信息相关性;其次使用连续帧作为输入,进一步利用视频的时序信息,将相邻帧在运动路径上的特征聚合到当前帧的特征中,进而对视频特征有更好的表达。ILSVRC实验表明,经过全局视觉优化的预处理后,该算法较原本算法在视频中进行目标检测的准确率和速度均得到一定提升。     

多关键帧特征交互的人脸篡改视频检测

目的深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁。目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题。针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架。方法从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决。结果所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79%以上;在Celeb-DF数据集的识别准确率达到了99.61%。在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性。结论本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积...     

一种改进的三帧差分运动目标实时检测算法

针对传统三帧差分法提取的运动目标存在大量的噪声和空洞,提出一种改进的三帧差分运动目标实时检测算法;该算法采用Surendra背景提取算法提取有效背景,对视频流中连续三帧图像分别进行背景减除,得到的结果作为反馈对背景进行选择性更新,利用HSV颜色空间去除阴影后进行三帧差分,将差分结果进行“与”运行,通过将中间帧背景减除结果与“与”运算的结果进行“或”运算,这样可以得到运动目标的完整信息;实验结果表明,该算法能够快速、完整、准确地检测出运动目标,可有效应用于实时监控系统.     

结合时空一致性的FairMOT跟踪算法优化

目的 视频多目标跟踪(multiple object tracking, MOT)是计算机视觉中的一项重要任务,现有研究分别针对目标检测和目标关联部分进行改进,均忽视了多目标跟踪中的不一致问题。不一致问题主要包括3方面,即目标检测框中心与身份特征中心不一致、帧间目标响应不一致以及训练测试过程中相似度度量方式不一致。为了解决上述不一致问题,本文提出一种基于时空一致性的多目标跟踪方法,以提升跟踪的准确度。方法 从空间、时间以及特征维度对上述不一致性进行修正。对于目标检测框中心与身份特征中心不一致,针对每个目标检测框中心到特征中心之间的空间差异,在偏移后的位置上提取目标的ReID(re-identification)特征;对帧间响应不一致,使用空间相关计算相邻帧之间的运动偏移信息,基于该偏移信息对前一帧的目标响应进行变换后得到帧间一致性响应信息,然后对目标响应进行增强;对训练和测试过程中的相似度度量不一致,提出特征正交损失函数,在训练时考虑目标两两之间的相似关系。结果 在3个数据集上与现有方法进行比较。在MOT17、MOT20和Hieve数据集中,MOTA(multiple object t...     

基于激光雷达的叉车型自动导引小车定位研究

在基于激光雷达的即时定位与地图建立的算法中,激光雷达点云数据的匹配是其中重要的一环,可用于计算两帧点云对应的自动导引小车(automatic guided vehicle,AGV)位姿变换,以及用于激光导航中的回环检测。该文以叉车型AGV为研究对象,基于激光雷达点云数据的栅格地图,对前后两帧激光点云数据进行处理,利用第一帧点云数据构造出一个栅格地图,使第二帧点云数据与前一帧构造的栅格地图对齐。以此来构建误差方程,并采用最优化方法求解误差函数的最小值,从而求得前后两帧的相对位姿。优化求解采用列文伯格-马夸尔特法,以提高算法数值迭代求解的稳定性及避免高斯牛顿法出现的病态与非奇异问题。最后,通过实测的点云数据对算法进行实验验证,验证了该算法的有效性。     

基于渐进式嵌套特征的融合网络

显著目标检测是指通过引入人类视觉注意力机制,使计算机能检测视觉场景中人们最感兴趣的区域或对象.针对显著性目标检测中存在检测边缘不清晰、检测目标不完整及小目标漏检的问题,文中提出基于渐进式嵌套特征的融合网络.网络采用渐进式压缩模块,将较深层特征不断向下传递融合,在降低模型参数量的同时也充分利用高级语义信息.先设计加权特征融合模块,将编码器的多尺度特征聚合成可访问高级信息和低级信息的特征图.再将聚合的特征分配到其它层,充分获取图像上下文信息及关注图像中的小目标对象.同时引入非对称卷积模块,进一步提高检测准确性.在6个公开数据集上的实验表明文中网络取得较优的检测效果.     

基于雷达和相机融合的目标检测方法

在自动驾驶感知系统中,为了提高感知结果的可靠度,通常采用多传感器融合的方法。针对融合感知系统中的目标检测任务,提出了基于雷达和相机融合的目标检测方法——PRRPN,旨在使用雷达测量和前一帧目标检测结果来改进图像检测网络中的候选区域生成,并提高目标检测性能。首先,将前一帧检测到的目标与当前帧中的雷达点进行关联,以实现雷达预分类。然后,将预分类后的雷达点投影到图像中,并根据雷达的距离和雷达散射截面积（RCS）信息获得相应的先验候选区域和雷达候选区域。最后,根据候选区域进行目标边界框的回归和分类。此外,还将PRRPN与区域生成网络（RPN）融合到一起来进行目标检测。使用新发布的nuScenes数据集来对三种检测方法进行测试评估。实验结果表明,与RPN相比,PRRPN不仅可以更快速地实现目标检测,而且还使得小目标的平均检测精度提升了2.09个百分点;而将所提PRRPN与RPN进行融合的方法,与单独使用PRRPN和RPN相比,平均检测精度分别提升了2.54个百分点和0.34个百分点。     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

基于视觉和文本的多模态文档图像目标检测

由于文档图像的布局复杂、目标对象尺寸分布不均匀,现有的检测算法很少考虑多模态信息和全局依赖关系,提出了基于视觉和文本的多模态文档图像目标检测方法。首先探索多模态特征的融合策略,为利用文本特征,将图像中文本序列信息转换为二维表征,在文本特征和视觉特征初次融合之后,将其输入到骨干网络提取多尺度特征,并在提取过程中多次融入文本特征实现多模态特征的深度融合;为保证小物体和大物体的检测精度,设计了一个金字塔网络,该网络的横向连接将上采样的特征图与自下而上生成的特征图在通道上连接,实现高层语义信息和低层特征信息的传播。在大型公开数据集PubLayNet上的实验结果表明,该方法的检测精度为95.86%,与其他检测方法相比有更高的准确率。该方法不仅实现了多模态特征的深度融合,还丰富了融合的多模态特征信息,具有良好的检测性能。     

面向目标检测的尺度增强特征金字塔网络

基于特征金字塔网络的目标检测算法没有充分考虑不同目标间的尺度差异以及跨层特征融合过程中高频信息损失问题,使网络无法充分融合全局多尺度信息,导致检测效果不佳.针对这些问题,提出了尺度增强特征金字塔网络.该方法对特征金字塔网络的侧向连接和跨层特征融合方式进行了改进,设计具有动态感受野的多尺度卷积组作为侧向连接来充分提取每一个目标的特征信息,引入基于注意力机制的高频信息增强模块来促进高层特征与底层特征融合.基于MS COCO数据集的实验结果表明,该方法能有效提高各尺度目标的检测精度,整体性能优于现有方法.     

基于复合动态模型和证据融合架构的移动物体检测与跟踪方法

针对现有方法中移动物体检测与跟踪的准确性精度较低的缺点,提出一种基于多传感器检测分类的移动物体描述和感知方法：建立了一个包含核心对象动态特征和分类描述的复合模型,在此基础上设计了一个基于证据框架的信息感知与融合方法,通过整合动态模型和不确定性特征来实现对移动物体的检测和跟踪。为了验证所提方法的有效性,在一辆安装有雷达、激光雷达和摄像头的演示车上进行了相关实验,在不同驾驶场景下针对行人、卡车和轿车三个移动物体进行了检测与跟踪,实验结果证明所提方法具有非常高的准确性。     

基于改进的Transformer加Anchor-free网络的多目标跟踪算法

近年来,基于Anchor-free的多目标跟踪算法以其精度高、速度快、超参数少的特点被广泛研究.但是,实际场景中的目标遮挡使得此类算法仍然面临挑战,这类算法会对遮挡后重新出现的目标的身份信息进行错误切换.针对以上问题,提出了一种基于改进的Transformer加Anchor-free网络的多目标跟踪算法(Transfo...     

改进YOLOv4-tiny网络的狭小空间目标检测方法

针对狭小空间中目标相互遮挡导致轻型检测网络存在大量漏检、分类错误等问题,基于YOLOv4-tiny提出一种自适应非极大抑制（adaptive non-maximum suppression,A-NMS）的多尺度检测方法。在骨干网络引入大尺度特征图优化策略和金字塔池化模型,增强遮挡目标显著区域特征;设计内嵌空间注意力的双路金字塔特征融合网络,提升浅层细节特征与高级语义信息的融合能力;提出区域目标密度与边界框中心距离因子相关联的动态NMS阈值设定方法,并在后处理阶段代替传统IoU-NMS算法,进一步减少漏检。实验结果表明,与YOLOv4-tiny算法相比,改进算法在公开数据集PASCAL VOC07+12和自制数据集上mAP值分别提高2.84个百分点和3.06个百分点,FPS保持在87.9,对遮挡目标的检测能力显著提升,满足移动端对狭小复杂场景实时检测的需求。     

融入注意力机制的多模特征机械臂抓取位姿检测

针对机械臂抓取检测任务中对未知物体抓取位姿检测精度低、耗时长等问题,提出一种融入注意力机制多模特征抓取位姿检测网络.首先,设计多模态特征融合模块,在融合多模态特征同时对其赋权加强;然后,针对较浅层残差网络提取重点特征能力较弱的问题,引入卷积注意力模块,进一步提升网络特征提取能力;最后,通过全连接层对提取特征直接进行回归拟合,得到最优抓取检测位姿.实验结果表明,在Cornell公开抓取数据集上,所提出算法的图像拆分检测精度为98.9%,对象拆分检测精度为98.7%,检测速度为51FPS,对10类物体的100次真实抓取实验中,成功率为95%.     

面向多模态交互式融合与渐进式优化的三维视觉理解

三维视觉理解旨在智能地感知和解释三维场景,实现对物体、环境和动态变化的深入理解与分析。三维目标检测作为其核心技术,发挥着不可或缺的作用。针对当前的三维检测算法对于远距离目标和小目标检测精度较低的问题,提出了一种面向多模态交互式融合与渐进式优化的三维目标检测方法MIFPR。在特征提取阶段,首先引入自适应门控信息融合模块。通过把点云的几何特征融入图像特征中,能够获取对光照变化更有辨别力的图像表示。随后提出基于体素质心的可变形跨模态注意力模块,以驱使图像中丰富的语义特征和上下文信息融合到点云特征中。在目标框优化阶段,提出渐进式注意力模块,通过学习、聚合不同阶段的特征,不断增强模型对于精细化特征的提取与建模能力,逐步优化目标框,以提升对于远距离、小目标的检测精度,进而提高对于视觉场景理解的能力。在KITTI数据集上,所提方法对于Pedestrian和Cyclist等小目标的检测精度较最优基线有明显提升,证实了该方法的有效性。