视觉目标跟踪方法研究综述

目的 随着军事侦察任务设备的发展,红外与可见光侦察技术成为军事装备中的主要侦察手段。研究视觉目标跟踪技术对提高任务设备的全天候目标侦察、目标跟踪、目标定位等战场情报获取能力具有重要意义。目前,对视觉目标跟踪技术的研究越来越深入,目标跟踪的方法和种类也越来越丰富。本文对目前应用较为广泛的4种视觉目标跟踪方法进行研究综述,为后续国内外研究者对目标跟踪相关理论及发展研究工作提供基础。方法 通过对视觉目标跟踪技术难点问题进行分析,根据目标跟踪方法建模方式的不同,将视觉目标跟踪方法分为生成式模型方法与判别式模型方法。分别对生成式模型跟踪算法中的均值漂移目标跟踪方法和粒子滤波目标跟踪方法,判别式模型跟踪算法中的相关滤波目标跟踪方法和深度学习目标跟踪方法进行研究。首先分别对4种跟踪算法的基本原理进行介绍,然后针对4种跟踪算法基本原理的不足和对应目标跟踪中的难点问题进行分析,最后针对目标跟踪的难点问题,给出对应算法的主流改进方案。结果 针对视觉目标跟踪相关技术研究进展,结合无人机侦察任务需求,对跟踪算法实际应用中存在的重点解决问题与相关目标跟踪的难点问题进行分析,给出目前的解决方案与不足,探讨研究未来无人机目标侦察跟踪技术的发展方向。结论 视觉目标跟踪技术已经取得了显著的进展,在侦察任务中的应用越来越广泛。但目标跟踪技术仍然是非常具有挑战性的问题,目标跟踪中的相关理论有待进一步完善和改进,由于实际应用中的场景复杂,目标跟踪的难点问题的挑战性更大,因此容易导致跟踪效果不佳。针对不同的应用环境,结合具体不同军事装备的特点,研究相对精确和鲁棒并且满足实时性要求的视觉目标跟踪算法,对提升装备的全天候侦察目标信息获取能力具有重要意义。     

基于定位精度的无人机侦察航路自主修正算法

根据电子对抗无人机侦察定位的特点,建立了无人机可侦察区域计算模型和定位误差计算模型,描述了定位精度与无人机飞行航向、目标雷达的距离以及定位时间的关系。在此基础上,从提高无人机定位精度,缩短定位时间的角度出发,提出无人机在侦察飞行过程中,依据侦察获得的目标雷达位置信息,结合无人机性能参数,适时自主修正飞行航路,从而在最短的时间内获得最精确的目标位置信息,并且可以避开飞行威胁区。仿真结果表明该修正算法能够有效地缩短定位时间,提高定位精度以及定位成功率。     

面向无人机的视觉目标跟踪算法：综述与展望

近年来,无人机因其小巧灵活、智能自主等特点被广泛应用于民用和军事等领域中,特别是搜索侦察过程中首要的目标跟踪任务。无人机视觉目标跟踪场景的复杂性和运动目标的多变性,使得目标特征提取及模型建立困难,对目标跟踪性能带来巨大的挑战。本文首先介绍了无人机视觉目标跟踪的研究现状,梳理了经典和最新的目标跟踪算法,特别是基于相关滤波的跟踪算法和基于深度学习的跟踪算法,并对比了不同算法的优缺点。其次,归纳了常用的目标跟踪数据集和性能评价指标。最后,展望了无人机视觉目标跟踪算法的未来发展趋势。     

面向多目标侦察任务的无人机航线规划

针对无人机执行多目标侦察任务的航线规划问题,提出一种改进粒子群算法结合高斯伪谱法的分层航线规划方法.设计改进粒子群算法进行航线预规划,针对传统粒子群优化算法收敛速度慢、易陷入局部最优的问题,通过引入混沌映射初始化和自适应参数调整策略,加快算法收敛速度,提升解的最优性.在此基础上,结合最短路求解策略,完成对侦察任务的时序排列,得到可执行的最优侦察任务方案,进而为提升侦察航线的精确性和可控性,基于高斯伪谱法进行航线再规划.引入航线预规划结果作为初值猜测,进一步提升算法的效率和准确性.最后在复杂环境下进行无人机侦察航线仿真分析,结果表明所设计算法能够快速生成任务执行方案与高精度侦察航线,符合军事无人机执行侦察任务的工程应用.     

基于多用户决策效用的侦察无人机路径规划算法

战场用户决策的效用受限于决策的时机性和正确性,无人机为多个用户提供协同侦察服务时,减少侦察时间有助于用户更快获取决策需要的信息以提高决策时机性,延长侦察时间则能够获取更多有价值的信息,提高决策的正确性.为了权衡无人机侦察时间与侦察信息价值并提高多用户决策的总效用,提出了基于侦察任务时间、用户获取信息价值以及各用户权重的多用户决策效用模型,将多用户决策效用最大化问题建模为带约束的无人机路径规划问题.提出了一种基于性价比贪婪思想与路径收益动态监测机制的路径规划算法求解路径问题.对所提算法和对比算法在不同目标数量下的任务时间、信息价值及效用指标进行分析,结果表明,在不同规模的侦察目标下,所提算法与基于单一指标带时间约束的贪婪算法相比能够实现更高的多用户决策效用.     

基于粒子群优化算法的无人机航迹规划

无人机作为侦察和作战的重要手段,重要的是保证侦察目标的准确性,对任务/航迹规划系统是无人机实现自主飞行和自主攻击的关键技术。在给出无人机航迹规划问题描述的基础上,提出一种基于粒子群优化算法的无人机航迹规划方法,利用粒子群优化算法,将约束条件和搜索算法相结合,从而有效减小搜索空间,得到一条全局最优路径并进行仿真。仿真结果表明,规划方法能够快速有效地完成规划任务,获得满意的航迹,满足无人机作战要求,具有重要的现实意义。     

基于合作目标的无人机目标跟踪方法

无人机与地面排爆机器人组成空地系统协同作业,可以大大提高排爆机器人的作业效率和作业能力.针对此问题,提出一种可用于空地系统的无人机目标跟踪方法.首先,利用视觉算法对地面目标进行识别和定位,并利用动态置信窗口减小搜索面积.对于高机动性造成的目标短暂消失导致跟踪失败的问题,利用卡尔曼滤波算法对目标位置进行滤波和运动预测,并提出一种自适应串级PID(比例-积分-微分)算法进行无人机飞行控制,实现对动态目标的实时跟踪.最后,设计了机体倾斜补偿算法来解决环境干扰造成的降落误差较大的问题,实现无人机的精准降落.搭建了地面机器人和无人机组成的空地系统进行实验,结果表明该系统能可靠地完成各部分任务,验证了所设计算法的有效性.     

基于深度学习的无人机侦察图像目标识别

无人机侦察图像是获取战场情报信息的重要手段。针对侦察图像目标识别速度慢、效率不高等问题,笔者结合研究现状提出将深度学习应用到侦察图像目标识别领域。首先标注了一个地面主要武器装备数据集,然后在YOLOv3算法官方参数权重的基础上采用迁移学习的方法进行微调训练,最后使用训练好的模型进行目标识别。实验结果表明,基于深度学习的YOLOv3算法可以较好地实现无人机侦察图像目标识别,且可以满足实时性的要求。     

利用深度卷积特征的无人机视觉跟踪

由于无人机视觉跟踪视角范围广且环境复杂,常遇到无人机飞行震动、目标遮挡、相似目标等问题,导致无人机跟踪目标发生漂移.因此,对具有回归计算的全卷积孪生网络跟踪算法(SiamRPN)进行改进,提出一种加强深度特征相关性的无人机视觉跟踪算法(SiamDFT).首先,将全卷积神经网络后三层卷积的网络宽度提升一倍,充分利用目标的外观信息,完成对模板帧和检测帧的特征提取;其次,在检测帧和模板帧分别提出注意力信息融合模块和特征深度卷积模块,两个深度的特征相关性计算方法能够有效抑制背景信息,增强像素对之间的关联性,高效完成分类和回归任务;然后,采用深度互相关运算完成相似性计算,并引入距离交并比的计算方法完成对目标的定位.实验结果表明, SiamDFT在无人机短时跟踪场景下精确率和成功率分别达到79.8%和58.3%,在无人机长时跟踪场景下精确率和成功率分别达到73.4%和55.2%,实景测试结果充分验证了所提出算法的有效性.     

基于DTA-FSAF的无人机小目标检测研究

随着无人机的应用越来越广泛,基于无人机下的交通场景目标检测的需求也越来越高。但是现有算法在无人机视角下检测精度不高,鲁棒性也不够稳定。为了解决交通场景下无人机视角的车辆和行人的目标检测问题,该文提出DTA-FSAF的目标检测网络。首先,将可变形卷积融入骨干网络ResNet-50中提高FSAF网络(Feature Selective Anchor-Free)的特征学习能力,采用PAFPN(Path Aggregation Feature Pyramid Network)实现多尺度融合,从而提高小目标的检测精度与网络的拟合能力;其次,使用任务对齐检测头减小网络的分类与定位任务在检测小目标时出现的分类与定位任务的错位,从而进一步提高网络的鲁棒性;最后,通过调整IoU损失提高网络整体的检测效果。通过在无人机数据集VisDrone上进行实验和分析比较可知,相比于其他网络,在不同的交通场景下,DTA-FSAF网络在满足实时性需求的同时检测精度达到了41.3%。相比于FSAF网络提升了19.6%。通过实验证明改进算法能有效地在各种复杂交通场景下完成对行人和车辆的目标检测。     

基于改进TLD算法的无人机自主精准降落

四旋翼无人机（Unmanned Aerial Vehicle,UAV）在航拍、测绘、环境监测、快递等航空领域的广泛应用,对四旋翼无人机的可用性和可靠性提出了更高的要求,而其实现自主精准降落的功能是必不可少的。对目标进行快速鲁棒性跟踪是实现降落的重要基础,TLD（Tracking Learning Detector）算法为这一问题提供了一种有效的解决办法,虽然许多学者对其进行了研究并对传统的TLD算法进行了改进,但算法的跟踪精度及速度仍然难以满足无人机的降落要求。提出了一种基于TLD框架的目标跟踪算法来实现无人机与特定降落目标之间的相对定位。该算法在TLD框架下,提出一种基于目标形状特征自主确定降落目标的算法,提高了降落流程的自主性;用核相关滤波器（Kernelized Correlation Filter,KCF） 实现了TLD框架中的跟踪器,提高了算法的实时性、精准度及鲁棒性;同时在降落过程中采用一种基于方向梯度直方图特征（Histogram of Gradient,HOG）和支持向量机（Support Vector Machine,SVM） 的目标识别方法,以实现目标检测自矫正,保证长时间准确跟踪目标。在七类模拟无人机进行降落的视频集下验证了该算法,与其他三种跟踪算法进行对比,并进行实际降落测试。测试结果表明,该算法的鲁棒性和精准度均优于其他算法,处理速度可达到31.47?f/s,故而在TLD框架下采用核相关滤波器作为跟踪器,对跟踪及检测结果进行有效融合并提高算法实时性的同时,增加的检测自矫正环节保证了长时间跟踪的准确度,从而有效地实现了无人机全自主精准降落。     

基于双目技术的无人机自主三维定位方法研究

无人机具有体积小、造价低、机动性强、隐蔽性好等优点,在军事侦查、地理勘测、目标跟踪等领域应用广泛。由于无法采用造价昂贵、体积庞大的精密惯导设备,当应用场景为弱或无GPS环境时,无人机的准确位置信息将难以获取,并且在实际飞行过程中还面临着GPS信号不稳或易遭欺骗等挑战。针对以上问题,提出了基于双目技术的无人机自主三维定位方法。介绍了双目立体视觉技术的光学物理原理,以及双目摄像头与目标的距离判别算法;设计了无人机通过双目技术进行三维定位的方法;详细说明了通过RSS定位方法计算出无人机的精确三维位置信息的运算步骤及矩阵计算式;通过MATLAB仿真实验检验了该基于双目技术的无人机自主三维定位方法的有效性和可实现性。结果表明,该无人机自主三维定位方法具有定位精度高、普适性强等特点。     

改进YOLOv5s的无人机目标检测算法

无人机在情报、侦察和监视领域,目标自动检测可为侦察等任务提供准确的目标位置及类别,为地面指挥人员提供详尽的目标信息。针对无人机图像背景复杂、分辨率高、目标尺度差异大等特点,提出一种改进YOLOv5s目标检测算法。将压缩-激励模块引入到YOLOv5s算法中,提高网络的特征提取能力;引入双锥台特征融合（bifrustum feature fusion,BFF）结构,提高算法对较小目标的检测检测精度;将CIoU Loss替换GIoU Loss作为算法的损失函数,在提高边界框回归速率的同时提高定位精度。实验结果表明,改进后的YOLOv5s取得了86.3%的平均均值精度（mAP）,比原算法YOLOv5s提高了16.8个百分点,在复杂背景下仍能显著提升无人机图像目标检测性能。     

基于粒子群圆检测的无人机目标定位算法

无人机在室内等复杂环境中飞行时,存在GPS信号较弱、惯性传感器累计误差较大等问题,导致无法实现室内的精准定位.本文提出一种基于粒子群圆检测算法的无人机目标定位方法,该方法通过OpenCV视觉模组进行图像预处理,并通过增量式PID(Proportion Integration Differentiation)与图像滤波相...     

基于简化Forstner算子改进的SIFT无人机图像识别算法

根据无人机获取图像信息量大、处理实时性要求高的特点,寻找一种符合无人机特点的图像目标识别算法,提高图像识别的效率。SIFT(Scale Invariant Features Transform)算法具有良好的准确性和鲁棒性,能够克服一定的图像形变及遮挡影响,但其还难以满足无人机图像的处理实时性,利用简化的Forstner算子对SIFT算法进行改进,降低SIFT算法特征点获取过程的计算量。通过仿真实验,证明改进的SIFT算法可以提高识别和匹配的速度和准确率,可以满足复杂背景下无人机目标识别精度与速度的需求。     

基于协同无人机的感兴趣目标定位

通过无人机拍摄的光学图像求解地面感兴趣目标坐标,被广泛的应用于相关的军事以及商用民用领域。该方法的缺点是使用单架无人机时定位精度不稳定,效率也低。针对这些问题,设计了一种基于协同无人机的感兴趣目标定位系统。通过三架无人机同时观测同一地面感兴趣目标,在对目标定位的过程中,根据透视投影原理,结合无人机获取的姿态数据,通过主机数据处理系统实现机载在线实时定位。为了提高目标定位的精度,提出一种基于内三角形质心算法的协同目标定位方法。采用蒙特卡洛方法进行仿真实验,换算空间定位误差为26.6米,通过数值模拟和飞行实验验证结果表明与传统单机目标定位系统相比,协同无人机感兴趣目标定位系统可以有效利用更多的观测信息,在有效提高目标定位效率的基础上具有更高的交会精度。     

基于惯导/数据链的动态相对定位方法

针对卫星导航定位在复杂环境不可靠情况下如何实现无人机机间相对定位问题,提出一种基于机载惯性导航系统与机间数据链测距相结合的动态相对定位算法。该方法利用机载数据链通信测距能力与机载惯性导航系统输出的无人机速度矢量信息结合,建立机间相对定位模型,通过最小二乘法对无人机之间的相对位置进行估计,实现无人机机间的实时相对定位能力。由于通过最小二乘法解算出的相对定位结果依然存在误差,针对最小二乘法相对定位误差,提出秩亏网平差算法对无人机机群间的相对定位误差进行校正。仿真结果表明：基于最小二乘法的相对定位方法可以减缓惯性导航系统相对定位误差发散速度并且将惯导相对定位精度提高到3倍左右,通过秩亏网平差算法校正将最小二乘相对定位精度提高2倍。     

基于分布式SAR系统的侦察卫星目标定位技术

为解决侦察卫星被动目标定位跟踪精准性不达标的问题,提出基于分布式SAR系统的侦察卫星目标定位应用算法。借助侦查调节模块,估量卫星目标相位累加器实际处置权限,调度SAR型存储模块与D/A分布模块间的定位应用关系,搭建基于分布式SAR系统的卫星定位执行结构。在此基础上,选择理想型号的定位传感器,通过定位坐标转换的方式,连接定位所需的通讯传输协议,实现侦察卫星的目标自定位处理。联合分布式定位原理,在测算卫星目标侦查角度的同时,完成目标定位信息的接收与转存,实现侦察卫星目标定位算法的应用。对比实验结果表明,与DDS算法行为相比,应用新型定位技术后,LCT指标、LOC指标数值均超过60%,抑制侦察卫星被动目标失精准定位跟踪行为的出现。     

Geolocation of Multiple Targets from Airborne Video Without Terrain Data

The task of geolocating targets from airborne video is required for many applications in surveillance, law enforcement, reconnaissance, etc. The usual approaches to target geolocation involve terrain data, single target tracking, gimbal control of camera heads, altimeters, etc. The main goal of this research is to eliminate those requirements and still develop an accurate, efficient, and robust vision-based method for geolocation that can be carried out for multiple targets simultaneously. In that sense, our main contributions to the state-of-the-art in geolocation are fourfold: 1) to eliminate the requirement for gimbal control of the cameras or any particular path planning control for the UAV; 2) to perform instaneous geolocation of multiple targets; 3) to eliminate the requirements for geo-referenced terrain database (elevation maps) or for an altimeter that provides the UAV’s and target’s altitudes; and 4) to use one single camera while still maintaining good overall accuracy. In order to achieve that, the only requirements for our proposed method are: that the intrinsic parameters of the camera be known; that the on board camera be equipped with global positioning system (GPS) and inertial measurement unit (IMU); and that the height of the vehicle can be calculated using feature points extracted from the ground surrounding the image of the targets. To satisfy the first two requirements, we developed and tested a robust calibration procedure that can estimate not only the intrinsic parameters of the camera, but also the IMU-camera parameters (also know in the robotic circles as the hand-eye calibration). The last requirement was addressed using a pseudo-stereo vision technique that maximizes the distance between stereo pairs (baseline) while keeping large the number of common feature points extracted by the algorithm. The result is a method that can reach approximately 25 m of accuracy for an UAV flying at 155 m away from the target. Such performance is demonstrated by computer simulation, in-scale data using a model city, and real airborne video with ground truth.     

Detection Avoidance and Priority-Aware Target Tracking for UAV Group Reconnaissance Operations

In this paper, we present a novel approach for stationary target tracking in reconnaissance operations with a small UAV group. A reconnaissance mission has multiple competing requirements, such as short scan time and repetitive scanning of the entire area, target recognition, and target tracking. Especially in real-world military reconnaissance scenarios, different types of targets with hostile characteristics exist. The UAVs must scan and track the targets while avoiding detection by enemies. Although small UAVs are unlikely to be detected, they become prone to detection if their path is predictable. To meet these competitive requirements, we propose an attractive pheromone-based cooperative path planning method that makes path prediction almost impossible by ensuring a random path selection mechanism. To avoid detection during target tracking, we implement a new discrete-time tracking scheme with random time intervals and random path planning for multiple UAVs. The proposed model enables a UAV group to sporadically scan the entire area, quickly locate the targets, and simultaneously track the targets based on their priority. In addition, it offers a mechanism that permits the command and control center to balance between reconnaissance and target tracking operations to meet every mission requirement.