机载视觉探测与目标定位系统设计与实现

为了解决GPS(Global Position System)定位精度不够高,无法满足无人机完成货物搬运任务的问题,设计并实现了一种以TMS320DM6437为平台的机载视觉探测与目标定位系统,由机载子系统和地面监视子系统组成。机载视觉信息处理子系统利用圆的几何特性改进了经典的Hough变换圆检测算法,在保证精度的同时大大降低了计算量,提高了算法运行效率。同时设计并实现了区分多个相同目标的方案与算法,其冗余机制增强了方案的可靠性。最后搭建了静目标定位测试平台和动目标定位跟踪机载测试系统,验证了系统的可靠性、鲁棒性、实时性和探测精度。     

基于特征在线选择的目标压缩跟踪算法

基于压缩感知理论的压缩跟踪算法能够有效地实现对目标的跟踪, 具有良好的实时性, 但该算法对目标特征没有进行在线选择导致跟踪鲁棒性不高. 本文提出一种基于特征在线选择的目标压缩跟踪算法. 首先, 在目标附近采样得到正负样本集合, 计算样本的多尺度矩形特征, 采用压缩感知中的随机投影矩阵对高维特征投影得到低维压缩域特征, 对压缩域特征进行在线选择提取最优特征, 剔除被污染的样本特征, 使用简单高效的朴素贝叶斯分类模型进行样本判断, 实现对目标的跟踪, 同时对跟踪中目标在摄像头中的尺度变化进行建模, 给出目标尺度变化的定量描述, 实现了适应目标尺度变化的多尺度跟踪. 实验结果表明本文算法具有更好的鲁棒性与更高的跟踪精度, 对目标跟踪中的遮挡、光线突变、尺度变化和非刚性形变等因素具有较好的抗干扰能力, 同时算法复杂度低, 可以满足实时性要求.     

基于Fisher信息的室内主动SLAM

针对传统的视觉同步定位与地图创建（visual simultaneous localization and mapping,VSLAM）算法在室内弱纹理场景中容易因为特征缺失而定位失败的问题,提出了一种基于最大Fisher信息量云台控制的主动SLAM算法。该方法在经典的ORB-SLAM2框架上进行扩展,增加了Fisher信息场构建模块与云台控制模块。在视觉跟踪的同时,将三维空间划分成若干个体素,根据特征点的空间位置分布更新每个体素的Fisher信息,完成Fisher信息场的构建;当相机获取的图像遇到特征缺失的情况,先找到离相机光心欧式距离最近的体素,以该体素Fisher信息量最大的方向作为相机此时的最优观测方向;计算出坐标变换后相机的偏转角度,通过机载云台实现相机转动到最优观测方向,重新获得场景特征,使得算法在丢失特征之后能够实现自主重定位。将改进后的算法运用到四旋翼无人机仿真平台,结果表明在传统算法失效的情况下,所提算法仍能实时准确地估计无人机位姿,提高了系统的鲁棒性。     

小型无人机地面目标跟踪系统机载云台自适应跟踪控制

本文针对小型无人机地面目标跟踪系统,提出了一种机载云台自适应跟踪控制算法.该算法在摄像机外参数未知的情况下,利用图像信息和机载传感器得到的无人机状态进行反馈,最终实现了对云台摄像机姿态的控制,使得无人机在跟踪目标飞行过程中,地面目标可以始终保持在摄像机的图像中心.为此,论文首先通过分析无人机、目标和摄像机三者的相对位姿关系,建立了目标点在图像平面的运动学模型.在此基础上,基于李雅普诺夫稳定性理论设计了自适应控制算法.理论分析与仿真结果表明本文所设计的摄像机姿态控制器在摄像机外参数未知的情况下,可以使被跟踪目标始终保持在图像中心.     

一种多特征融合的红外目标跟踪算法

针对红外序列图像中各类目标及背景特征动态变化的特性,提出一种基于二值分类技术的多特征融合目标跟踪算法。分别根据灰度、纹理及梯度方向特征将图像分为背景与目标区域,并根据各类特征分类性能的差异,融合特征图像,通过重采样粒子滤波估计目标状态。实验结果表明,该算法对环境光照变化、局部遮挡等均具有较好的鲁棒性。     

多帧监督的相关滤波无人机目标跟踪

目标跟踪是无人机的关键技术之一。无人机目标跟踪容易因相机运动、尺度变化等场景的影响,导致跟踪漂移或丢失。提出一种多帧监督的相关滤波无人机目标跟踪算法,加入多帧信息,根据视图的像差监督响应图变化率,有效地提高跟踪器的识别能力。采用裁剪矩阵引入真实负样本,并加入多个历史帧信息提高滤波器的鲁棒性。采用欧几里德范数定义响应图的像差,通过监督像差的变化防止跟踪漂移,得到目标的准确位置。根据相似度进行目标模型更新。在UAV123和VisDrone2019数据集上与其他算法对比实验。结果显示该算法在相机运动、尺度变化等场景具有良好的跟踪鲁棒性和精度。     

基于声图像序列的快速目标跟踪算法

针对声图像具有对比度低、不同时刻目标回波变化大等特点,提出了一种基于卡尔曼滤波和数据关联算法的快速目标跟踪算法.该算法首先对声图像序列进行高斯平滑和自适应阈值分割处理,在此基础上建立卡尔曼滤波目标跟踪模型和数据关联目标匹配算法,分析计算了可跟踪的目标速度上限值.仿真结果表明,该算法可较准确地实现目标跟踪,允许的目标速度可满足实际应用的需要.同传统文献算法相比,该算法具有实时性好、鲁棒性强,能更好地适应目标分裂或合并等情形.     

基于视觉感知的运动目标跟踪算法

针对运动目标跟踪问题, 为解决跟踪过程中因遮挡、目标尺度变化等易造成跟踪失败的现象, 提出一种基于视觉感知的跟踪算法。该算法以神经元响应为视觉特征, 首先从自然图像中学习初级视皮层细胞感受野; 然后计算背景图像和视频序列图像的神经元响应并得出差值, 与动态阈值比较, 识别出运动目标, 通过迭代实现目标跟踪。多类别实验结果表明, 该算法实现了运动目标稳定跟踪, 目标跟踪准确率达93. 5%且鲁棒性增强, 与典型算法Camshift和SIFT相比, 提高了跟踪算法的准确性和鲁棒性。     

一种基于Hausdorff距离的目标跟踪算法

序列图像中的运动目标跟踪是计算机视觉的一个重要组成部分,跟踪算法的鲁棒性和计算量是算法的关键.本文提出了一种基于Hausdorff距离的目标跟踪方法,该算法结合运动检测和多分辨率技术,极大减少了计算量,并利用有效的模板更新方法,加强了跟踪的鲁棒性.实验表明,该算法能实现快速有效的目标跟踪.     

基于深度学习的多旋翼无人机单目视觉目标定位追踪方法

针对无人机对目标的识别定位与跟踪,本文提出了一种基于深度学习的多旋翼无人机单目视觉目标识别跟踪方法,解决了传统的基于双目摄像机成本过高以及在复杂环境下识别准确率较低的问题。该方法基于深度学习卷积神经网络的目标检测算法,使用该算法对目标进行模型训练,将训练好的模型加载到搭载ROS的机载电脑。机载电脑外接单目摄像机,单目摄像头检测目标后,自动检测出目标在图像中的位置,通过采用一种基于坐标求差的优化算法进行目标位置准确获取,然后将目标位置信息转化为控制无人机飞行的期望速度和高度发送给飞控板,飞控板接收到机载电脑发送的跟踪指令,实现对目标物体的跟踪。试验结果验证了该方法可以很好的进行目标识别并实现目标追踪     

面向航拍图像多运动目标的实时检测与识别

为了实现无人机(UAV)航拍图像中多运动目标的实时检测与识别,将静止目标和运动目标分别定义为背景和前景,利用图像稳化技术将航拍图像序列中的每帧与相邻帧对齐,克服UAV飞行动作对摄像机转动拍摄图像的影响;选取图像中的行人和车辆作为前景,分别使用哈尔(Haar-like)特征和级联分类器对图像中的目标进行检测和识别;利用密集光流计算两幅连续图像的运动矢量,从而区分静止目标(背景)和运动目标(前景),最终图像结果仅保留运动目标所在区域;将文章方法用于DroneVehicl航拍数据集实验,每秒平均帧数达到47.08 fps,检测精度为94%,并且表现出较高的召回率和F统计量,可达到实时检测与识别效果。     

动态云台摄像机无人机检测与跟踪算法

为应对小型无人机的黑飞、滥飞对个人隐私、公共安全造成的威胁,本文采用高清云台摄像机定点巡航的方式对近地动态复杂背景中的无人机进行检测与跟踪,并提出了一种适用于动态云台摄像机的闭环无人机检测与跟踪算法,包含检测与跟踪两种模式。在检测模式下,本文设计了一种基于运动背景补偿的运动目标检测算法来提取分类候选区域,然后利用基于神经网络结构搜索得到的轻量级卷积神经网络对候选区域进行分类识别,可在不缩小高清视频图像的条件下实现无人机检测;在跟踪模式下,本文提出了一种结合卡尔曼滤波的局部搜索区域重定位策略改进了核相关滤波跟踪算法,使之在高清云台伺服追踪过程中仍能对目标进行快速稳定的跟踪;为将检测模式与跟踪模式结合在闭环框架中,本文还提出了一种基于检测概率和跟踪响应图状态的自适应检测与跟踪切换机制。实验表明,本文算法可应用于定点巡航状态的高清云台摄像机,实现近地复杂动态背景中无人机的实时准确检测、识别与快速跟踪。     

Probability hypothesis density filter based on strong tracking MIE for multiple maneuvering target tracking

Taking into account the difficulties of multiple maneuvering target tracking due to the unknown target number and the uncertain acceleration, a novel multiple maneuvering target tracking algorithm based on the Probability Hypothesis Density (PHD) filter and Modified Input Estimation (MIE) technique is proposed in this paper. First, the unknown acceleration vector is added to the target state to form a new augmented state vector. Then, strong tracking filter multiple fading factors are introduced to the MIE method which can adjust the prediction covariance and the corresponding filter gain at different rates in real time, so that the MIE method can adaptively track high maneuvering targets well. Finally, we combine this adaptive MIE method with the PHD filter, which can effectively track multiple maneuvering targets without much prior information. Simulation results show that the proposed algorithm has a higher tracking precision and a better real-time performance than the conventional maneuvering target tracking algorithms.     

复杂背景下的快速机动目标跟踪算法

为了解决复杂背景及大视野场景下跟踪机动目标易丢失和跟踪精度低的难题,提出了一种复杂背景下的快速机动目标检测与跟踪算法.利用帧间差分算法提取图像中的机动目标,在初始帧建立机动目标的颜色直方图模型,将后续输入图像的像素值转化为直方图分布下的概率值;根据与目标模型的相似度,将每个候选区域的像素值作为密度;利用自适应均值漂移算法寻找机动目标的真实位置;利用卡尔曼滤波预测目标位置.实验结果表明:算法能够准确地在复杂背景和大视野场景下快速检测并跟踪机动目标.     

基于多尺度建议框的目标跟踪误差修正方法

随着深度学习技术引入视觉目标跟踪领域,目标跟踪算法的精度和鲁棒性有了很大的提高。但在低空无人机跟踪目标的实际场景中,情况比较复杂,如相机的抖动、大量的遮挡、视角和焦距的改变等,使得跟踪算法的准确性受到极大挑战。目前的算法大多建立在目标外观变化缓慢的前提假设下,在跟踪的过程中不具备检测和修复漂移（跟踪误差）的能力。针对该问题,提出了一种基于多尺度建议框的目标跟踪误差修正方法。离线阶段,利用大量的已标注的目标样本训练基于多尺度建议框的目标跟踪修正模型,获取不同类别目标的先验知识。在线阶段在核相关滤波跟踪的基础上,依据相关响应置信度自适应评价的结果,通过目标跟踪修正模型不定期重新初始化目标的位置,避免了因为误差累积而导致跟踪失败。算法在无人机航拍数据集上进行了测试,结果表明,该跟踪算法在目标发生较大形变的情况下能较好的修正跟踪漂移问题。相比于其他几种算法,目标跟踪的成功率和精度分别提高了14.3%和3.1%。     

基于改进TLD算法的无人机自主精准降落

四旋翼无人机（Unmanned Aerial Vehicle,UAV）在航拍、测绘、环境监测、快递等航空领域的广泛应用,对四旋翼无人机的可用性和可靠性提出了更高的要求,而其实现自主精准降落的功能是必不可少的。对目标进行快速鲁棒性跟踪是实现降落的重要基础,TLD（Tracking Learning Detector）算法为这一问题提供了一种有效的解决办法,虽然许多学者对其进行了研究并对传统的TLD算法进行了改进,但算法的跟踪精度及速度仍然难以满足无人机的降落要求。提出了一种基于TLD框架的目标跟踪算法来实现无人机与特定降落目标之间的相对定位。该算法在TLD框架下,提出一种基于目标形状特征自主确定降落目标的算法,提高了降落流程的自主性;用核相关滤波器（Kernelized Correlation Filter,KCF） 实现了TLD框架中的跟踪器,提高了算法的实时性、精准度及鲁棒性;同时在降落过程中采用一种基于方向梯度直方图特征（Histogram of Gradient,HOG）和支持向量机（Support Vector Machine,SVM） 的目标识别方法,以实现目标检测自矫正,保证长时间准确跟踪目标。在七类模拟无人机进行降落的视频集下验证了该算法,与其他三种跟踪算法进行对比,并进行实际降落测试。测试结果表明,该算法的鲁棒性和精准度均优于其他算法,处理速度可达到31.47?f/s,故而在TLD框架下采用核相关滤波器作为跟踪器,对跟踪及检测结果进行有效融合并提高算法实时性的同时,增加的检测自矫正环节保证了长时间跟踪的准确度,从而有效地实现了无人机全自主精准降落。     

基于改进PP-YOLO和Deep-SORT的多无人机实时跟踪算法

无人机（UAV）目标尺寸较小,多架无人机之间特征也不明显,且鸟类和飞虫的干扰给无人机目标的准确检测和稳定跟踪带来了巨大挑战。针对传统目标检测算法对小目标无人机检测性能差、跟踪不稳定的问题,提出一种基于改进PP-YOLO和Deep-SORT的多无人机实时跟踪算法。首先,将压缩-激励模块融入PP-YOLO检测算法中,以实现对无人机目标的特征提取和检测;其次,在ResNet50-vd结构中引入Mish激活函数,以解决反向传播过程中的梯度消失问题,并进一步提升检测精度;然后,采用Deep-SORT算法来实时跟踪无人机目标,并将提取外观特征的主干网络更换为ResNet50,从而改善原有网络对微小外观感知能力弱的状况;最后,引入损失函数Margin Loss,既提高了类别可分性,又加强了类内紧度和类间差异。实验结果表明,所提算法的检测平均精度均值（mAP）相比原始PP-YOLO算法提升了2.27个百分点,跟踪准确性相对于原始Deep-SORT算法提升了4.5个百分点。所提算法的跟踪准确性可达91.6%,能够实时跟踪600 m以内多架无人机目标,有效解决了跟踪过程中的“丢帧”问题。     

强跟踪输入估计概率假设密度多机动目标跟踪算法

针对多机动目标跟踪中,目标数目未知及加速度不确定的问题,提出一种强跟踪输入估计（modifiedinputestimation,MIE）概率假设密度多机动目标跟踪算法．在详细分析算法的基础上,通过引入强跟踪多重渐消因子,以不同速率实时调节滤波器各个通道的预测协方差及相应的滤波器增益,从而实现MIE算法对加速度未知或发生人幅度突变的机动目标白适应跟踪能力;并将该算法与概率假设密度滤波算法有效结合,町以较好地跟踪未知数目的多机动目标．仿真结果表明,新算法比传统的多机动目标跟踪算法具有更岛的跟踪精度,且具有较好的实时性．     

基于MMPHDF的多机动目标联合检测、跟踪与分类算法

针对场景中存在新目标出现、旧目标消失(即目标数目变化)和密集杂波的复杂情形,利用多模型概率假设密度滤波器(MMPHDF)在多机动目标联合检测与跟踪上的优势,加入类别辅助信息,提出了一种多机动目标联合检测、跟踪与分类算法.该算法的基本思想是在MMPHDF中用属性向量扩展单目标状态向量,用位置和属性的组合测量似然函数代替单目标位置及杂波位置测量似然函数,提高了不同类目标与杂波测量间的鉴别能力,从而改善了目标数目及状态的估计精度;在更新目标状态后,对目标属性信息进行更新,更为精确的目标数目及状态估计又保证了目标分类性能.本文给出了该算法的粒子实现方法.仿真结果验证了上述结论.     

An efficient online citrus counting system for large-scale unstructured orchards based on the unmanned aerial vehicle

The accurate detection and counting of fruits in natural environments are key steps for the early yield estimation of orchards and the realization of smart orchard production management. However, existing citrus counting algorithms have two primary limitations: the performance of counting algorithms needs to be improved, and their system operation efficiency is low in practical applications. Therefore, in this paper, we propose a novel end-to-end orchard fruit counting pipeline that can be used by multiple unmanned aerial vehicles (UAVs) in parallel to help overcome the above problems. First, to obtain on-board camera images online, an innovative UAV live broadcast platform was developed for the orchard scene. Second, for this challenging specific scene, a detection network named Citrus-YOLO was designed to detect fruits in the video stream in real-time. Then, the DeepSort algorithm was used to assign a specific ID to each citrus fruit in the online UAV scene and track the fruits across video frames. Finally, a nonuniform distributed counter was proposed to correct the fruit count during the tracking process, and this can significantly reduce the counting errors caused by tracking failure. This is the first work to realize online and end-to-end counting in a field orchard environment. The experimental results show that the F1 score and mean absolute percentage error of the method are 89.07% and 12.75%, respectively, indicating that the system can quickly and accurately achieve fruit counting in large-scale unstructured citrus orchards. Although our work is discussed in the context of fruit counting, it can be extended to the detection, tracking and counting of a variety of other objects of interest in UAV application scenarios