小型无人机地面目标跟踪系统机载云台自适应跟踪控制

本文针对小型无人机地面目标跟踪系统,提出了一种机载云台自适应跟踪控制算法.该算法在摄像机外参数未知的情况下,利用图像信息和机载传感器得到的无人机状态进行反馈,最终实现了对云台摄像机姿态的控制,使得无人机在跟踪目标飞行过程中,地面目标可以始终保持在摄像机的图像中心.为此,论文首先通过分析无人机、目标和摄像机三者的相对位姿关系,建立了目标点在图像平面的运动学模型.在此基础上,基于李雅普诺夫稳定性理论设计了自适应控制算法.理论分析与仿真结果表明本文所设计的摄像机姿态控制器在摄像机外参数未知的情况下,可以使被跟踪目标始终保持在图像中心.     

基于深度学习的多旋翼无人机单目视觉目标定位追踪方法

针对无人机对目标的识别定位与跟踪,本文提出了一种基于深度学习的多旋翼无人机单目视觉目标识别跟踪方法,解决了传统的基于双目摄像机成本过高以及在复杂环境下识别准确率较低的问题。该方法基于深度学习卷积神经网络的目标检测算法,使用该算法对目标进行模型训练,将训练好的模型加载到搭载ROS的机载电脑。机载电脑外接单目摄像机,单目摄像头检测目标后,自动检测出目标在图像中的位置,通过采用一种基于坐标求差的优化算法进行目标位置准确获取,然后将目标位置信息转化为控制无人机飞行的期望速度和高度发送给飞控板,飞控板接收到机载电脑发送的跟踪指令,实现对目标物体的跟踪。试验结果验证了该方法可以很好的进行目标识别并实现目标追踪     

基于摄像机运动控制的运动目标检测与跟踪算法研究

本文提出基于摄像机运动控制的运动目标的一种检测与跟踪算法。首先预设多幅参考背景图像差分方法检测运动目标区域,然后采用投影法快速确定运动目标体的位置及移动方向,来控制摄像机转动预设角度跟踪移动目标。该方法实现了将运动目标跟踪置于画面的最佳观测位置,针对大多数摄像机位置固定的场所,该法具有较大的广泛适用性。     

基于视觉目标跟踪的PTZ控制方法

针对目前基于主动视觉的PTZ摄像机控制跟踪性能差,无法连续、实时跟踪动态目标,且跟踪目标的准确度低下等缺陷,提出了一种基于核相关视觉目标跟踪算法的云台摄像机控制方法。首先设计了云台摄像机系统的整体架构。视觉目标跟踪采用核相关目标跟踪方法,时效性很高,跟踪精确度也位列于目标跟踪领域的高等水平。根据跟踪结果信息,通过PELCO-D协议控制PTZ摄像机,始终保持目标在视频画面内。并用C++实现了KCF算法控制PTZ摄像机上位机,实验验证了该种PTZ控制方法的准确性、适用性及稳定性。     

一种基于直方图模式的运动目标实时跟踪算法

动态图像的分析和理解是当前研究的热点之一,基于视觉的目标跟踪技术有着广泛的实用价值。目标跟踪的难点在于完成帧与帧之间的快速且稳定的目标匹配。该文给出了一种运动目标的跟踪算法,它与云台设备控制相结合,可使被跟踪目标始终位于图像的中心区域。直方图具有较好稳定性,可以不受目标的外形和比例变化的影响;而均值平移(MeanShift)算法可以得到局部最优解,并具有快速和有效的特点。因此,该文以直方图为模式特征,以均值平移算法为跟踪核心算法。对候选目标进行运动检验,过滤了伪目标,保证了跟踪的可靠性。在搜索过程中,通过Kalman滤波器的运动预测,减少模式匹配的搜索范围,提高了处理速度。最后,该文给出了实地测试结果,验证了跟踪算法的实用性和有效性。     

动态复杂背景下的智能视频监控系统设计与实现

采用二重对称帧间差分目标检测算法和基于压缩感知的目标跟踪算法,设计并实现了一种可适应动态复杂背景下的智能视频监控系统;基于目标检测该系统能提取本地视频文件中局部运动目标并进行视频压缩,减少回放、查看视频时间,可实时播放并处理本地或网络摄像头数据,也可根据光照变化动态调整二值化阀值,实现实时区域入侵检测与报警;基于目标跟踪本系统能在动态背景下对选定目标进行跟踪,可通过客户端手动控制监控云台跟踪,也可对入侵目标实现云台自主大角度追踪;实验表明,此系统能在日常复杂环境下对运动目标准确检测和大角度跟踪,在智能家居和移动安防领域有很好的实用性。     

基于TMS320DM642的实时运动目标检测与跟踪系统

CAMShift算法凭借其良好的实时性和鲁棒性而计算量小,在目标跟踪邻域占有重要地位;而单纯的CAMShift是一种需要人预先对目标进行识别和判断以获得目标颜色模式的半自动跟踪器;文章采取帧差法和CAMShift算法相结合的方法,设计了一种自动的运动目标检测与跟踪系统;该系统首先用时间连续的三帧双差分对运动目标的识别和提取,自动地选取搜索窗;再通过CAMShift算法计算目标的精确位置并调整搜索窗口大小;最后通过串口发送云台控制信息,驱动云台运动使目标始终保持在视场之内;在以DM642为核心的硬件平台上,实现了系统的软件算法;实验表明在对比度较高时,无人为干预的情况下,系统能有效、实时地跟踪目标。     

室内人体运动目标的自动跟踪方法

针对人体运动目标的自动实时跟踪,设计一种新的基于P89v51内核的运动摄像头云台控制系统.对人体运动的图像检测与跟踪,提出一种快速的模板匹配方法.用改进Surendra算法自适应地获取背景图像以提取匹配模板,通过摄像头运动前后帧相同的运动区域来缩小匹配区域,进行快速目标匹配,达到实时性要求.该系统已应用在视频教学及会议中,实现自动人体运动目标跟踪与摄像.     

基于随机Hough变换的道路边界识别算法研究

道路边界识别是基于机器视觉的智能车辆关键技术之一,提出了一种基于直线道路模型的道路边界识别和跟踪算法,该算法包括道路边界初始识别算法和跟踪算法两部分。在初始道路边界识别阶段,对预处理后的图像进行逐行搜索道路边界候选点,并结合相关的道路约束条件,采用Hough变换对候选边界点进行拟合,以提高鲁棒性。该方法的创新点是在道路跟踪算法中,建立目标搜索区域（OSA）,OSA的宽度根据道路边界识别的拟合可信度的变换进行动态调整,并采用随机Hough变换的算法对OSA中的边界点进行拟合,这样显著减少了运算时间和存储空间。试验结果表明,该方法不仅满足道路边界识别的实时性要求,还具有较好的鲁棒性。     

基于分块运动估计的对象跟踪方法

针对摄像机运动和场景光照突变的情况,提出了一种基于分块运动估计的对象跟踪算法。首先,对图像进行分块角点匹配,得到各块运动参数,然后对各块进行分块运动补偿和光照补偿;对补偿后的图像进行相邻帧差分得到目标的近似质心位置;跟踪过程则融合运动目标加权颜色直方图和梯度直方图作为目标特征,以所得质心为初始搜索点,采用螺旋搜索算法,进行目标模板和候选目标相似性检测,搜索最佳匹配点得到目标对象在当前帧的准确位置。实验结果表明,该算法能够有效克服光照剧烈变化,在动态背景下能达到对对象的准确跟踪。     

基于光照自适应动态一致性的无人机目标跟踪

无人机跟踪任务经常面临各种光线变化场景,然而无人机跟踪方法主要在光线充足下实现鲁棒跟踪。提出一种具有光照自适应性和跨帧语义感知动态一致性评估的无人机跟踪方法,实现光线不足下的无人机目标跟踪。首先构建光照自适应模块对昏暗场景进行识别,对视频图像的光照强度进行补偿;其次构建目标模板训练具有目标感知能力的滤波器进行相关运算,并利用跨帧之间的响应信息进行一致性评估;最后构建动态约束策略并对响应差异进行约束,使跟踪器保持时间平滑。在UAVDark135和UAV123数据集上,与9种先进算法进行对比实验,结果表明该算法具有较好的跟踪性能。     

无人机多机动目标自主探测与跟踪

无人机机载相机图像中机动目标尺寸较小而且会发生显著变化,加上大量的背景噪声干扰,给目标探测和跟踪带来很大困难.针对这些问题,本文提出了一种在无人机机载相机图像序列中自主探测与跟踪多个机动目标的方法.首先,提取目标的图像数字特征并采用级联分类算法进行特征分类,得到目标的强分类器,对目标进行自主探测搜索.然后,基于全局最优关联算法对探测回波进行关联滤波,实现对多个机动目标的跟踪与识别,其中最优关联代价矩阵融合了距离和方向信息,提高了关联和跟踪的鲁棒性.将无人机航拍图像序列中的地面坦克作为目标进行实验,结果表明本文算法可以实现对多个机动目标的自主探测和跟踪,并具有较好的跟踪鲁棒性.     

一种面向无人机视频的多尺度摘要的设计与实现

无人机视频是利用无人机航拍得到的一类重要的视频资源,被广泛运用于地面目 标的监测。但是,无人机视频的视野辽阔、不具有目标针对性的拍摄特点,使其存在大量时空 冗余,传统的视频交互手段显得十分低效。为此,提出了一种面向无人机视频的多尺度螺旋摘 要。首先,基于 YOLOv3 算法,训练能检测无人机视角的行人、车辆等目标的模型。然后,提 出了基于关键帧的视频目标检测算法,根据改进后的基于颜色特征的关键帧提取算法提取涵盖 视频关键信息的关键帧,并将检测模型应用于关键帧,高效获取整个视频的目标检测结果。之 后,从关键帧中提取相应的关键区域,作为摘要的呈现单元,并以螺旋的形式从内向外地将摘 要单元逐一呈现,辅以基于关键帧的视频定位和尺度缩放功能。最后,开发了草图注释、目标 分布螺旋、双螺旋播放等新颖的交互工具,满足用户的潜在需求,共同实现面向无人机视频的 高效交互。     

多特征重检测的相关滤波无人机视觉跟踪

无人机视觉跟踪是视觉跟踪未来应用的核心领域,其由于跟踪目标像幅较小、表 观不清且易受到无人机飞行姿态多变、飞行稳定性差等因素的影响而难以对目标进行鲁棒的跟 踪,特别是发生跟踪遮挡时,算法跟踪漂移后无法进行模型的更新。为提高无人机视频的跟踪 效果,提出一种多特征重检测跟踪方法。首先采用多特征融合的方式提高跟踪算法在无人机跟 踪特征的判别性。其次目标在出现遮挡时,扩大搜索区域,采用滑动窗口采样找到置信度最高 的目标区域并实现模型更新。通过一系列无人机视频实验结果表明,该算法在遇到遮挡问题时 具有较好的鲁棒性,能够提高无人机在目标跟踪过程中的准确性。     

A Catadioptric and Pan-Tilt-Zoom Camera Pair Object Tracking System for UAVs

Unmanned aerial vehicles (UAVs) are seeing widespread use in military, scientific, and civilian sectors in recent years. As the mission demands increase, these systems are becoming more complicated. Omnidirectional camera is a vision sensor that can captures 360° view in a single frame. In recent years omnidirectional camera usage has experienced a remarkable increase in many fields, where many innovative research has been done. Although, it is very promising, employment of omnidirectional cameras in UAVs is quite new. In this paper, an innovative sensory system is proposed, that has an omnidirectional imaging device and a pan tilt zoom (PTZ) camera. Such a system combines the advantages of both of the camera systems. The system can track any moving object within its 360° field of view and provide detailed images of it. The detection of the moving object has been accomplished by an adaptive background subtraction method implemented on the lowered resolution images of the catadioptric camera. A novel algorithm has also been developed to estimate the relative distance of the object with respect to the UAV, using tracking information of both of the cameras. The algorithms are implemented on an experimental system to validate the approach.     

强化学习的地-空异构多智能体协作覆盖研究

以无人机（unmanned aerial vehicle, UAV）和无人车（unmanned ground vehicle, UGV）的异构协作任务为背景,通过UAV和UGV的异构特性互补,为了扩展和改进异构多智能体的动态覆盖问题,提出了一种地-空异构多智能体协作覆盖模型。在覆盖过程中,UAV可以利用速度与观测范围的优势对UGV的行动进行指导;同时考虑智能体的局部观测性与不确定性,以分布式局部可观测马尔可夫（decentralized partially observable Markov decision processes,DEC-POMDPs）为模型搭建覆盖场景,并利用多智能体强化学习算法完成对环境的覆盖。仿真实验表明,UAV与 UGV间的协作加快了团队对环境的覆盖速度,同时强化学习算法也提高了覆盖模型的有效性。     

复杂环境下多无人机协作式地面移动目标跟踪

针对多无人机(UAV)协同地面移动目标跟踪问题展开研究.提出一种基于主动感知的问题求解框架,建立多UAV协同目标跟踪问题模型;在此基础上,采用分布式无色信息滤波实现目标状态融合估计与预测;然后,基于预测目标状态,结合滚动时域控制与遗传算法设计一种多UAV在线协同航迹规划算法.仿真结果表明:结合预测目标状态在线优化UAV...     

空地协同机器人目标定位方法

针对空地协同机器人中无人机对地面无人车的实时精准定位问题,提出一种红色双圆型定位标记及标记识别与定位方法。引入颜色分割与轮廓提取相结合的方式,减少提取到的轮廓特征数量,排除背景信息干扰以减少误识别;提出一种圆形轮廓快速检测算法,快速识别目标轮廓并准确定位目标像素坐标和方向;基于针孔相机成像模型,根据目标像素坐标和方向,估计出目标在机体坐标系下三维坐标和偏航角。实验结果表明,无人机与地面无人车相对高度1.5 m时,该方法在[x]轴和[y]轴方向定位误差分别为3.9 mm和3.6 mm,每帧图像平均处理耗时为11.6 ms,优于基于核相关滤波的识别定位方法的13.3 mm、14.3 mm和56.3 ms。该方法与无人机控制相结合,可以实现无人机协同跟踪与自主降落功能,提升空地协同机器人作业效率,具有显著的工程意义。     

An efficient online citrus counting system for large-scale unstructured orchards based on the unmanned aerial vehicle

The accurate detection and counting of fruits in natural environments are key steps for the early yield estimation of orchards and the realization of smart orchard production management. However, existing citrus counting algorithms have two primary limitations: the performance of counting algorithms needs to be improved, and their system operation efficiency is low in practical applications. Therefore, in this paper, we propose a novel end-to-end orchard fruit counting pipeline that can be used by multiple unmanned aerial vehicles (UAVs) in parallel to help overcome the above problems. First, to obtain on-board camera images online, an innovative UAV live broadcast platform was developed for the orchard scene. Second, for this challenging specific scene, a detection network named Citrus-YOLO was designed to detect fruits in the video stream in real-time. Then, the DeepSort algorithm was used to assign a specific ID to each citrus fruit in the online UAV scene and track the fruits across video frames. Finally, a nonuniform distributed counter was proposed to correct the fruit count during the tracking process, and this can significantly reduce the counting errors caused by tracking failure. This is the first work to realize online and end-to-end counting in a field orchard environment. The experimental results show that the F1 score and mean absolute percentage error of the method are 89.07% and 12.75%, respectively, indicating that the system can quickly and accurately achieve fruit counting in large-scale unstructured citrus orchards. Although our work is discussed in the context of fruit counting, it can be extended to the detection, tracking and counting of a variety of other objects of interest in UAV application scenarios