Development of a vision-based ground target detection and tracking system for a small unmanned helicopter

It is undoubted that the latest trend in the unmanned aerial vehicles (UAVs) community is towards visionbased unmanned small-scale helicopter, utilizing the maneuvering capabilities of the helicopter and the rich information of visual sensors, in order to arrive at a versatile platform for a variety of applications such as navigation, surveillance, tracking, etc. In this paper, we present the development of a visionbased ground target detection and tracking system for a small UAV helicopter. More specifically, we propose a real-time vision algorithm, based on moment invariants and two-stage pattern recognition, to achieve automatic ground target detection. In the proposed algorithm, the key geometry features of the target are extracted to detect and identify the target. Simultaneously, a Kalman filter is used to estimate and predict the position of the target, referred to as dynamic features, based on its motion model. These dynamic features are then combined with geometry features to identify the target in the second-stage of pattern recognition, when geometry features of the target change significantly due to noise and disturbance in the environment. Once the target is identified, an automatic control scheme is utilized to control the pan/tilt visual mechanism mounted on the helicopter such that the identified target is to be tracked at the center of the captured images. Experimental results based on images captured by the small-scale unmanned helicopter, SheLion, in actual flight tests demonstrate the effectiveness and robustness of the overall system.     

基于MPC的四旋翼无人机航迹跟踪控制系统

目前研究的四旋翼无人机航迹跟踪控制系统跟踪过程不稳定,导致跟踪结果不准确;为此基于MPC设计了一种新的四旋翼无人机航迹跟踪控制系统.通过空中飞行控制器、地面控制器和人工干预器实现了无人机航线的跟踪控制;空中飞行控制器包括GPS导航定位模块、姿态评估模块(MTI)、飞行控制系统计算机,显示模块等;地面控制器探测周围飞行环境,规避障碍物、规划安全航线,传输至空中自主飞行控制系统,包括无线通讯的数据连接电路和地面终端控制模块;人工干预模块能对飞行过程中发生的意外情况进行人工干预以避免突发情况造成危险;以VS2010为开发环境,利用C++软件设计软件流程;利用MPC多变量控制策略,以最优动态轨迹为控制目标,获取无人机的实时飞行状况,设定航线规划流程,实行航线动态规划;实验结果表明,所设计的无人机航迹跟踪控制系统稳定性较好,跟踪控制结果与预期的跟踪控制曲线重合度更高,平均误差控制在1 cm以内.     

面向无人机的视觉目标跟踪算法：综述与展望

近年来,无人机因其小巧灵活、智能自主等特点被广泛应用于民用和军事等领域中,特别是搜索侦察过程中首要的目标跟踪任务。无人机视觉目标跟踪场景的复杂性和运动目标的多变性,使得目标特征提取及模型建立困难,对目标跟踪性能带来巨大的挑战。本文首先介绍了无人机视觉目标跟踪的研究现状,梳理了经典和最新的目标跟踪算法,特别是基于相关滤波的跟踪算法和基于深度学习的跟踪算法,并对比了不同算法的优缺点。其次,归纳了常用的目标跟踪数据集和性能评价指标。最后,展望了无人机视觉目标跟踪算法的未来发展趋势。     

考虑无人机飞行时间的能耗与数据量联合优化

在无线传感网络中运用无人机(unmanned aerial vehicle,UAV)通信进行数据采集是一项有价值的技术.针对UAV在有限时间内的数据采集任务,提出了一种考虑系统数据量、节点传输能耗和UAV飞行能耗的联合优化方案.该方案的决策空间包括UAV轨迹与传输调度,复杂度较高.由于联合优化是NP难问题,基于决策空间降维,将优化过程分为初始轨迹优化和二次轨迹优化两步.针对初始轨迹优化,提出基于贪心算法和禁忌搜索算法的优化方案,实现节点选择并得到UAV初始轨迹;针对二次轨迹优化,运用离散化方法转换原问题,采用逐次凸逼近算法进行优化,得到其有效次优解.仿真结果表明,所提优化方案能够在满足时间约束的前提下,提高UAV采集的数据量,并降低UAV和节点的能耗.     

基于无人机图像的高速公路积水预警系统设计

雨后微干的路面往往容易让机动车驾驶员忽视路面的安全隐患。雨后高速公路路面形成区域性积水后,当高速行驶的车轮与积水区域相接触时,容易产生滑水现象,导致汽车失去部分或全部操纵性,这时极易导致交通事故的发生。针对此类情况设计了一套基于无人机图像的高速公路积水预警系统,该系统由图像采集、积水识别和积水预警三部分组成。利用无人机的机动灵活、覆盖面广和无线传输的特性对高速公路路面情况进行采集,并将其位置信息和路面图像实时传回远端服务器进行处理。通过图像灰度化、图像二值化、形态学运算、消除小面积区域等操作提取出传回图像中潜在的积水区域,然后根据计算出的潜在积水区域相应的形状特征参数判断其是否为积水区域。当远端服务器确认无人机传回的图像中存在积水区域后,通过电子地图、短信提醒、高速公路显示屏等多种方式将积水区域的位置和面积等预警信息告知机动车驾驶员,从而减少此类交通事故发生。     

面向搜索跟踪任务的小型无人机云台补偿控制

在地面目标搜索任务中,无人机与传感器设备的安装交联和无人机的六自由度运动会使得无人机探测路径与飞行路径之间产生差异．因此,针对耦合作用给搜索任务带来的消极影响,将无人机本体的姿态测量信息引入到对云台的控制中,保证飞行路径与探测路径的协调．同时,针对目标跟踪任务,对因为无人机与目标的相对位置变化对实时捕捉目标造成的不良影响进行补偿,使摄像机对目标的凝视更稳定、更准确．最后,通过仿真实验验证该云台控制方法的有效性．     

一种基于虚拟力的无人机路径跟踪控制方法

提出一种基于虚拟力的无人机路径跟踪控制方法．通过设计虚拟向心力、虚拟弹簧力和虚拟阻力计算期望的转向速率．其中虚拟向心力可以补偿参考路径曲率,虚拟弹簧力使无人机收敛到参考路径上,虚拟阻力能够在收敛过程中防止震荡的产生．该方法不仅可以跟踪直线和圆形路径,还可以精确跟踪变曲率曲线．在跟踪直线时,该方法等价于比例—微分控制;跟踪圆形或变曲率曲线时,等价于反馈线性化方法．论文分析了该方法的稳定性和收敛性,考虑了输入约束对该方法跟踪性能的影响．利用虚拟力控制无人机,使控制参数具有明确的物理意义,从而使参数在实际应用中容易整定．仿真结果证明该方法是有效的,且跟踪性能优于 NLGL（非线性导航逻辑）方法．     

基于无迹卡尔曼滤波的无人机毫米波波束跟踪算法

针对无人机收发端相对运动导致毫米波窄波束无法实时匹配这一问题,提出一种基于无迹卡尔曼滤波的三维波束跟踪方法。该方法首先将波束的俯仰角和方位角作为系统状态向量,对其进行无迹变换,获得采样点集。而后,根据采样点集计算出状态预测值和测量预测值,并以此为基础,根据计算出的卡尔曼增益更新状态向量,获得状态向量的最优估计值。仿真结果表明,此方法满足了无人机实时波束跟踪需求,有效地提高了三维环境下毫米波窄波束的跟踪精度。     

无人机毫米波信道建模进展和挑战

无人机毫米波通信技术结合无人机和毫米波的优势,提供高速数据传输和广域网络覆盖能力,在军用通信系统中拥有广阔的应用前景。精确的信道模型是无人机毫米波系统设计和性能评估的重要理论基础。不同于传统移动通信场景,无人机通信信道具有明显的三维传播特征,构建模型需要考虑包括三维散射空间、三维飞行轨迹及姿态、三维阵列天线和三维窄波束等多种因素。本文首先总结了无人机毫米波信道建模的新需求和挑战,并详细阐述了无线信道建模方法以及现有信道模型的研究进展,最后给出了信道建模的发展方向及关键技术,旨在为无人机毫米波信道模型的科学构建和标准化等研究提供参考。     

基于模型的无人机平台管理系统自动测试研究

为实现某无人机平台管理系统的功能逻辑测试,开发了一套通用化的测试设备和测试用例编辑工具;通过总结被控系统的静态及动态特征,用编辑工具生成的测试用例模拟了各系统,建立了系统模型;测试过程中,测试设备的激励信号按条件或时序自动发送,测试用例与平台管理系统完全自主交互,实现了平台管理系统功能逻辑的自动测试;该自动测试方法可以将现有的多个测试用例组合,方便地编辑复杂自动测试用例;通过复杂的测试用例实现了多通道并行自动测试、多被控系统的全任务流程自动测试;该自动测试方法减轻了测试人员负担,使得测试效率提高了4倍,节省了约80%的测试时间。     

Commercial Speech Recognition Technology in the Military Domain: Results of Two Recent Research Efforts

While speech recognition technology has long held the potential for improving the effectiveness of military operations, it has only been within the last several years that speech systems have enabled the realization of that potential. Commercial speech recognition technology developments aimed at improving robustness for automotive and cellular phone applications have capabilities that can be exploited in various military systems. This paper discusses the results of two research efforts directed toward applying commercial-off-the-shelf speech recognition technology in the military domain. The first effort discussed is the development and evaluation of a speech recognition interface to the Theater Air Planning system responsible for the generation of air tasking orders in a military Air Operations Center. The second effort examined the utility of speech versus conventional manual input for tasks performed by operators in an unmanned aerial vehicle control station simulator. Both efforts clearly demonstrate the military benefits obtainable from the proper application of speech technology.     

无人机遮挡目标检测与协同跟踪方法

无人机常因受低空复杂环境中的障碍物遮挡而导致所跟踪的目标丢失。分析其原因：一是在感知阶段,目标被遮挡导致无人机无法准确识别;二是在跟踪阶段,单一无人机的视野范围有限且观察角度无法快速调整。为实现高效稳定的目标跟踪,本文首先针对遮挡目标检测,提出了一种轻量化的基于Transformer网络的目标跟踪方法,该方法摒弃传统Transformer中冗余的解码器结构,构建纯编码器视觉模型,实现了对遮挡目标的实时跟踪;其次针对目标的跟踪控制,采用多无人机协同跟踪方法,通过动态规划多无人机的轨迹实现对目标的多角度观测。固定视角下遮挡目标检测仿真试验结果显示：提出的目标检测方法可稳定检测遮挡率超过90%的目标;与实时性好的DiMP18、E.T.Tracker算法在数据集实验和仿真试验中比较发现,所提出的算法刷新率约为其他算法的2倍,准确率相差不大。通过低空室外密集丛林飞行试验验证了本文方法能够在机载端实时检测并稳定跟踪目标。另外,在多障碍物环境下的仿真及飞行试验中,采用所提出的多无人机协同跟踪算法控制3架无人机动态地覆盖目标周围的可视区域,获得了相比单无人机更优的跟踪稳定性。本文提出的多无人机协同目标检测、定位与跟踪控制一体化框架适用于低空、多障碍物环境,该框架解决了因目标遮挡而引发的检测失效和跟踪丢失问题,并在实时性和跟踪稳定性方面均表现出显著的优越性。     

基于孪生网络的高效无人机目标跟踪

在视觉跟踪领域, 大多数基于深度学习的跟踪器过分地强调精度, 而忽视了算法速度. 因此, 这些算法在移动平台上的部署(无人机), 受到了阻碍. 在本文中, 提出了一种基于Siamese的深度交叉指导跟踪器(SiamDCG). 为了更好地在边缘计算设备上部署, 在MobileNetV3-small的基础上设计了独特的backbone结构. 此外, 针对无人机场景的复杂性, 传统使用狄拉克 δ分布预测目标框的方式有很大的弊端, 为了克服边界框存在的模糊效应, SiamDCG将回归框分支转为预测偏移量的分布, 并且用学习到的分布去指导分类的准确性. 在多个无人机benchmark上的优秀表现, 都显示了其鲁棒性与高效性. 在Intel i5 12代CPU上, SiamDCG运行速度是SiamRPN++的167倍, 使用的参数仅为它的1/98, FLOPs是1/410 .     

无人机遥感发展与应用概况

在阐述无人机发展历程基础上,论述了无人机在遥感领域的应用理论发展以及在气象监测、资源调查、航拍测量和应对突发事件等方面的应用,归纳了目前无人机遥感研究存在的问题,展望了今后无人机遥感研究的热点和重点。     

基于IMPSiamCAR孪生网络无人机目标跟踪算法

针对无人机进行目标跟踪时,目标存在尺度变化大、易受遮挡、相似物干扰等问题,在SiamCAR的基础上提出IMPSiamCAR算法。该算法使用改进的ResNet50网络提取目标特征,引入通道注意力机制使模型学习不同通道的语义信息,按特征的重要程度为通道分配不同的权重,使算法能更加关注存在跟踪目标的区域;再将融合后的目标特征送入区域回归网络进行正负样本分类、中心度计算及边界框回归;最后得到每一帧中目标的位置。在UAV123数据集与OTB100数据集上测试的实验结果表明,提出的算法与对比算法相比,有更高的跟踪精度与成功率,能较好地应对遮挡、相似物干扰、尺度变化等挑战;并且在VOT2018和UAV123数据集上进行实时性测试的结果表明,所提算法可以满足无人机实时性的要求。