无人机基于视觉自主着陆的跑道识别跟踪

跑道检测识别与跟踪是基于视觉的无人机自主着陆的前提和难点,本文根据固定翼无人机基于视觉自主着陆的特点设计了包括跑道检测、跑道特征提取、跑道识别和跑道跟踪的方案,并在ARM Cortex-A9处理器中基于Linux系统使用OpenCV实现了该方案.最后按照逐步递进的方式分别对检测、检测识别、检测识别与跟踪结果进行了实验验证,并对实时性进行了分析.实验结果表明,通过该方案可以准确地识别图像中的跑道并具有较快的跟踪速度.     

激光与单目视觉融合的移动机器人运动目标跟踪

针对室内环境下的移动机器人运动目标跟踪问题,提出一种基于激光与单目视觉传感信息融合的机器人定位和目标运动估计方法.首先,利用激光传感信息实现对目标的检测,并完成机器人定位与环境建图;然后,设计一种基于单目视觉传感器的目标位置估计算法,获得目标的距离和角度信息;为了实现两类传感信息的有效融合,将激光与单目视觉进行联合标定,得到二者的相对位姿关系,基于此,将激光与单目视觉提取的目标距离和角度通过具有最优重要性函数和权重的粒子滤波器进行融合,实现对目标运动状态的准确估计.实验结果表明该方法具有良好的跟踪性能.     

无人机场景下尺度自适应的车辆跟踪算法

为解决传统相关滤波算法对无人机(UAV)拍摄视频中的车辆进行跟踪时,因目标车辆尺度变化而产生模型漂移的问题,提出了一种改进的尺度自适应的车辆跟踪算法.该算法基于核相关滤波,通过构建区分尺度的空间跟踪器,即利用两个滤波器分别对目标车辆的位置进行定位,对目标车辆的尺度进行估计,以此来快速确定目标相关信息,实现对目标车辆尺度的自适应.此外为解决目标车辆因快速形变而导致跟踪效果不佳的问题,还加入了对形变不太敏感的颜色特征,增加滤波器的鲁棒性,采用统计颜色特征方法,不受模板类特征限制.该改进算法在经过OTB和UAV数据集中28段车辆相关的视频序列测试后,平均距离精度为80.8％,平均成功率为82.7％,FPS达到了58.24.实验表明该算法可以提高在无人机场景下对车辆的检测跟踪效果,能够有效解决目标车辆因尺度变化和快速形变产生的问题,相比于其他核相关滤波算法有着更优秀的跟踪精度和实时性.     

一种基于Hausdorff距离的目标跟踪算法

序列图像中的运动目标跟踪是计算机视觉的一个重要组成部分,跟踪算法的鲁棒性和计算量是算法的关键.本文提出了一种基于Hausdorff距离的目标跟踪方法,该算法结合运动检测和多分辨率技术,极大减少了计算量,并利用有效的模板更新方法,加强了跟踪的鲁棒性.实验表明,该算法能实现快速有效的目标跟踪.     

基于颜色和形状信息的快速人数统计方法

人数统计一直以来都是计算机视觉和智能视频监控领域的重要研究内容;但是由于遮挡、阴影和光照变化使得构建一个实时、准确的人数统计算法变得异常困难;提出的结合颜色信息和形状信息的人数统计算法对人头进行检测和跟踪,有效地减小了行人遮挡对算法精度的影响;提取颜色信息在HSV空间中的V通道进行,大大降低了阴影和光照变化对统计精度的影响;算法首先使用颜色信息和形状信息实现快速人头检测,然后使用一种融合颜色、距离和形状信息的跟踪方法对人头进行跟踪,最后通过对跟踪轨迹分析,推断出人数.另外,快速模板匹配技术的使用,极大地减小了算法的运算复杂度;实验结果表明该算法可以快速、有效地实现对指定区域的人数统计.     

引入轻量级Transformer的无人机视觉跟踪

随着无人机在军事和民用领域的广泛运用,对于高精度、低功耗智能无人机跟踪系统的需求日益增加。针对目标跟踪算法在无人机跟踪场景下很难平衡跟踪精度和跟踪速度的问题,提出一种引入轻量级Transformer的孪生网络无人机目标跟踪算法SiamLT。使用Transformer对AlexNet网络进行改进,在增加最小计算量的情况下捕获全局特征信息。在目标模板与搜索区域匹配方面,联合Transformer和深度互相关运算提出一种二元相关模块,同时捕获目标模板与搜索区域之间的局部相关性和全局依赖关系。在分类回归网络中引入距离交并比,并采用多监督策略训练网络,以获取更准确的目标位置。在UAV123和UAV20L跟踪基准上的实验结果表明,SiamLT算法优于主流的目标跟踪算法,更有效地平衡了跟踪精度和跟踪速度。     

基于H分量检测的模板更新鲁棒分块跟踪方法

针对鲁棒分块跟踪方法不能进行模板更新的问题,提出一种基于H分量检测的模板更新方法。隔帧计算当前目标与目标模板的H直方图距离,通过检测该距离是否大于阈值来判定所采用的目标模板更新策略,若该距离大于阈值则采用固定加权目标模板,否则逐帧更新目标模板。将新方法在不同视频上进行仿真,实验结果表明该方法能提升鲁棒分块跟踪方法对光照变化的鲁棒性,同时能提高跟踪精度。     

融合光流检测与模板匹配的目标跟踪算法

针对传统的目标跟踪算法需要人工选择目标且不能较好地处理目标的尺度变化问题,提出融合光流检测与模板匹配的目标跟踪算法。首先通过结合光流信息与图像分割结果从视频中自动地检测和提取运动目标,实现基于检测的跟踪;当检测跟踪结果不可靠时,再利用模板匹配定位目标位置,实现基于匹配的跟踪;最后,通过自动更新模板,使得跟踪框能够自适应目标的尺度变化。实验结果表明该算法能够在自适应目标尺度变化的同时获得较为稳定的跟踪结果。与其他三种算法相比,所提方法在目标的自动检测提取与尺度自适应方面具有优势。     

融合摄像机位姿信息的模板匹配跟踪算法

针对图像制导目标跟踪系统在跟踪过程中,由于图像旋转、成像视角和目标尺度的变化带来的跟踪漂移问题,提出一种利用摄像机的位姿信息的匹配模板校正和更新方法。根据摄像机与目标的相对位姿信息,建立目标透视成像模型以及不同摄像机位姿情况下的模板校正方程;将校正方程分解为实时图像旋转和模板仿射变换两部分减小模板变换的误差;通过设计与相关系数和距离信息相关的模板更新策略达到适应跟踪系统逐渐接近目标过程中目标的变化。采用基于视景仿真软件Vega Prime产生的模拟飞行视频对算法进行了验证。实验表明所提算法能够适应图像制导跟踪系统在跟踪过程中目标尺度、成像视角以及图像旋转的变化,减小跟踪漂移。     

卫星视频中的单目标分割和跟踪

对于卫星视频图像中存在的目标与背景对比性低、缺乏目标特征信息等问题,提出一种结合目标运动信息、时空背景和外观模型的目标分割和跟踪方法.根据首帧定位得到目标区域,首先对目标使用方向梯度直方图方法提取特征利用核相关滤波器得到目标跟踪区域1;接着利用颜色空间特征建立目标与其周围区域上下文信息的空间模型得到目标跟踪区域2;然后利用视觉背景提取算法以像素为单位在目标区域上检测运动目标得到单目标的分割区域3;最后分别对3个区域进行相关计算得到最优区域作为最终目标跟踪位置和模板更新样本.实验结果表明,本文算法与KCF算法相比,跟踪的成功率和准确率有很大的提高,同时实现了单目标分割.     

一种地平线与跑道边缘线检测方法

在基于计算机视觉的无人机着陆系统中,利用地平线和跑道边缘线方程解算着陆参数是一种可行的方法。利用计算机视觉和图像处理技术研究了一种地平线和跑道边缘线提取方法,利用Canny算子对原始图像进行预处理,获取图像的边缘信息。提出了一种新的直线检测方法,并利用检测出的直线和图像像素坐标系横坐标的夹角确定地平线和跑道左、右边缘线。实验研究表明:该方法可以在不同的高度、不同亮度图像中有效地检测出地平线和跑道边缘线。     

带注意力机制的神经网络用于跑道线检测

为了提高无人机着陆的有效性，设计了一种带有注意力机制的神经网络算法（LineNet）实现无人机跑道线检测。根据无人机着陆场景仿真出样本数据，并利用标注工具对数据进行标注，使用Shuffle Conv模块缓解特征融合计算量的占用问题，并引入空洞空间金字塔池化注意力机制（ASPP-SA）,ASPP-SA模块中添加残差的跳跃结构获取更多的图像信息，对LineNet模型的检测结果做形态学处理并结合连通区域约束对跑道线特征点进行分类，对相同类别的特征点通过最小二乘法进行跑道线拟合。经仿真数据验证，设计的方法可以有效地检测和识别出正确的跑道线，其平均检测精度为94.36%，相较于LaneNet算法、SegNet算法分别提高了12.82和9.95个百分点，单帧检测时间17.2 ms，是CNN+Hough变化算法1.5倍左右，可以满足无人机着陆的响应时间需求，在无人机着陆的研究过程中有重要意义。     

基于计算机视觉/INS的无人机自主着陆组合导航研究

提出了一种基于单目视觉/INS组合导航的无人机自主着陆末端导航信息提取的新方法;它只需要检测跑道上的两个特征点再结合?导系统的姿态角信息,就可以直接解算出飞机相对于机场的位置矢量;由于直线具有明显的可观性,所以对于特征点较难提取的可以通过对两条跑道边缘线和一条着陆阈值线进行检测,然后取阈值线与跑道边缘线的交点作为特征点;依据成像的几何原理,对算法进行了详细的推导,最后通过着陆实验表明该方法的提取与转换是切实可行的。     

利用计算机视觉获取无人机飞行姿态角

计算机视觉辅助无人机自主着陆技术中,通过计算机视觉获得无人机相对于跑道的位置是很重要的。在利用图像处理技术获得跑道两条边缘线在摄像机像素坐标系下的直线方程后,提出了一种在给定无人机俯仰角的情况下获取无人机机体与跑道边缘线夹角的方法,介绍了一种利用N矢量计算摄像机外参数旋转参数的方法,和传统的方法相比,该方法在求解非线性方程组时非线性方程的数量大大减少,运算速度提高。最后提出了一种能够精确验证该算法的实验手段。实验表明:该方法算法简单、计算结果精确,完全符合无人机着陆系统对于参数的要求。     

基于视觉的夜间无人机导航特征的提取

在不借助外在设备和在普遍性假设的情况下，对基于视觉的无人机夜间自主着陆所需的跑道位置和方向特征提取进行了研究，降低了对外界信息和其他测量仪器的依赖性，增强了独立自主性，进一步降低了成本。对夜间机场跑道，其上的指示灯是反映其位置和方向的重要特征，这些指示灯具有明显的线性特征。通过对视频图像采用灰度形态学和邻域处理的方法进行处理，得到足够的特征点，将这些特征点所反映的跑道的边缘及中线，用Hough变换进行提取。对实际视频图像的实验证明了该方法的有效性。     

利用深度卷积特征的无人机视觉跟踪

由于无人机视觉跟踪视角范围广且环境复杂,常遇到无人机飞行震动、目标遮挡、相似目标等问题,导致无人机跟踪目标发生漂移.因此,对具有回归计算的全卷积孪生网络跟踪算法(SiamRPN)进行改进,提出一种加强深度特征相关性的无人机视觉跟踪算法(SiamDFT).首先,将全卷积神经网络后三层卷积的网络宽度提升一倍,充分利用目标的外观信息,完成对模板帧和检测帧的特征提取;其次,在检测帧和模板帧分别提出注意力信息融合模块和特征深度卷积模块,两个深度的特征相关性计算方法能够有效抑制背景信息,增强像素对之间的关联性,高效完成分类和回归任务;然后,采用深度互相关运算完成相似性计算,并引入距离交并比的计算方法完成对目标的定位.实验结果表明, SiamDFT在无人机短时跟踪场景下精确率和成功率分别达到79.8%和58.3%,在无人机长时跟踪场景下精确率和成功率分别达到73.4%和55.2%,实景测试结果充分验证了所提出算法的有效性.     

背景对齐差分的机场跑道异物分块检测与跟踪算法

针对机场跑道异物的无人自主检测与识别过程中存在的检测结果受环境影响大、小目标检测困难以及漏检率高等问题,提出基于背景差分的机场跑道异物分块检测与跟踪算法.首先利用速度辅助的位置信息线性插值,获取背景模板图像库与待检测图像序列最相关帧;然后将图像分为不同子块,利用各子块内图像纹理复杂度设置自适应权值,结合ORB算法进行特征点提取,将各子块特征点归一化至原始图像,并与背景模板库最相关帧对齐作差,获取异物检测结果;最后引入核相关滤波器对检测结果进行多目标跟踪,采用各子块局部跟踪算法降低运算时间,并对跟踪结果进行可靠性检验.在3种实验场景下,与5种主流检测算法的对比实验结果表明,与目前已有的基于图像的机场异物检测算法相比,在保证算法处理速度的基础上,该算法将异物整体错检率降低了70%以上,并在异物尺寸大于1cm×1cm的情况下,将整体漏检率降低至0,获得了较好的效果.     

无人机目标实时自适应跟踪系统

随着无人机(unmanned aerial vehicle,UAV)在航拍、空中侦察等相关领域被广泛应用,对于无人机的智能化需求逐渐提高.目标跟踪具有信息量大、实时性高等优点,能够为无人机的智能飞行提供大量且实时的外部信息.进行低开销、低功耗的无人机目标跟踪系统的研究,对无人机智能化进程的加速具有深远意义.为更好解决跟...     

基于改进YOLOv5s的四旋翼自主降落标识检测算法

无人机自主降落是无人机领域研究的热点之一,导航信息在自主降落过程中又起到至关重要的作用,而视觉导航相较于传统导航方式可以提供更多环境信息,有利于提高无人机着陆安全性。当无人机飞行高度越高,机载相机捕获到的降落标识物就越小,为了提升无人机识别标识物的能力,基于YOLOv5s算法提出了一种改进的无人机实时小目标检测算法。首先,为了检测到更小尺度的目标在原算法基础上新增一个检测头;然后采用BiFPN代替原先PANet结构,提升不同尺度的检测效果;最后将EIoU Loss替换CIoU Loss作为算法的损失函数,在提高边界框回归速率的同时提高模型整体性能。将改进算法应用于无人机自主降落场景下的二维码降落标识检测,实验结果表明改进后的算法在小目标检测中相比于原始YOLOv5s算法的特征提取能力更强、检测精度更高,证明了改进算法的优越性。