双目协同多分辨率主动跟踪方法

PTZ（pan-tilt-zoom）相机由于其具有可变视角和可变分辨率能力,在视频监控领域得到了广泛的应用。该文针对智能监控的需求,提出了一种基于双目PTZ相机的多分辨率主动跟踪方法。该方法分为离线标定和在线协同跟踪两部分。离线标定部分,提出了一种基于图像特征匹配的单目自标定和基于目标运动信息的双目自标定方法,该方法操作简单,无需标定物,在最大程度上减小了对人工干预的依赖,在此基础上推导了系统所具有的两个重要性质;在线协同跟踪部分,设计了一种分段静止的协同跟踪策略。通过实际监控场景下的视频实验,验证方法的有效性和可行性。实验结果表明,该方法可以在复杂环境下有效的主动跟踪目标,在智能监控领域具有较广泛的应用前景。     

基于马尔科夫决策过程的多传感器协同检测与跟踪调度方法

针对多任务场景下的传感器调度问题,该文提出一种面向目标协同检测与跟踪的多传感器调度方法。首先,该方法基于部分可观马尔科夫决策过程(POMDP)构建传感器调度模型,并基于后验克拉美-罗下界(PCRLB)设计优化目标函数。其次,考虑传感器切换时间和目标数目的时变性,采用随机分布粒子计算新生目标的检测概率,给出了固定目标数目和时变目标数目情形下的传感器调度方法。最后,为满足在线调度的实时性需求,采用自适应多种群协同差分进化(AMCDE)算法求解传感器调度方案。仿真结果表明,该方法能够有效应对多任务场景,实现多传感器资源的合理调度。     

基于视觉的定点监控飞艇姿态和位置估计

为了提高飞艇定点监控的自主性和准确性,研究了一种基于视觉信息的定点监控飞艇姿态和位置估计算法。由射影几何学原理和特殊的双目摄像机安装方法来提取飞艇的姿态。基于双目立体视觉基本原理,得到特征点在摄像机坐标系下的位置。根据坐标转换关系,可以获得飞艇在地面坐标系下的位置和姿态非线性方程组。把姿态信息载入非线性方程组中,从而求得飞艇的位置信息。最后用仿真实例验证了飞艇姿态和位置算法的有效性。     

基于误差信息熵的多传感器多目标分配方法研究

在多传感器协同多目标跟踪中,除了考虑主动传感器辐射控制下异类传感器协同跟踪精度满足性能指标要求外,还要考虑异类传感器对目标的分配问题,此问题为一个多约束多目标优化问题。针对以上问题,文章提出了一种低辐射控制下多机协同跟踪的多传感器多目标分配方法。首先,针对主动传感器辐射控制下的目标跟踪问题,利用多传感器协同跟踪过程中预测协方差与系统期望协方差进行比较,计算并给出主动传感器雷达辐射间隔;接着,在此框架下根据当前时刻有无雷达参与的情况,分别给出了基于信息熵和目标威胁等级的多平台多传感器对多目标跟踪分配方法。     

动态图像跟踪优化算法的研究与仿真

传统图像跟踪算法中,跟踪的图像搜索过程需要历遍所有特质,在图像场景较为复杂的情况下,在"无用"匹配点上耗费大量计算时间,跟踪过程误差较大。提出一种适用于复杂场景下动态图像跟踪优化算法,选择在复杂场景下鲁棒性较强的参数,以增加复杂场景下目标描述的信息量和稳定性;引入一种MAD(平均绝对差)匹配算法:在进行动态图像跟踪过程中采用MAD算法和鲁棒性参数相结合,通过动态帧图像和静态帧对比量即MCD(最多临近点),设定跟踪阈值,通过选取后的图像实现动态图像的运动目标跟踪。仿真实验结果表明,提出方法的跟踪精度对比传统方法有明显提高。     

采用地平面约束的双目PTZ主从跟踪方法

在视频监控领域,包含PTZ（pan-tilt-zoom）相机的双目主从系统可以同时获取跟踪目标的全景信息和高分辨率信息,因此得到了广泛研究与应用。针对智能视频监控的需求,提出了一种基于地平面约束的双目PTZ主从跟踪方法。该方法分为离线标定和在线实时跟踪两个阶段。离线阶段,利用两相机不同视角间的目标匹配关系计算地平面所诱导的单应矩阵,提出了一种从两相机同步视频流中自动估计单应矩阵的方法,该方法与传统方法相比具有不需要标定物和人工干预的优点,然后采用匹配特征点的方法估计相机的主点和等效焦距。在线实时跟踪时,通过单应变换建立主从相机之间的坐标关联,并利用离线阶段标定的主点和等效焦距估计从相机控制参数,从而实现主从跟踪。与其他算法相比,该方法可以应用于宽基线的情形,能够适应目标深度的变化,满足了实时性的要求。室内、外场景的多组实验验证了所提方法的有效性。     

基于立体视觉技术的实时测距系统研究

双目立体视觉测距系统由于计算量大、受限于硬件水平等原因,通常无法做到实时测距,为解决这一问题,对双目立体视觉的关键技术进行研究与分析后,采用预标定方法,通过选取一种快速的立体匹配算法,对其各参数进行优化,并以动态视差搜索的方式,结合目标跟踪算法,实现了对目标的实时跟踪与测量。经实验验证,该系统成本低、可行性高,能实时对目标进行跟踪与测量,并在一定范围内具有较高的精度,且有一定的应用价值。     

基于双目视觉的三维场景图像表面重建算法

在三维场景图像中,像素色度不均匀会影响图像的视觉表现效果,维持像素色度的均匀分布是提升图像视觉表现效果的有效方法。为满足实际应用需求,大幅提升三维场景图像的视觉表现效果,提出一种基于双目视觉的三维场景图像表面重建算法。首先,确定视觉相机的内参、外参标记结果,通过极线校正双目图像的处理方式,完成基于双目视觉的三维场景图像标定;然后,求解像素代价聚合条件,根据像素节点的三维视差推导图像表面的重建表达式,完成基于双目视觉的三维场景图像表面重建算法的设计。实验结果表明,双目视觉技术作用下,三维场景图像的像素色度呈现出较为均匀的分布状态,符合提升图像视觉表现效果的实际应用需求。     

基于双线投影与线面约束的3D扫描测量系统研究

将双目传感器和线结构光有机地结合到一起,设计了一套能够对大尺寸被测物进行无导轨三维扫描的测量系统。通过标定实现双目传感器与结构光传感器坐标系的统一。提出了一种双线投影模型,实现了双目标记点的立体匹配和标记点传感器坐标的测量。设计了基于线面约束的结构光测量模型,实现了物体表面光条三维信息的获取。采用空间几何相对不变性原则实现标记点传感器坐标和世界坐标的全局匹配,进而确定在测量位置处传感器坐标系与世界坐标系的转换关系。最终将传感器实时扫描测量的物体表面的三维点云数据转换到世界坐标系下,实现对被测物三维的扫描测量,工作距离下扫描测量精度优于0.08 mm。     

面向小型机器人的超大视场红外立体视觉可行性分析

小型机器人传统视觉方法对环境适应性差。提出了一种基于双目超大视场红外相机的环境感知方法。利用大视场镜头高阶奇次多项式模型,建立了超大视场红外双目立体成像的水平和垂直视差数字模型。以视差模型为基础建立超大视场红外双目视觉模型,研究了超大视场红外双目系统立体视觉范围和阈值。搭建了视场为170°×128°的超大视场红外立体视觉系统,分析了立体视觉范围及阈值应用于小型机器人视觉的可行性。同时,针对照度不均、雾霾等条件下的场景开展超大视场红外双目立体视觉实验研究,构建了双目图像标准视差图,结果表明,超大视场红外双目立体视觉系统对复杂场景具有良好的适应性,基本能够满足小型机器人视觉系统需求。     

基于共面参照物的多立体视觉传感器标定方法

提出了基于共面标定参照物结合双电子经纬仪标定多个立体视觉传感器的方法,该方法允许共面标定参照物在测量空间内自由移动,以经纬仪坐标系为中介,利用双电子经纬仪测量不同位置共面参照物上不共线的标定特征点在经纬仪坐标系下的精确的三维坐标,建立共面参照物上所有特征点和经纬仪坐标系的转换关系,构建三维标定特征点,在现场对多个视觉传感器进行标定,保证了测量状态与标定状态完全一致.该标定方法降低了标定设备的成本,简化了标定过程,提高了立体视觉传感器的标定精度.实验结果表明,该方法切实可行.     

基于视觉跟踪的两轮自平衡移动机器人控制系统

本文设计了两轮自平衡移动机器人各个功能模块单元,介绍了自平衡原理,对视觉跟踪给出了目标物体在视觉模块中坐标与中心位置差值计算方法并给出了视觉跟踪策略;给出了系统整体程序框架以及图像处理与发送程序框架,对视觉跟踪进行了相应测试实验,测试结果达到预期效果.     

一种视觉跟踪中的模板更新策略

针对复杂场景中的目标外观和背景变化引起的模板 更新问题, 提出了一种新的视觉跟踪模板更新策略,用以提高目标模板正确性。算法利用特征信息在 时间和空间上的区别和变化,进行特征子量分类更新,避免了模型过更新,提高了目标模型 的容错能力,使更新带来的误差尽量小,以适应目标和背景信息的不断变化,在一定程度上 提高了跟踪算法的精准度和鲁棒性。实验结果表明,本文方法在视频跟踪系统中具有优越的 性 能,可以在目标运动、变化和遮挡情况下实现鲁棒跟踪。     

基于计算机视觉的弹着点坐标远程测量系统

系统采用双目立体视觉原理，通过捕捉、处理弹落击起的烟尘图像精确地获取弹着点信息。给出了一种适于野外环境构建的视觉测量模型，并提出了一种仅对焦距及光轴水平偏角进行现场标定的相机参数快速获取方法。采用序列图像实时帧间差分阈值法作为主要的图像处理手段，通过构造高斯背景统计模型获得精确的分割阈值。为排除野外环境的各种干扰，提出了依据时空相关性检测的帧间多级差分方法，为解决烟尘快速飘移对后续弹点探测的影响，给出了一种伪目标边缘跟踪算法。远程视觉传感器距靶心1.2 km对?准400 m靶区实测时，图像处理时间小于8 ms，系统响应时间小于75 ms，报靶精度优于2 m，完全满足实时准确报靶的要求。     

基于少量样本学习的多目标检测跟踪方法

视频目标检测跟踪算法一直是计算机视觉领域的研究热点,目前大部分方法均需人工采集样本训练检测模型,搭建目标检测跟踪系统.当目标成像条件发生变化时,需重新采集样本,训练模型,调试整个检测跟踪系统,耗费大量人力、物力.本文提出一种基于少量样本学习的多目标检测跟踪算法,只需在监控视频第一帧指定待检测目标,即可自主生成混合分类模型,进行目标检测.采用在线渐进学习算法学习目标姿态变化,更新该模型.结合基于颜色的目标跟踪算法,自动构建高精度目标检测跟踪系统.整个过程无需手工采集、标注训练样本.因此,易于扩展到其它监控场景,通过自主学习形成该场景专用的检测跟踪系统,实现不同监控环境下,不同成像条件下都有较好的检测跟踪效果.实验表明,本方法能自主学习多种监控场景下的目标姿态,无需手工标注训练样本,在基于在线学习的算法中有最佳的检测精度,此外也取得了和离线目标检测跟踪系统相似的性能.     

视频目标跟踪典型算法比较与分析

视频目标跟踪由于场景和目标的外观变化等问题的存在,仍旧是计算机视觉领域研究的热点和挑战。本文阐述了视频目标跟踪技术的研究背景,介绍了视频目标跟踪系统组成原理、研究现状。文章重点分析了几种近来较为前沿的跟踪算法并进行分析比较。本文还对跟踪算法的评价指标以及典型的标准库进行介绍。最后归纳总结了视频目标跟踪的发展前景以及面临的问题挑战,为下一步研究奠定基础。     

Re-identification framework for long term visual object tracking based on object detection and classification

In this paper, we address the problem of long-term visual object tracking and we present an efficient real-time single object tracking system suitable for integration in autonomous platforms that need to encompass intelligent capabilities. We propose a novel long-term tracking framework for classification based re-detection and tracking, that incorporates state estimation, object re-identification and automated management of tracking and detection results. Our method integrates a novel object re-identification technique which efficiently filters a number of detection candidates and systematically corrects the tracking results. Through extensive experimental validation on the UAV123, UAV20L and TLP datasets, we demonstrate the effectiveness of the proposed system and its advantage over several state-of-the art trackers. The results furthermore highlight the proposed tracker’s ability to handle challenges arising from real-world and long-term scenarios, such as variations in pose, scale, occlusions and out-of-view situations. Furthermore, we propose a variant that is suitable for deployment on autonomous robots, such as Unmanned Aerial Vehicles.