融合摄像机位姿信息的模板匹配跟踪算法

针对图像制导目标跟踪系统在跟踪过程中,由于图像旋转、成像视角和目标尺度的变化带来的跟踪漂移问题,提出一种利用摄像机的位姿信息的匹配模板校正和更新方法。根据摄像机与目标的相对位姿信息,建立目标透视成像模型以及不同摄像机位姿情况下的模板校正方程;将校正方程分解为实时图像旋转和模板仿射变换两部分减小模板变换的误差;通过设计与相关系数和距离信息相关的模板更新策略达到适应跟踪系统逐渐接近目标过程中目标的变化。采用基于视景仿真软件Vega Prime产生的模拟飞行视频对算法进行了验证。实验表明所提算法能够适应图像制导跟踪系统在跟踪过程中目标尺度、成像视角以及图像旋转的变化,减小跟踪漂移。     

室内人体运动目标的自动跟踪方法

针对人体运动目标的自动实时跟踪,设计一种新的基于P89v51内核的运动摄像头云台控制系统.对人体运动的图像检测与跟踪,提出一种快速的模板匹配方法.用改进Surendra算法自适应地获取背景图像以提取匹配模板,通过摄像头运动前后帧相同的运动区域来缩小匹配区域,进行快速目标匹配,达到实时性要求.该系统已应用在视频教学及会议中,实现自动人体运动目标跟踪与摄像.     

基于OpenGL的空间目标图像序列仿真

在实际中,真实图像序列的获取具有实现难度大、成本高、周期长等困难,针对这一问题,在分析摄影测量成像原理与OpenGL成像机理的基础上,提出一种基于OpenGL的空间目标2D/3D图像序列仿真方法。构建成像系统中目标、光源、2D相机、3D相机等部分的仿真模型,通过设置合理的仿真参数生成目标仿真图像序列,且能够在生成目标的2D图像序列的同时生成目标的3D图像序列。通过仿真实验验证了该方法的可行性,为空间目标位姿视觉测量提供有效的图像数据支持。     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

分层分区域管理的实时图像跟踪算法

为了实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中特征点的快速匹配,解决图像跟踪算法中匹配精度与效率问题,提出一种特征点分层分区域管理的图像跟踪算法.在预处理阶段,对模板图像构造层次表示并对各尺度下的图像进行区域划分,在每个区域内同时提取ORB(oriented FAST and rotated BRIEF)特征点和Harris特征点,由ORB特征描述子计算区域图像的词袋特征向量,由此构建图像特征点的分层分区域管理模式.在实时跟踪阶段,根据摄像机位姿跟踪的情况区分预测跟踪、重定位跟踪和光流跟踪3个分支.在预测跟踪和重定位跟踪中,先快速定位实时图像对应的模板图像的尺度层与区域,再通过实时采集的图像与模板图像中对应尺度下部分区域中特征点的局部匹配,实时地计算摄像机的位置和方向;在光流跟踪过程中对光流算法跟踪点进行实时更新,延长光流算法的运行持续时间.利用公开图像数据库中不同分辨率的模板图像在移动终端上进行实验的结果表明,文中算法性能稳定,匹配误差在1个像素以内;系统运行帧率总体稳定在20~30帧/s.     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

一种视频多运动目标跟踪方法研究

图像运动目标跟踪是自动监控、道路导航、交通监控等重要系统的核心技术。为了解决视频中多个运动目标的跟踪,利用帧间差分、Kalman滤波器以及少量特征匹配来自动提取各个运动目标并进行跟踪。针对灰度图像序列,采用一种基于图像序列的梯度信息,使用帧间差分法自动提取运动目标,利用Kalman滤波器预测目标位置,在估计目标在下一帧的位置范围后,根据目标直方图特征来缩小搜索范围实现目标对象的准确跟踪。实验结果表示,该方法具有较小的运算量和较好的实时性,同等条件下具有较高准确性。     

硬式空中加油相对位姿视觉测量技术研究

依据双目视觉的硬式空中加油精确测量需求，提出了一种硬式空中加油的伸缩管和受油口之间相对位姿测量方案。针对标志图像易遮挡问题，在受油口附近布置呈等腰梯形分布的标志图案，建立重构误差平方和最小的图像空间误差目标函数完成姿态估计，求取标志图案两腰延长线交点解算受油口中心位置；针对伸缩管的变形及无同名匹配点问题，提出用柱体轮廓线投影方法求取伸缩管轴线方程，进而求取姿态。最后在1〖DK〗∶1验证平台对该方案进行多次试验验证，结果表明本方案可实现对伸缩管与受油口的相对位姿精确测量，其相对姿态误差优于1°，相对位置误差优于10 cm。该方案首次提出对伸缩管位姿的测量，且可解决易遮挡、伸缩管变形和无同名匹配点问题，其精度满足硬式空中加油自动对接性能要求。     

融合双目视觉与惯导信息的高效视觉里程计算法

为提高视觉里程计(VO)在大尺度环境下运行的实时性,提出一种融合双目视觉与惯导信息的视觉里程计算法,主要由前端位姿跟踪和后端局部地图优化两个线程组成.位姿跟踪线程首先使用惯导信息辅助光流法进行帧间特征点跟踪并估计相机初始位姿;接着通过最小化图像光度误差获取当前帧像素点与局部地图点的对应关系;而后最小化当前帧上局部地图点的重投影误差和惯性测量单元(IMU)预积分误差,得到当前帧准确的位姿估计.后端局部地图优化线程对滑动窗口内的关键帧提取特征点并三角化新地图点,使用光束平差法(BA)对逆深度参数化表示的地图点位置、关键帧位姿、速度以及陀螺仪和加速度计零偏进行滑窗优化,为前端提供更加精确的局部地图相机位姿和环境信息.在EuRoC数据集上的实验表明,相比于ORB-SLAM2、ORB-SLAM3算法,该融合双目视觉与惯导信息的视觉里程计算法的定位精度略有下降,但可以较大程度地提高位姿跟踪的实时性.     

基于扩展卡尔曼滤波的5-Dof圆位姿估计算法

现有圆位姿估计方法对输入帧进行独立处理,忽略了有价值的目标动态信息,圆位姿估计精度有提升空间,提出一种基于EKF的高精度5-Dof圆位姿估计方法,圆位姿由5自由度向量ξ=(X,Y,Z,α,β)^T表示。该方法引入贝叶斯框架捕获视频连续帧的时间信息,优化圆位姿估计系统。首先,为了与2D椭圆轮廓交互,算法构造出5自由度向量ξ表示的空间圆投影轮廓5-Dof模型,进而设计非线性测量函数。其次,将该测量函数与扩展卡尔曼滤波(EKF)算法相结合,用于圆位姿优化。此外,使用简单的线性卡尔曼滤波算法(KF)对圆位姿估计值进行修正。实验表明,针对含有不同方差噪声的图像序列,算法利用图像序列的时间相关性,有效提高圆位姿估计精度。     

基于可变模型的目标实时跟踪

为了在图像序列中实现目标的快速定位和实时跟踪,该文提出了一种基于可变模型的快速目标跟踪算法,在已知模型条件下,利用区域模型相关匹配的思想对目标模型进行实时更新,充分利用目标莲续运动过程中目标形状在两个连续帧中变化不大、相邻两帧中目标的速度和位移变化不大的特点,以当前帧目标模型作为下一帧的先验模型;综合运用模型梯度信息、运动信息和模型区域特征匹配的方法来跟踪目标。由于算法综合考虑了目标模型的区域信息和轮廓信息,因此对背景干扰不太敏感。在头部跟踪实验过程中,该文算法跟踪移动目标的实时性和准确性比较好,抗干扰能力较强,基本上可以满足鲁棒性和快速性的要求。     

Object tracking using deformable templates

We propose a method for object tracking using prototype-based deformable template models. To track an object in an image sequence, we use a criterion which combines two terms: the frame-to-frame deviations of the object shape and the fidelity of the modeled shape to the input image. The deformable template model utilizes the prior shape information which is extracted from the previous frames along with a systematic shape deformation scheme to model the object shape in a new frame. The following image information is used in the tracking process: 1) edge and gradient information: the object boundary consists of pixels with large image gradient, 2) region consistency: the same object region possesses consistent color and texture throughout the sequence, and 3) interframe motion: the boundary of a moving object is characterized by large interframe motion. The tracking proceeds by optimizing an objective function which combines both the shape deformation and the fidelity of the modeled shape to the current image (in terms of gradient, texture, and interframe motion). The inherent structure in the deformable template, together with region, motion, and image gradient cues, makes the proposed algorithm relatively insensitive to the adverse effects of weak image features and moderate amounts of occlusion     

基于图像的大型物体尺寸的三维测量方法研究

针对大型物体尺寸不易测量的问题,研究简单快速的测量方法;提出了一种利用数码相机完成物体尺寸的三维测量的方法;利用数码相机从多角度获取图像,采用稳定性强的Harris角点检测算法对图像进行特征点检测;在相机标定过程中提出了一种利用图像中被测物体自适应寻找标定模板的方法,扩大了标定模板的使用范围;最后利用投影矩阵理论计算特征点的世界坐标进行测量;实验证明测量结果误差在2.0%以内,说明该方法能够克服传统测量方法的缺点,满足一般工业的测量要求并且适用范围广。     

一种基于遗传算法和卡尔曼滤波的运动目标跟踪方法

提出了一种基于遗传算法和卡尔曼滤波的运动目标跟踪方法。该方法利用卡尔曼滤波预测目标中心在下一帧图像中可能出现的位置,以该位置为中心,建立候选的目标搜索区域。以跟踪目标的灰度统计特征为模板,以Bhattacharyya系数来度量目标模板与候选目标区域的相似性,并以此相似性作为遗传算法适应度函数,以候选目标中心坐标作为参数编码,利用遗传算法进行匹配搜索,最终获得最佳候选区域中心位置,同时以该位置作为观测值,进行下一帧预测。实验结果表明,该方法具有较好的实时性和鲁棒性。     

Object Detection and Localization by Dynamic Template Warping

A simple method is presented for detecting, localizing and recognizing instances of classes of objects, while accommodating a wide variation in an object's pose. The method utilizes a small two-dimensional template that is warped into an image, and converts localization to a one-dimensional sub-problem, with the search for a match between image and template executed by dynamic programming. For roughly cylindrical objects (like heads), the method recovers three of the six degrees of freedom of motion (2 translation, 1 rotation), and accommodates two more degrees of freedom in the search process (1 rotation, 1 translation). Experiments demonstrate that the method provides an efficient search strategy that outperforms normalized correlation. This is demonstrated in the example domain of face detection and localization, and can extended to more general detection tasks. An additional technique recovers rough object pose from the match results, and is used in a two stage recognition experiment in conjunction with maximization of mutual information.     

一种基于运动边缘检测的视频对象分割新算法

利用人眼对运动(时间梯度)和边缘(空间梯度)都特别敏感的视觉特点，把帧间运动变化检测和图像的边缘检测结合起来，提出一种新的运动视频对象分割算法．通过帧间差快速得到运动物体的大致位置，形成差分模板，然后通过边缘检测在差分模板中确定物体的准确边缘，并形成边缘模板．在边缘模板的基础上，利用二值图像下的收缩型活动轮廓算法，可以方便地得到视频对象(VOP)的闭合轮廓曲线(以便进行编码传输和基于形状的检索)．同时，设置模板缓冲区以记忆前一时刻的分割结果，从而弥补当前帧的不完整性．该算法对目标的整体运动和局部形变都有较强的适应性，且具有自动消除显露背景以及多目标自动分割包围的能力．     

基于粒子滤波与稀疏表达的目标跟踪方法

针对视频序列图像目标跟踪中的光照变化问题,提出一种在粒子滤波器框架内,基于目标的局部二元模式(LBP)纹理特征,使用稀疏表达进行目标跟踪的方法。当前帧的跟踪粒子由前一帧的跟踪结果按高斯分布来生成。通过解l₁正则化最小二乘方问题,获得每个粒子对应于模板子空间的稀疏表达,确定当前帧图像中的跟踪目标。然后使用粒子滤波器生成下一帧跟踪的粒子分布。在跟踪过程中采用新的动态模板更新策略更新模板空间中的模板。实验结果证明该方法的有效性和先进性。     

基于彩色图像的机器人视觉声纳实现

着重分析了彩色图像中物体的识别方法 ,对如何利用彩色图像的颜色信息进行图像分割、目标识别进行了较为深入的讨论。提出了视觉声纳的概念 ,研究了从二维视觉信息中获取目标精确位置的算法。实验表明该算法可以得到相当精确的结果     

基于平面模板的机器人TCF标定

针对末端夹持激光位移传感器的机器人TCF(tool/terminal control frame)标定,提出一种基于平面模板的标定方法,机器人操作末端执行器使激光位移传感器在不同位形下对平面模板进行测量,再通过非线性最小二乘拟合求解标定参数.为了减小问题的奇异性,对标定时应该采取的参数控制策略进行了定性分析.该标定方法只需要一块表面精度较高的平面模板,而无需其它测量仪器,标定过程简单、易操作,且易于实现自动化.仿真和实验结果表明本文提出的标定方法具有较高的精度.