一种新的无人机航拍序列图像快速拼接方法

 无人驾驶飞机航拍序列图像的邻近帧间含有大量的相交区域,这些相交区域是进行基于特征的图像拼接的基础,但是也成为了降低拼接效率的冗余信息.因此,本文提出一种既稳定又具有较小时间开销的无人机航拍序列图像的自动拼接方法.利用图像拼接过程中查找到的匹配特征点,自适应提取出适于航拍序列图像快速拼接的关键帧;在分析了序列图像的拼接时的相交区域的运动模型的基础上,建立了无人机航拍序列图像配准过程中的特征搜索区域预测的卡尔曼滤波器,减少了特征搜索和配准的时间;然后给出了详细无人机航拍序列图像的快速拼接方法,实验结果显示,本文的方法具有较好的拼接效果和拼接效率.     

基于特征的无人机航测影像非刚性配准方法

无人机航测影像配准是实景三维建模的关键步骤,其在变化检测、图像拼接融合及目标识别方面具有重要的作用。基于此,对已有的航测影像配准方法进行优化,将薄板样条配准模型运用到航测影像配准中,得出一种基于特征的非刚性配准方法。首先利用Canny算法对待配准航测影像进行边缘检测;然后在此基础上采用SURF算法完成特征点提取,基于距离测度完成特征匹配;其次,使用RANSAC算法由局部到整体剔除错误的匹配点对;最后基于精确地匹配点对,利用薄板样条函数构建配准模型,实现航测影像整体和局部上的精准变换。实验结果表明,文章改进的方法在进行无人机航测影像配准时能取得更好的配准精度。     

基于场景复杂度与不变特征的航拍视频实时配准算法

实时、鲁棒的图像配准是航拍视频电子稳像、全景图拼接和地面运动目标自动检测与跟踪的前提和关键技术.本文以航拍视频序列为处理对象,提出了一种新的基于场景复杂度与不变特征的实时配准算法,其主要特点包括：(1)在对航拍视频配准难点进行详细分析的基础上,有针对性的提出基于积分图的快速图像尺度空间构建、依据场景复杂度的检测特征点数量在线精确控制、基于描述子误差分布统计特性级的联分类器构造等新方法,使得算法配准性能不随场景的复杂度发生改变,能够在各种地貌条件下实时、稳定的进行图像配准;(2)将多尺度Harris角点和SIFT描述子相结合,并通过对帧间变换模型参数进行鲁棒估计,保证了算法具有良好的旋转、尺度、亮度不变性和配准精度.实验结果表明,算法可在场景变化、图像大幅度平移、尺度缩放和任意角度旋转等复杂条件下实时、精确的进行图像配准,对分辨率为320×240的航拍序列的平均处理速度达到20.7帧/秒.     

基于图像校正与相位相关的视频拼接算法

针对现有基于特征的拼接算法在特征单一的场景中存在配准精度和效率方面的不足,提出了一种新的拼接算法,巧妙地将摄像机标定与相位相关的方法相结合,通过摄像机标定求出摄像机内外参数,对摄像机输入的视频图像进行矫正,从而使得两幅待匹配的图像间只具有平移参量.再通过相位相关算法求取高精度的平移参数,最后进行图像融合处理.拼接过程中,不需要提取拼接图像的特征,减少了图像配准过程中算法对于场景特征的依赖性.实验结果证明,该方法在场景特征单一的条件下能够实现稳定高效的视频拼接.     

旋转扫描序列图像的投影矩阵和拼接应用

利用8参数投影矩阵(单应性矩阵)拼接旋转扫描序列图像的方法,由于矩阵估计误差的影响,配准精度不高,易导致拼接图像中的景物歪斜.针对这一问题,通过研究相机拍摄旋转扫描序列图像的透视关系,推导了一种5参数的投影矩阵,减少了单应性矩阵中8个参数之间的相关性,从而降低了投影矩阵估计误差对全景图拼接的影响,提高了配准精度.图像拼接实验结果显示,应用该5参数投影矩阵得到的全景图,能够保证场景正直,配准精度较高,视觉效果良好.     

基于景象匹配的无人机侦察视频快速配准方法

为了改善无人机侦察视频配准效果与速度,提出一种基于景象匹配的无人机侦察视频快速配准方法。首先提出基于AGAST-Difference与FREAK的特征匹配算法对视频帧之间配准,然后提出匹配区域搜索方法在数字卫星地图上找到视频帧匹配区域,最后将视频帧与匹配区域配准,根据匹配区域二维关系计算单应矩阵完成拼接。实验结果表明,基于AGAST-Difference与FREAK的特征匹配算法在尺度、旋转、视点等变化及运行速度上存在很大优势,匹配区域搜索方法避免了定位定向系统带来的误差与引入控制点,提高了纠正精度与速度。本配准方法对像素大小为810×612的视频拼接速度达到25帧/s,在离地约1000 m的空中,二维定位精度可达7.87 m。     

基于局部特征点配准的图像拼接算法

为解决尺度、视角、光照变化较大及存在噪声和模糊变化情况下的图像拼接问题,提出了一种具有较强鲁棒性的图像拼接方法。首先,根据Harris算法和SIFT算法各自的特点,提出了一种自适应的Harris-SIFT特征点提取方法,利用最邻近法完成图像间的特征点粗匹配;然后,应用随机抽样一致性(Random Sample Consensus,RANSAC)算法对粗匹配的特征点进行筛选,同时估计出透视变换模型的变换矩阵,并对相邻的两帧图像进行配准;最后,利用加权平均融合算法消除图像拼接处的缝合线,实现图像的高质量拼接。实验结果表明,该算法在提升SIFT算法鲁棒性的同时,还增强了图像拼接的效果,消除了图像亮度和色度差异的影响。     

前景重配准的改进帧间误差最小化非均匀性校正算法

由于基于帧间配准误差最小化的非均匀性校正算法（IRLMS）在对红外图像非均匀性的校正过程中,对于存在运动前景的场景缺乏对运动前景位移的准确估计,和配准精度较低时校正参数不能自适应地控制其更新速率,产生鬼影现象。为了解决这一问题,提出了一种改进的帧间误差最小化非均匀性校正方法。该方法使用LK 光流对场景中的运动前景进行重新配准,估计出运动位移,修正误差图像,以克服前景运动产生的鬼影现象;同时通过估计出相邻帧图像之间去除非均匀性后的相位相关矩阵的峰值,以其峰值自适应地修正参数更新的速率,以克服在配准精度较低时校正参数更新过快造成的影响。实验结果表明:该方法能够克服前景运动和配准精度较低时产生的鬼影现象,有效地提高了IRLMS 算法的实用性。     

基于局部特征点配准的图像拼接算法

为解决尺度、视角、光照变化较大及存在噪声和模糊变化情况下的图像拼接问题, 提出了一种具有较强鲁棒性的图像拼接方法。首先, 根据Harris算法和SIFT算法各自的特点, 提出了一种自适应的Harris-SIFT特征点提取方法, 利用最邻近法完成图像间的特征点粗匹配; 然后, 应用随机抽样一致性(Random Sample Consensus, RANSAC)算法对粗匹配的特征点进行筛选, 同时估计出透视变换模型的变换矩阵, 并对相邻的两帧图像进行配准; 最后, 利用加权平均融合算法消除图像拼接处的缝合线, 实现图像的高质量拼接。实验结果表明, 该算法在提升SIFT算法鲁棒性的同时, 还增强了图像拼接的效果, 消除了图像亮度和色度差异的影响。     

基于图像拼接和帧间差分输电线路图像分割方法

针对无人机载红外摄像仪拍摄的输电线路红外图像易于受背景信息干扰且不易于分割出输电线信息,提出了一种基于图像拼接和帧间差分相结合的算法,来实现输电线分割定位信息。采用基于SIFT的图像配准算法来实现图像拼接,再将得到的两幅图像的重合部分进行帧间差分,初步实现了输电线的分割;采用Canny算法,对分割得到的输电线进行边缘检测,采用霍夫变换检测出分割出来的输电线,最终对输电线定位。     

一种快速的基于SIFT算法的无人机航拍序列图像自动拼接方法

无人驾驶飞机在短时间内具有相对稳定的航向、飞行速度、飞行高度等特点,这些特点决定了相同时间间隔的航拍序列图像的重合区域相对稳定,在此基础上,本文提出了航拍序列图像拼接方法的约束性条件,及一种快速的无人机航拍序列图像的自动拼接方法。该方法运用自回归模型,将历史相交区域中心点作为模型的输入数据,对当前用于拼接的重合区域进行预测,然后在预测区域内进行SIFT特征提取和特征提纯,并根据提纯后的特征进行快速的序列图像拼接。通过在无人驾驶飞机航拍序列图像上对该方法性能进行实验,结果显示本文的方法具有较好的拼接效果,在海量无人机航拍数据的情况下,能大大减少拼接时间。      

Near Real-Time Orthorectification and Mosaic of Small UAV Video Flow for Time-Critical Event Response

A method for real-time mosaic of video flow acquired by a small low-cost unmanned aerial vehicle (UAV) has been presented in this paper. The basic procedures of real-time mosaic are as follows: 1) Each video frame is resampled and orthorectified using a developed mathematical model, which can simultaneously solve the video camera's interior orientation parameters and the exterior orientation parameters of each video frame; 2) each orthorectified video frame is mosaicked at real time. A test field located in Picayune, Mississippi, has been established for testing our method. Sixty-minute video data were collected using the UAV and were processed using the proposed method. The results demonstrated that each video frame can be geo-orthorectified and mosaicked together to produce a 2-D planimetric mapping at near real time. Accuracy of the mosaicked video images (2-D planimetric map) is approximately 1–2 pixels, when compared to 55 checkpoints, which were measured by differential GPS surveying.      

基于光电图像特征的自主测速方法研究

为了提高无人机低空飞行时自主测速能力，本文提出了一种基于光电图像特征的无人机自主测速方法，首先利用光电设备获取存在相同地面景象的连续两帧光电图像，并对前后帧图像分别进行点特征、线特征检测，对提取的图像特征进行判断，提取有效的图像特征；然后对提取的图像特征进行特征关联，根据关联的图像特征像素位置计算图像特征的像素位移矢量，剔除偏差较大的位移矢量；最后根据光电设备参数及位移矢量特性计算无人机对地速度。利用无人机搭载光电设备进行了飞行试验，试验结果表明本文方法减少了计算量，具有较好实用性，能够满足无人机等低空飞行平台自主测速要求。     

航空视频图像地理定位处理技术分析

在飞行平台上安装视频摄像机实施对地面进行观测、勘测、监视越来越多地被用于城市建设、森林植被勘测、边境安全监视、反恐和缉毒等各行各业中。在各种实际的应用中,不但要求获取清晰的视频图像,更要求对视频图像中的地面目标和场景实现地理定位。描述了目前使用的直接定位处理技术和精确定位处理技术,给出了直接定位技术原理和误差分析,并对如何实现航空视频图像精确定位处理方法提出了处理模型和流程。     

Aerial video surveillance and exploitation

There is growing interest in performing aerial surveillance using video cameras. Compared to traditional framing cameras, video cameras provide the capability to observe ongoing activity within a scene and to automatically control the camera to track the activity. However, the high data rates and relatively small field of view of video cameras present new technical challenges that must be overcome before such cameras can be widely used. In this paper, we present a framework and details of the key components for real-time, automatic exploitation of aerial video for surveillance applications. The framework involves separating an aerial video into the natural components corresponding to the scene. Three major components of the scene are the static background geometry, moving objects, and appearance of the static and dynamic components of the scene. In order to delineate videos into these scene components, we have developed real time, image-processing techniques for 2-D/3-D frame-to-frame alignment, change detection, camera control, and tracking of independently moving objects in cluttered scenes. The geo-location of video and tracked objects is estimated by registration of the video to controlled reference imagery, elevation maps, and site models. Finally static, dynamic and reprojected mosaics may be constructed for compression, enhanced visualization, and mapping applications     

机动飞行环境无人机航拍图像拼接技术研究

以实战环境下无人机航拍图像的全景拼接为研究目的,提出了一种适用于无人机在机动飞行条件下的航空图像拼接算法,该算法采用空间变换、特征识别、匹配相关和信息融合等图像处理技术,可实现序列图像空间旋转、变形、尺度变换等特殊情况下的无缝拼接,通过真实使用环境试验测试,该算法具有在多种机动飞行环境下航拍图像拼接准确的特点,取得了良好的效果。     

面向无人机城市空中视觉导航仿真平台实现

系统仿真是无人机飞行导航与控制程序设计的重要手段,面向城市空中交通场景视觉导航算法设计的开发需求,首先调研了针对无人机所开发的多种飞行器仿真模拟平台,确定了基于Airsim搭建所需城市空中视觉导航仿真平台的技术路线,并进一步详细介绍了该仿真平台的搭建方法,最后给出了该仿真场景的搭建结果.     

红外搜索系统视频图像拼接算法及其应用

为了实现将视场小、变化快的红外搜索系统视频图像拼接成全景图像,根据红外搜索系统具有确定像空间位置变化信息的特点,提出了一种结合图像位置信息和模板匹配的的红外图像拼接算法。该算法有效的解决了传统的区域配准拼接算法运算速度慢和基于特征配准拼接算法精度差的不足,具有运算速度快、配准精度高的优点。为了验证该算法的有效性,利用采集到的红外搜索系统试验视频进行了仿真计算,从仿真的结果看,该算法相对于传统算法,大大提高了运算速度和匹配精度。     

New methods for dynamic mosaicking

This paper presents a new technique for the creation of a sequence of mosaic images from an original video shot. A mosaic image represents, on a single image, the scene background seen all over the sequence and its creation requires the estimation of the warping parameters and the use of a blending technique. The warping parameters permit one to represent each original image in the mosaic reference. An estimation method, based on a direct comparison between the current original image and the previously calculated mosaic is proposed. A new analytic minimization criterion is also designed to optimize the determination of the blending coefficient used for the update of the mosaic image with a new original image. This criterion is based on constraints related to the temporal variations of the background, the temporal delay and the resolution of the created mosaic images, while its minimization can be analytically performed. Finally, the proposed method is applied to the creation of new video sequences in which the camera point of view, the camera focal, or the image size are modified. This approach has been tested and validated on real video sequences with large camera motion.