矿井车载摄像系统中电子稳像算法的研究

为克服矿井车载摄像系统在视频采集过程中的图像抖动问题,提出了一种基于MIC-Harris角点特征的自适应运动补偿电子稳像算法。首先,提出MIC-Harris角点检测算法和由粗到精的匹配策略,实现序列中特征点的快速精确提取。然后根据矿井移动车载图像运动特点,构建运动参数估计模型,运用最小二乘法实现全局运动矢量的求解。最后,提出自适应相邻帧补偿方法,结合Kalman滤波实现补偿矢量的计算,在滤除高频随机抖动同时保留了车载摄像机低频主动运动,并克服了连续视频序列长时间稳像处理的帧间累积误差问题。实验仿真结果表明：本文提出的算法不仅融合了MIC运算速度快和Harris准确度高的优点,而且能够实现矿井车载摄像系统的长时间连续稳像处理,具有较好的稳像效果。     

基于联合相机路径的红外视频稳像算法

针对由于视差变化而导致的红外视频稳像技术难题,文中提出了一种基于联合相机路径的红外视频稳像算法,该算法主要包括:预处理、联合相机路径求解、多路径优化、运动补偿四个步骤。首先,要对红外图像进行直方图均衡化、特征点提取和匹配处理、预映射。接着,要将每帧图像分为m×n个网格单元,利用基于网格的映射运动表征,将每一帧中对应网格得到的局部单应性矩阵进行相乘得到联合相机路径。然后,对联合相机路径采用“多路径优化”策略进行平滑处理。最后,利用平滑后路径进行运动补偿稳定视频。实验结果表明,该方法能有效地处理由于视差而引起的非线性运动,相比传统的稳像算法效果更好,当特征点存在部分遮挡时,也能取得不错的稳像效果。     

基于位平面匹配和卡尔曼滤波的视频稳定

针对数字视频帧间平移抖动的稳定问题,介绍一种基于局部求精位平面匹配运动估计和约束卡尔曼滤波运动校正的视频稳定算法。运动估计首先结合了灰阶比特平面匹配和菱形搜索策略得到初步的估计结果,然后在其附近再以最小绝对差（MAD）为测度,搜索更为准确的运动估计结果。这种运动估计方法在保证估计精度的前提下,显著地减少了运动估计需要的计算量。运动校正则考虑到实际稳像系统对校正量可能存在的某些约束,对绝对帧位移曲线采用约束卡尔曼滤波,得到平滑的位移曲线,有效地降低了帧间抖动的幅度,同时保证了校正矢量不超过稳像系统的实际校正能力。仿真实验表明,该算法具有精度高、速度快的特点,尤其适用于实时视频稳定。     

基于Harris图像拼接的全景视频稳像算法

对于背景变换和抖动分量比较小的视频序列,传统稳像算法不能直接适用,本文提出一种基于Harris图像拼接的全景稳像算法。首先采用Prewitt算子提取出图像的边缘信息,在此基础上进行分区的Harris特征点检测;然后结合NCC（normalized cross correlation）算法与RANSAC（random sample consensus）算法实现图像间的特征点精确匹配,接着利用加权平均融合的方法进行图像融合;最后对融合后的全景图像进行剪裁,完成图像补偿,输出稳定的视频序列。实验结果表明:改进的Harris算法提高了算法效率以及正确特征点数量,并且本文稳像算法实时性较好,能够有效消除视频抖动并输出稳定的视频序列。     

基于自适应补偿的电子稳像方法

基于车载的光电系统在采集图像的过程中,载车的随机振动会导致视频序列发生抖动,需要通过稳像技术来消除。为解决传统电子稳像方法中存在帧间跳变、机械性选择参考帧,以及边缘信息丢失的问题,提出了一种基于自适应补偿的电子稳像方法。首先,自适应地更新参考帧,后续帧与更新的参考帧进行特征点的提取和匹配,并通过参数迭代方法求解相对于第1帧的全局运动参数;然后,区分不同的全局运动参数:旋转角度、水平、垂直方向的偏移量,并通过运动滤波从全局运动参数中分离出扫描运动,补偿随机抖动;最后,采用后向映射方式实现运动补偿,并运用图像镶嵌,即利用参考基准帧的信息对校正后图像的边缘信息进行补偿。实验结果表明:稳像后视频序列有很好的视觉稳定效果,且提高了峰值信噪比(PSNR)和帧间变换保真度(ITF)。本文的方法具有很好的鲁棒性,在不同的视频场景下都可以实现稳像,可以满足稳像的精度要求。     

快速平滑点特征轨迹电子稳像

为了提高机载成像系统输出视频的图像质量,提出了一种快速平滑点特征轨迹的稳像算法。以消除全局运动估计的帧间匹配累积全局运动、实现长时快速稳像为目的,建立有别于传统实时稳像模式的系统框架。首先采用SURF算法从原始的抖动视频中提取不稳定的特征点;其次利用Delaunay三角剖分算法判断特征点的邻接性,生成点特征轨迹;再次采用Kalman 滤波器对不稳视频中得到的点特征轨迹进行滤波处理,得到平滑的点特征轨迹;最后由原始点特征轨迹和平滑点特征轨迹估算出直接需要补偿的全局运动矢量。实验结果表明:该方法不仅能够实时处理失稳航摄视频,有效改善机载成像系统的图像质量,而且能够估计出相互独立的帧间全局运动矢量,可以应用于需要长时间稳像的场合。     

交通监控视频的快速图像稳定方法

安装在户外的摄像机容易受到各种干扰,因此图像稳定是交通视频监控过程中必不可少的一步.本文采用背景图像中含有较大曲率边缘的区域做运动估计,并判别出全局运动矢量.再根据一个简单的3参数摄像机运动几何模型,估算出全局运动参数,进行全局运动补偿达到快速图像稳定.该方法结合特征匹配方法与运动判别方法的优点,模型参数少,求解过程快,能很好满足监控应用中图像稳定的实际需求,也可以用来对驾驶疲劳警示和车辆碰撞预防等场合获取的视频图像实现稳定化处理.     

适于微小型飞行器平台的稳像算法

为解决微小型飞行器由于机械振动、气流扰动等原因引起的图像高频抖动,设计了一种适用于该平台的稳像算法。采用基于生物视觉的匹配方法估计帧间运动矢量,建立了图像参数传递的数学模型;结合微小型飞行器的运动特点,提出了带约束的交互式多模型卡尔曼滤波方法(CIMMKF),针对绝对帧位移曲线和旋转角度滤波,引入硬约束条件减小模型不准确性产生的误差,再通过软约束平滑硬约束带来的局部跳变求得图像合适的校正量。最后,给出了一种新颖的微小型飞行器平台稳像算法性能的评估方法。实验结果表明,该稳像算法能够适应飞行器多种状态的交替改变,有效减小滤波延迟,去除高频抖动,保留主动运动,使稳定后图像质量满足观察要求,具有图像信息保留程度高、速度快的特点,尤其适用于微小型飞行器实时视频稳定。     

基于区域分割与融合的全景稳像算法

车载红外全景扫描成像系统具有每列单独成像、360全方位视场覆盖的特点,从而导致传统的电子稳像算法无法直接适用,因此,提出一种基于区域分割与融合的全景稳像算法。首先,通过局部列偏移调整方法对图像预补偿。接着,以车头前进方向为基准,对全景图像进行区域分割,即前端、右端、后端、左端区域。然后,根据各区域的成像特点,选择不同的稳像模型进行稳像,其中,运动估计环节采用滑窗策略缩短运算时间,运动补偿环节采用未定义区重构方法弥补边界缺失信息。最后,利用局部区域扩展、渐入渐出加权平均融合方式对重叠区域进行区域拼接、融合,保证全景图像无缝拼接。实验结果表明:该算法有效解决了车体行进过程中红外全景扫描系统的稳像问题,稳像关键指标帧间峰值信噪比（PSNR）可以提高14.7%,运行时间可缩短为传统算法的1/10,基本满足了工程应用的需求。     

基于特征点匹配技术的运动估计及补偿方法

提出一种用于电子稳像技术的全局运动估计和补偿算法。通过特征点匹配,求其局部运动矢量;将其代入变换模型所得的线性力程组,求其全局运动矢量。用均值滤波的方法确定各帧的补偿量,并代入给定的变换模型对当前图像进行变换,实现对视频图像序列的稳定处理。为了减小特征点匹配计算的复杂性,加快匹配速度,还采用了多分辨率图像金字塔匹配策略。实验表明．使用该算法对于提高动态图像的稳定性有较好的效果。     

Video compression using mosaic representations

We describe a technique for video compression based on a mosaic image representation obtained by aligning all frames of a video sequence, giving a panoramic view of the scene. We describe two types of mosaics, static and dynamic, which are suited for storage and transmission applications, respectively. In each case, the mosaic construction process aligns the images using a global parametric motion transformation, usually canceling the effect of camera motion on the dominant portion of the scene. The residual motions that are not compensated by the parametric motion are then analyzed for their significance and coded. The mosaic representation exploits large scale spatial and temporal correlations in image sequences. In many applications where there is significant camera motion (e.g., remote surveillance), it performs substantially better than traditional interframe compression methods and offers the potential for very low bit-rate transmission. In storage applications, such as digital libraries and video editing environments, it has the additional benefit of enabling direct access and retrieval of single frames at a time.     

Moving object detection and tracking from video captured by moving camera

This paper presents an effective method for the detection and tracking of multiple moving objects from a video sequence captured by a moving camera without additional sensors. Moving object detection is relatively difficult for video captured by a moving camera, since camera motion and object motion are mixed. In the proposed method, the feature points in the frames are found and then classified as belonging to foreground or background features. Next, moving object regions are obtained using an integration scheme based on foreground feature points and foreground regions, which are obtained using an image difference scheme. Then, a compensation scheme based on the motion history of the continuous motion contours obtained from three consecutive frames is applied to increase the regions of moving objects. Moving objects are detected using a refinement scheme and a minimum bounding box. Finally, moving object tracking is achieved using a Kalman filter based on the center of gravity of a moving object region in the minimum bounding box. Experimental results show that the proposed method has good performance.     

基于全局运动信息的视频检索技术

运动信息是描述视频内容的一种重要信息,本文介绍了一个基于全局运动信息的视频检索系统.在该系统中,我们通过对视频数据进行短时全局运动分析,较为精确地提取出了描述全局摄像机运动的双线性运动模型,并以该模型参数为运动特征,以特征点序列顺序匹配以及全局运动矢量距离平方和为基础,构造了一个视频检索方案.实验结果表明,在特定的应用领域,如体育类视频中,我们的检索方案能够实现一定程度的语义内容检索,同时提供了采用其他图像特征所无法实现的检索功能.     

一种多子块协同的自适应快速数字稳像方法

针对现有数字稳像系统稳像精度低、难以实时处理的问题,该文提出一种快速鲁棒的数字视频稳像方法。采用亚像素相位相关对图像子块进行局部匹配,根据局部运动的一致性,利用多子块协同获取全局运动矢量,在减少计算量的同时保证了稳像精度与范围;进而提出主动运动平稳性和一致性两种度量,利用其反馈调整卡尔曼滤波参数,实现主动运动和抖动的准确分离;最后根据帧间抖动特点选择邻近适合图像进行存储,在节省存储资源的同时达到较好的补偿效果。实验结果表明,该文提出的稳像方法具有较高的稳像精度以及较强的抗干扰能力,可用于实时电子稳像产品。     

基于光流法的多分辨率电子稳像算法

针对动载体摄像系统中视频序列受载体姿态运动及抖动的干扰而出现的不稳定现象,提出一种基于光流算法的多分辨率电子稳像算法。首先,通过划定有效的运动估算区域取代对整帧图像的计算以降低计算量;然后,利用基于光流算法的多分辨率分层运动估计快速并精确地计算出包含平移、旋转以及缩放运动的相邻帧间仿射变换参数;最后,采用固定帧补偿算法,利用求得的仿射变换参数,对图像进行运动补偿,消除或减轻图像序列帧间的随机抖动,达到稳像的目的。实验结果表明,针对包含运动目标的动态场景,该算法可以精确地检测出视频序列帧间平移、旋转以及缩放等复杂的抖动,水平和垂直方向的稳像精确度小于1pixel,保证视频序列的稳定输出,可应用于目标跟踪系统中。     

一种针对车载全景系统的图像拼接算法的仿真

传统的全景图像拼接算法,多采用Harris角点的特征提取或尺度不变特征转换?(SIFT)的特征匹配算子的方式,对存在重合部分的图像进行图像拼接处理。但对于车载全景图像拼接算法而言,车身四周采集到的4幅鱼眼畸变图像,使用特征提取算子的方法进行的拼接,运算的复杂度高,效率低,不能满足车载设备的实时性要求。针对这一问题,该文提出一种专门应用在车载系统的车载全景图像拼接算法,并对其进行Matlab仿真,最大限度提高算法的运算效率,以满足车载系统实时性的要求,真实的反应路况信息,辅助驾驶员安全驾驶。     

一种新的基于单目视觉的广义障碍物检测方法

 障碍物检测是辅助驾驶、机器人导航等领域的核心问题之一.本文提出一种新的基于特征点道路面投影位移矢量的单目视觉广义障碍物检测方法.基于道路平面假设,利用特征点估计相机自运动参数,并利用此参数对相机的旋转运动进行补偿.利用逆透视投影变换,分别推导并证明了道路平面上的点和障碍物上的点的道路面投影位移矢量与相机位移矢量的关系.提出了一种区间统计方法,实现了相机位移矢量的鲁棒估计.最后,通过分析连续图像特征点的道路面投影位移矢量与相机位移矢量的关系,实现了广义障碍物检测.各种场景下的实验结果表明,该方法能够检测任意类型、形状的障碍物.与传统的运动补偿方法相比,具有更好的鲁棒性和准确性.     

实时电子数字稳像系统并行处理的快速实现

电子数字稳像系统待处理的数据量和计算量非常大,其实时性要求使得系统必须具有很高的数据处理速度。结合图像视频数据处理高度并行化、重复性处理的特征,在程序编制上,采用并行处理方法,利用单指令多数据流(Single Instruction Multiple Data, SIMD)、流水线SIMD技术和多线程设计方法。采用块匹配法进行运动估计,以总绝对差作为匹配准则,以菱形搜索与三步快速搜索相结合的综合搜索策略,减少了运算量,进一步加快了处理速度。同时,使用Kalman低通滤波方法去除图像的高频抖动,而保留了平滑的全局运动,保证了系统的有效性和鲁棒性。通过这些措施,在普通PC机上实现了系统的高效实时处理。     

一种基于KLT-RANSAC全局运动估计的电子稳像算法研究

全局运动估计是电子稳像的核心,很大程度上影响整个稳像系统的性能.提出了一种基于KLT-RANSAC全局运动估计的电子稳像算法,该方法首先通过增加距离约束机制,并进行亚像素级定位,优化Harris特征点,选择KLT快速匹配算法实现特征点的粗匹配,之后引入了RANSAC算法剔除误匹配点,去除视频序列中分布在运动物体上的特征点,避免了局部运动对全局运动估计的影响.实验结果表明:本算法可以有效解决特征点匹配过程中的误匹配问题,避免局部运动对稳像的干扰,快速准确地计算出全局运动参数,最终可以实时处理存在平移和旋转抖动的视频,输出稳定高质量的视频.     

New methods for dynamic mosaicking

This paper presents a new technique for the creation of a sequence of mosaic images from an original video shot. A mosaic image represents, on a single image, the scene background seen all over the sequence and its creation requires the estimation of the warping parameters and the use of a blending technique. The warping parameters permit one to represent each original image in the mosaic reference. An estimation method, based on a direct comparison between the current original image and the previously calculated mosaic is proposed. A new analytic minimization criterion is also designed to optimize the determination of the blending coefficient used for the update of the mosaic image with a new original image. This criterion is based on constraints related to the temporal variations of the background, the temporal delay and the resolution of the created mosaic images, while its minimization can be analytically performed. Finally, the proposed method is applied to the creation of new video sequences in which the camera point of view, the camera focal, or the image size are modified. This approach has been tested and validated on real video sequences with large camera motion.