Savitzky-Golay滤波和L1范数优化相结合的视频稳像算法

近年来,越来越多的人利用手持设备拍摄视频表达自己或社会问题等,这类视频常存在抖动现象,如何消除视频序列中的随机抖动成为近年来的研究热点。本文面向视频去抖动应用场景,提出了一种Savitzky-Golay滤波和L1范数优化相结合的视频稳像算法。首先基于帧间配对特征点进行运动估计;然后利用Savitzky-Golay滤波算法进行路径平滑处理,去除运动路径中的高频抖动分量,避免了噪声对后续生成稳定路径的影响;进一步,对平滑后的有效路径信息进行基于优化的L1范数优化算法拟合,得到最终的稳定路径;最后对原始视频图像序列进行运动补偿,生成稳定的图像序列。对比实验结果表明,本文方法稳像效果优于原始L1范数优化算法,算法速度快于目前效果较好的二维稳像算法。      

基于自适应补偿的电子稳像方法

基于车载的光电系统在采集图像的过程中,载车的随机振动会导致视频序列发生抖动,需要通过稳像技术来消除。为解决传统电子稳像方法中存在帧间跳变、机械性选择参考帧,以及边缘信息丢失的问题,提出了一种基于自适应补偿的电子稳像方法。首先,自适应地更新参考帧,后续帧与更新的参考帧进行特征点的提取和匹配,并通过参数迭代方法求解相对于第1帧的全局运动参数;然后,区分不同的全局运动参数:旋转角度、水平、垂直方向的偏移量,并通过运动滤波从全局运动参数中分离出扫描运动,补偿随机抖动;最后,采用后向映射方式实现运动补偿,并运用图像镶嵌,即利用参考基准帧的信息对校正后图像的边缘信息进行补偿。实验结果表明:稳像后视频序列有很好的视觉稳定效果,且提高了峰值信噪比(PSNR)和帧间变换保真度(ITF)。本文的方法具有很好的鲁棒性,在不同的视频场景下都可以实现稳像,可以满足稳像的精度要求。     

快速平滑点特征轨迹电子稳像

为了提高机载成像系统输出视频的图像质量,提出了一种快速平滑点特征轨迹的稳像算法。以消除全局运动估计的帧间匹配累积全局运动、实现长时快速稳像为目的,建立有别于传统实时稳像模式的系统框架。首先采用SURF算法从原始的抖动视频中提取不稳定的特征点;其次利用Delaunay三角剖分算法判断特征点的邻接性,生成点特征轨迹;再次采用Kalman 滤波器对不稳视频中得到的点特征轨迹进行滤波处理,得到平滑的点特征轨迹;最后由原始点特征轨迹和平滑点特征轨迹估算出直接需要补偿的全局运动矢量。实验结果表明:该方法不仅能够实时处理失稳航摄视频,有效改善机载成像系统的图像质量,而且能够估计出相互独立的帧间全局运动矢量,可以应用于需要长时间稳像的场合。     

基于联合相机路径的红外视频稳像算法

针对由于视差变化而导致的红外视频稳像技术难题,文中提出了一种基于联合相机路径的红外视频稳像算法,该算法主要包括:预处理、联合相机路径求解、多路径优化、运动补偿四个步骤。首先,要对红外图像进行直方图均衡化、特征点提取和匹配处理、预映射。接着,要将每帧图像分为m×n个网格单元,利用基于网格的映射运动表征,将每一帧中对应网格得到的局部单应性矩阵进行相乘得到联合相机路径。然后,对联合相机路径采用“多路径优化”策略进行平滑处理。最后,利用平滑后路径进行运动补偿稳定视频。实验结果表明,该方法能有效地处理由于视差而引起的非线性运动,相比传统的稳像算法效果更好,当特征点存在部分遮挡时,也能取得不错的稳像效果。     

彩色分层和相位相关的视频稳像

针对小波变换和相位相关法实现的视频稳像精度不足的问题,本文引入彩色分层技术,提出了一种新的视频稳像技术方法.首先,对待处理视频图像进行彩色分层,分别进行小波变换(即金字塔式分层),并利用相位相关法求取相关运动矢量,然后对矢量参数进行权值滤波处理以保留正常扫描运动而去除抖动矢量,最后针对抖动量进行运动补偿实现视频稳像.针...     

一种抗信息丢失的稳像系统

针对二维电子稳像补偿全局运动矢量后会出现大量 的空白区域,提出了一种不需要采用单应性模型明确估计全局运动矢量的快速平滑特征轨迹 的稳像算法。首先,采用改进的快速鲁棒特征(SURF)提取图像局部特征点;然后,利用空间 运动的 一致性连接帧与帧之间匹配的特征点得到特征点轨迹;最后,建立同时考虑特征轨迹的平滑 度和视频质量退化程度的目标函 数平滑特征点轨迹,得到稳定的视频。实验结果表明,用本文方法稳定的视频比Matsushita 方法处理后的视频丢失的区域减小 了30%左右,更满足人眼感官需求,减轻了费时的运动修复任务;同时 消除了运动估计中帧间匹配的累积误差,对前景存在较大局部运动的视频仍能表现较好的稳 像效果。     

基于光流法的多分辨率电子稳像算法

针对动载体摄像系统中视频序列受载体姿态运动及抖动的干扰而出现的不稳定现象,提出一种基于光流算法的多分辨率电子稳像算法。首先,通过划定有效的运动估算区域取代对整帧图像的计算以降低计算量;然后,利用基于光流算法的多分辨率分层运动估计快速并精确地计算出包含平移、旋转以及缩放运动的相邻帧间仿射变换参数;最后,采用固定帧补偿算法,利用求得的仿射变换参数,对图像进行运动补偿,消除或减轻图像序列帧间的随机抖动,达到稳像的目的。实验结果表明,针对包含运动目标的动态场景,该算法可以精确地检测出视频序列帧间平移、旋转以及缩放等复杂的抖动,水平和垂直方向的稳像精确度小于1pixel,保证视频序列的稳定输出,可应用于目标跟踪系统中。     

基于位平面匹配和卡尔曼滤波的视频稳定

针对数字视频帧间平移抖动的稳定问题,介绍一种基于局部求精位平面匹配运动估计和约束卡尔曼滤波运动校正的视频稳定算法。运动估计首先结合了灰阶比特平面匹配和菱形搜索策略得到初步的估计结果,然后在其附近再以最小绝对差（MAD）为测度,搜索更为准确的运动估计结果。这种运动估计方法在保证估计精度的前提下,显著地减少了运动估计需要的计算量。运动校正则考虑到实际稳像系统对校正量可能存在的某些约束,对绝对帧位移曲线采用约束卡尔曼滤波,得到平滑的位移曲线,有效地降低了帧间抖动的幅度,同时保证了校正矢量不超过稳像系统的实际校正能力。仿真实验表明,该算法具有精度高、速度快的特点,尤其适用于实时视频稳定。     

基于时空一致性的立体视频稳像改进方法

随着立体拍摄设备的普及,立体影视的后期稳像需求大大增加.直接观看带有抖动的立体视频,极易造成视觉疲劳.利用传统2D稳像方法分别稳像合成的立体视频很可能引入新的垂直视差,并且会导致水平视差的不稳定,大大影响视觉体验.因此,提出了一种改进的立体视频稳像方法,在3D运动模型进行单目稳像的基础上,增强两路视频的时空一致性约束,更好地稳定水平视差及消除垂直视差.最后对稳定后的序列进行合理的裁切放大.对几组不同的立体抖动视频进行了试验,测试结果表明所提出的方法是有效的.     

基于SIFT和卡尔曼滤波的电子稳像技术研究

利用电子稳像方法去除抖动视频中的噪声是目前稳像技术的发展方向之一。文中首先介绍电子稳像的基本流程,随后使用SIFT提取图像中的特征点,以解决图像中存在缩放的问题。在经过运动一致性估计后计算运动参数,并使用Kalman滤波得到各帧的修正矢量。实验结果表明该方法能有效地去除随机运动分量而保持意向运动分量,得到稳定的视频。     

适于微小型飞行器平台的稳像算法

为解决微小型飞行器由于机械振动、气流扰动等原因引起的图像高频抖动,设计了一种适用于该平台的稳像算法。采用基于生物视觉的匹配方法估计帧间运动矢量,建立了图像参数传递的数学模型;结合微小型飞行器的运动特点,提出了带约束的交互式多模型卡尔曼滤波方法(CIMMKF),针对绝对帧位移曲线和旋转角度滤波,引入硬约束条件减小模型不准确性产生的误差,再通过软约束平滑硬约束带来的局部跳变求得图像合适的校正量。最后,给出了一种新颖的微小型飞行器平台稳像算法性能的评估方法。实验结果表明,该稳像算法能够适应飞行器多种状态的交替改变,有效减小滤波延迟,去除高频抖动,保留主动运动,使稳定后图像质量满足观察要求,具有图像信息保留程度高、速度快的特点,尤其适用于微小型飞行器实时视频稳定。     

Recognition of dynamic video contents with global probabilistic models of visual motion.

The exploitation of video data requires methods able to extract high-level information from the images. Video summarization, video retrieval, or video surveillance are examples of applications. In this paper, we tackle the challenging problem of recognizing dynamic video contents from low-level motion features. We adopt a statistical approach involving modeling, (supervised) learning, and classification issues. Because of the diversity of video content (even for a given class of events), we have to design appropriate models of visual motion and learn them from videos. We have defined original parsimonious global probabilistic motion models, both for the dominant image motion (assumed to be due to the camera motion) and the residual image motion (related to scene motion). Motion measurements include affine motion models to capture the camera motion and low-level local motion features to account for scene motion. Motion learning and recognition are solved using maximum likelihood criteria. To validate the interest of the proposed motion modeling and recognition framework, we report dynamic content recognition results on sports videos.     

矿井车载摄像系统中电子稳像算法的研究

为克服矿井车载摄像系统在视频采集过程中的图像抖动问题,提出了一种基于MIC-Harris角点特征的自适应运动补偿电子稳像算法。首先,提出MIC-Harris角点检测算法和由粗到精的匹配策略,实现序列中特征点的快速精确提取。然后根据矿井移动车载图像运动特点,构建运动参数估计模型,运用最小二乘法实现全局运动矢量的求解。最后,提出自适应相邻帧补偿方法,结合Kalman滤波实现补偿矢量的计算,在滤除高频随机抖动同时保留了车载摄像机低频主动运动,并克服了连续视频序列长时间稳像处理的帧间累积误差问题。实验仿真结果表明：本文提出的算法不仅融合了MIC运算速度快和Harris准确度高的优点,而且能够实现矿井车载摄像系统的长时间连续稳像处理,具有较好的稳像效果。     

Combination of local feature detection methods for digital video stabilization

Technological advances in compact and portable cameras have enabled the generation of large volumes of video sequences. However, videos captured by amateurs are subject to unwanted vibrations due to camera shaking. To overcome such problem, video stabilization aims to remove undesired motion from videos to enhance visual quality, improving applications such as detection and tracking of objects. In this work, we develop and analyze a consensual method for combining a set of local feature techniques for camera motion estimation. Several video sequences are used to evaluate the proposed methodology. Experimental results demonstrate the effectiveness of the combination method over individual local feature approaches.     

动态前景干扰下的电子稳像算法

针对存在动态前景目标的抖动视频序列,提出了一种以块匹配为基础的块差分平方前景目标去除的电子稳像方法。首先,将图像分成大小为16×16的特征块,通过设定阈值筛选出具有足够梯度信息来估计运动矢量的特征块,从而减少参与计算的特征块数量以提高处理速度;然后,采用归一化互相关(Normalized Cross Correlation,NCC)匹配算法和迭代搜索策略来完成特征块的匹配;最后,采用牛顿迭代法计算仿射变换模型下的帧间运动参数,并根据这些参数完成运动补偿,实现图像序列的稳定。实验表明,算法成功地去除了视频序列中动态前景目标的干扰,对存在平移及旋转运动的视频序列,能够快速有效地去除抖动,获得稳定的视频序列。     

The Design and Construction of a Movable Image-Based Rendering System and Its Application to Multiview Conferencing

Image-based rendering (IBR) is an promising technology for rendering photo-realistic views of scenes from a collection of densely sampled images or videos. It provides a framework for developing revolutionary virtual reality and immersive viewing systems. While there has been considerable progress recently in the capturing, storage and transmission of image-based representations, most multiple camera systems are designed to be stationary and hence their ability to cope with moving objects and dynamic environment is somewhat limited. This paper studies the design and construction of a movable image-based rendering system based on a class of dynamic representations called plenoptic videos, its associated video processing algorithms and an application to multiview audio-visual conferencing. It is constructed by mounting a linear array of 8 video cameras on an electrically controllable wheel chair and its motion is controllable manually or remotely through wireless LAN by means of additional hardware circuitry. We also developed a real-time object tracking algorithm and utilize the motion information computed to adjust continuously the azimuth or rotation angle of the movable IBR system in order to cope with a given moving object in a large environment. Due to imperfection in tracking and mechanical vibration encountered in movable systems, the videos may appear very shaky and a new video stabilization technique is proposed to overcome this problem. The usefulness of the system is illustrated by means of a multiview conferencing application using a multiview TV display. Through this pilot study, we hope to disseminate useful experience for the design and construction of movable IBR systems with improved viewing freedom and ability to cope with moving object in a large environment.