一种抗信息丢失的稳像系统

针对二维电子稳像补偿全局运动矢量后会出现大量 的空白区域,提出了一种不需要采用单应性模型明确估计全局运动矢量的快速平滑特征轨迹 的稳像算法。首先,采用改进的快速鲁棒特征(SURF)提取图像局部特征点;然后,利用空间 运动的 一致性连接帧与帧之间匹配的特征点得到特征点轨迹;最后,建立同时考虑特征轨迹的平滑 度和视频质量退化程度的目标函 数平滑特征点轨迹,得到稳定的视频。实验结果表明,用本文方法稳定的视频比Matsushita 方法处理后的视频丢失的区域减小 了30%左右,更满足人眼感官需求,减轻了费时的运动修复任务;同时 消除了运动估计中帧间匹配的累积误差,对前景存在较大局部运动的视频仍能表现较好的稳 像效果。     

快速平滑点特征轨迹电子稳像

为了提高机载成像系统输出视频的图像质量,提出了一种快速平滑点特征轨迹的稳像算法。以消除全局运动估计的帧间匹配累积全局运动、实现长时快速稳像为目的,建立有别于传统实时稳像模式的系统框架。首先采用SURF算法从原始的抖动视频中提取不稳定的特征点;其次利用Delaunay三角剖分算法判断特征点的邻接性,生成点特征轨迹;再次采用Kalman 滤波器对不稳视频中得到的点特征轨迹进行滤波处理,得到平滑的点特征轨迹;最后由原始点特征轨迹和平滑点特征轨迹估算出直接需要补偿的全局运动矢量。实验结果表明:该方法不仅能够实时处理失稳航摄视频,有效改善机载成像系统的图像质量,而且能够估计出相互独立的帧间全局运动矢量,可以应用于需要长时间稳像的场合。     

网球运动视频目标丢失点特征补偿方法研究

对于网球运动视频目标丢失点的特征补偿,传统方法有效性不足的缺陷,提出基于帧间差分消除的网球运动视频目标丢失点特征补偿方法。首先构建三维检测目标模型,利用帧间差分消除算法从运动视频图像中提取背景,预测目标运动轨迹,通过希尔伯特变换分析图像前景的轨迹相位差值特性,检测出目标丢失点。通过观察目标丢失点顶点结构,给出目标丢失点补偿措施。实验实测数据表明,所提方法对网球运动视频目标丢失点的分辨能力得到了大幅度提升,对丢失点的特征补偿精度更高,并且反应时间有效缩短。     

采用SIFT特征的空基动态视频稳定技术

当采用空基平台对道路进行交通检测时,平台沿道路飞行,空基平台姿态不易控制且控制精度较低,此外,由于风速影响和平台自身振动等因素,检测获取的视频图像存在不必要的随机摇摆和抖动,为了去除抖动,改善观测效果,需进行动态观测模式下的视频稳定处理以实现稳定观测.采用改进的SIFT算法进行特征提取,提高了SIFT特征提取的效率,并根据动态视频相邻帧匹配的实际应用,采用邻域搜索方法进行特征匹配,提高了匹配的精度.得到精确匹配的特征点对进行运动参数估计,并采用Kalman滤波对运动参数平滑后进行视频图像的校正补偿,得到稳定的视频输出.该算法精度较高,稳定效果较好,能有效地实现空基平台动态视频稳定处理,便于交通监控,为后续的目标检测与跟踪提供了便利.     

基于图像交叉分块的电子稳像算法

该文提出一种基于图像交叉分块的电子稳像算法。该算法利用相邻两帧图像间存在相同特征的性质,首先通过对图像的交叉分块提取反映图像全局信息的特征点集合,然后根据运动模型建立能量函数,使相邻帧的特征点集合达到最佳匹配,同时获取全局运动参数,最后进行运动补偿以实现稳像目的。稳健的特征点与运动模型匹配相结合,能够有效地处理存在较大旋转和偏移的序列图像。通过强噪声实验表明,该算法具有较好的鲁棒性。     

基于模糊聚类的运动对象分割算法研究

为了从视频序列中分割出完整的、一致的运动视频对象,该文使用基于模糊聚类的分割算法获得组成对象边界的像素,从而提取对象。该算法首先使用了当前帧以及之前一些帧的图像信息计算其在小波域中不同子带的运动特征,并根据这些运动特征构造了低分辨率图像的运动特征矢量集;然后,使用模糊C-均值聚类算法分离出图像中发生显著变化的像素,以此代替帧间差图像,并利用传统的变化检测方法获得对象变化检测模型,从而提取对象;同时,使用相继两帧之间的平均绝对差值大小确定计算当前帧运动特征所需帧的数量,保证提取视频对象的精确性。实验结果证明该方法对于分割各种图像序列中的视频对象是有效的。     

利用全景图的视频稳像算法

针对具有场景变换、景深变换较小的抖动视频,本文提出了一种利用全景图的视频稳像方法。不同于传统稳像方法,本文所提算法利用原始视频序列生成广角视图,通过后期抽取视频帧,以合成方式输出稳定视频。通过区域块的运动估计,获取相机的运动轨迹;在此基础上,为消除视频抖动导致的原始运动轨迹的非平滑问题,提出了一种基于运动矢量统计的相机运动模式判决方法,并以此选择相应的平滑方式。最后,通过平滑后的运动轨迹对全景图进行抽帧,合成平滑、稳定视频。实验结果表明,本文提出的稳像方法能有效去除较大抖动,同时避免了对视频宽度的裁剪等后处理,具有较好的稳像能力。      

较大尺度运动下的人体特征点跟踪算法研究

利用光流法可以对视频中运动目标进行特征点跟踪,当目标存在较大尺度运动时,光流法图像一致性假设难以满足,导致特征点跟踪丢失。针对此问题,提出了一种基于Lucas-Kanade(L-K)金字塔光流算法的运动人体特征点跟踪方法。首先,利用帧间差分法得到帧差图像序列,获取行人的运动区域;然后用尺度不变特征变换（SIFT）算法检测选定初始帧中的特征点;最后运用L-K金字塔光流算法跟踪这些特征点在后续帧中的位置。实验结果表明,该算法对较大尺度运动的特征点跟踪有很好的效果,提高了跟踪的准确性。      

Savitzky-Golay滤波和L1范数优化相结合的视频稳像算法

近年来,越来越多的人利用手持设备拍摄视频表达自己或社会问题等,这类视频常存在抖动现象,如何消除视频序列中的随机抖动成为近年来的研究热点。本文面向视频去抖动应用场景,提出了一种Savitzky-Golay滤波和L1范数优化相结合的视频稳像算法。首先基于帧间配对特征点进行运动估计;然后利用Savitzky-Golay滤波算法进行路径平滑处理,去除运动路径中的高频抖动分量,避免了噪声对后续生成稳定路径的影响;进一步,对平滑后的有效路径信息进行基于优化的L1范数优化算法拟合,得到最终的稳定路径;最后对原始视频图像序列进行运动补偿,生成稳定的图像序列。对比实验结果表明,本文方法稳像效果优于原始L1范数优化算法,算法速度快于目前效果较好的二维稳像算法。      

基于高斯背景建模的目标检测技术

研究了室内环境下的运动目标的检测技术。讨论了各种目标检测的算法,提出基于室内相对静止背景下的目标检测算法,利用高斯背景建模方法提取较为理想与"干净"的背景帧,并可进行背景的自适应更新,然后再利用所得的背景与当前视频帧进行相减,得到视频中运动目标的前景图像,经过平滑去噪处理得到较为理想的目标检测效果。     

基于三维递归搜索的多级运动估计视频帧率上转换算法

运动补偿插帧是目前主要的帧率上转换方法。为减小内插帧中的块效应,并降低运算量以满足实时高清视频应用,该文提出了一种基于3维递归搜索(3-D Recursive Search, 3-D RS)的多级块匹配运动估计视频帧率上转换算法。该算法将3-D RS与双向运动估计相结合,首先对序列中相邻帧进行由粗到精的三级运动估计,再利用简化的中值滤波器平滑运动矢量场,最后通过线性插值补偿得到内插帧。实验结果表明,与现有的运动补偿插帧算法相比,该算法内插帧的主、客观质量都有所提高,且算法复杂度低,有很强的实用性。     

Novel two-layer motion estimation for video coding

In this paper,we proposed a novel Two-layer Motion Estimation （TME） which searches motion vectors on two layers with partial distortion measures in order to reduce the overwhelming computational complexity of Motion Estimation （ME） in video coding.A layer is an image which is derived from the reference frame such that the sum of a block of pixels in the reference frame determines the point of a layer.It has been noticed on different video sequences that many motion vectors on the layers are the same as those searched on the reference frame.The proposed TME performs a coarse search on the first layer to identify the small region in which the best candidate block is likely to be positioned and then perform local refined search on the next layer to pick the best candidate block in the located small area.The key feature of TME is its flexibility of mixing with any fast search algorithm.Experimental results on a wide variety of video sequences show that the proposed algorithm has achieved both fast speed and good motion prediction quality when compared to well known as well as the state-of-the-art fast block matching algorithms.     

基于车载视频图像的道路消失点检测算法

道路消失点检测是高级驾驶辅助系统中盲区监测的重要组成部分。针对现有消失点检测方法所存在的准确度低、运算量大等问题,提出一种基于车载视频图像的道路消失点检测算法。该算法在Harris角点检测基础上优化得分函数检测出图像特征点,减少在跟踪阶段的运算量;通过金字塔光流法和帧差距离对运动特征点进行跟踪,在结束帧上准确获得各特征点的位置;对特征点去除离值点后,通过优化初始聚类中心的K-Means聚类算法,得到车载视频图像的道路消失点。最后将算法应用于各种车辆行驶场景进行测试,在较短运行时间内,能准确检测出车载视频图像中道路消失点,证明算法鲁棒性好、运算简单易实现。     

Fast 3D video stabilization using ROI-based warping

With the rapid development of portable digital video equipment, such as camcorders, digital cameras and smart phones, video stabilization techniques for camera de-shaking are strongly required. The cutting-edge video stabilization techniques provide outstanding visual quality by utilizing 3D motion, while early video stabilization is based on 2D motion only. Recently, a content-preserving warping algorithm has been acknowledged as state-of-the-art thanks to its superior stabilization performance. However, the huge computational cost of this technique is a serious burden in spite of its excellent performance. Thus, we propose a fast video stabilization algorithm that provides significantly reduced computational complexity over the state-of-the-art with the same stabilization performance. First, we estimate the 3D information of the feature points in each input frame and define the region of interest (ROI) based on the estimated 3D information. Next, if the number of feature points in the ROI is sufficient, we apply the proposed ROI-based pre-warping and content-preserving warping sequentially to the input frame. Otherwise, conventional full-frame warping is applied. From intensive simulation results, we find that the proposed algorithm reduces computational complexity to 14% of that of the state-of-the-art method, while keeping almost equivalent stabilization performance.     

Selective VS-MRF-ME and intra coding in H.264 based on spatiotemporal continuity of motion field

The new video coding standard, H.264 uses variable size motion estimation (VS-ME), multiple reference frame motion estimation (MRF-ME) and spatial-based intra prediction with selectable block size in inter frame coding. These tools have achieved significant coding efficiency compared to coding a macroblock (MB) only based on motion-compensation in regular size with single reference frame. However, these new features also give rise to an exhaustive computation in the coding procedure since there are so many combinations of coding modes and reference frames to be tried. In this paper, a fast motion estimation algorithm based on the selective VS-MRF-ME and intra prediction is proposed to reduce H.264 coding computational complexity. The basic idea of the method is to utilize the spatiotemporal property of motion field in predicting where VS-MRF-ME and intra prediction are needed, and only in these regions VS-MRF-ME and intra coding are enabled. The motion field is generated by motion vectors from 16×16 motion estimation on the nearest reference frame. Simulation results show that the proposed algorithm can save 50% computational complexity on average, with negligible loss of coding efficiency.     

基于自适应补偿的电子稳像方法

基于车载的光电系统在采集图像的过程中,载车的随机振动会导致视频序列发生抖动,需要通过稳像技术来消除。为解决传统电子稳像方法中存在帧间跳变、机械性选择参考帧,以及边缘信息丢失的问题,提出了一种基于自适应补偿的电子稳像方法。首先,自适应地更新参考帧,后续帧与更新的参考帧进行特征点的提取和匹配,并通过参数迭代方法求解相对于第1帧的全局运动参数;然后,区分不同的全局运动参数:旋转角度、水平、垂直方向的偏移量,并通过运动滤波从全局运动参数中分离出扫描运动,补偿随机抖动;最后,采用后向映射方式实现运动补偿,并运用图像镶嵌,即利用参考基准帧的信息对校正后图像的边缘信息进行补偿。实验结果表明:稳像后视频序列有很好的视觉稳定效果,且提高了峰值信噪比(PSNR)和帧间变换保真度(ITF)。本文的方法具有很好的鲁棒性,在不同的视频场景下都可以实现稳像,可以满足稳像的精度要求。     

基于联合相机路径的红外视频稳像算法

针对由于视差变化而导致的红外视频稳像技术难题,文中提出了一种基于联合相机路径的红外视频稳像算法,该算法主要包括:预处理、联合相机路径求解、多路径优化、运动补偿四个步骤。首先,要对红外图像进行直方图均衡化、特征点提取和匹配处理、预映射。接着,要将每帧图像分为m×n个网格单元,利用基于网格的映射运动表征,将每一帧中对应网格得到的局部单应性矩阵进行相乘得到联合相机路径。然后,对联合相机路径采用“多路径优化”策略进行平滑处理。最后,利用平滑后路径进行运动补偿稳定视频。实验结果表明,该方法能有效地处理由于视差而引起的非线性运动,相比传统的稳像算法效果更好,当特征点存在部分遮挡时,也能取得不错的稳像效果。     

基于多特征融合的运动对象识别算法

为提高视频检索的准确率,提出了一种基于多特征融合的视频运动对象识别算法。该算法首先使用基于背景帧构造及关键帧截取的方法提取视频中的运动对象的区域;然后分别提取运动对象的局部特征SURF描述子和全局特征如颜色直方图、边缘直方图等,并使两者融合为统一的特征向量;最后使用支持向量机对特征进行学习和识别,用以识别视频对象。实验证明该算法有效地提高了视频中运动对象识别的准确率。     

基于邻域运动一致性的运动矢量快速构建算法

在时移电视应用中,视频快进播放要求视频服务器能够通过跳帧抽取视频序列中的I帧和P帧的方式输出快速播放码流,当所跳帧中含有P帧时,必需对抽取出来的快进码流中的P帧进行重编码.为提高抽取后重编码效率,可利用码流中的原始运动矢量对跳帧后新参考帧条件下的运动矢量进行预测.在FDVS和ADVS算法基础上,提出了一种基于宏块及其相邻宏块运动一致性的算法来修正原始运动矢量,并通过实验将其与现有的FDVS和ADVS算法进行比较.