一种视频序列的全景图绘制算法

针对帧间变换为单映变换的视频序列全景图的绘制,提出了一种视频序列的全景图绘制算法.该算法首先采用基于模型的等级估计法对相邻帧的单映变换矩阵进行估计;然后采用基于RANSAC的特征点匹配方法对非相邻帧进行带指导的改进估计,以使其能够达到要求的子像素级精度;最后运用时间中值滤波绘制全景图.实验结果表明,该算法检测的全景图不仅帧间配准达到了一定的子像素级精度,而且基本达到了无缝连接.     

视频序列的全景图拼接技术

提出了一种对视频序列进行全景图拼接的方法。主要讨论了有大面积的非刚性运动物体出现的序列，不过此方法也同样适用于无运动物体的纯背景序列。为计算各帧间的投影关系，用仿射模型来描述摄像机运动，并用特征点匹配的方法计算出模型中各参数的值。由于用相关法计算的匹配结果准确率比较低，所以用RANSAC（Random Sampling Consensus）对匹配结果进行了筛选，可以准确求出摄像机运动参数。利用运动参数进行投影，然后用多帧相减并求交集，估计出每帧图像中运动物体存在的区域，最后计算得到了全景图。该方法的结果与前人得到的结果进行了比较，证明用此方法能获得质量较高的全景图。     

快速有效的视频图像序列拼接方法

针对现有的视频图像序列拼接方法处理速度慢的问题,提出一种基于SURF特征的快速有效的拼接算法。该算法用鲁棒性强且计算性能优越的SURF算子取代传统的SIFT算子进行特征点提取;在特征点匹配方面,提出了一种基于哈希映射和双向最近邻距离比的匹配算法,可以快速有效地获得特征点间的对应关系。为了消除由于运动物体干扰带来的误匹配,采用随机采样一致性（RANSAC）方法来消除外点确保匹配的有效性,再通过最小二乘法估计视频帧之间的全局运动参数,最终拼接形成全景图。实验结果表明,该拼接算法快速有效,鲁棒性强,具有较高的使用价值。     

长视频序列拼接

针对长视频序列的全景图拼接,提出了一种新的处理方法。该方法将长视频序列分段,对每一段分别采用场景流形算法进行拼接;将拼接后的相邻图像采用动态规划的思想搜索最佳缝合线;依次缝合所有拼接后的图像,得到整个视频序列的全景图。实验结果表明,采用该方法拼接而成的全景图可以最大限度地保证源图像的细节,没有明显的扭曲和变形,视觉效果比较好。在实际应用中,该方法可以较好地实现含动态场景的长视频序列的全景图拼接。     

摄像机图像序列的全景图拼接

全景图是虚拟现实和计算机视觉中一种重要的场景表示方法 .通常获得高质量的全景图需要使用昂贵的专用设备 ,而且拍摄时需要精确地校准摄像机 .从普通摄像机图像拼接是获得全景图的一种低成本而且比较灵活的方法 .文中提出一种新的摄像机图像拼接算法 ,利用摄像机绕垂直轴旋转 36 0°依次拍摄的照片序列 ,拼接圆柱面全景图 .该算法不要求校准摄像机 ,对相邻帧之间摄像机的转角也没有严格的限制 ,而且不受帧间光照强度剧烈变化的影响 .从实验结果看 ,该算法获得了理想的拼接效果     

基于SIFT特征跟踪匹配的视频拼接方法

针对不同摄像头的监控视频序列,提出了一种基于视频帧SIFT（Scale Invariant Feature Transform,即尺度不变特征变换）特征跟踪的拼接方法。通过SIFT算法提取帧图像的特征,并在跟踪的估计区域搜索匹配特征,从而确定待整合帧之间的变换参数。实验结果表明,该方法较好实现视频快速拼接,且对重叠区域小、形变大、有运动物体遮挡的视频具有较强的鲁棒性。     

慢运动背景下运动目标提取算法*

提出一种慢运动背景视频序列下基于帧间背景图像匹配的运动目标检测和提取算法。该算法首先使用仿射变换模型来描述慢运动背景图像的运动变化,并使用基于光流约束方法求解该仿射变换模型参数,实现了相邻帧间图像的背景匹配;其次,采用背景匹配后的两帧图像差进行目标检测,使用自适应二值化区分变化与未变化区域;最后,使用形态学等图像算法进行后处理提取运动目标。算法经实验证明,在背景慢运动情况下可以有效地提取出运动目标。     

使用PSNR周期特性检测视频帧率上转伪造

帧率上转（FRUC）是最常用的一种视频编辑技术,它在原始视频帧间周期性地插入新的帧,以便增加视频的帧率,这种技术经常用于两段不同帧率的视频拼接伪造中。为了减少视觉痕迹,高级的FRUC方法通常采用运动补偿的插值方式,这也带来了针对这种插值伪造检测的挑战。在本文,我们提出一种新的简单但有效的方法,可正确检测出这种伪造,并能估计出视频的原始帧率。该方法利用了FRUC算法生成的插值帧与相邻原始帧构成的视频序列再次插值重建得到的帧对在PSNR上的周期性差异。测试序列的实验结果表明本文方法检测准确率高,其中对有损压缩视频序列的测试结果进一步证实了该方法的实际使用价值。     

视频运动对象的自动分割

视频运动对象的分割技术在运动视觉检测和新的MPEG-4视频编码标准中十分重要，提出了一种运动对象分割算法，该算法采用序列图像帧间差的高阶统计量(Higher Order Statistics，HOS)假设检验，确定运动对象的位置，自动分离运动区域与背景；根据三帧序列图像中前后帧差图像灰度边缘重合的部分为中间帧运动对象的边缘来有效地解决运动对象前后帧的遮挡问题；采用形态滤波的方法填充分割出的运动对象二值模板中的空洞，消除残余噪声及平滑边缘，分析和实验证明，该算法需要调整的参数少，抗干扰能力强，可以高效率地进行运动对象的自动分割，此外，该算法具有潜在的并行机制，易于实现实时运动图像处理。     

体育视频全景图合成技术

研究了面向体育视频的全景图合成技术,提出了通过计算前景区域模板和α混合进行前景合成的方法．首先采用MPEG-4校验模型中的Konrad算法和基于Fisher线性判别准则的外点过滤算法进行全局运动参数估计,并用中值法合成背景全景图;然后将前景帧进行仿射投影后与背景求差值,并用中值滤波和形态学方法处理差值图像,得到前景区域模板;最后采用α混合生成前景序列的全景图,并叠加到背景上．由此得到的全景图能同时展现运动的场景和运动员的动作过程．     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

基于块匹配的鲁棒视频图像镶嵌算法

为了获取宽视野的场景表示,提出了一种基于块匹配的视频图像镶嵌算法,该算法首先采用基于相位相关的块匹配方法估计出视频图像间的运动矢量场,并剔除其中由于图像噪声或运动物体的遮挡而导致外点运动矢量,然后根据图像的运动矢量场确定出图像子块之间的对应点对,进而利用得到的对应点对迭代求解图像间的变换模型参数以实现视频图像的自动镶嵌.针对真实场景的视频图像序列进行实验,获得了较好的镶嵌结果,表明了该算法的有效性.     

一种基于压缩域的视频拼接算法

提出了一种基于压缩域的双摄像机视频拼接算法。首先利用相位相关法估算输入视频的对应第一帧重叠区域，并在重叠区域进行SIFT角点检测和匹配，加快角点匹配速度，提高匹配稳健性，使用RANSAC算法去除外点，采用奇异值分解法配合LM非线性优化方法求解变换参数，得到首帧的对应投影矩阵；对于非首帧的配准，利用压缩视频中的当前帧与前帧的运动矢量，获得全局运动矢量，然后结合对应前帧的投影矩阵，获得相应的当前帧的投影矩阵;最后使用多频带融合算法进行图像混合以改善线性加权融合算法带来的高频细节模糊。与传统算法相比，由于省去了特征提取和匹配方法，从而减少了大量的计算步骤和时间，提高了速度，增加了实用性。实验结果表明该算法具有较好的实用价值。     

一种视频序列的拼接算法

提出了一种视频序列的拼接算法。首先在同一镜头下的视频序列中提取若干关键帧，利用关键帧拼接表示序列的拼接；其次利用光流场算法计算出的运动位移量引导相邻关键帧间特征点的匹配,并结合随机抽样一致性（RANSAC）鲁棒估计算法和单映矩阵的级联性，得到相邻关键帧、非相邻关键帧间的对应矩阵；最后通过融合实现了序列的无缝拼接。实验验证了这种方法的有效性。     

虚拟校园三维全景漫游技术研究

本文对全景漫游技术进行了讨论。全景漫游技术中需要解决三个问题：全景图的生成、漫游空间的编辑和浏览器的设计。基于两张圆鱼眼图像生成单张球面全景图,我们开发实现了浙江师范大学校园全景漫游系统。在全景图的生成中,提出了一种基于拼合参数自动寻优的球面全景图生成方法。该方法具有拼合速度快、拼合效果好的特点。     

视频图像序列运动参数估计与动态拼接

本文采用多重分层叠代算法来估计全局运动参数，并提出应用于动态拼接的运动分割新方法，实现既有摄像机运动又有物体运动的视频图像序列自动拼接。我们的方法基本步骤如下：首先进行全局运动参数的初始估计，并且在分层叠代过程中进行区域分类，得到初始运动模板。接着空间分割原始图像，先根据图像的空间属性由底向上分层合并图像空间区域，再利用视频图像时间属性进一步向上合并，得到图像空间分割结果。然后结合初始运动模板和图像空间分割结果，采用区域分类新方法重新对图像空间分割结果的每个区域进行分类。然后根据分类结果逐步精确求解全局运动参数。最后进行图像合成，得到全景拼接图像。我们的方法利用了多重分层叠代的优点，并且充分考虑到视频图像空间和时间上的属性，实现了运动物体和覆盖背景的精确分割，避免了遮挡问题对全局运动参数估计精度的影响。而且在图像合成时我们解决了拼接图可能产生模糊或某些区域不连续等问题。实验结果表明我们的方法实现了动态视频图像序列高质量的全景拼接。     

Systems and Experiment Paper: Construction of Panoramic Image Mosaics with Global and Local Alignment

This paper presents a complete system for constructing panoramic image mosaics from sequences of images. Our mosaic representation associates a transformation matrix with each input image, rather than explicitly projecting all of the images onto a common surface (e.g., a cylinder). In particular, to construct a full view panorama, we introduce a rotational mosaic representation that associates a rotation matrix (and optionally a focal length) with each input image. A patch-based alignment algorithm is developed to quickly align two images given motion models. Techniques for estimating and refining camera focal lengths are also presented.In order to reduce accumulated registration errors, we apply global alignment (block adjustment) to the whole sequence of images, which results in an optimally registered image mosaic. To compensate for small amounts of motion parallax introduced by translations of the camera and other unmodeled distortions, we use a local alignment (deghosting) technique which warps each image based on the results of pairwise local image registrations. By combining both global and local alignment, we significantly improve the quality of our image mosaics, thereby enabling the creation of full view panoramic mosaics with hand-held cameras.We also present an inverse texture mapping algorithm for efficiently extracting environment maps from our panoramic image mosaics. By mapping the mosaic onto an arbitrary texture-mapped polyhedron surrounding the origin, we can explore the virtual environment using standard 3D graphics viewers and hardware without requiring special-purpose players.An erratum to this article can be found at     

基于拼接缝自适应消除和全景图矫直的快速图像拼接算法

针对图像拼接存在色差过渡不均匀、图像倾斜扭曲及拼接效率低的现象，提出一种基于拼接缝自适应消除和全景图矫直的快速图像拼接算法。首先，用尺度不变特征变换（SIFT）提取图像指定区域特征点并用双向K近邻（KNN）算法进行图像配准，有效提高算法效率；其次，利用动态规划思想提出自适应公式找到最优拼接缝并用图像融合算法对其自适应消除，解决拼接缝色差过渡不均匀问题；最后，针对累积拼接误差形成全景图倾斜的现象，利用边缘检测算法提出自适应拟合四边形矫直模型，把原始全景图矫直为一个全新的全景图。所提算法与分块图像拼接和二叉树图像拼接算法相比，图像质量提升了5.84%~7.83%，拼接时间仅为原来的50%~70%。实验结果表明，该算法不仅通过自适应更新机制减少不同图像背景下拼接缝色差过渡不均匀的现象，从而提高了图像质量；而且提高了拼接效率，降低了全景图倾斜扭曲程度。     

基于消失点检测的铁路环境视频自动拼接算法研究

提出了一种基于铁路环境视频的全景图自动拼接算法。根据铁路环境视频中的场景几何特性,检测场景中的线段及消失点,从而生成场景的空间布局关系;在此基础上,自动构建合适的采样区域,以达到无缝拼接的效果;最后实现全景图的自动拼接。实验结果表明,该方法实现了铁路环境视频的自动化拼接,且得到了更加令人满意的拼接效果。     

Layer-based video registration

Registration of a mission video sequence with a reference image without any metadata (camera location, viewing angles, and reference DEMs) is still a challenging problem. This paper presents a layer-based approach to registering a video sequence to a reference image of a 3D scene containing multiple layers. First, the robust layers from a mission video sequence are extracted and a layer mosaic is generated for each layer, where the relative transformation parameters between consecutive frames are estimated. Then, we formulate the image-registration problem as a region-partitioning problem, where the overlapping regions between two images are partitioned into supporting and nonsupporting (or outlier) regions, and the corresponding motion parameters are also determined for the supporting regions. In this approach, we first estimate a set of sparse, robust correspondences between the first frame and reference image. Starting from corresponding seed patches, the aligned areas are expanded to the complete overlapping areas for each layer using a graph-cut algorithm with level set, where the first frame is registered to the reference image. Then, using the transformation parameters estimated from the mosaic, we initially align the remaining frames in the video to the reference image. Finally, using the same partitioning framework, the registration is further refined by adjusting the aligned areas and removing outliers. Several examples are demonstrated in the experiments to show that our approach is effective and robust.Received: 16 September 2004, Accepted: 23 September 2004, Published online: 19 January 2005