基于二维透射变换的视频全景图拼接算法

视频序列全景图拼接技术是视频图像分析的关键技术之一。针对帧间运动模型为二维投影变换的常见视频序列,提出了一种全景图拼接算法.该算法首先采用改进的基于RANSAC的特征点匹配算法对相邻帧的运动参数进行估计,接着采用直接法对各帧与全景图间的运动参数进行精确调整,最后运用自适应中值滤波绘制出全景图。实验结果表明,该方法能够生成较高质量的全景图,基本能实现无缝连接。     

基于特征点匹配的视频图像实时拼接系统

提出了一种基于尺度不变特征变换算法的视频图像实时拼接方法。首先,用等焦距柱面变换对待拼接的图像进行处理,使相邻摄像机所拍摄的图像帧投影在同一柱面上;然后,优化k-d树的最近邻算法提高了特征点匹配的速度;最后,随机采样一致性算法剔除了错误的匹配点,提高了匹配的准确性,并得到投影变换矩阵进行多摄像机图像帧拼接。实验结果表明,与传统的图像拼接算法相比,该方法极大地提高了视频图像拼接的鲁棒性,实现了视频图像的实时拼接。     

块拼接纹理合成算法在图像拼接中的应用

小面积图像往往满足不了人们在工作中的需求,很多时候人们需要是大面积的图像,因此就需要一种算法来将相关的小范围拍摄的图像拼接成大图像,即实现全景图拼接。文中从块拼接纹理合成出发,并对块拼接纹理合成算法进行改进,将块拼接的原理应用到图像拼接上,并对像素加入与人视觉有关的权值进行接缝处理。实验结果表明,该方法简单实用,对于基本的由不同方位拍摄的图像都可以通过本算法进行拼接,并通过对接缝处的处理,取得了较好的结果。     

块拼接纹理合成算法在图像拼接中的应用

小面积图像往往满足不了人们在工作中的需求，很多时候人们需要是大面积的图像，因此就需要一种算法来将相关的小范围拍摄的图像拼接成大图像，即实现全景图拼接。文中从块拼接纹理合成出发，并对块拼接纹理合成算法进行改进，将块拼接的原理应用到图像拼接上，并对像素加入与人视觉有关的权值进行接缝处理。实验结果表明，该方法简单实用，对于基本的由不同方位拍摄的图像都可以通过本算法进行拼接，并通过对接缝处的处理，取得了较好的结果。     

基于粒子群优化和互信息量的全景图拼接算法

利用基于图像的绘制技术来构建虚拟空间是当前虚拟现实领域中的一项热门课题,而全景图的拼接又是基于图像的绘制技术中的重要研究内容之一,简单的图像合成代替传统的基于三维几何的建模和渲染.提出一种基于粒子群优化(PSO)和互信息量(MI)的全景图拼接算法,首先采用粒子群优化算法寻找包含足够多特征的模板区域,然后利用互信息量实现全景图像的拼接.算法不需要手工指定特征点,可自动对一组图像进行无缝拼接.实验结果表明算法对全景图的拼接具有良好的效果.它不但提高了渲染速度,而且能够有效地克服图像旋转对拼接的影响,是一种快速实用的全景图拼接算法.     

大视场视频全景图快速生成方法

针对视频图像拼接中配准误差的积累问题,提出一种适合大面积静态场景观测的视频全景图快速生成方法,包括摄像机在一维单幅扫描方式和二维多幅扫描方式下的视频全景图的直接拼接算法。实验结果表明,无论摄像机工作在单幅方式还是多幅方式下,该方法都可以快速、准确地拼接出较高质量的视频全景图像,能有效避免局部配准误差的积累与传播,并解决一般全局配准算法复杂费时的问题。     

基于SIFT算子的图像拼接融合算法

为满足各类可视化仿真系统对于全景图的需求,对图像拼接融合技术进行了深入研究,提出了一种基于SIFT算子的图像拼接融合算法,可以将多幅图像组成图像序列拼接获得广视角全景图,并通过实例验证了方法自效性.     

一种适于移动设备的全景图快速拼接方法

针对传统移动端全景图生成方法存在拼接速度慢、消耗内存以及存在接缝和“鬼影”等问题,提出了一种适用于移动设备的全景图生成算法。算法首先对源序列图像进行色彩校正,从而保证色彩及亮度均匀,以缩短后期图像融合时间;然后在全景图拼接过程中检测“鬼影”,同时运用梯度域目标移除和区域填充方法移除“鬼影”,利用泊松融合进行拼接后的平滑处理;同时在图像拼接过程中优化了内存分配机制,以减少在图像拼接过程中的内存消耗。通过编程实现了该算法,在配置为332MHz处理器和128MB内存的手机上对不同光照下拍摄的分辨率为1280×720的照片进行测试,并与传统的全局全景图拼接算法进行对比,若利用全局全景图拼接算法对2至9张源序列图像进行拼接,内存消耗为12.3~23.6MB,而提出的算法占用更少内存,分别为9.9~14.5MB。实验结果表明该方法消除图像接缝及“鬼影”较彻底,拼接速度快且节省内存,生成的最终全景图质量较好,可用于移动设备上的全景图拼接。     

指纹图像帧序列拼接的波形匹配算法

为了获得完整的指纹图像,提出一种基于波形匹配的指纹图像帧序列拼接算法.该算法从每个图像帧的参考区域提取波形信息,通过计算波形相似度并引入逐步求精的拼接策略,分3个阶段获得拼接参数,确定图像帧之间的重叠和水平移位.实验结果表明,文中算法运算量小、运算速度快、占用系统资源少,特别适用于资源有限环境中的自动指纹识别系统.     

视频序列的全景图拼接技术

提出了一种对视频序列进行全景图拼接的方法。主要讨论了有大面积的非刚性运动物体出现的序列，不过此方法也同样适用于无运动物体的纯背景序列。为计算各帧间的投影关系，用仿射模型来描述摄像机运动，并用特征点匹配的方法计算出模型中各参数的值。由于用相关法计算的匹配结果准确率比较低，所以用RANSAC（Random Sampling Consensus）对匹配结果进行了筛选，可以准确求出摄像机运动参数。利用运动参数进行投影，然后用多帧相减并求交集，估计出每帧图像中运动物体存在的区域，最后计算得到了全景图。该方法的结果与前人得到的结果进行了比较，证明用此方法能获得质量较高的全景图。     

Viewfinder Alignment

The viewfinder of a digital camera has traditionally been used for one purpose: to display to the user a preview of what is seen through the camera's lens. High quality cameras are now available on devices such as mobile phones and PDAs, which provide a platform where the camera is a programmable device, enabling applications such as online computational photography, computer vision‐based interactive gaming, and augmented reality. For such online applications, the camera viewfinder provides the user's main interaction with the environment. In this paper, we describe an algorithm for aligning successive viewfinder frames. First, an estimate of inter‐frame translation is computed by aligning integral projections of edges in two images. The estimate is then refined to compute a full 2D similarity transformation by aligning point features. Our algorithm is robust to noise, never requires storing more than one viewfinder frame in memory, and runs at 30 frames per second on standard smartphone hardware. We use viewfinder alignment for panorama capture, low‐light photography, and a camera‐based game controller.     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

一种圆柱形全景图生成新算法及其实现

利用基于图象的绘制(IBR)技术来建立具有真实感的虚拟环境是当前计算机图形学研究领域中的一项热门课题，也是虚拟现实技术中的关键技术。它以简单的图象合成代替基于三维几何的建模和渲染，加快了画面的显示速度，是建立特定三维场景的一种高效率的方法。基于这种方法，我们提出了一种生成圆柱形全景图的新算法，它通过快速查找
相邻两幅图象的匹配区域而实现图象的无缝拼接，建立圆柱形全景图。本算法计算速度快，效率高，能生成逼真的全景图。文章的最后给出了基于这种算法生成的部分全景图图实例。     

基于嵌入式系统的全景图像拼接系统设计

图像拼接是制作全景图的关键技术,但目前图像拼接算法主要应用于PC机。PC机虽然处理速度较快,但体积较大,不易携带也不灵活。本文基于嵌入式系统实现了全景图像的自动拼接系统,该系统能自动采集图像,并利用基于区域相关的图像拼接算法对采集的图像进行拼接,最终得到全景图像。实验证明,本文设计的基于嵌入式系统的全景图像拼接系统对静止环境下的图像拼接具有较好的效果。     

肌骨超声图像特征检测及拼接

目的 肌骨超声宽景图像易出现解剖结构错位、断裂等现象,其成像算法中的特征检测影响宽景图像的质量,也是超声图像配准、分析等算法的关键步骤,但目前仍未有相关研究明确指出适合提取肌骨超声图像特征点的算法。本文利用结合SIFT （scale invariant feature transform）描述子的FAST（features from accelerated segment test）算法以及SIFT、SURF（speeded-up robust features）、ORB（oriented FAST and rotated binary robust independent elementary features（BRIEF））算法对肌骨超声图像序列进行图像拼接,并对各算法的性能进行比较评估,为肌骨超声图像配准、宽景成像提供可参考的特征检测解决方案。方法 采集5组正常股四头肌的超声图像序列,每组再采样10幅图像。利用经典的图像拼接算法进行肌骨图像的特征检测以及图像拼接。分别利用上述4种算法提取肌骨超声图像的特征点;对特征点进行特征匹配,估算出图像间的形变矩阵;对所有待拼接的图像进行坐标变换以及融合处理,得到拼接全景图,并在特征检测性能、特征匹配性能、图像配准性能以及拼接效果等方面对4种算法进行评估比较。结果 实验结果表明,与SIFT、SURF、ORB算法相比,FAST-SIFT算法所提取的特征点分布更均匀,可以检测到大部分肌纤维的端点,且特征点检测时间最短,约4 ms,其平均匹配对数最多,是其他特征检测算法的25倍,其互信息和归一化互相关系数均值分别为1.016和0.748,均高于其他3种特征检测算法,表明其图像配准精度更高。且FAST-SIFT算法的图像拼接效果更好,没有明显的解剖结构错位、断裂、拼接不连贯等现象。结论 与SIFT、SURF、ORB算法相比,FAST-SIFT算法是更适合提取肌骨超声图像特征点的特征检测算法,在图像配准精度等方面都具有一定的优势。     

Cylindrical panoramic mosaicing from a pipeline video through MRF based optimization

Stratum structure detection is a fundamental problem in geological engineering. One of the most commonly employed detection technologies is to shoot videos of a borehole using a forward moving camera. Using this technology, the problem of stratum structure detection is transformed into the problem of constructing a panoramic image from a low quality video. In this paper, we propose a novel method for creating a panoramic image of a borehole from a video sequence without the need of camera calibration and tracking. To stitch together pixels of neighboring image frames, our camera model is designed with a focal length changing feature, along with a small rotational freedom in the two-dimensional image space. Our camera model assumes that target objects lie on a cylindrical wall and that the camera moves forward along the central axis of the cylindrical wall. Based on these two assumptions, our method robustly resolves these two degrees-of-freedoms in our camera model through KLT feature tracking. Since the quality of the result video is affected by possible illumination overflow, camera lens blurring, and low video resolution, we introduce a cost function for eliminating seams between stitching strips. Our cost function is designed based on Markov Random Field and optimized using a belief propagation algorithm. Using our method, we can automatically construct a panorama image with good resolution, smoothness, and continuousness both in the texture and illumination space. Experiment results show that our method could efficiently generate panoramas for long video sequences with satisfying visual quality.     

一种视频序列的全景图绘制算法

针对帧间变换为单映变换的视频序列全景图的绘制,提出了一种视频序列的全景图绘制算法.该算法首先采用基于模型的等级估计法对相邻帧的单映变换矩阵进行估计;然后采用基于RANSAC的特征点匹配方法对非相邻帧进行带指导的改进估计,以使其能够达到要求的子像素级精度;最后运用时间中值滤波绘制全景图.实验结果表明,该算法检测的全景图不仅帧间配准达到了一定的子像素级精度,而且基本达到了无缝连接.     

Automatic feature point extraction and tracking in image sequences for arbitrary camera motion

An automatic egomotion compensation based point correspondence algorithm is presented. A basic problem in autonomous navigation and motion estimation is automatically detecting and tracking features in consecutive frames, a challenging problem when camera motion is significant. In general, feature displacements between consecutive frames can be approximately decomposed into two components: (i) displacements due to camera motion which can be approximately compensated by image rotation, scaling, and translation; (ii) displacements due to object motion and/or perspective projection. In this paper, we introduce a two-step approach: First, the motion of the camera is compensated using a computational vision based image registration algorithm. Then consecutive frames are transformed to the same coordinate system and the feature correspondence problem is solved as though tracking moving objects for a stationary camera. Methods of subpixel accuracy feature matching, tracking and error analysis are introduced. The approach results in a robust and efficient algorithm. Results on several real image sequences are presented.The support of the Advanced Research Projects Agency (ARPA Order No. 8459) and the U.S. Army Engineer Topographic Laboratories under Contract DACA 76-92-C-0009 is gratefully acknowledged.