基于立体全景漫游中深度图获取技术的研究

近年来,随着硬件技术的进步和计算机视觉理论的发展,为了增强用户的沉浸感和体验,立体全景技术被广泛应用于生产和生活中。针对多视点立体全景三维重建中深度图的获取问题,提出了一种新的深度图生成方法。首先将前后摄像机拍摄的图像进行配准,然后通过线性变换矩阵得到对应像素点与中心像素的距离,最后利用提出的算法求得深度图。     

多目立体视觉在工业测量中的应用研究

以双目立体视觉系统为基础，提出了一种多目立体视觉测量的方法。该方法利用摄像机旋转来获取多幅图像，利用这些立体图像对中对应特征点的视差得到物体的深度信息，达到多目测量的目的，通过实验并与双目立体视觉相比较，验证了其在摄像机标定和提高测量结果精度方面的优越性。     

双目视觉的立体标定方法

为实现双目视觉系统的立体标定,分析了摄像机成像模型,并充分考虑了透镜的径向畸变和切向畸变,提出了一种新的立体标定算法。该算法利用张正友的灵活标定算法,初步求取摄像机的内参数,结合Brown算法并提取图像中角点的子像素级坐标,精确求取摄像机内参数和畸变向量。为方便后续的图像校正,基于前面的单个摄像机标定,通过计算空间中的景物点在左右摄像机成像平面上的位置关系,计算出双目视觉系统中两个摄像机之间的旋转矩阵R和平移向量T,从而实现了立体标定。实验结果表明,该算法能取得较高的精度,可以应用于双目视觉系统。     

五自由度立体视觉平台中摄像机的标定

文章从立体视觉与机器人控制集成的角度出发,建立了一个主动立体视觉跟踪和定位系统,用于柔性装配线中装配零件的运动跟踪和装配工位的精确定位。该系统采用基于平面正方形的摄像机标定方法,该方法要求摄像机在三个(或三个以上)不同的位置摄取一个标准的正方形的图像,经过图像处理找到正方形的四个顶点在图像上的坐标,通过计算就可以线性求解摄像机全部内外参数。该方法简单易懂,非常适合于摄像机内外参数频繁标定的场合,计算速度快、所需设备简单、实用性好。文章的最后,给出了使用文中提出方法进行标定的实验结果,说明了该方法的有效性。     

无人水面艇双目立体视觉系统设计

针对雷达不能利用目标的颜色等属性和水面多路径反射的干扰等问题,建立无人水面艇双目立体视觉系统,为实现无人水面艇的自主避障和目标跟踪等任务提供基础。采用两个IEEE1394接口的数字摄像机在无人水面艇上构建双目立体视觉系统,进而编程拍摄左右两幅图像并标定摄像机。结果表明,所构建的双目立体视觉系统可以用于无人水面艇视觉技术的研究。所设计的双目立体视觉系统对无人水面艇具有重要的研究意义。     

立体图像对的生成

获取同一场景的立体图像对是实现双目立体成像的一个关键问题。提出了一种在三维场景已经建好的情况下生成立体图像对的方法。该方法根据双目立体视觉的原理，利用3DS MAX中的摄像机对象对场景中的物体进行坐标变换和透视投影变换，分别生成左眼视图和右眼视图。实验结果表明，两个目标摄像机与三维模型的位置关系以及基线长度是影响立体效果的重要因素，改变目标摄像机与三维模型的位置，可以分别生成正视差、负视差的立体图像对，当AB与CO的比例参数为0.05时，生成的立体图像对的立体效果较佳。     

融合2D/3D摄像机的方法与获取高精度三维视觉信息的装置

三维飞行时间摄像机可实时同步获取场景三维信息和灰度图像信息.虽然它存在图像分辨率和质量较差等问题,但它可作为二维摄像机的互补.本文借鉴立体视觉技术,提出了一种2D/3D摄像机融合的三维视觉信息获取方案.论文首先基于固定空间关系和相近视野原则,设计2D/3D立体摄像机系统对空间场景同步成像.结合三维TOF摄像机成像特性,论文借鉴立体视觉技术完成二维摄像机的高质量二维彩色图像与插补后的三维摄像机深度图像的匹配关联.因此,本方法可实现场景的高精度彩色图像和对应三维空间信息的实时同步获取,同时保留了二维摄像机的高质量彩色二维成像和三维摄像机的快速稠密三维信息获取的优势.2D/3D摄像机图像融合匹配算法复杂度低,匹配精度和准确度取决于二维摄像机和三维摄像机自身性能、摄像机标定参数精度和深度图像插补算法,不会引入新的运算误差.试验结果验证了本文算法的有效性和精确度.     

主动式立体全景视觉技术的研究

为了解决立体视觉测量中的快速匹配问题,文中通过集成全景彩色结构光发生器和全方位视觉传感器构建一种主动式立体全景视觉传感器;通过分析图像像素的颜色和投射角之间的映射关系估算全景图像上各像素息对应的投射角,利用三角关系计算对应物点的深度信息;实验结果表明该方法能快速地得到场景的全景深度信息。     

星球漫游车超广角实时立体视觉系统

给出了一种用于星球漫游车障碍检测和定位的超大视场立体视觉系统的实现方法. 该系统采用具有超广角镜头(对角视场角约160度)的双目或三目摄像机获取场景立体图像 对,利用摄像机标定参数对大变形图像进行修正等预处理,然后在外极线、连续性等约束条 件下,基于查找表和Intel MMx指令集,使用SAD算法快速进行对应点匹配计算.实验表 明,该系统在图像分辨率为320×120像素、视差为64级时,利用普通工控机恢复稠密深度 图的速度为10帧/秒,并能使机器人以1米/秒的速度行走.     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

Catadioptric Stereo Using Planar Mirrors

By using mirror reflections of a scene, stereo images can be captured with a single camera (catadioptric stereo). In addition to simplifying data acquisition single camera stereo provides both geometric and radiometric advantages over traditional two camera stereo. In this paper, we discuss the geometry and calibration of catadioptric stereo with two planar mirrors. In particular, we will show that the relative orientation of a catadioptric stereo rig is restricted to the class of planar motions thus reducing the number of external calibration parameters from 6 to 5. Next we derive the epipolar geometry for catadioptric stereo and show that it has 6 degrees of freedom rather than 7 for traditional stereo. Furthermore, we show how focal length can be recovered from a single catadioptric image solely from a set of stereo correspondences. To test the accuracy of the calibration we present a comparison to Tsai camera calibration and we measure the quality of Euclidean reconstruction. In addition, we will describe a real-time system which demonstrates the viability of stereo with mirrors as an alternative to traditional two camera stereo.     

斜面参数优化全局立体匹配算法研究

针对现有立体匹配算法在非平行平面区域匹配中出现“阶梯效应”的问题,提出一种斜面参数优化的全局立体匹配算法。该算法用斜面参数替代视差值作为全局匹配算法的优化变量,并结合粒子滤波思想实现斜面参数的（近似）连续取值及能量函数的连续域全局优化,理论上可以同时消除传统匹配算法中视差离散取值及视差一致性约束带来的影响,从根本上消除“阶梯效应”。针对典型非平行平面测试图像对的实验结果表明,该算法在有效消除“阶梯效应”的同时降低了误匹配率。     

基于线条特征的双目立体视觉系统

本文阐述了一个以线条特征为匹配基元的双目立体视觉系统.匹配算法以环境相似性度 量为核心,以多层表示为基础,采用由粗而精的控制策略,通过预测、归并、分解、传播四过程实 现.匹配算法考虑到实际环境中的双目立体图象的非理想性及抽取出来的线条特征的非完整 性,允许某种程度的纵向偏差,引入中心主轴概念,在分解过程中建立对应,计算视差.首先由 前三个过程建立起可靠的粗层次的对应,称之为骨架对应,然后利用连续性约束假设将骨架对 ,应的结果由传播过程逐级传播到整幅图象中去.     

基于区域分割和邻域相关性的立体匹配算法

提出一种在图像分割基础上生成稠密视差图的立体匹配算法,利用滑动窗口生成鲁棒性较好的视差空间图DSI,运用分水岭算法将图像分割成多个小区域,根据每个区域在视差空间图内的视差分布情况计算该区域的信赖度,并综合各区域的邻域对其产生的影响,以获得稠密视差图,采用国际标准数据对该算法进行测试,实验结果表明,该算法能够获得较好的匹配结果。     

一种改进的立体视觉匹配算法*

针对目前双目立体视觉匹配算法匹配误匹配率高的问题,提出了一种具有尺度不变特性的 Harris检测算法,将SIFT特征描述子引入到Harris特征的描述过程当中,使其提取到的特征具有旋转、尺度、亮度不变性。并且为了提高匹配精度,采用RANSAC法去除误匹配来降低误匹配率。相对于经典的 Harris算法,该算法提取的特征具有尺度不变特性且误匹配率降低,是一种有效可行的立体匹配算法。     

Stereo vision correspondence using a multichannel graph matching technique

A multichannel feature-based stereo vision technique is described in this paper where curve segments are used as the feature primitives in the matching process. Curve segments are extracted by tracking the zero-crossings of the left and right images. The generalized Hough transform of each curve and the curve length are used as a local feature vector in representing the distinctive characteristics of the curve segment. The feature vector of each curve segment in the left image is used as a constraint to find an instance of the same curve segment in the right image. The epipolar constraint on the centroids of the curve segment is used to limit the searching space in the right image.

A relational graph is formed from the left image by treating the centroids of the curve segments as the nodes of the graph. The local features of the curve segments are used to represent the local properties of the nodes, and the relationship between the nodes represents the structural properties of the objects in the scene. A similar graph is also formed from the right image curve segments. A graph isomorphism is then formed between the two graphs by using the epipolar constraint on the centroids, the local properties of the nodes, node assignment and the structural relationship (compatibility) between the nodes.     

Using Real-Time Stereo Vision for Mobile Robot Navigation

This paper describes a working vision-based mobile robot that navigates and autonomously explores its environment while building occupancy grid maps of the environment. We present a method for reducing stereo vision disparity images to two-dimensional map information. Stereo vision has several attributes that set it apart from other sensors more commonly used for occupancy grid mapping. We discuss these attributes, the errors that some of them create, and how to overcome them. We reduce errors by segmenting disparity images based on continuous disparity surfaces to reject spikes caused by stereo mismatches. Stereo vision processing and map updates are done at 5 Hz and the robot moves at speeds of 300 cm/s.     

A Hierarchical Symmetric Stereo Algorithm Using Dynamic Programming

In this paper, a new hierarchical stereo algorithm is presented. The algorithm matches individual pixels in corresponding scanlines by minimizing a cost function. Several cost functions are compared. The algorithm achieves a tremendous gain in speed and memory requirements by implementing it hierarchically. The images are downsampled an optimal number of times and the disparity map of a lower level is used as offset disparity map at a higher level. An important contribution consists of the complexity analysis of the algorithm. It is shown that this complexity is independent of the disparityrange. This result is also used to determine the optimal number of downsample levels. This speed gain results in the ability to use more complex (compute intensive) cost functions that deliver high quality disparity maps. Another advantage of this algorithm is that cost functions can be chosen independent of the optimisation algorithm. The algorithm in this paper is symmetric, i.e. exactly the same matches are found if left and right image are swapped. Finally, the algorithm was carefully implemented so that a minimal amount of memory is used. It has proven its efficiency on large images with a high disparity range as well as its quality. Examples are given in this paper.     

基于双目立体视觉的番茄识别与定位技术

根据颜色特征利用阈值自动设定的方法对图像进行分割,自动、快速识别红色番茄;采用形心匹配取代常规的特征点选择和匹配方法,对双目立体成像测距公式进行了修正,经过验证,当工作距离小于500mm时,距离误差可以控制在±10mm以内。