基于2D-3D双目运动估计的立体视觉定位算法

运动估计算法是影响立体视觉定位精度的重要因素,传统的3D-3D运动估计算法受噪声影响很大,计算精度不高.本文提出了一种基于2D-3D双目运动估计的立体视觉定位算法.算法不使用运动后的特征点3D坐标,而直接利用其2D图像投影坐标.首先,利用EPnP运动估计算法确定匹配内点和初始运动参数.接着,利用双目相机之间的2D投影几...     

零件的立体视觉测量和三维重建研究

本文采用立体视觉测量并结合三维重建的方法,解决了零件的非接触测量问题。首先,分析了立体视觉测量系统的组成结构,利用左、右2个摄像机分别采集零件信息,进而根据二者间的空间关系计算视差数据。其次,采用均值滤波方法去除零件图像噪声,为立体匹配创造条件,进而根据立体图像对二者间的极线关系求取视差。选择Bowyer算法对视差图像进行剖分和三维重建。试验结果表明,本文建立的方法可有效完成航空发动机的叶片零件测量,进而实现生动逼真的三维重建。     

3D影视作品观看舒适度问题的探讨

本文根据人眼对立体环境的感知过程、分析视差图几何尺寸和形态差异、指出作品必须遵循人的立体视觉规律,并讨论了立体影视作品的蒙太奇处理原则和3D影视作品的放映与显示。     

双摄像机光笔式三维坐标测量系统研究

基于双目立体视觉传感器三维测量模型和空间坐标变换原理,采用最小二乘冗余算法,讨论了双摄像机测量空间三维点坐标的基本原理,建立了视觉测量系统的非线性测量方程.通过实验验证了双摄像机光笔式三维坐标视觉测量系统建立的可行性.     

双目立体显微测量的研究

双目立体视觉是计算机视觉的一个重要分支,即由构成一定角度的两台摄象机拍摄同一幅画面,通过计算空间点在两幅图像中的视差,获得该点的三维坐标值.提出将双目立体计算机视觉技术应用于光学立体显微镜上,可对一些微小物体进行观测和测量,并获取深度信息,建立三维图象,从而用简便、经济的手段进行微小物体的三坐标测量.     

基于立体视觉的移动机器人自主导航定位系统

描述了一种基于立体视觉的移动机器人自主导航定位系统。该系统采用双目立体视觉完成环境特征的3D信息提取,实时计算出机器人相对作业目标的位姿（6D）关系,导引移动机器人控制系统按目标异向进行运动。系统在相对位姿计算中采用旋动（Screw）理论,将带约束的多变量函数的非线性优化问题转化为线性方程组的最小二乘问题,简化了计算复杂性。实验表明,这个导航定位系统在定位精度和数据处理速度上均可满足机器人导航的要求。     

二自由度云台的机器视觉控制

本文建立了基于机器视觉反馈的云台控制模型,并通过相邻帧间的目标位置预测来简化搜索算法,实现快速高效的视觉云台对运动目标的连续跟踪.在制定系统空间转角输入量的控制策略中,简化了控制模型并对产生的偏差量进行了分析.结果表明,简化后的控制算法能够实现快速反馈和像面调整,在25帧/秒时实现对运动目标稳健跟踪,且跟踪精度高于传统算法;在目标速度2 m/s、相机60帧/秒时,改进算法实现了对运动目标的连续跟踪.同时提出了立体视觉系统模型及其在云台控制中的应用,通过像面坐标获取空间位置信息以规避目标跟丢现象.     

3D测量系统中的高精度摄像机标定算法

本文在分析完整的摄像机镜头畸变模型的基础上,提出了一种新的标定算法.该算法包括三个步骤,首先在不考虑镜头畸变的情况下利用标定块上的中间若干个点,采用线性优化方法求出除畸变系数以外的其他外部参数和主要的内部参数;然后固定上述已求得的参数,利用线性优化方法求解畸变系数;最后对所有内部参数和外部参数进行全局非线性优化.最后对本文的标定算法进行了标定实验,实验结果表明,本文算法的标定精度可以达到0.0367 mm,可以满足高精度三维测量及其他应用的要求.     

双目立体视觉中特征点三维坐标重构校准研究

双目立体视觉是一种商业化较成熟的三维测量技术,左右摄像机内外参数的精确标定是实现三维重构的基础和关键。针对棋盘格和圆点两种标定板图案研究了相应的图像处理技术,实现了标定点的亚像素精度定位及其有效排序。采用基于单映性约束和非线性优化的多视角平面标定算法实现了摄像机光学及空间位置参数求解。用极线约束残差法衡量标定结果的准确度。基于桥式三坐标标准实现标定点三维重构平面度以及多平面空间夹角测量结果的校准,基于光学三坐标标准实现了标定点三维重构空间距离的校准,并分析了校准结果的不确定度。圆标志点三维重构空间距离示值误差为0.029 mm,不确定度U=24 μm（k=2）     

面向裸眼立体显示终端的立体视频编码方法

X3D裸眼可视立体显示器需要同时输入8个视点的信息,用户在一定角度范围内可以看到不同视角的立体画面显示.面向裸眼立体显示终端提出了一种立体视频编码方法,在编码端完成复杂的视差估计,压缩后的视差信息通过网络传输到立体显示终端以降低系统对用户终端的要求.用户终端采用基于视差图绘制的方法快速绘制出6个中间视点,实现裸眼可视立体显示器上的多视角立体画面显示.针对视差图的处理,给出了全局平滑和非边缘区域平滑两种视差图的处理方法.实验结果表明,与不对视差图进行平滑的方法相比,对视差图进行平滑能有效提高编码的整体率失真性能.     

基于双目立体视觉的物流包装箱尺寸测量研究

目的 针对物流行业运输中包装箱的非接触自动测量,提出一种基于改进SURF配准算法的双目立体尺寸测量方法。方法 首先采用二进制FREAK描述子代替传统SURF的描述子,解决传统SURF描述子计算耗时、描述向量生成依赖于特征主方向,且主方向计算误差会在后续步骤中出现传导放大 的缺点;其次,采用PROSAC删除误匹配点,并利用FREAK级联匹配的方式进一步提高算法的匹配 速度和匹配准确率。最后,利用视差优化和边缘提取算法获得精确三维空间体,实现非接触尺寸测量。结果 实验表明改进算法可快速提取图片特征点并准确匹配,对不同规格包装箱检测结果显示,基于改进算法的测量方法测量误差小,检测速度快。结论 改进图像匹配算法可有效提高图像匹配准确率,减少测量时间,对于提高物流行业运输效率、减少人工成本具有重要意义。     

Pose estimation for autonomous grasping with a robotic arm system

A robust and accurate method for estimating the 3-D pose of a planar rigid object is presented. This article demonstrates that 3-D pose estimation becomes feasible by using the 2-D tracking points on an object of scale-invariant feature transform (SIFT) and 3-D point cloud detected by stereo vision on an object, assuming that a 3-D geometric model of an object is known a priori. The roll and pitch angles of an object are estimated by the normal vector of approximate plane of 3-D point cloud on an object and the yaw angle is estimated by 2-D tracking point on an object of SIFT. Accurate object detection and localization in the camera coordinate system is crucial for grasping. In the motion planning, the bidirectional rapidly exploring random tree algorithm is used to search for a valid path for efficient grasping. Our robot arm can robustly and autonomously grasp a randomly rotative rigid object detected by SIFT in 3-D space. We have realized a grasping scenario with a dexterous arm (ADAM) such that an object in front of ADAM can be grasped. This demonstration shows how the proposed components build a dexterous and robust system integrating object detection, pose estimation, and motion planning.     

Estimating three-dimensional vehicle motion in an outdoor scene using stereo image sequences

We propose a motion estimation system that uses stereo image pairs as the input data. To perform experimental work, we also obtain a sequence of outdoor stereo images taken by two metric cameras. The system consists of four main stages, which are (1) determination of point correspondences on the stereo images, (2) correction of distortions in image coordinates, (3) derivation of 3D point coordinates from 2D correspondences, and (4) estimation of motion parameters based on 3D point correspondences. For the first stage of the system, we use a four-way matching algorithm to obtain matched point on two stereo image pairs at two consecutive time instants (t_i and t_{i + 1}). Since the input data are stereo images taken by cameras, it has two types of distortions, which are (i) film distortion and (ii) lens distortion. These two distortions must be corrected before any process can be applied on the matched points. To accomplish this goal, we use (i) bilinear transform for film distortion correction and (ii) lens formulas for lens distortion correction. After correcting the distortions, the results are 2D coordinates of each matched point that can be used to derive 3D coordinates. However, due to data noise, the calculated 3D coordinates to not usually represent a consistent rigid structure that is suitable for motion estimation; therefore, we suggest a procedure to select good 3D point sets as the input for motion estimation. The procedure exploits two constraints, rigidity between different time instants and uniform point distribution across the object on the image. For the last stage, we use an algorithm to estimate the motion parameters. We also wish to know what is the effect of quantization error on the estimated results; therefore an error analysis based on quantization error is performed on the estimated motion parameters. In order to test our system, eight sets of stereo image pairs are extracted from an outdoor stereo image sequence and used as the input data. The experimental results indicate that the proposed system does provide reasonable estimated motion parameters.     

分布源目标方位估计的降维最大似然估计

介绍了已有的分布源目标方位估计中的最大似然估计(MLE)算法,它是四维非线性最优化问题,文中称之为四维MLE算法,因计算量庞大,同时提出了一种降为三维的MLE算法,简化为三维非线性最优化,称之为三维MLE算法。两种算法均采用牛顿型搜索算法,来搜索未知参数的全局最优点。在单次迭代过程中,三维MLE算法比四维MLE算法减少了51次协方差矩阵求逆和87次矩阵乘法,搜索效率得到提高,并且节省了存储空间。得出了新算法克拉美-罗界的计算公式,其计算量也有所降低。计算机仿真验证,三维MLE算法和四维MLE算法的估计精度相当,新算法在减少计算量的同时并无损失性能,所以实用性和实时性都得到显著提高。     

立体视觉测量系统的空间分辨力和结构参数设置

立体视觉测量系统的空间分辨力随着物体的空间位置和移动方向的变化而变化,系统的空间分辨力高低在很大程度上会影响整个系统的测量精度。本文根据立体视觉测量系统的成像公式,对整个系统观察范围内的所有空间点的空间分辨力进行了详细分析与计算。结果表明,两个 CCD夹角在 80°~100°时系统的空间分辨力最高,并且 X方向的空间分辨力整体上高于 Y方向, Z方向的空间分辨力变化相对较小,最终的实验结果和仿真结果相吻合,根据系统空间分辨力的分布规律,本文制定出了制出了空间分辨力最优的立体视觉系统的参数设置方案。     

基于多视图立体视觉的沙堆三维尺寸测量研究

利用从运动中恢复结构方法(SFM),提出了一种基于多视图立体视觉的沙堆三维重建及三维尺寸测量方法。首先根据SFM方法的求解不稳定特点,结合光束平差法对SFM求解过程进行分析及优化;其次针对SFM重建结果为稀疏点云的问题,利用基于面片的稠密重建算法重新生成稠密的三维点云,再利用泊松算法对密集点云进行三维曲面重建;最后获得模型的三维尺寸信息。对某建筑工地的沙堆进行了三维尺寸的测量实验,实验结果验证了该方法的有效及可行性,提高了重建能力及精度,同时考虑了目标实际测量误差与重建误差,能够满足实际智能测量的应用需求。     

Optimized stereo reconstruction of free-form space curves based on a nonuniform rational B-spline model

Analytical reconstruction of 3D curves from their stereo images is an important issue in computer vision. We present an optimization framework for such a problem based on a nonuniform rational B-spline (NURBS) curve model that converts reconstruction of a 3D curve into reconstruction of control points and weights of a NURBS representation of the curve, accordingly bypassing the error-prone point-to-point correspondence matching. Perspective invariance of NURBS curves and constraints deduced on stereo NURBS curves are employed to formulate the 3D curve reconstruction problem into a constrained nonlinear optimization. A parallel rectification technique is then adopted to simplify the constraints, and the Levenberg-Marquardt algorithm is applied to search for the optimal solution of the simplified problem. The results from our experiments show that the proposed framework works stably in the presence of different data samplings, randomly posed noise, and partial loss of data and is potentially suitable for real scenes.     

融合色彩分割和加权非参数变换的立体匹配

针对传统非参数变换的局限性,提出了一种立体匹配算法。利用参考图像的色彩分割信息获得基于任意形状和大小支持区域的匹配代价,并在相似色彩区域内计算加权非参数变换匹配代价,再将这两种匹配代价融合构成联合匹配代价,通过局部优化方法获得稠密视差图。实验结果表明算法提高了低纹理区域、遮挡区域和不连续区域的匹配精度,并对幅度失真具有鲁棒性。