基于视差空间运动估计的高精度立体视觉定位

立体视觉定位算法的运动估计通常在3D欧式空间中进行,但由于特征点3D坐标的噪声各向异性且分布不均匀,3D重建在深度方向上比另两个方向上的准确性差,从而导致3D欧式空间运动估计精确不高.本文提出了一种新的基于视差空间运动估计的高精度立体视觉定位算法.算法首先采用视差空间4点闭环线性解法和RANSAC算法得到初始鲁棒运动估计和匹配内点.接着,利用新的视差空间再投影误差函数提出了基于LM算法的视差空间运动参数非线性优化方法,对初始运动参数进一步优化.视差空间噪声分布均匀且各向同性,本文的初始运动参数线性估计和非线性优化都在视差空间中进行且能达到全局最小.仿真实验和真实实验结果表明,本文算法能得到高精度的立体视觉定位结果,优于传统的3D欧式空间运动估计方法.     

视觉测量传感器系统结构参数设计分析

依据三角法建立了基于线结构光和对称式双目立体视觉的两种典型视觉传感器坐标测量系统数学模型.通过对坐标测量模型及传感器各结构参数之间的相互关系分析,研究了线结构光视觉传感器和双目立体视觉传感器坐标测量系统结构参数及其误差对系统综合测量精度的影响关系特性.在对各结构设计参数综合分析的基础上,提出了视觉传感器坐标测量系统结构参数优化准则,并给出了线结构光视觉传感器及双目立体视觉传感器坐标测量系统结构参数的一般性设计原则与方法.     

双摄像机光笔式三维坐标测量系统研究

基于双目立体视觉传感器三维测量模型和空间坐标变换原理,采用最小二乘冗余算法,讨论了双摄像机测量空间三维点坐标的基本原理,建立了视觉测量系统的非线性测量方程.通过实验验证了双摄像机光笔式三维坐标视觉测量系统建立的可行性.     

基于几何约束的双目测距技术研究

双目测距是一种重要的机器视觉技术,常用于机器人定位与导航任务。立体匹配在双目视觉中占有重要的作用,文章基于构建的双目立体视觉系统,提出了一种基于几何约束的物体三维坐标测量方法。首先利用立体标定技术实现了对图像的畸变矫正,并对实时拍摄的左右图像进行ORB特征匹配,以检测图像中物体的特征点对。算法对估计的初始ORB特征点进行RANSAC模型估计,去除误匹配点对应。之后基于点对应之间的距离与斜率对其进行几何关系度量,利用几何约束进一步滤除匹配误差较大的点对应。实验结果说明该算法能有效降低特征的误匹配率,提高了双目测距的准确性与鲁棒性。     

基于视觉的产品设计三维建模系统

基于双目视觉的基本原理,设计并搭建了双目立体视觉系统,研究了相机标定、特征点提取、立体视觉与三维重建的算法,并利用OpenGL技术实现零件三维CAD设计,生成了三视图文件。     

一种双目立体视觉系统的校准方法

基于双目立体视觉系统的图像分析以及人工神经网络的三维空间建模算法,设计了一种针对双目立体视觉相机的校准方法,并可应用于运动目标点的轨迹追踪。将均匀分布目标点的校准平面放置在有效视野内的不同位置,通过双目立体视觉系统来捕获处于不同位置的校准平面图像。在图像处理之后,使用校准点中心的二维坐标作为人工神经网络训练的输入样本集,通过建立人工神经网络模型结构,实现目标点二维平面坐标到三维空间坐标的映射关系。采用这种具有通用性的方法,可以有效修正系统中存在的失真因子,获得目标三维位置信息,而无需进行复杂的相机校准操作。实验表明,提出的方案具有良好的可行性和鲁棒性。     

水下移动双目视觉高精度定位方法

为提高水下移动双目视觉的定位精度,首先建立综合考虑径向畸变和切向畸变的水下摄像机非线性数学模型,然后利用焦距归一化成像平面上的成像点坐标和光轴中心点确定空间点所在的空间直线,最后利用两异面直线公垂线中点作为目标点并利用正交投影法求解。该方法不仅很好地化解水下移动双目视觉空间定位时两投影线不相交于一点的矛盾,而且还具有普遍性。     

基于模糊神经网络的双目视觉系统的研究与准确度

在机器视觉系统中,由于深度信息的丢失,镜头的畸变等因素的影响,使得摄像机的模型是非线性的.在采用模糊神经网络对双目视觉系统标定时,以特征点投影到左右图像的坐标为4路输入,以网络的3路输出和该对应点在世界坐标系坐标的均方值为性能指标;根据梯度下降法来调整和最终获得一组稳定的隐含神经元与输出神经元之间的连接权值,以及高斯型隶属函数的参数(均值与标准差);这样可以用模糊神经网络的权值与隶属函数来代替双目视觉系统两个摄像机的投影矩阵,以描述三维空间特征点坐标与对应点在左右摄像机图像之间的关系,实现系统的标定.     

稀疏立体视觉算法在自动包装机器人中的应用

目的为实现包装机器人自动测距的功能,提出将双目稀疏立体视觉算法应用到自动包装机器人视觉系统中。方法为验证算法的实用性,利用深圳市元创兴科技有限公司生产的配备双目视觉系统的REBot-V-6R六自由度机器人进行实验,计算实验台上包装件与摄像机的距离,通过计算值与测量值之间的误差评估算法的精确度。结果实验证明双目稀疏立体视觉算法在600~1000 mm范围内深度计算误差小于7%。结论该稀疏立体视觉算法可以应用于自动包装机器人测距。     

基于曲率自适应的航空零件法矢量测量研究

现有的法矢量测量技术无法满足测量准确度和实时性的双重要求,法矢量计算方法不能适用于不同曲率的曲面。利用双目立体视觉,本文提出了一种基于曲率自适应的法矢量测量方法。首先,在双目立体视觉的基础上,基于变曲率曲面特征建立制孔区域曲面模型,提出投影点的布局方法;然后,基于三维重建的投影点数据,提出了基于曲面曲率自适应识别的法矢量计算方法;最后,针对小曲率曲面样件的测量结果,与三坐标测量仪测得的法矢量进行对比,用以验证本双目视觉测量方法的精度。实验结果表明:该方法测量法矢量误差为1.6°。该方法可有效提高法矢量测量的准确度,满足大型航空零件现场测量的工程要求。     

Estimating three-dimensional vehicle motion in an outdoor scene using stereo image sequences

We propose a motion estimation system that uses stereo image pairs as the input data. To perform experimental work, we also obtain a sequence of outdoor stereo images taken by two metric cameras. The system consists of four main stages, which are (1) determination of point correspondences on the stereo images, (2) correction of distortions in image coordinates, (3) derivation of 3D point coordinates from 2D correspondences, and (4) estimation of motion parameters based on 3D point correspondences. For the first stage of the system, we use a four-way matching algorithm to obtain matched point on two stereo image pairs at two consecutive time instants (t_i and t_{i + 1}). Since the input data are stereo images taken by cameras, it has two types of distortions, which are (i) film distortion and (ii) lens distortion. These two distortions must be corrected before any process can be applied on the matched points. To accomplish this goal, we use (i) bilinear transform for film distortion correction and (ii) lens formulas for lens distortion correction. After correcting the distortions, the results are 2D coordinates of each matched point that can be used to derive 3D coordinates. However, due to data noise, the calculated 3D coordinates to not usually represent a consistent rigid structure that is suitable for motion estimation; therefore, we suggest a procedure to select good 3D point sets as the input for motion estimation. The procedure exploits two constraints, rigidity between different time instants and uniform point distribution across the object on the image. For the last stage, we use an algorithm to estimate the motion parameters. We also wish to know what is the effect of quantization error on the estimated results; therefore an error analysis based on quantization error is performed on the estimated motion parameters. In order to test our system, eight sets of stereo image pairs are extracted from an outdoor stereo image sequence and used as the input data. The experimental results indicate that the proposed system does provide reasonable estimated motion parameters.     

Real-time pedestrian classification exploiting 2D and 3D information

A new approach for standing and walking pedestrian detection using pattern matching and exploiting both 2D image information and 3D dense stereo information is proposed. Because 3D information accuracy does not allow the direct classification of the 3D shape, a combined 3D-2D method is proposed. The 3D data are used in an innovative way for pedestrian hypotheses generation, scale and depth estimation and 2D models selection. Also the 3D hypotheses allow the corresponding 2D image region of interest selection and the 2D hypothesis generation. The 2D hypothesis consists of the object-s external edges obtained by an edge extraction and a depth coherency-based filtering out process. The scaled models are matched against the selected hypothesis using an elastic high-speed matching based on the Chamfer distance. The method has been tested on synthetic and real-world scenarios.     

Residual-Based robust estimation and image-motion analysis

We explain that the task of multiple rigid motion segmentation and estimation from image feature point correspondence demands an estimator of high robustness. We show that a heuristics-based partial modeling approach can be used to develop a highly robust estimator called the MF estimator for general regression, where “MF” represents an abbreviation of Model Fitting. Finally, we provide experimental results in estimating single rigid motion from a mixture of 2D-2D (or image-image), 3D-2D (or range-image) and 3D-3D (or range-range) corresponding point data by using the proposed MF estimator. As will be seen, only four well matched corresponding point pairs are needed to get a good estimate of motion parameters no matter how many mismatched corresponding point pairs (or outliers) occur. The article represents an initial effort towards robust image-motion analysis.     

基于麦克风阵列的三维声源定位算法及其实现

从系统的角度对真实声场环境下基于到达时间差的的声源定位算法进行了研究,提出了一种改进的互功率谱相位（CSP）时延估计算法,在此基础上,提出了一种用于定位估计的基于球形差值（SI）的随机梯度下降（LMS）算法。为了验证算法的有效性,实际构建了三维空间中的点声源定位系统。实验结果表明所提出的算法具有较高的定位精度。     

点线特征结合的视觉SLAM闭环检测研究

在视觉SLAM系统中,闭环检测是非常重要的一个模块,它主要用于解决移动机器人在位置估计时随时间漂移的问题。移动机器人搭载相机在场景中运动,通过前端视觉里程计估计自身位姿和场景地图点坐标。视觉里程计历史时刻的估计误差会传递到下一时刻,导致一段时间后估计的结果出现累计误差,闭环检测可有效减少该累计误差。针对传统基于点特征的视觉SLAM闭环检测在点稀缺环境下精度和鲁棒性较差的问题,提出结合环境权重点线特征的闭环检测系统。该系统相比传统的基于点特征的闭环检测算法,系统鲁棒性更强,检测精确度更高。     

振动条件下的尼龙拉链厚度尺寸视觉在线测量算法

针对尼龙拉链厚度尺寸的视觉在线测量过程中,振动对测量结果影响较大的问题,通过对拉链振动的机理分析,建立并求解出被测拉链横向振动模型的运动方程,再结合LK(Lucas Kanade)光流法测量原理,求取出某一时刻的拉链全局振动信息。在此基础上,提出了一种振动条件下的尼龙拉链厚度尺寸的视觉在线测量算法。首先提取出待补偿图像中被测拉链的边缘点坐标,其次根据运动补偿算法修正边缘点坐标,接着利用最小二乘法将边缘点坐标拟合成平行直线并求出其间距,最后根据像素当量转换为拉链厚度的实际尺寸。实验结果表明:该算法测量结果的不确定度为0.00051mm,远优于无运动补偿的视觉测量方法测量结果,能有效地抑制拉链振动对测量结果的影响。     

Face tracking and pose estimation with automatic three-dimensional model construction

A method for robustly tracking and estimating the face pose of a person using stereo vision is presented. The method is invariant to identity and does not require previous training. A face model is automatically initialised and constructed online: a fixed point distribution is superposed over the face when it is frontal to the cameras, and several appropriate points close to those locations are chosen for tracking. Using the stereo correspondence of the cameras, the three-dimensional (3D) coordinates of these points are extracted, and the 3D model is created. The 2D projections of the model points are tracked separately on the left and right images using SMAT. RANSAC and POSIT are used for 3D pose estimation. Head rotations up to plusmn45deg are correctly estimated. The approach runs in real time. The purpose of this method is to serve as the basis of a driver monitoring system, and has been tested on sequences recorded in a moving car.     

动态场景下基于YOLOv5和几何约束的视觉SLAM算法

目的 移动智能体在执行同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)的复杂任务时,动态物体的干扰会导致特征点间的关联减弱,系统定位精度下降,为此提出一种面向室内动态场景下基于YOLOv5和几何约束的视觉SLAM算法。方法 首先,以YOLOv5s为基础,将原有的CSPDarknet主干网络替换成轻量级的MobileNetV3网络,可以减少参数、加快运行速度,同时与ORB-SLAM2系统相结合,在提取ORB特征点的同时获取语义信息,并剔除先验的动态特征点。然后,结合光流法和对极几何约束对可能残存的动态特征点进一步剔除。最后,仅用静态特征点对相机位姿进行估计。结果 在TUM数据集上的实验结果表明,与ORB-SLAM2相比,在高动态序列下的ATE和RPE都减少了90%以上,与DS-SLAM、Dyna-SLAM同类型系统相比,在保证定位精度和鲁棒性的同时,跟踪线程中处理一帧图像平均只需28.26 ms。结论 该算法能够有效降低动态物体对实时SLAM过程造成的干扰,为实现更加智能化、自动化的包装流程提供了可能。