基于线结构光的三维坐标测量技术研究

传统的口腔修复体三维点云数据测量技术难以满足精度要求。为此,提出一种基于线结构光的三维坐标测量方法。在摄像机标定过程中,采用最小二乘法计算光平面方程,使用平移扫描和旋转扫描获取物体表面三维数据,以避免求解摄像机内外参数。实验结果表明,重建后的三维模型可以满足高精度近景三维测量的要求。     

基于 2 个灭点和局部尺度的三维空间尺度估计

三维空间尺度估计是三维重建中的一个重要工作,现实世界中也存在一些基于单幅图像进行三维空间尺度估计的需求。通常情况下,尺度估计需先对相机进行标定。根据单目图像符合透视原理的特性,提出了一种基于 2 个灭点和局部尺度信息的方法对相机进行标定,从而得到单目图像物体中三维空间尺度信息的估计。首先,从单目图像中选择 2 组互相正交的平行线组,得到对应 2 个灭点的坐标;然后,利用灭点坐标和焦距信息得到世界坐标系和相机坐标系之间的旋转矩阵,再利用灭点的性质和已知局部尺度信息得到平移向量,完成单目相机的标定;最后,还原二维图像中像素点对应的三维世界坐标值,计算出图像中 2 个像素点在三维空间的尺度信息。实验结果表明,该方法能有效地对单幅图像中的建筑物体进行尺度估计。     

结构光视觉传感器现场标定几何法研究

与基于交比不变性求解特征点坐标来标定激光平面的方法不同,本文提出了一种可适用于未知环境的线结构光三维视觉传感器现场标定的新方法,该方法只需简单几何知识,就可直接利用几何方法实现快速标定。通过拍摄一个与线结构光相交并以不同姿态随机自由移动的平面靶标的图像(至少三幅),就可同时实现三维视觉传感器CCD和激光平面的快速标定。该方法方便,快捷,简单,可实现自动化,标定精度高。实验结果证明了该方法的方便和有效性。     

线结构光传感器参数现场标定方法

为了精确、快速、高效地标定线结构光传感器参数,提出了一种线结构光传感器参数现场标定方法。根据摄像机标定方法,并结合L-M非线性优化算法对摄像机内外参数及镜头畸变系数进行标定。拍摄不同姿态下的平面靶标图像,利用靶标图像计算摄像机外参计算靶标上的圆点在摄像机坐标系下的三维坐标,并构建靶标平面方程。将激光线投射到不同姿态的靶标平面上,通过靶标平面方程计算出激光线上点在摄像机坐标系下的3D坐标,由不同位置重构出激光点在摄像机坐标系下的3D坐标来完成光平面参数标定。通过对摄像机参数、畸变系数和光平面参数的标定,重构目标物体进行测试。测量结果表明:该算法能够快速、准确地获取小车车体的三维坐标,并构造出车体的三维模型。该方法适用于大视场的工业现场标定。     

基于单目CCD摄像机的三维点云数据重建研究

提出一种基于单目CCD摄像机反求系统的三维数据的获取方法熏首先对单目CCD摄像机拍摄的单幅图像进行滤波、细化等手段处理得到单像素宽度的激光条纹熏通过摄像机标定和激光投影平面标定建立激光条纹上的像素点与空间上的三维点之间一一对应的函数映射,获取物体的外轮廓信息。通过试验分析证明其可行性。     

基于投影仪和摄像机的结构光视觉标定方法

为实现基于投影仪和摄像机的结构光视觉系统连续扫描,需要计算投影仪投影的任意光平面与摄像机图像平面的空间位置关系,进而需要求取摄像机光心与投影仪光心之间的相对位置关系。求取摄像机的内参数,在标定板上选取四个角点作为特征点并利用摄像机内参数求取该四个特征点的外参数,从而知道四个特征点在摄像机坐标系中的坐标。利用投影仪自身参数求解特征点在投影仪坐标系中的坐标,从而计算出摄像机光心与投影仪光心之间的相对位置关系,实现结构光视觉标定。利用标定后的视觉系统,对标定板上的角点距离进行测量,最大相对误差为0.277%,表明该标定算法可以应用于基于投影仪和摄像机的结构光视觉系统。     

带激光笔的机器人主动视觉手眼标定

以固高GRB-400机器人和摄像机组成手眼系统,在手眼关系旋转矩阵的标定方面,分析了基于主动视觉的标定方法。为实现手眼关系平移向量的标定,提出以固定于机械臂末端的激光笔来获取工件平台上特征点的基坐标,并结合已标定的旋转矩阵来标定平移向量。最后,从图像求取多个特征点之间的距离并与实际值进行误差比较,平面特征点间的长度测量误差在±0.8 mm之间,表明手眼标定精度较高,可满足机器人进行工件定位与自动抓取的要求。     

单张平面圆图像的空间圆心快速提取方法

空间圆圆心坐标提取是视觉测量系统的关键技术之一。为了解决空间圆心坐标需要提取多视角图像椭圆圆心,而由于透视投影椭圆圆心并不是空间圆心像点的问题,提出了一种基于单张平面圆图像的空间圆心提取方法。该方法首先基于圆锥曲线特性根据相机光心坐标与成像椭圆像素坐标构建了空间圆锥方程,再根据圆锥方程构建出圆锥正底面表达式,根据正底面表达式求解出与空间圆所在平面平行的平面方程,最后根据平行平面与实际目标直径找出正确空间圆方程。该方法避免了空间圆心投影坐标求解与需要多张图像求解圆心的问题,只需单张图像即可求解出空间圆心坐标。实验结果表明,该方法能精确求解圆形目标中心空间坐标,有效提高了三维坐标的求解效率与精度。     

基于双目立体视觉的机器人定位系统设计与实现

针对传统工业机器人预先示教或单目视觉引导应用的局限性,提出一种基于双目立体视觉的机器人定位系统设计,获取目标物体在空间中的三维信息。该系统设计基于ABB机器人执行系统,使用TCP触碰标定板的方式完成双相机的标定,采用SIFT斑点算法获取工件的特征,结合Opencv3.4.1库,基于图像特征点对左右相机获得的图像进行立体匹配,得到物体的三维点坐标,引导机器人实现抓取。     

结构光视觉引导的轨迹跟踪系统的标定技术

为实现机械臂对工业现场三维特征点的跟踪,提出一种基于结构光视觉,六轴机械臂的整体标定方法。利用自制平面靶标求取单映射矩阵,根据张正友标定方法标定相机内参以及对应外参,利用LM算法优化参数,根据激光光条在靶标平面的参数方程和对应的外参标定出激光光平面在相机坐标系下的平面方程,通过求解[AX=XB]方程得到相机坐标系与机械臂末端坐标系的齐次变换矩阵[X],并对特定位姿下的工件偏移进行修正。实际测试表明：静态跟踪误差在±1.2 mm,满足工业现场应用要求。     

基于线结构光扫描的结冰冰形三维测量

现有三维扫描仪进行结冰冰形测量时需喷涂显影剂,无法满足结冰生长过程3D冰形在线测量需求。为此,基于线结构光扫描,提出了结冰冰形三维测量方法,搭建了基于传送带的线结构光扫描冰形测量装置,对线结构光视觉测量系统进行标定,获取了摄像机和激光平面方程参数,采用改进的梯度重心法实现了低对比度冰体图像激光光带亚像素中心位置提取,结合标定结果计算了冰体轮廓线三维坐标,再根据传送带运动距离,对冰体轮廓线逐行拼接,得到整个冰体三维测量点云。实验结果表明,对半径已知的圆柱形冰块进行轮廓线测量,相对误差为0.157 mm。     

视觉里程计中的相机姿态和高度实时测量方法

在视觉里程计的应用中,实时准确的获得相机姿态和高度数据有助于提高视觉定位的精度.而现有解决方案要么成本过高,要么精度无法满足要求,为此提出了基于路面激光扫描的相机外参数实时测量方法.该方法将两台二维激光扫描仪相互正交安装且向下扫描,对获得的沿着两个方向的路面扫描线使用RANSAC算法估计出直线方程,根据两直线方程求得道路平面方程,并以该平面为参考获得相机相对路面的姿态和高度数据.室内实验结果表明:静态条件下对姿态的测量误差最大约0.1°,高度测量误差最大6 mm;室外动态实验结果表明:与传统的惯性测量方法不同,相机外参数测量结果不受车辆加减速运动的影响,且其动态姿态测量精度明显高于精度为1°的惯性测量系统.由于该方法获得的姿态和高度数据是以道路平面为参考基准,尤其适用于单目视觉里程计中以辅助提高定位精度.     

Extrinsic calibration of a camera and laser range finder using a new calibration structure of a plane with a triangular hole

Sensor fusion of a camera and laser range finder is important for the autonomous navigation of mobile robots. Finding the transformation between the camera and laser range finder is the first necessary step for the fusion of information. Many algorithms have been proposed, but these tend to require many different steps in order to achieve reliable and accurate results. A calibration structure that has triangular hole on its plane is proposed for the extrinsic calibration of a camera and laser range finder. Locations of laser scan data that are invisible on the calibration plane can be determined using property on the proposed calibration structure. First, we classify the laser scan data into two groups where one is on the plane and the other is off the plane. Then, we determine the absolute location of the laser scan data on the plane through a search of the parameters of the line. Finally, we can establish 3D-3D correspondences between the camera and laser range finder. Extrinsic calibration between a camera and laser range finder is found using a conventional 3D-3D transformation computing algorithm. Keywords: Calibration k]camera k]extrinsic calibration k]laser range finder     

3D Slit Scanning with Planar Constraints★

We present a planarity constraint and a novel three‐dimensional (3D) point reconstruction algorithm for a multiview laser range slit scanner. The constraint is based on the fact that all observed points on a projected laser line lie on the same plane of laser light in 3D. The parameters of the plane of laser light linearly parametrize a homography between a pair of images of the laser points. This homography can be recovered from point correspondences derived from epipolar geometry. The use of the planar constraint reduces outliers in the reconstruction and allows for the reconstruction of points seen in only one view. We derive an optimal reconstruction of points subject to the planar constraint and compare the accuracy to the suboptimal approach in prior work. We also construct a catadioptric stereo rig with high quality optical components to remove error due to camera synchronization and non‐uniform laser projection. The reconstruction results are compared to prior work that uses inexpensive optics and two cameras.     

一种基于透视投影的单目3D目标检测网络

针对单目3D目标检测网络训练约束少、模型预测精度低的问题,通过网络结构改进、透视投影约束建立以及损失函数优化等步骤,提出了一种基于透视投影的单目3D目标检测网络．首先,在透视投影机理的基础上,利用世界、相机以及目标三者之间的变换关系,建立一种利用消失点（VP）求解3D目标边界框的模型;其次,运用空间几何关系和先验尺寸信息,将其简化为方位角、目标尺寸与3D边界框的约束关系;最后,根据尺寸约束的单峰、易回归优势,进一步提出一种学习型的方位角—尺寸的损失函数,提高了网络的学习效率和预测精度．在模型训练中,针对单目3D目标检测网络未约束3D中心的缺陷,基于3D边界框和2D边框的空间几何关系,提出联合约束方位角、尺寸、3D中心的训练策略．在KITTI和SUN-RGBD数据集上进行实验验证,结果显示本文算法能获得更准确的目标检测结果,表明在3D目标检测方面该方法比其他算法更有效．     

Projection matrix by orthogonal vanishing points

Calculation of camera projection matrix, also called camera calibration, is an essential task in many computer vision and 3D data processing applications. Calculation of projection matrix using vanishing points and vanishing lines is well suited in the literature; where the intersection of parallel lines (in 3D Euclidean space) when projected on the camera image plane (by a perspective transformation) is called vanishing point and the intersection of two vanishing points (in the image plane) is called vanishing line. The aim of this paper is to propose a new formulation for easily computing the projection matrix based on three orthogonal vanishing points. It can also be used to calculate the intrinsic and extrinsic camera parameters. The proposed method reaches to a closed-form solution by considering only two feasible constraints of zero-skewness in the internal camera matrix and having two corresponding points between the world and the image. A nonlinear optimization procedure is proposed to enhance the computed camera parameters, especially when the measurement error of input parameters or the skew factor are not negligible. The proposed method has been run on real and synthetic data for more precise evaluations. The provided experimental results demonstrate the superiority of the proposed method.     

基于机器学习和几何变换的实时2D/3D脊椎配准

在图像引导的脊柱手术中,实时高效的2D/3D配准是一项重要且具有挑战性的任务.通常的2D/3D配准一般是将三维图像投影到二维平面,然后进行2D/2D的配准.由于投影空间涉及到3个平移以及3个旋转参数,其投影空间的复杂度为O（n6）,使得配准很难兼具高准确性和高实时性.本文提出了一个结合机器学习与几何变换的2D/3D配准方法,首先,使用统计形状模型对目标脊椎进行建模,并构建了一种新的投影方式,使得6个投影参数中的4个可以使用几何的方法计算出来;接下来利用回归学习的方法学习目标脊椎的形状与投影参数之间的关系;最终,结合学到的关系和几何变换完成配准.本方法的两个姿态参数的平均预测误差为0.84°和0.81°,平均目标配准误差（Mean target registration error,mTRE）为0.87mm,平均配准时间为0.9s.实验结果表明本方法具有很好的实时性和准确性.     

Tsai氏相机平面标定算法的一种解析改进

针对径向畸变的针孔透视投影模型,提出了一种简单快速的相机标定算法。该算法在假设图像中心点与CCD或CMOS传感器中心重合的前提下,将相机的内外参数和相机模型的畸变参数分离,以进一步进行线性相机标定,避免了非线性优化带来的误差,降低了算法复杂度,可适当提高标定精度,节约计算时间。首先,根据透视投影的交比不变性原理标定镜头的畸变系数;然后,根据旋转变换关系和平移变换关系,充分利用径向畸变约束、旋转变换的正交性和旋转矩阵特有的性质约束线性求解出相机的内参和外参;最后,通过实验与Tsai氏相机平面标定算法进行对比,所提算法在标定时间上节约了35%左右,在精度上至少提高了15%。     

A camera calibration technique using three sets of parallel lines

This paper presents a new method for three-dimensional camera calibration in which the rotation parameters are decoupled from the translation parameters. First, the rotation parameters are obtained by projecting three sets of parallel lines independently of the translation parameters and the imaging distance from the lens to the image plane. The virtual line passing through the image center, which is calculated by perspective projection of a set of parallel lines, depends only on the rotation parameters. Next, the translation parameters and the imaging distance are analytically obtained. Experimental results are used to show how the camera model can be accurately reconstructed in an easily prepared environment.