逆向工程中线激光-机器视觉集成坐标测量系统研究

将立体视觉和线激光扫描传感器集成到三坐标测量机（CMM）下，由立体视觉来获得物体的边界或轮廓信息、线激光扫描传感器获得物体表面的三维数据，利用多传感器的信息融合技术对三维数据进行分割，提取被测物体的几何特征，并在此基础上构建物体模型。多传感器集成坐标测量系统避免了单一传感器的局限性，从而为非接触测量系统在逆向工程中的应用开辟了新的途径。     

基于立体视觉的大尺寸工业测量系统

针对工业制造领域普遍存在的大型物体全尺寸测量难题,提出并实现了一种基于立体视觉技术的便携式工业测量系统。该系统采用多个CCD视觉传感器,获取被测物体的多视图像序列,通过前方交会由二维像点坐标计算物体表面点的三维坐标。全局关键点测量由多目立体视觉系统完成,使用CCD相机从多个位置和方向拍摄物体,获得多目视差照片,由测量软件二维处理并完成三维重建。局部区域密集点云的测量由双目立体觉系统完成,左右两相机同步拍摄由投影机投向物体表面的编码条纹,测量软件自动进行立体匹配和三维重建后获得物体表面局部的密集点云。最后测量软件根据局部的关键点完成密集点云的坐标系转换。实验表明,该系统的测量精度达到0.1mm/3m,可以满足工业现场大尺寸测量对精度和效率的要求。     

二维图像三维重构系统开发与实现

为了解决无接触快速的识别及采集被测物三维相关参数,需研发基于二维图像物体3D重构系统。该系统以VC++和openC V为基础,利用了图像传感器获取两幅或多幅二维图像,基于多目视觉技术,实现了基于双目视觉的摄像头定标、立体匹配、三维重构及其可视化等功能,通过用双目视觉传感器获取图像后,对图像用StereoV ision算法进行3D重构,进而对图像进一步挖掘,获取实物的相关数据。通过实验,重建了图书的三维点云数据,并基于3D模型,重构图书三维信息及可视化。该系统可为今后基于3D模型,无接触实现物体三维测量奠定基础。     

一种基于双目立体视觉的激光线扫描技术

针对线结构激光扫描系统标定成本高,而双目立体视觉测量中立体匹配难的问题,提出了在双目立体视觉的原理上,结合线结构激光扫描的方法实现对被测物体的三维测量。该方法采用张正友相机标定方法对系统进行立体标定;采用BOUGUET’S法对左右相机图像进行立体校正;运用重心法进行激光中心线的精确提取。在图像校正的基础上,可快速实现激光中心线位置的立体匹配;再结合线扫描原理可完成对物体的扫描工作。最后,使用该系统对具有复杂自由曲面的鞋楦进行测量,结果表明:该方法能快速准确地测量出符合要求的三维数据。     

立体视觉三维测量系统中的数据获取技术

提出了一种快速获得物体精确三维数据的新方法。该方法把三维视觉中的主动式与被动式数字化技术相结合，以立体视觉为原理，辅助以主动式密集结构投影光，有效地解决了立体测量的对应点匹配问题。主要针对该系统中的从图像数据获取技术，结合图像后续细化即实现图像目标边缘像素层层剥离的目的，提出采用基于图像目标边缘信息的小波边缘分析自动阈值法进行图像二值化，为本测量系统由二维到三维的快速数据转化的完全实现提供了坚实的基础。     

立体视觉和三维激光系统的联合标定方法

双目立体视觉和三维激光扫描是移动机器人环境探测与建模的常见传感测量方法。为实现两个系统的数据融合应用,必须为二者的测量坐标系建立数学关系,即对其进行传感器之间的位姿联合标定。为此提出了一种基于三维特征点距离匹配的联合标定新方法,设计了一种镂空棋盘格作为标定板。使用双目立体相机提取棋盘格角点三维坐标信息,使用激光测距雷达扫描获取镂空区域中心点三维坐标,最终通过最小化两组特征点的理论与实际测量距离的平方差获取两传感器坐标系之间的旋转矩阵和平移向量。进行的联合标定测量实验结果表明了该方法的准确性和可靠性。     

基于激光扫描和SFM的非同步点云三维重构方法

室外场景具有测量数据量大、扫描数据易重叠及建筑物表面信息复杂等特点,单靠激光扫描方法能够获得场景精确的深度信息,但缺乏颜色和纹理信息,利用从运动中恢复结构(SFM)方法可获得丰富的彩色信息,但重构精度不高,若将两种设备固定进行在线实时同步测量,易受到测量环境和系统制约不易实现。针对此问题,提出了一种基于激光扫描和SFM结合的非同步点云数据融合的三维重构方法。首先,提出利用手动选择控制点进行7自由度初始配准,再利用迭代最近点(ICP)算法对初始配准结果进行精确配准,最后利用最近点搜索算法将分布在经基于面片的多视图立体视觉(PMVS)算法优化后的SFM数据中的颜色信息与激光扫描的点云坐标进行融合。实验结果和数据分析显示,本文的方法能有效地将激光扫描与SFM点云数据进行融合,实现了室外大场景的三维彩色重构。     

以线结构光视觉测量为基础的逆向工程技术探索

本文结合线结构光视觉测量和逆向工程技术的相关概念,对基于线结构光视觉传感器的三维表面测量技术进行分析和研究,提出了一种基于线结构光三维视觉测量系统和三坐标测量机集成测量系统的混合建模方法,以期能够为产品模型的几何形状重构提供帮助。     

深海原位激光扫描双目立体视觉成像系统

为满足深海物体原位三维测量需要,提出一种激光扫描双目立体视觉成像方法。该方法基于双目立体视觉原理,采用四维光场光线表示法,建立水下双目立体成像系统的测量模型;采用激光线扫描光条作为像素匹配线索,及基于共面约束的像素匹配算法,提高水下左、右两个相机图像像素匹配精度。通过耐高压结构设计、电气和软件设计,建立起相应的工程样机。静水压力试验表明,该工程样机能够适应4 000 m深海静水压力;实验室精度试验,采用标准球棒为测量对象,在距离样机3 m处,多次扫描三维重建后,得到两靶球球心距测量结果的标准差为2.28 mm;南海真实海域实测试验,表明样机具有深海原位三维测量重建功能,且在距离样机2 m处,对标准球棒两球心距测量结果的标准差为2.22 mm。上述研究和试验表明,研制的激光扫描双目立体视觉成像系统,具备深海原位测量功能,具有较高三维测量精度。     

基于全局控制网的三维形貌测量方法

由于传感器成像视场范围的局限性,双目视觉传感器在一次成像中往往不能获得大尺寸物体的整体形貌测量结果,鉴于此,研究并实现了一种通过建立全局控制网来实现对大尺寸物体的三维形貌进行测量的方法。实验结果表明：基于全局控制网的测量方法速度快、精度高,间接地扩大了双目视觉传感器的测量范围,并且有效地克服了大尺寸三维形貌测量拼接精度低的缺点。该方法适用于大尺寸物体的三维形貌测量,能够快速、简单、精确地获得被测物体表面特征点的相对位置关系和三维尺寸信息,进而恢复被测物体的三维形貌。     

Ball stud inspection system using machine vision

In this paper, a vision-based inspection system that measures the dimensions of a ball stud is designed and implemented. The system acquires silhouetted images by backlighting and extracts the outlines of the nearly dichotomized images in subpixel accuracy. The sets of boundary data are modeled with reasonable geometric primitives and the parameters of the models are estimated in a manner that minimizes error. Jig-fixtures and servo systems for the inspection are also contrived. The system rotates an inspected object to recognize the objects in space not on a plane. The system moves the object vertically so that it may take several pictures of different parts of the object, resulting in improvement of measuring resolution. The performance of the system is evaluated by measurement of the dimensions of a standard ball, a standard cylinder, and a ball stud.     

On-machine 3D vision system for machining setup modeling

In computer numerical control machine tools, using machining simulation to prevent collision becomes more and more popular due to its efficiency and low cost. However, if the entire digital model of the machining setup does not exist, the simulation is not applicable. As a result, the operator has to manually check the numerical control program, which is a time-consuming and error-prone process. In this paper, an on-machine vision system is presented to quickly construct the digital model based on the actual machining setup. The total construction for a complex setup can be done within a few minutes. Several key technologies have been developed. First, a 2D edge feature detection algorithm has been designed which will extract the edges of the object of interest by processing both the real and virtual images. Second, a stereo vision system is developed which will obtain the three-dimensional (3D) edge data of the object of interest. A new algorithm is presented to solve correspondence, which is the key problem of the stereovision system. Furthermore, the 3D object recognition algorithm is developed to let the system intelligently search for the matched solid model in the database and import it into the virtual environment with an accurate pose. Finally, experiments are carried out to test the developed system.     

基于立体视觉与激光雷达的车辆目标外形 位置融合算法研究

环境感知技术是智能汽车的关键技术之一,单独使用视觉传感器或激光雷达在目标检测和目标定位方面存在局限性。本文在图像和激光雷达目标检测的基础上,提出了一种基于立体视觉与激光雷达的车辆目标外形位置融合算法。首先,采用深度学习方法对图像和点云数据进行目标检测,再通过基于目标三维点和目标种类的目标外形位置估计方法确定目标的外形和位置,最后在数据关联后对同一时刻的图像目标及点云目标进行融合处理,获取目标的外形和位置。在KITTI数据集以及实际道路场景上验证了本文算法,实验结果表明,本文方法在检测精度上分别比YOLOv3网络、Point-GNN网络提高了5.72%和1.8%。另外,在20 m内目标外形及位置平均误差分别为4.34%和4.52%。     

一种新型主动视觉系统的研究

为了提高主动视觉平台的适用性、减小其复杂度,提出了一种新的主动视觉系统结构。利用摄像机作为传感器代替传统的跟踪器计算头盔的位姿。对头盔识别采用了合作目标的方式,提高了识别率和位姿计算速度。采用了一种合作目标亚像素精度定位的方法以提高合作目标三维空间的定位精度。利用PID算法对主动视觉平台进行姿态的控制。最后,实验结果证明了该方法的可行性。     

An auto-alignment vision system with three-axis motion control mechanism

In this study a specially designed three-axis motion control mechanism was applied to an auto-alignment vision system. During the automated production process, the fed-in position of the object usually involves a small, but non-negligible rotational (θ-directional) error in addition to x- and y-directional errors. An analytic algorithm is employed to calculate the relationship between the rotational center (original position) of the motion control mechanism and the relative coordinates obtained by two CCD cameras. With the Δx, Δy and Δθ determined, the automatic motion control mechanism can make rotational and translational movements along the three axes (X, Y1, and Y2) accordingly to compensate for the difference in position and orientation, thus achieving accurate alignment. Results from over hundreds of experimental runs are deemed reproducible within ±5 μm, proving that this design is feasible. Moreover, with the proposed design, the height of the three-axis motion control platform can be reduced from 300–400 mm to less than 120 mm, making it more compact.     

一种机器视觉加权最小二乘解法

为了进一步提高机器视觉的重建精度,本文首次从参数方程的角度来重新审视机器视觉系统以及在此方程上提出了加权的最小二乘方法。机器视觉系统中,重建精度将随相机布局的不同而不同,即随相机与特征点的距离以及旋转矩阵的不同而变化。原有解算方法,并不区分这些不同,利用最小二乘法求取拟合误差最小点。针对这一不足,本文首先改变了机器视觉系统的基础,利用参数方程来描述系统模型,在此基础上,推导了加权的最小二乘方法,给有大误差布局的相机较小的加权,从而进一步提高精度。这种算法的关键是对权重的估计。文章最后的仿真和实验验证了本文算法的有效性。     

基于神经网络的双目视觉传感器建模

根据双目视觉传感器的工作原理 ,分析了影响测量精度的因素 ,表明双目视觉传感器的物体空间坐标与图像坐标之间存在复杂的非线性映射关系 ,其数学模型无法用解析式精确地加以描述。因此 ,提出一种基于神经网络的双目视觉传感器建模方法。数值实验表明 ,该方法简便易行 ,建立的模型有较高的精度     

一种基于移动机器人视觉的实用数字识别方法

移动机器人自动读取数字,并且正确快速识别数字的研究在智能机器人领域具有重要意义。本文以移动机器人为背景,提出一种实时简单的数字识别方法。文中提出边缘图能量百分率法初步定位数字位置。为改善实时识别的准确度,提出改进的中值滤波算法,对采集的数字图片进行去噪处理,利用最大类间方差法分离出目标与背景,采用一种快速、易实现、且对结构损失较少的细化算法,提取数字结构特征,提出分块部分面积法提取特征向量,采用改进的BP网络来设计分类器。试验结果证明这种识别方法不仅快速有效而且稳定。