智能坐标测量中零件位姿的单目立体识别

为了使三坐标测量机快速准确地识别出被测零件的位姿,提出了一种基于三坐标测量机平动的单目立体视觉识别方法,对该方法的原理、位姿参数的求解和识别过程进行了研究。根据双目立体视觉原理,以三坐标测量机带动摄像机沿x轴或y轴平移,在两个不同位置分别拍摄被测零件的一幅图像,经过同名像点的匹配实现单摄像机立体视觉测量,得到被测零件上各特征点在摄像机坐标系中的三维坐标;由摄像机标定参数,进一步计算出各特征点在机器坐标系中的三维坐标;再结合各特征点在零件CAD坐标系中的对应坐标,求解出被测零件的位姿参数。进行了识别实验,实验数据表明该识别方法是可行的,满足实时测量要求。     

基于矩形几何特性的小型无人机快速位姿估计方法

为了更加实时、精确地实现小型无人机视觉导航,利用矩形的几何特性以及空间点、线的共面特征,提出了一种基于单目视觉的位姿分步估计方法。该方法在任意位置对空间矩形进行拍摄,通过获取的一对正交消隐点,确立无穷远点在像平面的投影关系,完成姿态估计;利用光心、空间矩形以及其投影的共面性特征建立约束方程,求解空间矩形在摄像机坐标系下的法向量,结合欧氏空间线性变换的不变性,实现摄像机坐标系中矩形4顶点坐标的线性求解,并根据空间点在世界坐标系与摄像机坐标系间的转换关系,完成位置估计。为了抑制图像噪声对位姿估计的影响,建立基于空间点、线共面特征的指标函数,利用NM寻优算法实现对位姿参数的非线性优化。实验结果表明,该算法具有计算精度高、实时性强、适用范围广的优点,设计的优化算法能够有效地抑制图像噪声,提高了位姿估计的稳健性。     

基于全局位姿评估的条纹反向视觉测量

提出基于全局位姿评估的条纹反向视觉测量。利用带测头的摄像机拍摄二维正弦条纹,根据傅里叶分析提取的平面特征点全局评估摄像机位姿,进而测量测头的球心坐标。摄像机的位姿评估是条纹反向视觉测量的关键技术,在测头标定和坐标测量中均需要进行位姿评估。位姿评估的误差函数包括重投影误差和物空间误差两类,两者在基于平面的位姿评估中均存在两个局部极小值,采用全局位姿评估算法可以避免误差函数陷入局部极小以高精度获取摄像机位姿,完成测头标定和坐标测量。实验结果表明,该方法可以高精度测量物体的三维坐标。     

双目测量系统目标相对位置误差分析

目标特征点三维坐标的测量精度直接影响目标位姿的解算,准确确定影响目标位姿的误差因素,对各项误差进行合理分配及综合,是提高目标测量精度的关键。目前,像点提取精度、特征点匹配精度根据现有算法已达到瓶颈,而在摄像机内部结构及标定等方面提高测量精度还有较大的研究空间。通过建立成像点坐标测量方程,综合分析各误差因素对目标位置的影响。通过实验分析与仿真,摄像机内部结构误差及标定误差对成像点坐标的影响在一个像素内,当f=0.031 9 m,目标距离为20 m时,目标位置总体测量精度为0.029 4 m。对光学成像系统内部结构的设计及电子器件的选型具有较大参考价值。     

基于图模型的小尺寸飞行器地面试验中位姿估计方法

在多飞行器地面试验位姿估计中,由于跟踪算法导致的跟踪轨迹不连续会使得位姿估计产生累积误差,为了实现位姿的精确估计,提出了一种基于图模型的全局位姿估计非线性优化方法。首先,建立了一个飞行器地面视觉位姿估计系统。然后根据飞行器上特征点的数目提出了一种向量交叉式的飞行器位姿解算方法,求解得到数据已关联飞行器位姿估计值。利用中介坐标系法求解得到轨迹段初始位姿节点在测量坐标系下的值,最后,在图模型基础上下,对整个量测过程中飞行器的位姿估计结果进行非线性全局优化减小线性算法的累积误差,并通过仿真与实际实验对飞行器位姿估计算法的可行性与精度进行验证。实验结果表明:在测量范围为6 000 mm×6 000 mm×3 000 mm的范围内,飞行器尺寸约为400 mm,特征点三维定位精度为2.9 mm的条件下,基于非线性优化的飞行器位姿估计算法的理论精度分别可达0.5°(3σ)与3 mm (3σ),实际绝对测量精度分别可达1.3°(3σ)与4 mm (3σ),基本满足地面试验对多飞行器编队算法开发以及制导控制系统性能长时间评估稳定可靠、精度高、抗干扰能力强等要求。     

基于最佳偏振角的线性位姿测量方法研究

在基于视觉图像的位姿测量中,非线性位姿测量算法的全局收敛存在不确定性,测量结果取决于初值的选取,不能保证位姿测量的鲁棒性。线性位姿测量算法对图像处理的要求比较高,如果定位特征点图像坐标提取不够精确,会导致位姿测量精度降低。在自然光条件下,相机采集定位特征点图像,图像中高亮度区域的存在对定位特征点提取精度产生影响,进而使有效定位特征点数量减少,影响位姿测量精度。针对上述问题,文中提出了一种基于最佳偏振角的线性位姿测量方法:在相机镜头前加装线偏振片,根据Stokes矢量建立偏振片最佳偏振角度求解模型,在使用最佳偏振角度的前提下采集定位特征点图像,提取图像坐标;建立线性位姿求解模型,计算被测物体位姿。实验结果表明,该方法能够有效减少图像中的高亮度区域,改善成像质量,提高线性位姿测量精度,在?60°~+60°的测量范围内,角度测量误差小于±0.16°,在0~20 mm的测量范围内,位移测量误差小于±0.05 mm。     

激光加工机械手系统工件位姿自动校正的方法

为了减小在数控加工系统中工件位姿无法精确定位引起的加工误差,采用通过实时检测工件上2个点分别在实际工件坐标系下偏离理想坐标系的坐标来实现机械手自动校正的方法,阐述了工件坐标校正的数学模型、算法和算法程序设计的实现。结果表明,通过6组模拟数据得到位移误差不足0.01mm,角度误差不足0.02°,验证了该方法的正确性。     

面向直线顶管机的双屏视觉标靶标定方法与精度评价

针对双屏视觉标靶前、后感光成像屏位姿关系难以标定的问题,提出一种基于坐标点云的感光成像屏位姿标定方法。该方法分别将前、后感光成像屏划分为n行n列的网格阵列,通过全站仪测量感光成像屏上每个网格角点的空间三维坐标,并利用工业相机实时获取感光成像屏上每个网格角点的图像二维坐标,结合图像二维坐标和空间三维坐标获得2D-3D映射关系,从而得到坐标点云数据。根据三公共点坐标系转换算法将坐标点云数据中的三维坐标统一到标靶坐标系下,进而确定相机与前、后感光成像屏的位姿关系,再通过网格索引方法对前、后感光成像屏的位姿关系进行求解。为评价标靶位姿测量精度,设计了静态测量重复性精度评定实验和绝对测量精度评定实验。实验结果表明:该标定方法的坐标静态测量重复性精度为0.13 mm、绝对测量精度为0.93 mm;方位角静态测量重复性精度优于0.01°、绝对测量精度优于0.05°。因此,该标定方法可以实现两个空间平面位姿关系的精确标定,且具有操作简便、精度高等特点,可用于双屏视觉标靶的标定。     

一种基于平面标靶的线结构光视觉传感器标定方法

提出了一种适合于现场的线结构光视觉传感器标定 方法。建立了标定的数学模型,设计了一种平面点阵标靶,提出了坐标映射方法。根据结构 光条纹特征点的图像坐标和对应在标靶坐标系下的坐标,以及 相机内参,计算出标靶坐标系到摄像机坐标系的转移矩阵,再由转移矩阵得到特征点在摄像 机坐标系下的 坐标;在视场范围内,平面标靶按不同位姿摆放多次,获取投射在标靶上的所有特征点,对 这些特征点进 行平面拟合,得到结构光平面在摄像机坐标系下的方程。对标定的精度进行了验证,实验表 明,本文方法标定 过程简单,精度较高,适合于结构光传感器的现场标定。     

多特征点拓扑确定位姿测量算法研究

为解决单目视觉位姿测量时,由目标特征点较多导致图像点与目标点拓扑关系未知的问题,提出了一种多特征点拓扑确定位姿测量算法。较多特征点可在目标进行大角度运动时保证足够的特征点进行位姿解算,与较少特征点相比提高测量精度。该算法将拓扑确定的过程和位姿求解的迭代过程进行嵌套,同时进行拓扑确定和位姿计算。位姿计算的迭代过程基于平行透视投影模型,不需要目标重心投影点坐标作为迭代初始值。拓扑确定的过程转化为分配问题的求解过程。每次位姿迭代的过程中进行一次拓扑确定,拓扑确定的结果可以计算更优的位姿估计。通过多位姿测量实验和精度对比实验结果证明:该算法适合大范围、高精度的位姿测量,在-120~120范围内,位姿测量均方根误差为0。272。     

基于EPNP算法的单目视觉测量系统研究

利用计算机视觉进行姿态测量的方法已广泛应用于现代控制、导航、跟踪等多个领域中。研究并设计了一种基于P4P矩形分布的平面靶标和EPNP算法结合的单目视觉姿态测量方法。首先,利用单相机获取平面靶标图像,经图像处理后得到四个特征点的像素坐标,并使用EPNP算法进行姿态解算;其次,对姿态角测量误差进行了仿真分析,为提高姿态测量精度提供了理论指导和依据;最后,提出一种与高精度二维转台结合的坐标系配准方法,利用该方法对三个方向姿态角精度进行验证。实验结果表明:当绕x和y轴的转动角度在[-6,6]时,姿态测量误差小于0.1,可以满足测量应用需求。     

双模态信息融合的飞行目标位姿估计方法

针对在飞行目标位姿估计中背景复杂、目标提取及位姿解算精度低、速度实时性差等问题,提出了一种激光与图像信息融合的飞行目标位姿估计方法。首先,建立彩色相机和激光雷达间的坐标变换模型实现两传感器像素级匹配,对同一时刻的图像和点云进行融合处理;其次,采用Vi Be算法与深度信息融合对图像中运动目标进行提取,并根据图像目标的位置框选出对应的点云;最后,利用PnP算法进行特征点粗配准,获取点云间初始旋转平移矩阵,并采用迭代最近点算法进行精配准,利用IK-D Tree加速临近点搜索,提高配准速度。使用仿真试验和半实物仿真试验对方法准确性和稳定性进行了验证,结果显示：二维图像目标检测算法正确率为97%,错误分类比为0.011 2%;位姿估计算法与传统迭代最近点算法相比精度提高了53.2%,单次耗时从261 ms降低至132 ms,效率提升约49.4%,与其他算法相比也具有一定优势。为飞行目标落点精准预测和制导控制提供解决思路。     

无人机视觉辅助着陆中的姿态和位置估算

无人机安全着陆是无人机研究的重点和难点,为了提高无人机在公路等简易机场着陆的安全性,提出了基于少量任意分布特征点估计无人机姿态和位置的计算机视觉算法。解算无人机着陆过程中相对跑道的位置和姿态是文章核心;首先利用N点算法解算出特征点在摄像机坐标系上的坐标,然后利用正交化算法求出摄像机坐标系和跑道坐标系之间的旋转矩阵和平移向量;针对特征点的成像过程容易受噪声影响的情况,引入了最小中值法,减小噪声的影响,提高算法的鲁棒性,并解算出姿态和位置;通过卡尔曼滤波方法,进一步提高位置和姿态的精度。仿真结果表明:所提算法满足无人机自主着陆的精度要求。     

Robot Vision System for Coordinate Measurement of Feature Points on Large Scale Automobile Part

In this paper, we present a robot vision based system for coordinate measurement of feature points on large scale automobile parts. Our system consists of an industrial 6-DOF robot mounted with a CCD camera and a PC. The system controls the robot into the area of feature points. The images of measuring feature points are acquired by the camera mounted on the robot. 3D positions of the feature points are obtained from a model based pose estimation that applies to the images. The measured positions of all feature points are then transformed to the reference coordinate of feature points whose positions are obtained from the coordinate measuring machine (CMM). Finally, the point-to-point distances between the measured feature points and the reference feature points are calculated and reported. The results show that the root mean square error (RMSE) of measure values obtained by our system is less than 0.5 mm. Our system is adequate for automobile assembly and can perform faster than conventional methods.     

红外零位走动量测量中的相机姿态自适应补偿

为提高红外零位走动量测量精度,针对测量过程中相机姿态变化误差引起的图像定位精度不高问题,提出了一种CCD相机姿态小角度变化自适应补偿方法。通过理论分析,推导出相机姿态解算公式,建立了CCD相机姿态解算数学模型,然后基于某型红外瞄具零位走动量测量系统,分别针对三种相机姿态,对瞄具分划线在参考坐标系中的坐标进行了对比实验。结果表明,测量精度优于0.01 mil,能减小相机倾斜对红外瞄具零位走动量测量带来的误差,为提高零位走动量测量精度提供了一种相机姿态自适应补偿的新方法。     

基于HOURGLASS网络语义关键点提取的光学图像空间目标姿态估计方法

空间目标姿态估计是有效实现各类航天任务的重要前提,基于空间光学观测图像的目标姿态估计关键一环在于快速准确地建立起观测图像与空间目标之间的“二维特征点-三维实体结构”映射关系。传统的方法往往将这一任务分解为特征提取和特征关联两个步骤序贯进行,然而在空间目标光学观测场景中,高动态的光照变化和目标的相对高速运动特点会显著降低图像特征提取的可靠性,影响后续特征关联匹配的正确率并最终降低对空间目标的姿态估计精度。针对这一问题,本文提出了一种基于语义关键点提取的光学图像空间目标姿态估计方法,利用Hourglass网络端到端地提取包含语义信息的关键点,直接实现了光学图像中二维特征点与目标三维实体结构的关联映射,并在此基础上利用EPnP算法求解待估计的目标姿态值。实验结果表明,本文所提的方法能较好地兼顾算法精度与效率,其在仿真数据集上的姿态估计最小误差为0.83°,且在数据降质的情况下平均误差依然优于传统方法。      

A system for video-based navigation for endoscopic endonasal skull base surgery

Surgeries of the skull base require accuracy to safely navigate the critical anatomy. This is particularly the case for endoscopic endonasal skull base surgery (ESBS) where the surgeons work within millimeters of neurovascular structures at the skull base. Today's navigation systems provide approximately 2 mm accuracy. Accuracy is limited by the indirect relationship of the navigation system, the image and the patient. We propose a method to directly track the position of the endoscope using video data acquired from the endoscope camera. Our method first tracks image feature points in the video and reconstructs the image feature points to produce 3D points, and then registers the reconstructed point cloud to a surface segmented from preoperative computed tomography (CT) data. After the initial registration, the system tracks image features and maintains the 2D-3D correspondence of image features and 3D locations. These data are then used to update the current camera pose. We present a method for validation of our system, which achieves submillimeter (0.70 mm mean) target registration error (TRE) results.