ENT 手术机器人视觉系统研究

设计一套耳鼻喉手术机器人视觉系统,采用参数约束化方法对双目CCD系统进行标定,提高系统精度。利用光心点到投影线距离之和最小的约束方程,缩小重构范围,提高三维空间坐标的求解精度。提出在喉镜口端面建立欧氏空间坐标的方法。将视觉系统与机械人控制系统进行了集成。     

基于双目立体视觉的深度信息测量

介绍了双目立体视觉三角测距原理和视觉测量系统,双目摄像机拍摄彩色图像,提取颜色、轮廓、纹理等识别特征用于目标区域识别。采用区域匹配算法获得视差图,根据视差计算目标区域的三维坐标信息。完成了目标测量实验并对实验结果进行分析。     

双目视觉传感器的现场标定技术

本文以凤影变换为依据,针对多视觉传感器中的双目视觉传感器中的双目视器,建立了双目视觉传感器测量空间三维坐标的模型,事先确定摄像机的部分不易变化整个系统后进行现场标定。该方法不需精确调整标定靶标,标定环境与实际测量上同,减少了安装传感器对标定参数的影响,实验结果表明,该标定方法能获得０．０５ｍｍ的空间精度。     

基于心电脉搏信号的实时动态血管建模方法

当前血管微创介入手术三维图像导航系统中血管模型是由病人的CT或MRI二维扫描图像经三维重建生成的,为静态模型,不能准确反映术中血管的形态。针对以上问题,研究了基于实时心电脉搏信号的动态血管模型建模方法,主要包括编程建立参数化动态血管模型、实时采集处理心电脉搏信号获得模型运动参数、基于参数的动态模型建立三个部分。通过实验验证了动态模型的实时性和准确性。研究可以为血管微创介入手术图像导航系统提供较准确的实时动态血管模型,提高手术导航系统的视觉临场感,为医生提供重要的视觉参考。     

基于多幅标定板图像的摄像机标定的对比和分析

摄像机标定是立体视觉三维重构的基础,标定的精度、稳定性和效率决定着整个双目立体视觉系统的性能。通过改变标定板图像数目开展标定实验,分别获得了摄像机内参和外参、标定所需时间,分析了标定板图像数目与标定精度和标定效率之间的关系。实验结果表明,对双目立体视觉而言,标定板图像数目为10幅为宜。     

立体视觉测量中的一种摄像机标定方法

立体视觉测量方法已广泛应用于三维物体几何信息的获取中，针对摄像机标定过程中复杂的成像和跨变模型，提出了基于BP神经网络的立体视觉摄像机标定方法，并利用实际数据对其进行了实验测试。结果表明，该方法可以获得较高的标定精度。     

基于全局控制网的三维形貌测量方法

由于传感器成像视场范围的局限性,双目视觉传感器在一次成像中往往不能获得大尺寸物体的整体形貌测量结果,鉴于此,研究并实现了一种通过建立全局控制网来实现对大尺寸物体的三维形貌进行测量的方法。实验结果表明：基于全局控制网的测量方法速度快、精度高,间接地扩大了双目视觉传感器的测量范围,并且有效地克服了大尺寸三维形貌测量拼接精度低的缺点。该方法适用于大尺寸物体的三维形貌测量,能够快速、简单、精确地获得被测物体表面特征点的相对位置关系和三维尺寸信息,进而恢复被测物体的三维形貌。     

基于多模型级联的双目视觉铸件缺陷检测方法

为了解决铸件表面缺陷检测以及缺陷位置的三维定位问题,采用双目视觉系统获得图像,依靠三角测量法获得点云数据,基于正态分布变换配准方法实现工件的三维定位。通过多模型级联解决少样本和样本比例失衡情况下的表面缺陷检测,结合无监督模型的编码解码方式,依靠正样本训练获得对缺陷图像进行修复的网络模型,将修复后的图像与原始图像进行差异分析获得缺陷位置;使用MASK-RCNN模型进行监督模型训练,获得一体化检测分割模型,直接定位缺陷位置及类别。此外还将运动机构的物理坐标系、双目成像的工件坐标系以及平面图像的坐标进行换算,得到多个坐标系的转换关系,实现了平面缺陷的位置信息映射到三维工件的空间中。实验表明提出的双目视觉系统在工件成像以及检测方面具有良好的效果。     

机器人辅助腹腔镜手术中的视觉测量方法研究

针对目前机器人辅助腹腔镜手术中内窥镜仅被用于二维的视觉监测而缺乏三维位姿检测功能的缺陷,提出了一种基于求解共线 P n P (Perspective-n-Point )问题的手术器械位姿测量方案,测试了所提出的测量方法的精度并进行了误差分析.方案包括相机标定及畸变校正、标记设计、图像处理、标记点三维坐标计算和手术器械的三维表达.经测试,手术器械中心线的固定位置和单位方向向量的测量值的偏差低、精度较高.     

基于显微镜聚焦的微装配视觉伺服研究

利用显微镜聚焦理论,沿显微镜光轴方向移动物体,不断计算图像的灰度变化之和,可判断出物体沿光轴的坐标,将这一坐标集成在伺服控制方程中,可完成立体视觉跟踪。这样,采用单目视觉系统就可以获得物体的三维坐标,避免了双目立体视觉系统的复杂结构。为了提高系统图像处理速度,利用卡尔曼滤波器对跟踪的特征点进行预测,并用窗口处理技术减小图像处理区域。实验和仿真结果表明,上述方法可完成复杂微装配的视觉跟踪,系统有好的实时性。     

一种单摄像机视觉导引方法

本文提出了一种基于已知固定特征的单目摄像机视觉导引方法,建立了摄像机的运动和投影模型。设计了以正方形顶点为特征的参考平面目标,提出了复杂背景中全自动正方形顶点特征的图像提取新方法及标记特征点的方案。仿真试验表明,摄像机距离参考目标约10m,噪声偏差达到1.5像素时,位置RMS误差小于10cm,姿态RMS误差小于1.4°。因此,所提出的算法具有很强的抗噪声能力,能够满足实时性和实用性要求,为视觉导引的工程应用奠定了理论基础。     

基于单目视觉的双机距离检测

本文提出了一种基于单目视觉图像信息估计的3D目标飞机编队的视觉检测方法。若照相机（CCD）焦距已知,且给定飞机的特征形状参数和姿态,可用单目视觉的方法估计长机和僚机之间的距离。在特定的情况下,可以计算出僚机的飞行方向、速度等一系列飞行参数。仿真及结果验证了算法的有效性。     

一种微小挠性零件的自动化精密装配系统

为解决具有挠性结构微小零件精密装配的问题,将基于机器视觉的精密测量技术、高分辨率非接触激光位移测量技术等应用到精密装配系统的研制中.设计了用于微小零件夹持的装置,实现了对微小挠性零件拾取、搬运、放置等操作;根据视觉系统测量得到的微小零件与目标位置的偏差,对微小零件水平面内的位置和姿态进行了调整;提出了装配微小零件挠性结构的接触控制方法,该方法通过激光位移传感器非接触测量挠性结构接触变形所引起的微小位移变化,实现了装配过程中垂直方向的精密接触控制;通过在作业机械臂上集成标定模板,实现了装配系统的自动标定.简要介绍了所研制的装配系统组成,并进行了微小挠性零件的装配实验.实验结果表明,微小零件装配的平行度、同轴度误差小于10 μm,挠性结构接触控制偏差为0.6 μm ～0.8 μm,装配精度满足使用要求.     

Microscopic vision based on the adaptive positioning of the camera coordinate frame

Microscopic vision measurement precision has been largely limited by inaccurately calibrated model parameters, because image plane is near parallel to reference plane in the narrow depth of field. This article proposes a method of precise microscopic vision measurement based on the adaptive positioning of the camera coordinate frame. The microscopic vision measurement movably attaches the origin of the camera coordinate frame along the optical axis. By finding the optimal position, the nonlinearity of the objective function in calibration optimization is decreased and the optimization sensitivity to initial values is reduced. Therefore, we obtain a high calibration precision and eventually ensure a high measurement precision. Mathematical simulations illustrate that the calibration precision of the proposed microscopic vision measurement model is higher than that of the conventional vision measurement model. The experiment shows that with magnification of 3.024×, the presented system achieves a precision of 0.12% based on the proposed microscopic vision measurement model, which is two times higher than the one based on the conventional vision measurement model. Microsc. Res. Tech. 75:1281–1291, 2012. © 2012 Wiley Periodicals, Inc.     

NAO的单目视觉空间目标定位方法研究

为了实现单摄像头工作的双足机器人NAO的视觉定位,采用单目视觉技术,建立一个空间点定位模型。根据摄像机的小孔透视模型,将图像中的二维坐标通过几何关系映射为机器人坐标系中的三维坐标,实现NAO基于单目视觉技术对空间目标定位。进行了定位实验,实验结果误差在允许范围之内,验证了该定位方法的实际可行性。     

发动机缸体视觉图像定位方法研究

针对发动机缸体孔系实现在线自动测量的难题,提出了基于视觉图像的发动机缸体定位方法。通过面阵CCD获取发动机缸体定位销孔图像信息,利用图像处理提取定位销孔中心位置,以此建立每个被测缸体的测量基准。使用环形双峰阈值法与中值滤波对图像进行预处理,有效地解决了定位销孔具有倒角影响图像边缘提取精度的问题。为验证此定位方法的准确性与可行性,分别进行了发动机缸体定位孔直径与位置度重复性测量与发动机缸体上表面孔组直径与位置度重复性测量实验。实验结果表明所提出的视觉定位方法稳定可靠,实现了发动机缸体的快速、精确定位,为实现发动机缸体的在线检测打下了可靠基础。     

基于彩色图像的高速目标单目位姿测量方法

针对风洞分离实验对于视觉测量系统的高精度、大视场、高速的测量要求,提出一种基于单目摄像机的风洞运动目标位姿测量方法。该方法利用单目摄像机进行运动目标位姿信息测量,相比于双目测量方法具有设备简单、视场大的优点。首先提出一种基于靶标特征点相互约束关系的参数优化方法,采用复合式靶标实现摄像机的快速高精度标定;针对目标运动图像处理,提出一种基于图像差叠法和标记点位置估计的图像快速分割与目标定位方法,实现图像特征的快速准确定位;针对单目测量要求及目标运动特性,提出一种基于方向估计标记点布局方式,实现合作标记点的快速识别和提取;最后利用单目视觉原理求解运动目标的位置和姿态信息,通过实验室模拟实验完成了测量系统的精度验证,在1 m×1 m视场范围内,其位移测量精度可达到0.19 mm,俯仰和偏航角测量精度可达到0.18°。     

长度约束下双相机外参数不稳定定向

动态立体视觉测量技术在几何量测量特别是大视场测量中应用越来越广。在分析动态双相机立体视觉测量相对定向算法的基础上,提出了一种基于一定数量距离约束的相机不稳定定向算法。在测量场中固定放置一定数量的一维标定靶标,双相机获取标定靶标上点的中心坐标,由极线几何约束快速准确解算双相机外参数,每次测量根据标定靶重新定向相机,由靶标补偿相机在测量过程中的位置变动,保证在测量场中即使相机站位发生位置变化仍可精确测量。实验中对分布范围2.5 m×1.6 m×4.5 m测量场中90个自反射目标点进行测量,选用5对点间距离作为距离约束,并与V-STARS/S进行结果比对。结果表明在相机站位发生明显变动情况下,90个空间点三维重建位置误差小于0.160 mm,标准差小于0.042 mm。将该方法应用于合成孔径雷达测量,得到相近结果。     

基于线结构光视觉传感器的圆孔定位误差分析

针对空间圆（类圆）孔几何量测量,传统视觉测量方法一般采用双目立体模型,基于立体像对实现对圆孔空间位置的测量,由于传感器成本、体积、重量等的限制,在特殊视觉系统,尤其在发展迅速的基于工业机器人平台的柔性视觉检测系统中均凸显其不足。本文基于单摄像机架构的线结构光视觉传感器,提出圆（类圆）孔定位两步法,并对被测圆心x ,y ,z 向坐标测量误差进行了详细讨论和分析。通过对被测圆心定位误差的分析计算,在实际测量应用中,z 向测量精度可以优于±0.25mm,x, y 向测量精度优于±0.006mm。研究结果表明该方法切实可行,可以满足实际测量需求,极大地扩展了线结构光视觉传感器的应用范围。     

基于ArUco Marker 及稀疏光流的动态目标实时跟踪技术

文中提出了一种基于ArUco marker及稀疏光流的动态目标跟踪方法,将ArUco marker与稀疏光流相结合实现动态跟踪,并改善双目匹配的精度。在具体实施过程中,基于检测到的ArUco marker标记进行旋翼无人机的动态跟踪,同时利用双目视觉系统测量并计算ArUco marker在相机坐标系下的相对坐标;然后通过平面拟合得出目标的实时位姿;最后开展了无人机抓捕实验,验证了ArUco marker结合稀疏光流动态目标跟踪方法的有效性。