一种基于点线融合的室内视觉惯性SLAM方法

以实现室内移动机器人高精度、高鲁棒性的定位与建图为目标,针对单目视觉SLAM方法在室内弱纹理环境下由于特征点稀疏、相机移动过快所导致的定位精度下降甚至跟踪失败问题,提出一种结合点线特征的视觉惯性融合SLAM方法。利用改进的LSD算法提取线特征以提升数据关联的准确性,通过最小化点线及IMU等残差构成的目标函数得到准确的位姿估计。根据对比多组公开数据集及实际室内环境中的实验结果表明：该方法提高了室内定位精度,具备较好的鲁棒性。     

一种视觉示教与纠偏的焊缝跟踪方法

提出一种基于结构光视觉传感器的示教及纠偏的机器人焊缝跟踪方法,探讨了图像特征提取方法和机器人跟踪控制的策略.机器人移动的同时,视觉传感器定时对焊缝上各特征点坐标进行测量记录,完成示教;再现时,基于图像模板匹配测出实际特征点位置与示教点的偏差,控制机器人根据偏差对跟踪路径实时调整,从而实现自动跟踪.     

一种基于视觉跟踪特征点的室内导航方法

提出一种基于视觉的跟踪特征点的室内导航方法,即在地面上布置具有几何位置关系的特征点序列,利用单目摄像头采集图像,通过图像处理提取跟踪特征点的坐标值,再利用计算机图像坐标系和世界坐标系之间的转换关系,计算出移动机器人在世界坐标系中相对特征点的偏移距离和偏移角作为反馈,来控制移动机器人,以达到室内导航的目的。     

基于点线特征的通风管道建模与管内定位方法

为解决在通风管道环境下场景构型单一、传统视觉特征点稀疏的问题,利用前后两个单目相机和左右两个线阵激光雷 达作为主要传感设备,提出一种基于点线特征的管道建模与管内定位方法。 首先,利用 LaneNet 网络和改进的随机抽样一致算 法提取四条管壁边线特征,再利用图像中的几何和空间约束筛选局部直线分割算法的检测结果,得到管道连接处的两条竖直线 特征。 接着利用线阵激光雷达计算管道宽度和机器人偏航角,恢复了管道连接处线特征的深度信息并求解得到管道高度。 最 后建立管道地图坐标系并推算机器人的二维坐标位置和管道长度。 实验结果表明,定位的相对误差在 9. 8 cm 以内,管道建模 的相对误差在 2. 9 cm 以内,能够满足机器人在管道内巡检作业时的建模与定位需求。     

焊缝跟踪的激光视觉传感器图像处理研究

焊接自动化及智能化已成为焊接业的发展趋势,焊缝跟踪技术是实现焊接自动化的关键。文中依据传统弧焊机器人系统的基础上,首先通过激光视觉传感器采集工件上激光线的成像信息,经过控制系统模数转换后,以灰度矩阵的形式存入计算机存储器得到数字图像,然后对这些数字图像运用滤波去噪、图像分割、边缘检测特征点提取等一系列图像处理技术,得到焊缝中心特征点像素坐标,最后经过像素坐标与位置坐标变换得到焊缝中心坐标,控制系统根据数学模型成像原理得到焊缝中心位置与电弧的偏差进行实时纠偏,最终实现焊缝位置检测与焊缝跟踪。     

弱纹理环境下的视觉惯性里程计优化方法

基于视觉的机器人自主定位与导航系统都是利用点特征进行工作，但在弱纹理环境中，无法提取充足的点特征，系统的精度与鲁棒性就会下降。为此，提出了一种弱纹理环境下的视觉惯性里程计优化方法。将点线特征融合，相对于点特征，线特征在弱纹理环境下有较强的鲁棒性，可提供更多的环境几何结构信息，有利于三维地图的构建。为了提高精度，使用紧耦合的方式将相机与IMU采集到的数据融合。利用滑动窗口算法，将IMU预积分后的误差与点线重投影误差，在滑动窗口中用最小化误差函数的方式进行优化。通过EuRoc数据集，将优化后的系统与VINS-Mono系统进行比较。经测试，不同场景中的几组数据的绝对轨迹误差都很小，且均方根误差下降3%左右。验证了算法的精度与鲁棒性。     

点线啮合齿轮接触强度计算的研究

通过对点线啮合齿轮的啮合特点分析,提出了点线啮合齿轮最大接触应力计算点,并给出了经过修正的最大接触应力计算公式,包括单对齿C点的综合曲率半径计算公式。在最大接触应力计算中增加凹凸齿廓接触线长度变化系数和单对齿C点载荷系数,反映凹凸齿廓接触对所受载荷的影响。在许用接触疲劳应力计算中增加增强系数,反映间断工作的影响。     

基于机器视觉的光伏电池片位置误差检测系统

机器视觉是保证光伏电池片串焊质量的关键技术之一.目前基于电池片轮廓定位的位置误差检测方法定位精度差,无法满足高速、高精度串焊的要求.搭建一个光伏电池片位置误差检测平台,构建基于机器视觉的光伏电池片位置误差检测系统.针对光伏电池片的表面特征,提出一种基于电池片边缘和主栅线平均定位的位置误差检测方法.采用改进的最小二乘法,对光伏电池片边缘及主栅线点同时进行直线拟合,保证栅线与轮廓之间的矩形特性,精确地计算出电池片的位置误差,满足串焊机对电池片定位检测高精度和高速度的要求.     

基于分段线性拟合的典型焊缝特征提取

针对角接、搭接、V型坡口对接和窄对接等四种典型焊缝特征的提取问题,搭建了一套基于激光视觉的焊缝图像采集系统,通过图像预处理和焊缝激光条纹中心线提取,建立了基于分段线性拟合的焊缝特征提取方法.该方法通过计算斜率划分中心线像素坐标点集,然后采用最小二乘法对各分段点集进行直线拟合来实现焊缝特征点的有效判别.结果 表明:特征点的平均提取时间为9ms,平均提取误差为0.035 mm,为基于线激光视觉图像的焊缝跟踪系统提供判据.     

特征点辅助的时空上下文目标跟踪与定位

针对动态目标跟踪中快速运动和目标遮挡而跟踪失败问题,提出了一种特征点辅助的时空上下文跟踪算法。首先提取目标特征点,通过特征点匹配和光流跟踪方法进行目标追踪,获得目标预估位置;其次,建立特征点变化率和时空上下文模型更新率关系模型,实时调控更新率,防止引入错误信息;最后,在预估位置区域内,构建局部上下文外观模型,计算与时空上下文模型的相关性获取置信图,进一步精确定位目标。算法在一组测试视频集中进行验证,相比目前4种主流算法(平均跟踪成功率最高为60%,平均跟踪误差最小为26.14 pixel),本算法综合性能达到最优,平均跟踪成功率为90%,平均跟踪误差为7.47 pixel,平均跟踪速率25.31 f/s。在双目视觉移动机器人平台上对随机运动目标进行跟踪实验,在背景干扰、遮挡、目标旋转和快速运动等组合情况下,跟踪成功率97.4%,跟踪距离平均相对误差为4.05%。     

An automated weld seam tracking system for thick plate using cross mark structured light

This paper presents a weld seam tracking system using cross mark structured light. The hardware of the proposed system consists of a two degrees of freedom (DOF) welding robot, a camera with cross mark structured light, and two computers. The system has two parts namely visual sensing and motion control. In the visual sensing part, the cross mark of the structured light is utilized to set a region of interest (ROI). In the ROI, an adapted line fitting algorithm is employed to estimate the lines. Then, intersections of the lines are computed and used as the pin points for templates creating. During the matching process, a modified template matching is used to detect the edges of V-groove weld seam. By using this technique, a huge computational cost in image processing can be reduced, and therefore the tracking can be made in real time. The position based visual servoing with proportional-derivative(PD) and velocity feedback controller is designed for seam tracking. The experimental results show that the proposed method performs the real-time tracking efficiently with sufficient accuracy.     

基于深度卷积神经网络的视觉里程计研究

视觉里程计利用视频信息来估计相机运动的位姿参数,实现对智能体的定位。传统视觉里程计方法需要特征提取、特征匹配/跟踪、外点剔除、运动估计、优化等流程,解算非常复杂,因此,提出了基于卷积神经网络的方法来实现端对端的单目视觉里程计。借助卷积神经网络对彩色图片自动学习提取图像帧间变化的全局特征,将用于分类的卷积神经网络转化为帧间时序特征网络,通过三层全连接层输出相机的帧间相对位姿参数。在KITTI数据集上的实验结果表明,提出的Deep-CNN-VO模型可以较准确地估计车辆的运动轨迹,证明了方法的可行性。在简化了复杂模型的基础上,与传统的视觉里程计系统相比,该模型的精度也有所提高。     

基于 RANSAC 的视觉里程计优化方法研究

针对图像特征产生误匹配影响基础矩阵计算,导致同步定位与地图构建(SLAM)视觉里程计估计精度差的问题,提出一种基于随机抽样一致(RANSAC)的视觉里程计优化方法。该方法首先通过最小距离阈值法对初始匹配集粗滤除,再采用RANSAC计算图像间相对变换关系,若符合变换关系为内点,内点数最多的迭代结果为正确匹配结果;然后计算图像间单应变换并利用其计算基础矩阵,采用对极几何约束确定内点,得到具有最多内点的基础矩阵;最后采用TUM数据集从特征匹配与基础矩阵计算两方面进行优化算法效果验证。结果表明,该算法可提高运行效率且有效去除误匹配特征点,使匹配正确率提高7.7%,基础矩阵估计算法在提高基础矩阵计算精度的同时,内点率也提高了3%,算法为提高视觉里程计精度估计精度提供了理论基础。     

基于惯性测量单元辅助的激光里程计求解方法

在同步定位与建图(SLAM)问题中,里程计部分的求解精度对后续建图起着至关重要的作用,惯性测量单元(IMU)可以为SLAM中里程计求解提供良好辅助.在考虑平面移动机器人运动特点及室内环境特征的基础上提出一种基于IMU松耦合的激光里程计求解方法,实现里程计部分的精准定位.第1阶段,机器人运动过程中实时处理点云信息,将地面...     

基于双目视觉的主从式机器人主手系统设计和研究

提出了一种基于双目视觉的主从式机器人主手系统,采用双目视觉技术实时识别并跟踪手柄的运动,同时测量其空间位姿。首先通过背景差分法检测出手柄,然后用卡尔曼滤波器对手柄的位置和速度进行预测,跟踪手柄的运动。在标记点的立体匹配中采用了特征匹配和区域灰度匹配相结合的方法,并引入唯一性和顺序一致性约束来剔除伪匹配,最终测罱出手柄的实时空间位姿信息。实验结果证明系统方案是可行的。     

基于机器视觉的全自动灯检机关键技术研究

设计了一种基于机器视觉技术的全自动智能灯检机,以实现药液中可见异物的在线检测.首先对采集到的各帧图像通过形态学滤波、帧差等预处理抑制大部分背景噪声.然后提取图像中目标的不变特征,通过各目标不变特征间的匹配,实现相邻帧点迹的关联,得到若干假设的目标运动轨迹.最后根据异物运动轨迹的连续性和平滑特点来确定是否存在可见异物.研制的全自动灯检机样机已经在某药厂的注射液生产线上试验运行.实验表明,该机器的识别准确率和速度均高于熟练的灯检工.     

面向微装配的显微视觉伺服

将基于显微视觉伺服的机械手的装配位姿调整归结为使其末端执行器上三点运动到指定空间三点的问题.规定其中一点沿直线运动到目标位置,其余两点则以绕该点旋转的方法运动到它们对应的目标位置,避免部件的运动干涉与碰撞,并确保末端执行器始终在显微镜的视场中.以机械手的路径规划为基础,给出基于距离和角度的图像特征差的估计方法,定义并建立基于图像特征差的图像雅可比矩阵以及机械手的运动模型.提出基于图像误差与控制信号综合优化的具有图像延迟系统的最优控制算法,基于动态视觉伺服控制策略建立比例控制与最优控制综合的视觉伺服控制结构,通过一个误差开关在不同的控制器上切换,进行直线位姿调整和动态目标跟踪试验.结果表明,所研究内容正确可行,系统定位精度保持在两个像素以内,具有较好的实时性,能满足微装配性能指标的要求.     

单对立色流运动下的抠图跟踪

当目标与周围背景相似性较高,且目标运动形式复杂时,很难精确跟踪目标。针对传统目标跟踪方法因目标外观的不精确建模致使模型退化而产生漂移的问题,提出了一种单对立色流特征下的抠图跟踪方法。首先,根据彩色视频帧包含的丰富颜色信息,将单对立色颜色编码方式与Lo G兴趣点检测器结合,获取颜色兴趣点作为目标表示集合;其次,在目标运动预测阶段,通过估计相邻帧兴趣点的流匹配关系,获得预测帧的前景目标兴趣点估计;最后,利用获得的前景兴趣点估计进行抠图,重新划分当前帧的前背景标记,并对模型进行更新。该算法在Segtrack视频跟踪数据集上进行验证,定性定量分析了跟踪目标快速运动,目标形变和光照干扰下的跟踪效果。实验结果表明该算法可有效提高形变目标跟踪的准确性,优于当前目标跟踪的先进算法。     

基于CarSim和Matlab的智能车辆视觉里程计仿真平台设计

基于特征的视觉里程计系统主要由特征检测与跟踪模块以及位姿计算模块两部分组成。为分析车载视觉里程计系统中引入车辆运动学约束的位姿计算算法性能,根据摄像机成像及视觉几何学原理,采用Matlab结合车辆动力学仿真软件CarSim建立车载视觉里程计仿真平台。该仿真平台由车辆运动仿真模块、成像仿真模块、数据显示与分析模块组成,仿真平台的测试对象为视觉里程计的位姿估计算法模块。该仿真平台充分考虑车载视觉定位系统的运动特性,为研究车辆运动学约束在视觉里程计系统中的应用提供新的思路和工具。对提出的一种全新的基于车辆运动学约束的位姿估计内层算法,在此仿真平台上进行性能验证。仿真结果表明,该算法在计算精度与效率上都能够满足实时车载视觉定位的要求。     

一种基于极线约束的激光条纹匹配算法

在逆向工程中为了获得产品的精确CAD模型，必须完成立体点的匹配．通过建立摄像机模型描述了三维世界坐标与计算机图像坐标之间的关系；提出了基于极线约束和连续性约束的激光条纹匹配准则，给出了一种直线和曲线求交的激光务纹匹配新方法，从而实现了激光条纹的快速精确匹配和激光扫描线的三维重建。