卡尔曼滤波在单目相机运动目标定位中的研究*

单目相机运动目标定位是视觉跟踪的基本任务之一,视觉传感器对目标点位置的获取至关重要。根据单目相机针孔模型,将运动目标图像二维坐标,通过几何关系映射为相机坐标系的三维坐标。标定相机高度和旋转参数,在此基础上求得目标位置坐标。当运动目标被遮挡时,以匀变速运动为模型,根据先前位置信息确定加速度和速度,并对加速度进行自适应更新,建立运动目标状态方程,利用卡尔曼滤波算法预测目标位置。以预估位置代替真实位置,继续估计后续运动状态,在预估位置搜索运动目标,实现运动目标遮挡定位跟踪。实验结果表明,该定位方法具有可行性,当运动目标发生遮挡时,能够完成对目标的定位和跟踪。     

基于卷积神经网络与扩展卡尔曼滤波的 单目视觉惯性里程计

针对单目相机采集室外图像易受环境光照影响、尺度存在不确定性的缺点,以及利用神经网络进行位姿估计不准确的问题,提出一种基于卷积神经网络(CNN)与扩展卡尔曼滤波(EKF)的单目视觉惯性里程计。采用神经网络取代传统里程计中基于几何约束的视觉前端,将单目相机输出的估计值作为测量更新,并通过神经网络优化EKF的误差协方差。利用EKF融合CNN输出的单目相机位姿和惯性测量单元(IMU)数据,优化CNN的位姿估计,补偿相机尺度信息与IMU累计误差,实现无人系统运动位姿的更新和估计。相比于使用单目图像的深度学习算法Depth-VO-Feat,所提算法融合单目图像和IMU数据进行位姿估计,KITTI数据集中09序列的平动、转动误差分别减少45.4%、47.8%,10序列的平动、转动误差分别减少68.1%、43.4%。实验结果表明所提算法能进行更准确的位姿估计,验证了算法的准确性和可行性。     

单目相机-IMU外参自动标定与在线估计的视觉-惯导SLAM

针对视觉-惯导信息融合同时定位与地图构建(VI-SLAM)中,单目相机-惯性测量单元(IMU)外参离线标定繁琐的问题,以及单目相机-IMU外参因传感器受到冲击或调整发生变化影响系统跟踪精度的问题,提出一种单目相机-IMU外参自动标定与在线估计的VI-SLAM算法。该算法首先利用手眼标定方法计算单目相机-IMU外参旋转矩阵并估计陀螺仪零偏;接着,在不考虑加速度计零偏的情况下估计系统的尺度、重力加速度以及单目相机-IMU外参平移向量;然后,利用已知的重力加速度大小估计加速度计零偏并更新以上已估计的初始化参数;最后,将单目相机-IMU外参放入状态向量中进行在线估计。EuRo C数据集实验表明,该VI-SLAM算法可以自动标定并在线估计单目相机-IMU外参,得到的旋转与平移外参误差分别在0. 5°和0. 02 m之内,这有利于VI-SLAM系统的快速使用以及精度的提升。     

基于序列图像特征配准的相机旋转补偿算法

为了解决测量过程中相机沿轴向运动时所产生的旋转引起的测量误差,提出了一种基于特征点的图像配准和最小二乘估计的相机旋转运动精确估计算法。此算法利用序列图像帧间的相关性,通过对相邻两帧图像进行运动分析,由Harris算子进行特征点的检测,然后再基于这些特征点的模版匹配方法对帧间图像进行配准,再根据多个特征点的运动矢量通过最小二乘估计获得相机的运动参数。最后对这些运动参数进一步分析,在计算中将获得的运动参数对相机沿轴的旋转运动进行补偿。该方法克服了测量中相机旋转对图像处理和测量精度的影响,弥补了因相机旋转引起的测量误差大的缺陷,提高了测量精确度。试验和仿真结果表明该方法在帧间旋转角度较小时能够实现对相机沿轴旋转运动的精确补偿,且时实性有待提高。     

基于切换控制的双相机视觉伺服方法

针对家电产品机器视觉在线检测应用场景中基于图像的视觉伺服不能保证全局收敛和单目视觉反馈不佳的问题，提出一种基于切换控制的双相机视觉伺服方法。首先使用全局相机估计目标位姿，引导机器人运动到期望位姿附近，确保视觉伺服方法能够收敛；然后根据机器人手上相机提供的图像偏差和深度信息，以及全局相机提供的目标速度和姿态实现双相机视觉伺服控制。相对于使用单应性矩阵的位置视觉伺服和混合视觉伺服方法，该方法能够定位与跟踪无标记目标，大幅提升跟踪的精度和稳定性。实验表明，基于切换控制的双相机视觉伺服方法可将控制周期缩短至33 ms,满足传送带速度在0.17 m/s范围内的机器人可获取清晰图像，实现实时跟踪检测。     

基于深度卷积神经网络的视觉里程计研究

视觉里程计利用视频信息来估计相机运动的位姿参数，实现对智能体的定位。传统视觉里程计方法需要特征提取、特征匹配/跟踪、外点剔除、运动估计、优化等流程，解算非常复杂，因此，提出了基于卷积神经网络的方法来实现端对端的单目视觉里程计。借助卷积神经网络对彩色图片自动学习提取图像帧间变化的全局特征，将用于分类的卷积神经网络转化为帧间时序特征网络，通过三层全连接层输出相机的帧间相对位姿参数。在KITTI数据集上的实验结果表明，提出的Deep-CNN-VO模型可以较准确地估计车辆的运动轨迹，证明了方法的可行性。在简化了复杂模型的基础上，与传统的视觉里程计系统相比，该模型的精度也有所提高。     

自然环境下基于颜色聚类和颜色距离的死钩检测

针对目前火车死钩检测无法自动实现的问题,提出了一种自然环境下基于颜色聚类和颜色距离的死钩检测方法.根据死钩和车厢颜色的对应关系,使用CCD(charge-coupled device)相机获取现场车厢图像并提取前景区域和背景区域的颜色特征,通过分析该颜色信息的差异来判断车厢之间的连接是否为死钩.首先获取特定区域的颜色信息,然后采用FCM(fuzzy Cmean)聚类算法对颜色信息进行分类得到该区域的单一颜色特征,最后根据HLC(hue,lightness,hromatic)颜色空间和人类颜色视觉的相似关系,计算颜色特征对的NBS(national bureau of standards)颜色距离.利用翻车作业现场火车车厢图像进行检测,实验结果验证了该方法具有对颜色差异的高敏感性和识别的准确性,可以满足实际死钩检测的需要.     

基于YOLOv5神经网络检测模型的动态局部地图构建

在移动机器人自主移动过程中，人的活动会对路径规划结果产生重要的影响。传统SLAM对动态物体的识别和跟踪能力相对有限，动态物体上的特征点容易丢失，且在动态物体占据图像较大范围时，容易造成目标函数的优化方向错误。考虑单个单目相机对行人的位置信息进行检测的场景，通过单目相机获取图像信息，结合YOLOv5目标识别网络来检测图像中人物所占据的像素高度，再通过针孔相机模型还原出图像人物在相机坐标系下的三维坐标。基于YOLOv5网络模型检测出道路区域，运用Canny边缘检测算法计算出道路的边缘轨迹，找到两条轨迹在相机图像上的交汇点。最后根据相机的平面图像结合人物的三维坐标，以及道路轨迹的交汇点和道路宽度信息对图像进行重投影。通过公开数据集测试得到包含行人实时运动情况和道路边界在内的平面地图，可完成150 m深度内的行人位置定位，为快速计算图像的行人的位置深度提供了一种可行方案。     

基于单目视觉和激光测距仪的位姿测量算法

基于单目手眼相机和激光测距仪,提出了一种尺寸未知的空间矩形平面的位姿测量算法.该算法不需要知道矩形平面的4个顶点的物体坐标,只需要知道它们的图像坐标、激光点的图像坐标和激光测距结果,就能够计算出尺寸未知空间矩形平面在相机坐标系下的位姿,并且计算出矩形平面的尺寸.通过建立单目手眼相机和激光测距仪的数学模型,对该算法进行了验证.实验结果表明,该算法是有效的,可以应用于机器人对空间物体的跟踪、定位以及抓取.     

基于彩色图像的高速目标单目位姿测量方法

针对风洞分离实验对于视觉测量系统的高精度、大视场、高速的测量要求,提出一种基于单目摄像机的风洞运动目标位姿测量方法。该方法利用单目摄像机进行运动目标位姿信息测量,相比于双目测量方法具有设备简单、视场大的优点。首先提出一种基于靶标特征点相互约束关系的参数优化方法,采用复合式靶标实现摄像机的快速高精度标定;针对目标运动图像处理,提出一种基于图像差叠法和标记点位置估计的图像快速分割与目标定位方法,实现图像特征的快速准确定位;针对单目测量要求及目标运动特性,提出一种基于方向估计标记点布局方式,实现合作标记点的快速识别和提取;最后利用单目视觉原理求解运动目标的位置和姿态信息,通过实验室模拟实验完成了测量系统的精度验证,在1 m×1 m视场范围内,其位移测量精度可达到0.19 mm,俯仰和偏航角测量精度可达到0.18°。