一种基于深度学习的视觉里程计算法

近年来,视觉里程计广泛应用于机器人和自动驾驶等领域,传统方法求解视觉里程计需基于特征提取、特征匹配和相机校准等复杂过程,同时各个模块之间要耦合在一起才能达到较好的效果,且算法的复杂度较高.环境噪声的干扰以及传感器的精度会影响传统算法的特征提取精度,进而影响视觉里程计的估算精度.鉴于此,提出一种基于深度学习并融合注意力机...     

基于门形结构的单目视觉定位方法

选取场景中常见的门形结构为处理对象,提取门形结构中的三条直线,拟合直线方程,进而确定直线的交点及两条平行直线的消失点,根据消失点原理和垂直关系等先验知识确定摄像机坐标系和世界坐标系的映射。空间解析过程以直线方程为基本要素,参与解析运算的点特征均由直线方程确定,随机选取的点坐标仅用于方向一致性判定,减少了随机误差引入。仿真实验表明,本文的视觉定位方法对噪声有较高的鲁棒性,与融合线特征和随机点特征的方法相比降低了定位误差。     

基于SiftGPU特征匹配方法的实时视觉里程计系统

采用尺度不变特征变换(SIFT)特征匹配方法对双目相机图像进行立体匹配,同时匹配相邻两时刻的三维点,求解运动方程进行运动估计,得到机器人2个时刻坐标变换的旋转和平移参数;使用每2个时刻的旋转和平移结果进行机器人的路径反演,采用GPU加速SIFT特征提取与匹配,实现实时的视觉里程计系统,并采用RANSAC算法用于运动估计剔除误匹配点干扰。实验结果表明,具有仿射变换较强不变性的SIFT特征匹配算法能够得到较为精确的路径反演结果,采用GPU加速SIFT特征提取与匹配能达到实时的视觉定位效果。     

基于光学成像模拟的视觉里程计方法

针对视觉同步定位与建图(SLAM)算法前端漂移误差累积问题,提出基于光学成像模拟的视觉里程计方法。该方法利用稠密三维点云数据进行目标表面泊松重建及材质物理特性关联,依据光学物理特性和光线追踪原理构建基于物理模型的成像渲染引擎(PBRT),生成不同观测条件下的目标特性仿真图像;将目标特性仿真图像与光学相机拍摄图像进行配准与运动偏差恢复,并设计扩展卡尔曼滤波器(EKF)输出位姿状态最优估计值。通过原型系统研制与实验评估表明:该方法有效克服了传统方法漂移误差累积的问题,相较传统ORB-SLAM2算法前端定位精度提升了56%,为视觉里程计的设计提供了一种新的技术思路。     

基于凸松弛全局优化算法的视觉测量位姿估计

针对参考点存在较大噪声时基于光束法平差的视觉测量位姿估计无法确保目标函数在全局极小处收敛,本文提出利用凸松弛（LMI）全局优化算法进行视觉测量全局最优位姿估计。利用归一化图像点和摄像机光心组成的正交投影矩阵,构造以旋转矩阵四元数为参数的物空间误差目标非凸多项式函数。对非凸多项式进行LMI,可以逼近其全局极小值,进而求解...     

基于LDSO的机器人视觉定位与稠密建图的应用

针对基于特征点匹配的SLAM(Simultaneous Localization and Mapping)系统在缺乏角点的弱纹理区域无法提取足够的特征点而导致位姿估计失败等问题,提出应用直接视觉里程计算法LDSO(Direct Sparse Odometry with Loop Closure)进行室内机器人视觉定位并结合深度估计或深度相机采集到的关键帧深度图,关键帧相机位姿,原始关键帧图像数据,点云拼接生成三维点云稠密地图,实验结果表明,机器人可在复杂环境中准确快速的定位自身位置,且算法在没有全局BA(Bundle Adjustment)的情况下通过位姿图优化显著减少了旋转,平移与尺度漂移等累积误差,算法整体性能与基于特征点匹配的SLAM系统相媲美,耗时更少,实时性更佳,在缺乏角点区域具有较强的鲁棒性.     

基于角点特征的3D视觉精确跟踪研究

针对传统基于边缘的3D视觉跟踪存在准确性不足的问题,提出一种基于角点特征的3D跟踪,提高准确性.首先,给出了基于目标物CAD模型实现3D视觉跟踪的基本方法;其次,针对基于边缘的3D跟踪存在近似处理等不准确行为,提出了基于角点特征,快速简便寻找下一帧对应角点的策略,避免了基于边缘等方法不易在下一帧准确找到对应控制点的弊端,为提高准确性创造了条件;再者,采用菲线性映射的方式描述最小二乘问题,而后实施迭代的优化,得到更精确的解,从而进一步提高跟踪的准确性.最后的实验结果表明基于角点特征的新方法估计目标物位姿的误差比经典的基于边缘的RAPiD方法小得多,实现了3D视觉的精确跟踪.     

采用单目视觉的无人机自动空中加油仿真

自动空中加油是未来无人机(UAV)需具备的重要能力之一。建立了包括UAV和加油机模型、视觉传感器、气动影响及视景的飞行硬管式无人机自动空中加油仿真系统;研究了单目视觉特征点识别与位姿估计算法,考虑大气扰动及加油机尾流的影响;设计了通过轨迹跟踪实现UAV与加油管会合对接的控制策略,并对加油末段的对接机动进行了仿真。结果表明,单目视觉可实现精确的相对位置测量,轨迹跟踪控制器超调量小,保证了自动空中加油的平稳对接。     

优化ORB特征的视觉SLAM

本文针对误匹配特征影响位姿估计结果的问题,提出了一种结合深度信息验证以及重定位优化特征的视觉SLAM系统。     

基于点特征的单目视觉位姿测量算法

针对位姿求解过程中存在的解不唯一、选解难和解的精度不高等问题,提出一种基于点特征的单目视觉位姿测量算法。首先,根据共面4个特征点之间的位置关系,分别对平行和相交两种情况进行分析;其次,根据特征点的空间坐标、图像坐标和空间位置关系,推导出世界坐标系中3个坐标轴上的向量变换到摄像机坐标系中的单位向量,进而求解出物体相对于摄像机的初始位姿;最后,用LM算法对初始位姿进行优化,得到最终位姿。实验结果表明:文中算法的合成误差为0.54 mm;现有的EPnP算法、两点一线算法和P3P算法的合成误差分别为1.28、1.52和4.26 mm;文中算法的合成误差分别减小了57.8%、64.4%和87.3%,优于现有的EPnP算法、两点一线算法和P3P算法。     

一种基于直线特征的单目视觉位姿测量方法

提出了一种基于直线特征的单目视觉位姿测量方法SoftNewton。构造了新颖的目标直线与图像直线匹配评价函数,避免检测图像中直线的端点,最终通过软决策技术确定直线特征匹配关系,并采用高斯牛顿迭代算法基于全透视成像模型解算目标位姿。和POSIT算法相比,高斯牛顿迭代算法保持了旋转矩阵的正交性,提高位姿解算精度。仿真图像实验中,在干扰直线和噪声存在的情况下算法经过29次迭代解算得到正确的直线特征匹配矩阵,姿态误差小于0.2°,位移误差小于0.5 mm。仿真图像和实际图像实验结果均表明SoftNew-ton具有较高解算精度和较强的鲁棒性。     

基于扩展正交迭代的快速加权的相机位姿估计

相机位姿估计算法多基于参考点而较少利用图像中的直线信息,本文对于相机位姿估计算法的抗干扰性和实时性,在扩展正交迭代的基础上,提出了一种基于点和直线段结合的快速加权的相机位姿估计算法,该算法以加权共线性误差和加权共面性误差之和为误差函数,根据计算初值的深度信息和重投影误差确定权重系数,并对整体进行加速优化,将每次迭代计算的时间复杂度从O(n)降到了O(1)。仿真实验结果表明算法可以抑制异常点的干扰,减少计算时间,旋转矩阵计算误差比传统正交迭代算法减少48.31%,平移向量计算误差减少48.79%,加速优化后的计算时间为加速前的47.11%。实物实验表明该算法可以充分利用检测到的参考点和参考直线信息,提高计算精度,有较高的实际应用价值。     

基于机器视觉的钢球表面缺陷快速提取算法

针对目前轴承钢球表面缺陷提取方法的不足,设计了一种通过图像来提取钢球产品表面缺陷的算法。该算法首先利用分段线性灰度算法对钢球表面微小缺陷进行增强,再结合最大熵来实现对钢球表面缺陷的自动分割,最后采用投影原理和二维联合统计算法,完成对缺陷的快速提取和区域归类。实验表明本文算法对钢球表面五类缺陷的提取可以达到很好的效果,在basler工业相机,900×560分辨率的条件下,算法耗时小于30ms,能够满足钢球表面缺陷检测的实时性要求。     

基于加权加速正交迭代算法的相机位姿估计

单目视觉中的位姿估计是三维测量中的一个关键问题,在机器视觉、精密测量等方面运用广泛。该问题可通过n点透视（PnP）算法求解,正交迭代算法（OI）作为PnP算法的代表,因其高精度的优点在实际中得到了广泛运用。为了进一步提高OI算法的稳健性和计算效率,提出了一种加权加速正交迭代算法（WAOI）。该方法首先根据经典正交迭代算法推导出加权正交迭代算法,通过构建加权共线性误差函数,利用物点重投影误差更新权值,达到迭代优化位姿估算结果的目的;在此基础上,通过自适应权值,整合每次迭代过程中平移向量以及目标函数的计算,减少迭代过程中的计算量,从而实现算法的加速。实验表明,在12个参考点中存在两个粗差点的情况下,WAOI的参考点重投影精度为0.64 pixel,运算时间为8.02 ms,精度高且运行速度快,具有较强的工程实用价值。