TOF激光相机六自由度位姿变换估计

相对位姿估计是机器人视觉领域的研究热点。通过两帧数据来估计相机的六自由度位姿变换。充分挖掘TOF相机优势, 提出了多个有效算法, 用以保证估计精度。采用迭代最近点(ICP)算法估计位姿变换, 为了克服ICP算法迭代发散问题, 利用尺度不变特征点对估计初始值。为了提取有效特征点, 根据统计学原理尺度化灰度图像, 提高图像对比度。为了提高相机的测量精度, 根据曝光时间越长, 测量精度越高的原理, 提出了融合多帧数据算法, 使得融合后的数据帧中每个像素值均是在最长合理曝光时间下采集得到。同时提出了度量两个六自由度位姿变换差异的算法, 并首次利用其跟踪ICP迭代过程。实验证明提出的算法可以有效估计相机六自由度位姿变换。     

基于动态特征剔除的图像与点云融合的机器人位姿估计方法

针对动态物体影响传感器进行机器人位姿估计的问题,本文提出了一种基于动态特征剔除点云与图像融合的位姿估计方法。首先,YOLOv4和PointRCNN分别被用于识别图像和点云中的潜在运动目标并提取候选框。其次,在视觉定位方面,双目视觉与稀疏光流被用于路标点的构建与追踪,并根据候选框剔除动态特征点,随后构建重投影误差函数,通过基于RANSAC剔除的非线性优化方法求解相机位姿;在激光定位方面,提取前后帧的直线与平面特征点,并根据候选框进行筛选,基于特征点到直线或平面的距离构建误差函数,进而求解激光雷达位姿。为使系统不再局限于单一传感器的使用环境限制,通过自适应加权方法,有效融合了两种位姿结果。最后,通过KITTI数据集和动态场景采集的数据进行定量实验对比,验证了剔除动态特征后的位姿估计的精确性以及融合算法的有效性。     

基于深度相机的机器人室内定位技术研究

机器人在室内运动时,需要创建环境地图并估计位姿,以实现自主定位和导航。针对机器人的同时定位与地图创建(SLAM)问题,采用动态贝叶斯网络描述SLAM状态转移过程。通过不断迭代更新机器人的位置估计和修正估计值,完成机器人的室内定位。基于深度相机采集的RGB图像信息,进行相邻帧图像的特征提取与匹配,估算机器人当前位姿。然后使用迭代最近点算法优化初始位姿。以初始位姿为节点,相邻帧的约束关系为边创建节点图。进一步采用Hogman算法对整个节点图进行动态优化,得到全局一致的室内地图。最后根据优化后的节点图,多帧数据叠加就可得到三维地图。实验采用华硕Xtion Pro Live深度相机,实验室地点为目标,成功创建了环境的三维地图,验证了方法的有效性和可行性。     

基于多尺度图像融合信息的沥青路面三维成像方法

基于图像处理的沥青路面纹理三维重建技术具有快速、全面、分辨率高等优点，针对沥青路面颜色集中、特征点不明显导致三维纹理检测精度低的问题，提出一种基于多尺度图像融合的双目视觉技术。通过加权最小二乘滤波实现图像多尺度分解，利用跨尺度聚合模型融合多尺度图像信息进行沥青路面三维重建，提高了双目重建的精度。通过区域纹理参数，将所提方法与激光扫描仪进行了比较。结果表明，所提方法的区域纹理参数结果与激光扫描仪的结果比较接近。     

基于虚拟双目的条纹结构光三维重建

为解决传统双目条纹结构光三维重建存在的同步性和成本高等问题,提出了基于虚拟双目的条纹结构光三维重建方法。采用单相机和两块双棱镜及投影仪设计了具有双目视觉功能的虚拟双目条纹结构光三维重建系统。通过双棱镜折射和分光改变被测对象表面反射光的路径,使用一个相机同时完成多视角的图像采集。通过多频外差法和立体匹配、双目标定得到被测对象的深度信息并重建点云。实验表明,文中提出的方法和真实双目结构光方法测量标准球的均方根误差分别为0.037 9 mm和0.030 5 mm。文中提出的方法可促进双目条纹结构光技术在快速、低成本、小型化等方面发展,同时该方法可推广到彩色相机条纹结构光三维重建及投影散斑结构光三维重建。     

图像融合在空间目标三维重建中的应用

图像融合可以获取目标更加丰富的层次和细节信息，有利于对探测目标信息的有效地获取，在包括空间目标的三维重建等应用中有着重要意义。针对空间目标的宽动态范围提出了一种多次曝光的图像融合方法，利用信息熵的非线性压缩判定图像融合权重，并引入双边滤波残差加强弱纹理的分配权重，有效地增加了图像的特征信息，提高了三维重建点云的数量。利用提出的融合方法开展了空间目标模拟成像试验，采用融合的图像对目标三维重建，并与多种不同曝光程度以及采用其他融合图像的方法进行了对比，提出的方法得到的重建点云数量相对恰当曝光状态提高了35%，重建结果优于其他方法。结果表明:将图像融合引入到三维重建中，能有效地加强了重建图像信息，避免了光照条件对目标三维重建的不利影响，获得较高质量的重建效果，该方法可以很好地应用到基于图像序列的空间目标三维重建应用中。     

双目测量系统的室内定位与重建

为了解决实测场景下光照变换及弱纹理区域对三维重建效果的影响,提出一种双目测量系统的改进AD-Census立体匹配算法进行室内目标物体的定位及三维重建。方法基于双目视觉测量原理,首先采用直方图均衡化、自适应阈值Canny边缘提取及膨胀等操作进行图像预处理,其次利用张正友标定法完成相机标定,通过立体校正去除相机畸变,基于梯度划分弱纹理及边缘区域来改进AD-Census立体匹配算法,最后用所改进算法生成的视差图,实现了室内物体的定位及三维点云重建。实验结果表明,本方法可以提高在弱纹理背景区域的匹配精度,在10 m测距范围内,相对误差不超过5%,在1.8 m处,测量误差较小,在保证精度的同时实现了室内目标场景轮廓的基本重建,视觉效果较好,可广泛应用于实际中。     

基于机器视觉的三维重建技术研究

研究了基于机器视觉的三维重建技术。利用普通的数码摄像机拍摄图片,通过摄像机定标、特征点检测和匹配、基础矩阵和本质矩阵计算来实现图像的三维重建。采用张正友标定方法的相机标定工具箱实现了相机的标定,利用尺度不变特征变换(SIFT)特征点的检测和匹配方法进行了图像特征点的检测和匹配,采用RANSAC算法计算基础矩阵,最后利用相机内参数和由基础矩阵获得的本质矩阵重建物体的特征点,并进行纹理贴图。实验结果表明利用这些图像可以进行物体重建,并且能够很好地反映出物体的三维特征。     

基于激光视觉融合的多帧影视图像视觉传达设计研究

连续动态蒙太奇切换下多帧影视图像受到光影扰动导致视觉传达能力不好，提出基于激光视觉融合的多帧影视图像视觉传达设计方法。建立多帧影视图像激光视觉信息检测模型，构建连续动态蒙太奇切换下多帧影视图像的匹配滤波检测模型，根据对动态蒙太奇切换下多帧影视图像的先验视觉谱知识重构，提取多帧影视图像的激光视觉传感特征值，采用激光视觉融合技术实现对连续动态蒙太奇切换下多帧影视图像的噪点抑制和梯度增强，构建多帧影视图像的边缘轮廓检测模型，根据激光视觉融合结果实现对多帧影视图像的纹理边缘滤波和视觉重构，根据视觉重建结果实现对连续动态蒙太奇切换下多帧影视图像的视觉增强和传达设计。仿真结果表明，采用该方法进行多帧影视图像视觉传达设计的融合度水平较高，影视视觉传达能力较好，峰值信噪比较高，说明成像质量水平较高。     

基于红通道先验的水下障碍物双目定位方法

基于双目视觉的自主水下航行器在水下巡航过程中，由于水体对光线的衰减效应和悬浮颗粒对光线的散射作用，双目摄像机获取的图像存在对比度低、颜色失真等问题，导致水下障碍物定位的精度较低。针对以上问题，文中采用红通道先验复原算法提高水下成像质量，根据双目相机标定参数获取障碍物的双目视差图，并提出了一种基于深度视差图融合的水下障碍物定位方法。该方法通过融合深度视差图与水下复原轮廓图，对融合图像进行凸多边形检测，获取障碍物的轮廓，基于轮廓信息进行障碍物的有效深度信息提取，实现障碍物的空间定位。水下双目定位实验结果表明，文中所提方法可以使双目立体匹配的效果更理想，能够有效提高水下障碍物定位的精度。     

远距离目标的多基线立体视觉点云成像技术

双目立体视觉是机器视觉的重要分支之一,其通过直接模拟人眼观察和图像处理的方式来获取探测目标的深度信息。这种非接触式的测量方法具有速度快、精度高、操作简单等特点,但是对于不同距离的目标,特别是远距离目标难以获取深度信息。提出了一种基于多基线双目立体视觉的远距离目标三维点云成像技术,该方法通过可变基线实现对不同距离目标的点云成像。实验结果表明,该方法能有效探测500 m^4 000 m范围内目标的深度信息,实现三维点云成像,突破了双目立体视觉远距离三维成像的技术难点,同时形成的三维点云与激光三维成像雷达的数据格式一致,为未来激光三维成像雷达技术与立体视觉技术的点云融合,优势互补提供了借鉴。     

基于超分辨率角点检测算法的双目相机高精度标定方法

双目相机标定是研究立体视觉的基础工作，标定的精度是视觉测量精度的关键。图像角点提取是相机标定的基础，但在现实应用场景中，外界影响使获取的图像不清晰，导致检测到的角点精度低，从而影响标定的精度。因此，提出一种基于超分辨率亚像素角点检测的端到端算法，从特征级解决低质量角点检测问题。首先，应用盲超分部分估计低分辨率图像模糊核，融合低分辨率图像特征重建出高分辨率图；然后，在此基础上得到角点亚像素位置；最后对双目相机进行高精度标定，并用测距实验对其进行检验。实验结果表明，所提基于超分辨的亚像素角点检测方法在真实场景下具有优越性。     

双模态信息融合的飞行目标位姿估计方法

针对在飞行目标位姿估计中背景复杂、目标提取及位姿解算精度低、速度实时性差等问题,提出了一种激光与图像信息融合的飞行目标位姿估计方法。首先,建立彩色相机和激光雷达间的坐标变换模型实现两传感器像素级匹配,对同一时刻的图像和点云进行融合处理;其次,采用Vi Be算法与深度信息融合对图像中运动目标进行提取,并根据图像目标的位置框选出对应的点云;最后,利用PnP算法进行特征点粗配准,获取点云间初始旋转平移矩阵,并采用迭代最近点算法进行精配准,利用IK-D Tree加速临近点搜索,提高配准速度。使用仿真试验和半实物仿真试验对方法准确性和稳定性进行了验证,结果显示：二维图像目标检测算法正确率为97%,错误分类比为0.011 2%;位姿估计算法与传统迭代最近点算法相比精度提高了53.2%,单次耗时从261 ms降低至132 ms,效率提升约49.4%,与其他算法相比也具有一定优势。为飞行目标落点精准预测和制导控制提供解决思路。     

基于扫摆式多相机跟踪的六自由度测量方法

目前视觉测量技术针对工业目标的六自由度测量，存在难以兼顾测量效率、精度与范围的问题。为此，本文提出了一种基于扫摆式多相机跟踪的六自由度测量方法，通过同站位不同角度多图像观测联合构成大尺寸坐标计算的冗余约束量，来实现高效率、高精度、大范围位姿测量。首先，提出相机旋转扫摆运动模型，快速估计相机位姿，并作为先验信息进行图像匹配与空间后方交会，得到精确相机位姿，进行空间前方交会；然后，提出了基于像点平差的位姿估计方法，直接利用物体移动前后的像点信息作为观测值，进行物体位姿的最优化估计。实验结果表明，测量效率提高了4倍，单点精度的最大误差不超过0.2 mm，姿态精度的最大误差不超过0.043°，证实提出方法能有效测量物体的六自由度位姿，一定程度上平衡了测量效率、精度与范围的矛盾。     

针对机器人位姿测量立体标靶的单目视觉标定方法

工业机器人末端位姿测量对机器人装配和机器人标定等工作具有重要价值。针对机器人位姿测量中常用标靶受环境光干扰较大、机器人运动空间有限等缺点设计了一款亮度可调、响应迅速的六面体立体标靶,并提出一种基于单目视觉的立体标靶标定方法。通过初始图像对的选择,解决单目视觉中本质矩阵分解得到的平移向量不精确的问题,并采用光束平差法对初始图像场景进行优化;向场景中添加新图像并使用光束平差法对场景进行全局优化,提高特征点重建精度;以精度为5m的平面标定板上的特征点作为真实点,解决单目视觉重建场景缺乏尺度因子的问题。实验表明:特征点三维重建的平均误差小于0.035 mm,能够有效进行立体标靶的标定;使用该标靶计算的机器人位姿信息,将机器的位置精度提高了37%。     

双目面结构光三重扫描测量系统温漂补偿方法

双目面结构光三重扫描是在条纹投影双目视觉重建的基础上,追加左、右相机与投影仪构成的单目视觉系统重建点云,在反光和凹凸起伏等表面测量应用上具有更好的点云完整性优势。但由于环境温度变化影响,投影仪产生较大温度漂移,导致双目重建点云与单目重建点云发生“分层”现象。为此,文中提出了一种基于正交条纹投影的三重扫描系统温漂在线补偿方法,通过投影仪投射正交条纹来构建双目重建点在投影仪图像中准确的映射关系,并基于双目重建点在投影仪图像中的重投影误差最小化目标函数来求解温漂补偿后的投影仪最优外参数。最后,以金属球和汽车零件作为被测对象进行实验验证,在不依靠标定板等先验信息及繁琐标定流程基础上,所提在线快速补偿方法可以使得双目点云与单目点云温漂量分别减小78.2%和94.3%,极大减轻了温度变化对于三重扫描点云数据拼接影响。     

双目视觉及其在全自动换电机器人中的应用

介绍了双目立体视觉原理,并利用该技术解决了电动汽车自动换电过程中对电池表面三维信息的定位要求。采用张正友标定法完成相机标定,利用区域匹配原则进行特征点匹配,完成电池的三维重建。实验结果表明,双目视觉的定位精度满足换电要求。     

两组双目立体深度图像信息融合与三维重建方法

获取工件目标的三维表面与深度信息是实现工业立体视觉应用的关键。提出一种将两组双目视觉系统结合的方法,对随机摆放的工件多方位采集图像并获得目标工件的三维表面点云。其中,两组双目视觉系统会根据NCC(Normalized Cross Correlation)匹配算法产生工作场景的两组视差图像,去噪分割之后对其立体深度信息进行提取,其过程中采用一种新颖的转换方法,视差图像中每个坐标位置的像素点的x、y、z方向的立体深度信息分别被转化为X、Y、Z图像中对应位置上像素的灰度值。采样两组立体深度数据,共同储存到标定完成的参考相机坐标系中达到信息融合的目的。最后,对随机摆放的工业工件进行了的三维重构实验,对于相互重叠、高度、姿势都不同的零件能较好的恢复出清晰的轮廓点云,在重叠区域也能产生较为明显的层次性。     

基于几何约束的视觉闭环检测和位姿优化

为实现视觉里程计在大规模复杂环境下的准确导航,消除载体位姿估计的累计误差,提出了一种基于几何约束的视觉闭环检测和位姿优化方法。首先建立基于LATCH二进制描述子的视觉词袋(Bo VW),并采用视觉单词向量描述图像进而归一化相似度的闭环检测方法,然后对闭环候选关键帧和当前关键帧进行基于RANSAC-HORN运动估计的闭环验证,最后将闭环关键帧的局部地图点投影到当前帧并最小化重投影误差以使得位姿得到优化。数据集实验表明,提出的闭环检测和位姿优化算法能够有效地对闭环进行准确检测和验证,并对视觉里程计的误差积累进行闭环位姿优化,提高了视觉导航精度。     

基于连续相位稠密匹配的结构光三维重建优化方法

提出了一种基于连续相位稠密匹配的结构光三维（3D）重建优化方法。利用标定的相机阵列获取投影的结构光变形条纹,利用格雷码划分相位级次,提出等相位约束条件,实现不同相机图像之间的稠密匹配;然后利用空间3D点与相机阵列之间的投影关系,建立各相机位姿与重建点云全局优化模型;利用观测值反向投影的欧式距离建立非线性优化的目标函数,并将此优化问题转为李代数上的图优化模型进行迭代求解。利用公开数据集和实测数据进行实验,结果表明,所提方法可以实现360°无遮挡的3D重建,且重建精度相对传统无优化结构光方式提高了6.94%,相机位姿精度提高了9.77%。所提方法相比参考方法对相机畸变标定精度要求低,并可用于模型点云的非刚体融合。同时由于相机阵列的使用,重建过程中目标物体无需多次旋转,使得物体的3D重建更加方便。