面向机器人抓取过程中目标位姿估计方法

针对机械臂抓取过程中场景的复杂性和存在遮挡问题,提出了一种基于深度相机的物体位姿估计方法。采用Kinect相机获取点云图像,提取点云的FPFH特征。采用奇异值分解算法和随机一致算法来进行位姿估计。将得到的位姿经过手眼转换转换为抓取位姿。通过与ICP算法和NDT算法进行对比实验,结果验证了该方法的稳定性和精确性。     

基于BIM的钢筋骨架语义设计点云自动生成算法

当前预制构配件钢筋骨架质量检查主要依靠人工,存在效率低、容易出错的问题。建筑信息模 型(BIM)、三维重建等技术为改进预制构配件钢筋骨架质量检查方法提供可能。运用这些技术时,有必要由钢 筋骨架 BIM 模型生成可区分每根钢筋的点云。为此,提出了语义设计点云的概念,并构建了基于 BIM 的钢筋 骨架语义设计点云自动生成算法。该算法首先从钢筋骨架 BIM 模型中提取每根钢筋并分别存储于不同的文件, 然后对每根钢筋所在文件进行格式转换,接着生成每根钢筋的语义设计点云,最后基于每根钢筋的语义设计点 云生成钢筋骨架语义设计点云。分别用简单钢筋骨架和复杂钢筋骨架对基于 BIM 的钢筋骨架语义设计点云自 动生成算法进行实验验证,结果表明,该算法能够自动并快速地生成准确的钢筋骨架语义设计点云。      

基于时域编码结构光的高精度三维视觉引导抓取系统研究

在许多自动化应用场合中,如分拣和上、下料等过程中,机械臂抓取是非常重要的一个环 节。在有遮挡或物体杂乱放置的情况下,对物体进行可靠、快速和精确计算位姿是机械臂抓取的难题之一。该文提出一种针对非规则目标的 3D 视觉引导抓取系统。首先,该系统运用面结构光系统对目标进行高精度三维重建,并建立离线 3D 点云模板库;然后,将标准模板与点云预处理后的场景点云进行匹配,得到匹配参数后,由坐标系之间的转换矩阵计算机器手抓取位姿;最后,引导机器手完成对目标物体的抓取。实验结果表明,所开发的机械臂抓取系统能够对非规则目标进行可靠、快速和精确的 抓取。     

基于深度学习SuperGlue算法的单目视觉里程计

基于特征点法的视觉里程计中,光照和视角变化会导致特征点提取不稳定,进而影响相机位姿估计精度,针对该问题,提出了一种基于深度学习SuperGlue匹配算法的单目视觉里程计建模方法.首先,通过SuperPoint检测器获取特征点,并对得到的特征点进行编码,得到包含特征点坐标和描述子的向量;然后,通过注意力GNN网络生成更具代表性的描述子,并创建M×N型得分分配矩阵,采用Sinkhorn算法求解最优得分分配矩阵,从而得到最优特征匹配;最后,根据最优特征匹配进行相机位姿恢复,采用最小化投影误差法进行相机位姿优化.实验结果表明,在无后端优化的条件下,该算法与基于ORB或SIFT算法的视觉里程计相比,不仅对视角和光线变化更鲁棒,而且其绝对轨迹误差和相对位姿误差的精度均有显著提升,进一步验证了基于深度学习的SuperGlue匹配算法在视觉SLAM中的可行性和优越性.     

三维重建系统下的特征点处理与位姿恢复优化算法

基于SIFT算法原理,构建了一个全新的算法框架,使用FCN（fully convolutional networks,全卷积神经网络）和BP（back propagation,反向传播）神经网络,综合考虑图像主目标的语义分割、图像灰度共生矩阵等方面的影响,实现了自适应的特征点检测范围、数量调整,并在特征点匹配阶段利用相机位姿偏移稳定性剔除误匹配,同时采用基于图优化的方法对位姿恢复结果进行非线性优化,得到了更加精确的相机位姿。最后与现有主流算法进行分析比对,实验结果验证了该算法的有效性,提高了特征点检测的场景自适应程度与特征点匹配、位姿恢复的精度,实现了更加高效的三维重建。     

基于亚像素的乒乓球机器人本体位姿视觉测量

提出一种基于亚像素精度的特征点提取算法,结合PnP方法和正交迭代(OI)算法计算乒乓球机器人本体的位姿.根据摄像机成像时弥散斑的近似高斯分布,以亚像素精度精确求取色标块的边缘,利用边缘直线交点得到高精度的角点作为特征点.基于PnP算法利用上述特征点求取机器人位姿的初值,再通过OI算法进行优化,以保证其姿态矩阵的正交性.实验结果表明,该方法能快速准确地实现机器人本体的位姿测量.     

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法：根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。     

一种有序点云快速去飞点算法

在结构光高精度测量与生产线自动化结合的过程中往往要求实时性.为了有效提取测量物体的点云信息以及提高运算效率,利用面阵相机与投影仪像素点有序的特性,提出一种针对有序点云的快速去飞点算法.首先,根据点云数据估计投影矩阵,通过估计的投影矩阵把点云投影到一个像平面,然后基于滑动窗口把像平面上的每一个点最近邻搜索k个临近点,最后...     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

结构光视觉引导的轨迹跟踪系统的标定技术

为实现机械臂对工业现场三维特征点的跟踪,提出一种基于结构光视觉,六轴机械臂的整体标定方法。利用自制平面靶标求取单映射矩阵,根据张正友标定方法标定相机内参以及对应外参,利用LM算法优化参数,根据激光光条在靶标平面的参数方程和对应的外参标定出激光光平面在相机坐标系下的平面方程,通过求解[AX=XB]方程得到相机坐标系与机械臂末端坐标系的齐次变换矩阵[X],并对特定位姿下的工件偏移进行修正。实际测试表明：静态跟踪误差在±1.2 mm,满足工业现场应用要求。     

基于特征点匹配的排水管道声点云模型配准算法

三维重建技术逐渐成为获取全面、完备、准确的排水管道信息的关键手段。而实际检测受到管道堵塞等工况与管道检测规程等因素限制,造成所获得的管道声呐点云模型会出现位姿不同、部分重叠或空缺等情况,需要通过配准获取完整管道模型。同时,传统ICP算法针对管道模型存在效率低、精度差的问题。因此,该文提出基于特征点匹配的粗配准与改进的ICP精细配准相结合的点云配准算法。首先,利用ISS特征点检测法检测出模型特征点,通过FPFH对特征点进行进一步的描述;其次,采用RANSAC算法筛选出正确特征匹配点集,利用四元数法解算出初始变换参数完成粗配准;最后,在粗配准基础上,通过改进最近对应点查询的ICP算法完成精细配准。实验结果表明了该文算法的可行性与优越性,能为后续排水管道缺陷检测提供高完备、全面、准确的点云模型。     

基于三线结构光的相机平面标定方法研究

相机标定技术是结构光三维视觉测量的关键技术之一,结构光测量系统的相机标定的精度对三维测量的精度有很大影响;首先对三线结构光系统图的相机标定方法进行了分析,简单介绍了工业相机成像的几何模型及标定的原理;其次利用Harris角点检测方法提取特征点坐标,并选用了BP神经网络来校正工业相机的畸变模型,以提高标定算法的优化速度和标定精度;最后采用张正友的平面标定法对校正后的摄像机模型进行标定实验,由实验结果知,该方法具有一定的准确性和有效性,在一定误差范围内,基于神经网络畸变校正的张正友相机标定能够有效提高视觉检测的精度。     

结合视觉惯性模组的室内三维布局鲁棒重建方法

针对使用传统单目相机的全自动三维重建方法结果精确度差和整体结构理解缺失等问题,提出一种结合视觉惯性里程计和由运动到结构的全自动室内三维布局重建系统.首先利用视觉里程计获得关键帧图像序列和对应空间位置姿态,并利用运动恢复结构算法计算精确相机位姿;然后利用多图视立体几何算法生成高质量稠密点云;最后基于曼哈顿世界假设,针对典型的现代建筑室内场景,设计一种基于规则的自底向上的布局重建方法,得到最终房间外轮廓布局.使用浙江大学CAD&CG实验室场景现场扫描数据集和人工合成的稠密点云数据集作为实验数据,在Ubuntu 16.04和PCL 1.9环境下进行实验.结果表明,文中方法对三维点云噪声容忍度高,能够有效地重建出室内场景的三维外轮廓布局.     

基于激光雷达数据的行人检测

在自动驾驶领域涉及的众多任务中,行人识别是必不可少的技术之一。针对基于图像数据的行人检测算法无法获得行人深度的问题,提出了基于激光雷达数据的行人检测算法。该算法结合传统基于激光雷达数据的运动目标识别算法和基于深度学习的点云识别算法,可以在不依赖图像数据的条件下感知和检测行人,进而获取行人的准确三维位置,辅助自动驾驶控制系统作出合理决策。该算法在KITTI三维目标检测任务数据集上进行性能测试,中等难度测试达到33.37%的平均准确度,其表现领先于其他基于激光雷达的算法,充分证明了该方法的有效性。     

基于聚类分析的精密零件测量方法

针对目前大型精密零件自动化测量和自动化装配的迫切需求,提出一种精密零件轮廓自动化测量方法;首先利用激光跟踪仪建立全局坐标系,基于世界统一法对多个相机坐标系进行全局标定;采用像素点聚类的方式、漫水填充法等图像处理方法对存在重影以及环境光的激光光条中心进行精确提取,利用统计滤波方法对三维数据点云进行杂点的去除,结合粗匹配和精细匹配方法对多组相机下的激光光条进行三维空间点云融合,移动产品,对精密零件进行全产品扫描,最后,借助于射线法对精密零件轮廓进行超差预警;实验表明,该方法对大型零部件产品的测量误差标准差为0.25 mm,15 min可以完成20 m长的大型零部件产品的测量与分析,足够满足现有大型精密复杂产品的装配需求,突破了现有技术瓶颈,可以对精密零件轮廓进行快速精确三维重构,并且可以计算精密零件产品的结构化参数。     

基于等级划分的复杂点云骨架提取算法

对于复杂点云的骨架提取,由于原始点云的遮挡、缺失、分布不均、分支复杂等原因,所提取骨架会产生断裂、拓扑结构错误等问题.针对复杂结构点云的骨架提取,提出了一种基于等级划分的复杂点云骨架提取算法(multilevel divided skeleton extraction,MDSE).使用L1-medial提取初始骨架点,将初始骨架点连接成单分支骨架线,通过对单分支结构的初始骨架线进行等级划分,利用连通分支的平均分叉角确定骨架线断裂位置,由底至项修补断裂骨架线;最后采用Cardinal样条曲线改善骨架形态,形成完整且符合原始点云拓扑结构的骨架线.实验结果表明,该算法能够从复杂点云中提取出较为完整、拓扑结构正确的骨架线.     

Cooperative 3D tunnel measurement based on 2D–3D registration of omnidirectional laser light

In this study, we proposed a high-density three-dimensional (3D) tunnel measurement method, which estimates the pose changes of cameras based on a point set registration algorithm regarding 2D and 3D point clouds. To detect small deformations and defects, high-density 3D measurements are necessary for tunnel construction sites. The line-structured light method uses an omnidirectional laser to measure a high-density cross-section point cloud from camera images. To estimate the pose changes of cameras in tunnels, which have few textures and distinctive shapes, cooperative robots are useful because they estimate the pose by aggregating relative poses from the other robots. However, previous studies mounted several sensors for both the 3D measurement and pose estimation, increasing the size of the measurement system. Furthermore, the lack of 3D features makes it difficult to match point clouds obtained from different robots. The proposed measurement system consists of a cross-section measurement unit and a pose estimation unit; one camera was mounted for each unit. To estimate the relative poses of the two cameras, we designed a 2D–3D registration algorithm for the omnidirectional laser light, and implemented hand-truck and unmanned aerial vehicle systems. In the measurement of a tunnel with a width of 8.8 m and a height of 6.4 m, the error of the point cloud measured by the proposed method was 162.8 and 575.3 mm along 27 m, respectively. In a hallway measurement, the proposed method generated less errors in straight line shapes with few distinctive shapes compared with that of the 3D point set registration algorithm with Light Detection and Ranging.