动态场景下基于实例分割和三维重建的多物体单目 SLAM

针对大多数SLAM系统在动态环境下相机位姿估计不准确与环境语义信息利用不充分的问题,提出一种基于实例分割的关键帧检测和贝叶斯动态特征概率传播的动态物体检测算法,并对环境中存在的静态物体三维重建,以此构建一个动态环境下的多物体单目SLAM系统。该系统对关键帧输入图像进行实例分割与特征提取,获取潜在运动物体特征点集合与静态物体特征点集合;利用非运动物体特征点集合获取帧间位姿变换,普通帧利用贝叶斯对动静态特征点进行概率传播,利用静态特征点集实现对相机位姿的精准估计;在关键帧中对静态物体进行联合数据关联,数据充足后进行多物体三维重建,构建多物体语义地图,最终实现多物体单目SLAM。本文在TUM与Boon公开数据集上的实验结果表明,在动态场景下,相较于ORB-SLAM2算法,绝对位姿误差的均方根误差平均降低54.1%和58.2%。     

基于线结构光视觉的方形状物体位姿估计

工业生产制造领域存在大量的方形状物体,与之相关的机器人自动化作业需要获取方形状物体的位姿信息,为此提出了一种基于线结构光视觉的方形状物体位姿估计方法.首先搭建硬件系统并完成标定;然后采集图像进行处理并提取出能够表达方形状物体位姿信息的特征点,对这些特征点进行矩形拟合,获取位姿参数;最后对所开发的检测系统进行了测试评估实...     

室内场景下实时地三维语义地图构建

移动机器人自主建图是完成智能行为的前提。为提高机器人智能水平和直观的用户交互,地图需要扩展超出几何和外观信息的语义信息。研究了将基于深度残差网络(DRN)的像素级图像语义分割和三维同时定位与建图(SLAM)相融合的三维语义地图构建方法。首先,采用一种联合中值滤波算法进行深度图像的修复,使用改进的迭代最近点(ICP)算法得到相机估计位姿以及基于随机蕨类的闭环检测构建出三维环境地图;其次,采用优化的深度残差网络对输入的图像实现较精准的像素语义级别的预测与分割;最后,采用贝叶斯更新方法,渐进式的将图像分割获取的语义分类标签迁移到重建的室内三维模型中,获得完整的三维语义地图。实验表明,所设计的方法可以在实际的、复杂环境下实时地构建语义地图。     

基于实例分割与光流的动态场景RGB-D SLAM

为了提高动态场景RGB-D SLAM中相机位姿精度,基于实例分割与光流算法,提出一种高精度RGB-D SLAM方法。首先,通过实例分割算法检测出场景中的物体,删除非刚性物体并构造语义地图。接着,通过光流信息计算运动残差,检测场景中动态刚性物体,并在语义地图中追踪这些动态刚性物体。然后,删除每一帧中非刚性物体和动态刚性物体上的动态特征点,利用其他稳定的特征点优化相机位姿。最后,通过TSDF模型重建静态背景,并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明,本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明,保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明,本文方法在动态场景中重建结果优于当前先进的工作,平均重建误差为0.042 m。代码开源在https：//github. com/wawcg/dy＿wcg。     

采用辅助学习的物体六自由度位姿估计

为了在严重遮挡以及少纹理等具有挑战性的场景下,准确地估计物体在相机坐标系中的位置和姿态,同时进一步提高网络效率,简化网络结构,本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入,首先,利用双分支点云配准网络,分别得到模型空间和相机空间下的预测点云;接着,对于辅助学习网络,将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块,再进行由粗到细的位姿估计,并将估计结果作为先验用于优化损失计算。最后,在性能评估阶段,舍弃辅助学习分支,仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%;在LineMOD数据集上的平均ADD(-S)结果为99.4%;在LM-O数据集上的平均ADD(-S)结果为71.3%。与现有的其他六自由度位姿估计方法相比,采用辅助学习的方法在模型性能上具有优势,在位姿估计准确率上有较大提升。     

利用超体素中心点连线可见性的图像分割算法

当图像中存在阴影、低对比度边缘和模糊区域时,传统算法利用纹理、颜色等信息难以准确分割物体。以点云图为研究对象,依据盒状、柱状物体在三维空间中的几何形状,提出一种基于超体素中心点连线可见性的图像物体分割算法。该算法首先对点云图进行过分割,得到具有相邻关系的超体素,接着依据其中心点法向量平行准则以及中心点连线可见性准则共同判断相邻超体素是否融合,然后过滤噪声,并利用遮挡关系进一步考察同一物体平面超体素的融合情况。实验结果表明:在OSD-v0.2公开数据集上,文章提出的算法误识别率为6.9%,漏识别率为4.6%,比单一结合法向量的凹凸性判断方法更好,整体误差更小。利用本算法对物体进行分割,更容易计算物体的抓取位姿,有助于机器人执行抓取任务。     

智能换电站电池包锁止机构位姿视觉估计

面向电动汽车的电池换电需求，对换电站电池包对接中的锁止机构定位问题，提出了一种基于点云分割的电池包锁止机构6D位姿估计方法。该方法使用YOLOv5网络从场景中分割出锁止机构的点云，并使用体素滤波与移动最小二乘拟合进行点云的滤波与平滑；通过引入点云分割网络预测点云标签，为快速点特征直方图特征加入全局语义特征，弥补快速点特征直方图只有点云局部特征的缺陷，并根据该特征进行随机抽样一致性刚体点云配准，估计锁止机构点云的6D位姿，最后使用迭代最近点方法算法校正位姿估计结果。实验结果表明，基于点云分割的锁止机构6D位姿估计算法精度较高，可以克服环境噪声导致的误匹配，精确获取锁止机构位姿，其位姿估计的角度误差可以达到1.90°，位移误差可以达到1.4 mm,RMSE可以达到1.5 mm，为换电站电池对接定位提供了有效的解决途径。     

基于彩色图像的高速目标单目位姿测量方法

针对风洞分离实验对于视觉测量系统的高精度、大视场、高速的测量要求,提出一种基于单目摄像机的风洞运动目标位姿测量方法。该方法利用单目摄像机进行运动目标位姿信息测量,相比于双目测量方法具有设备简单、视场大的优点。首先提出一种基于靶标特征点相互约束关系的参数优化方法,采用复合式靶标实现摄像机的快速高精度标定;针对目标运动图像处理,提出一种基于图像差叠法和标记点位置估计的图像快速分割与目标定位方法,实现图像特征的快速准确定位;针对单目测量要求及目标运动特性,提出一种基于方向估计标记点布局方式,实现合作标记点的快速识别和提取;最后利用单目视觉原理求解运动目标的位置和姿态信息,通过实验室模拟实验完成了测量系统的精度验证,在1 m×1 m视场范围内,其位移测量精度可达到0.19 mm,俯仰和偏航角测量精度可达到0.18°。     

面向人机交互的手势指向估计方法

针对人机共融环境中机器人与人之间的交互问题,提出了一种面向人机交互场景的手势指向估计方法,通过人体指向手势,以实现机器人对工作平面上指向目标点的信息交互。首先,基于RGB-D相机与VICON人体动作捕捉系统,构建时间同步的视觉指向手势位姿数据集,其中的每个样本包含人体指向手势的RGB-D图像和指向手势的位姿真值;其次,提出融合语义与几何信息的指向手势位姿估计多层次神经网络模型;然后,设计融合位置点误差ΔP和方向角度误差Δθ的射线近似损失函数,并基于构建的数据集,对指向手势位姿估计模型进行训练;最后,在实验室环境中进行了人机交互实验与模型验证。实验结果表明,在距离相机5 m的范围内,指向手势检测的平均精度为98.4%,指向手势位姿的平均位置误差为34 mm,平均角度误差为9.94°,进而实现工作平面上的手势指向目标点的平均误差为0.211 m。     

基于信息融合的城市自主车辆实时目标识别

针对单一传感器感知维度不足、实时性差的问题,提出一种激光雷达与相机融合的城市自主车辆实时目标识别方法。建立两传感器间的坐标变换模型,实现两传感器的像素级匹配。改进yolov3-tiny算法,提高目标检测准确率。对激光雷达点进行体素网格滤波,根据点云坡度进行地面分割。建立聚类半径与距离作用模型,对非地面点云进行聚类。引入图像中包络的思想,获取目标三维边界框以及位姿信息;将视觉目标特征与激光雷达目标特征融合。试验结果表明,改进的yolov3-tiny算法对于城市密集目标具有更高的识别率,雷达算法能够完整的完成三维目标检测以及位姿估计,融合识别系统在准确率、实时性方面达到实际行驶要求。     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

铁路场景三维点云分割与分类识别算法

铁路限界侵入检测对保障高速铁路安全具有重要意义,基于激光三维点云分割与分类识别的异物侵入检测具有准确、直观的优点,在诸如隧道口和站台的铁路重点区域监测中具有广泛应用前景。设计了一种带动二维激光雷达进行俯仰运动的装置用于铁路三维点云的采集,基于法线方向一致性原则提出采用区域生长分割算法解决欧氏聚类分割和随机采样一致性(RANSAC)分割造成的过分割和欠分割问题;针对分割后的单物体点云,提出利用视点特征直方图(VFH)进行不同目标的三维点云特征提取,基于不同物体VFH建立KD树,并利用最近点搜索方法完成单物体点云分类识别。铁路场景典型物体的分类实验结果表明,本算法对铁路场景典型物体的分类识别准确率大于90%。     

基于多路径网络的权值调整图像语义分割算法

为提高图像语义分割准确程度,针对场景解析中类别边缘分辨清晰度,提出了一种基于多路径网络的权值调整图像语义分割算法。通过引入多路径网络和权值调整并对图像场景中的物体类别具有的特征进行分析,提高图像的语义分割的准确程度;通过采用ADE20K数据集进行训练,提高边缘信息的分割效果,使模型具有更好的泛化能力。此算法加快了网络收敛速度。     

一种双分支结构的图像语义分割算法

图像语义分割需要精细的细节信息和丰富的语义信息,然而在特征提取阶段,连续下采样操作会导致图像中物体的空间细节信息丢失。为解决该问题,提出一种双分支结构语义分割算法,在特征提取阶段既能有效获取丰富的语义信息又能减少物体细节信息的丢失。该算法的一个分支使用浅层网络保留高分辨率细节信息有助于物体的边缘分割,另一个分支使用深层网络进行下采样获取语义信息有助于物体的类别识别,再将两种信息有效融合可以生成精确的像素预测。通过Cityscapes数据集和CamVid数据集上的实验验证,与现有语义分割算法相比,所提算法在较少的参数条件下,获得了较好的分割效果。     

基于云理论的生长区域图像分割方法

针对种子点的选取和不确定信息的处理问题。提出了一种基于云理论的区域生长图像分割方法。首先利用图像的全局信息获取种子点,具体是把云变换生成的正态云模型的交叉点作为生长区域的种子点,以极大判定法则作为区域生长过程中的生长准则,然后以逆向云算法实现分割区域由定量的像素集合到定性的云概念的转换过程。以云综合算法将相邻的区域进行合并,最终实现基于区域生长的不确定性图像分割。实验表明,该方法较其他方法能更好的的处理图像中的不确定性信息。且获得了较好的实验效果。     

基于图像处理的机器人目标识别与定位系统

为实现移动机器人对目标的导引,提出了一种简单有效的方法。机器人视觉系统的关键技术是对目标实时、准确的提取,而目标提取的实质是图像分割。该文介绍了一种基于色彩空间参照表的适用于机器人视觉系统目标提取的图像分割算法,通过图像处理计算出主动目标图像特征的质点来实现对目标的定位,利用神经网络建立了目标从图像空间到摄像机空间的坐标对应关系,从而对空间运动目标进行了定位。仿真结果也验证了该方法的有效性和可行性。     

基于X射线图像和激光点云的煤矸识别方法

煤矸高效分选是实现煤炭资源绿色开采的重要手段,其核心技术是煤和矸石的快速精准识别。因此,本文提出了基于X射线图像和激光点云融合的煤矸识别方法。首先,设计了基于局部熵和全局均差加权的改进Otsu分割算法,以此提高X射线图像的分割精度和分割效率;同时,利用直通滤波和体素栅格降采样简化了煤矸激光点云数据,进而提取了X射线图像和激光点云的煤矸组合特征。然后,针对传统麻雀搜索算法(SSA)易陷入局部最优和种群多样性差等问题,提出了多策略改进的SSA算法(ISSA),并用于轻量梯度提升机(LightGBM)参数的寻优,进而设计了基于ISSA-LightGBM的煤矸快速识别模型。最后,搭建了煤矸识别实验平台,开展了相应的实验对比分析,结果表明：ISSA-LightGBM模型的煤矸识别准确达99.00%,综合性能优于其它模型,满足了煤矸高效识别的需求。