一种基于三维视觉的移动机器人定位与建图方法

针对移动机器人三维视觉SLAM(同步定位与建图)中定位精度低、实时性差等问题,提出一种基于由初到精的位姿估计和双重闭环策略的SLAM方法。首先对MSER(最大稳定极值区)检测算法进行椭圆拟合化处理并提取出图像中的ROI(感兴趣区);然后从ROI中提取出稀疏像素点并使用直接法得到初始位姿变换参数;接着结合改进的基于八叉树结构的ICP(迭代最近点)对相机位姿进行精估计;再结合关键帧选择机制提出一种双重闭环检测方法为构建的位姿图添加约束;最后通过g2o图优化框架对位姿图进行优化并完成点云的拼接。通过NYU和TUM标准数据集验证了算法的实时性与有效性,室内实验结果表明,在复杂环境下也能利用该方法进行准确的位姿估计,并构建出环境的三维点云地图。     

基于LDSO的机器人视觉定位与稠密建图的应用

针对基于特征点匹配的SLAM(Simultaneous Localization and Mapping)系统在缺乏角点的弱纹理区域无法提取足够的特征点而导致位姿估计失败等问题,提出应用直接视觉里程计算法LDSO(Direct Sparse Odometry with Loop Closure)进行室内机器人视觉定位并结合深度估计或深度相机采集到的关键帧深度图,关键帧相机位姿,原始关键帧图像数据,点云拼接生成三维点云稠密地图,实验结果表明,机器人可在复杂环境中准确快速的定位自身位置,且算法在没有全局BA(Bundle Adjustment)的情况下通过位姿图优化显著减少了旋转,平移与尺度漂移等累积误差,算法整体性能与基于特征点匹配的SLAM系统相媲美,耗时更少,实时性更佳,在缺乏角点区域具有较强的鲁棒性.     

基于门形结构的单目视觉定位方法

选取场景中常见的门形结构为处理对象,提取门形结构中的三条直线,拟合直线方程,进而确定直线的交点及两条平行直线的消失点,根据消失点原理和垂直关系等先验知识确定摄像机坐标系和世界坐标系的映射。空间解析过程以直线方程为基本要素,参与解析运算的点特征均由直线方程确定,随机选取的点坐标仅用于方向一致性判定,减少了随机误差引入。仿真实验表明,本文的视觉定位方法对噪声有较高的鲁棒性,与融合线特征和随机点特征的方法相比降低了定位误差。     

复杂场景点云数据的6D位姿估计深度学习网络

针对工业上常见的弱纹理、散乱摆放复杂场景下点云目标机器人抓取问题,该文提出一种6D位姿估计深度学习网络。首先,模拟复杂场景下点云目标多姿态随机摆放的物理环境,生成带真实标签的数据集;进而,设计了6D位姿估计深度学习网络模型,提出多尺度点云分割网络(MPCS-Net),直接在完整几何点云上进行点云实例分割,解决了对RGB信息和点云分割预处理的依赖问题。然后,提出多层特征姿态估计网(MFPE-Net),有效地解决了对称物体的位姿估计问题。最后,实验结果和分析证实了,相比于传统的点云配准方法和现有的切分点云的深度学习位姿估计方法,所提方法取得了更高的准确率和更稳定性能,并且在估计对称物体位姿时有较强的鲁棒性。     

SCARA机器人实验平台视觉标定研究

文中针对eye-to-hand视觉标定中机械手的移动可能对目标造成遮挡的问题,利用eye-in-hand摄像机和eye-to-hand摄像机结合的方式,以SCARA工业机器人为研究对象,建立双摄像机视觉标定系统。同时,文中提出了一种简单有效的eye-in-hand的标定方式,以机器人末端坐标系为辅助坐标系,建立基坐标到辅助坐标再到摄像坐标的对应关系,从而为实验室平台下工业机器人的目标定位提供了一种有效的方式。     

基于角点特征的3D视觉精确跟踪研究

针对传统基于边缘的3D视觉跟踪存在准确性不足的问题,提出一种基于角点特征的3D跟踪,提高准确性.首先,给出了基于目标物CAD模型实现3D视觉跟踪的基本方法;其次,针对基于边缘的3D跟踪存在近似处理等不准确行为,提出了基于角点特征,快速简便寻找下一帧对应角点的策略,避免了基于边缘等方法不易在下一帧准确找到对应控制点的弊端,为提高准确性创造了条件;再者,采用菲线性映射的方式描述最小二乘问题,而后实施迭代的优化,得到更精确的解,从而进一步提高跟踪的准确性.最后的实验结果表明基于角点特征的新方法估计目标物位姿的误差比经典的基于边缘的RAPiD方法小得多,实现了3D视觉的精确跟踪.     

基于单目视觉的工业机器人定位系统设计

在工业化生产流程中,工业机器人能准确识别并抓取目标工件的状态、位置信息,收集反馈给控制系统处理以修正加工程序参量,从而实现制造工艺的高度自动化及精加工。以视觉定位和图像信息收集、处理的工业机器人为对象基准,设计了一套单目视觉定位系统。系统引入了静态图像收集算法、图像信息模块测量和三维空间匹配测量算法,通过工业试验得出测量数据。误差分析结果表明,基于单目视觉的机器人定位系统符合加工自动化的信息数据要求,能实现工件参数和空间姿态间的匹配,辅助提升生产的自动化程度。     

基于单目视觉的工件定位技术研究

针对普通工件的位姿定位问题,文中提出了一种使用单目视觉平台和CAD模型的工件定位方案。为了阐明该方案的具体设计,基于单目相机的标定方法引入工件图像识别的相关技术,设计了工件的图像预处理过程,并提出基于CAD模型的单目视觉定位算法。实验测试结果表明,与基于先验性关系的定位方案相比,该定位方案具有更高的精度和较好的灵活性,可以满足普通工件的定位需要。     

基于视点特征直方图的激光点云模型的位姿估计

提出一种基于视点特征直方图的点云模型位姿估计 算法。首先在目标物体周围采 集三维点云,拼接后获得物体的完整点云模型;然后对点云模型计算其视点特征直方图, 构建特征数据 库;对待估计点云同样计算其特征直方图,使用KNN算法在数据库中搜索与之最接近的位 姿作为初始位 姿估计值;最后使用迭代最近点(ICP)算法将待估计点云精确配准到模型点云,从而获得坐 标系之间的相 对位姿。实验表明,这种方法对于物体位姿识别有很强的稳健性,能很好实现目标物体的 三维位姿计算。     

空间非合作目标点云聚类配准方法

空间非合作目标的相对位姿测量问题成为空间在轨操作任务的重难点,通过对激光雷达获取的目标三维点云进行聚类,得到小规模、特征明显的聚类点云,有效提高了配准效率和精度。针对基于区域生长的聚类算法在对可视点云进行聚类时,特征相似部分无法聚类识别的问题,提出了二维图像优化三维点云聚类的方法。该方法将深度值信息和RGB颜色值建立数学映射关系,点云降维后,利用颜色梯度突变进行边界提取,将边界内的点逆向恢复到原始点云,最后将各个类的点云进行合并,得到易于识别的显著特征点云。实验结果表明,在配准角度误差为±5°的条件下,可有效地缩减点云规模并保留了显著特征,提高ICP配准算法的计算效率,为解决空间非合作目标相对位姿实时测量提供技术支持和解决思路。     

基于点云实例分割的鲁棒多目标位姿估计

针对多目标位姿估计过程中点云局部特征存在类间错误匹配的问题,提出了基于点云实例分割的鲁棒多目标位姿估计算法。首先,基于密度聚类对场景点云进行分割得到点云簇,并用快速点特征直方图（FPFH）描述子对分割后的点云簇进行局部特征提取;然后利用随机森林算法对聚合后的点云簇的局部特征进行分类,完成点云实例分割;之后对于场景中每一个分割后的实例,采用近似近邻快速库（FLANN）匹配算法对场景实例和模型进行特征匹配,得到实例分割后的点在对应类别模型上的匹配点,利用随机采样一致（RANSAC）算法以及最小二乘算法计算初始位姿;最后经过点到平面迭代闭合点（ICP）算法得到每个实例的精确位姿。在CV-Lab 3D合成数据集以及UWA真实采集数据集下的实验结果表明,相比直接匹配模型和全部场景点的局部特征进行多目标位姿估计,所提算法能够有效提升局部特征匹配阶段的内点概率,从而提升复杂场景下位姿估计的鲁棒性和准确率,尤其适用于场景中具有多个实例的位姿估计应用。     

基于改进B-SHOT特征描述符的三维场景重建

针对三维场景重建中采用二进制方位直方图(B-SHOT)进行点云特征提取与匹配时,存在信息丢失导致匹配准确率降低的问题,文中采用一种改进的二值三维特征描述符DB-SHOT来进行特征提取与匹配以建立相邻点云之间的对应关系,结合随机抽样一致性算法(RANSAC)去除点云中的外点,并运用RANSAC的内点进行相邻位姿估计,进而进行相邻点云的融合。在保证匹配速度的前提下,解决B-SHOT信息丢失的问题,提高匹配准确率。通过采用标准数据集进行实验,验证了DB-SHOT作为三维场景重建特征描述符的可行性与有效性。     

基于Deeplab V3+的机器人语义SLAM算法研究

针对机器人在同步定位与地图构建(SLAM)系统中受几何场景信息计算力和带宽负载的限制,对ORB-SLAM2框架进行改进,提出语义跟踪和语义建图线程,语义跟踪线程通过Deeplab V3+对图像语义分割,同时提取该图像特征点,进行移动一致性检查来剔除动态噪声点,结合一致性检查后的特征点和分割后的图像信息来二次检查动态点,随后位姿估计,而语义建图线程主要完成语义八叉树地图的构建。在TUM RGB-D数据集上进行了广泛实验,在walking系列数据中的旋转漂移误差达到1.19m、平移漂移误差达到0.046m,满足实时性要求,所提方法有效提高了SLAM的精度和鲁棒性。     

正交约束下的机器人线结构光手眼标定

为了将传感器局部坐标系下的测量数据转化为机器人坐标系下的全局三维数据,需要确定机器人法兰盘与传感器之间的关系,即手眼标定。为实现机器人与线结构光传感器的现场手眼标定,提出一种正交约束条件下的新方法,该方法标定过程无需人工参与,仅需一块具有空间正交约束关系的平面靶标。标定过程中任意变换机器人位置与姿态,控制激光线与靶标两直角边分别相交,并记录传感器测量坐标值以及对应的机器人姿态数据,再基于空间正交约束建立非线性优化模型,最后采用内点法迭代求得最优解。实验结果表明：该标定方法快速、稳定且精度较高,系统整体测量精度优于0.3 mm,可满足常规测量需求。     

基于结构光3D视觉的槟榔姿态识别与定位系统

枸杞槟榔的放料工序目前仍需工人手动完成,生产效率低且存在食品卫生问题。为了解决这个问题,设计了一种基于结构光3D视觉的槟榔姿态识别与定位系统。首先,由数字投影仪向槟榔投影蓝光正弦条纹,相机采集变形条纹图像后,通过计算机进行三维重建,获得高精度槟榔点云;然后,融合2D图像和3D点云信息,采用所提特征线法估计槟榔的姿态参数;最后,定位槟榔空腔中心并将其作为放料点,根据手眼标定将放料点坐标转换到机械臂基坐标系下,使机械臂自动放料。利用500个槟榔进行姿态识别与定位实验,并统计处理时间和分类准确率。实验结果表明,1个槟榔的处理时间为0.39～0.59 s。整体的识别准确率为95.6%。对放料点的定位误差在0.25 mm之内,低于放料要求的0.3 mm。所提方法能有效解决形状复杂且自由放置目标的姿态识别与定位问题,具有较高的定位精度以及良好的稳定性,满足实际生产要求。     

基于视觉的无人机自动着陆定位算法

本文提出了一种基于HSV直方图、椭圆拟合和多边形拟合的着陆目标提取和位姿估计的算法,提出了一种特定颜色、特定形状的新型地标。充分应用颜色信息和几何信息,消除了特征点检测出现错误匹配的情况,对光照及目标模型旋转均有一定鲁棒性,有效提高了目标检测的速度和准确度。本文通过坐标变换以及椭圆的基本特征,将位姿估计转化为一个一元十二次方程的求解问题,并对坐标转换进行简化处理,提高位姿估计的处理速度。最后通过实拍测试,证明本文的方法可靠、目标可识别及降落位置准确。