基于ASODVS的全景相机运动估计及管网3D重构技术

针对地下管网的空间三维测量、三维形貌重构难等问题,提出了一种基于主动式全方位视觉传感器(ASODVS)的相机运动估计及管网3D重构解决方案。通过携带有ASODVS的管道机器人进入管道内部,实时获取管道内壁纹理全景图像和全景激光扫描图像;首先对全景激光扫描图像处理解析出投射在管道内壁上的激光中心点,通过计算得到管道横截面的点云数据;另一方面,对全景纹理图像进行处理,首先利用快速鲁棒性特征(SURF)算法快速提取特征点并进行匹配,然后采用随机抽样一致性(RANSAC)算法去除误匹配点,接着利用全景相机的极几何原理估计相机运动位姿,并利用光束法平差(BA)进行优化,最后利用相机运动位姿将相机坐标系下的点云坐标实时转换到世界坐标系下,完成对地下管网的三维重构。实验结果表明,所提出的方案能够精确估计相机运动位姿,实时对管道内部进行三维重构,实现了管道检测机器人边行走、边采集数据、边检测分析处理、边三维建模的设计目标。     

序列图像约束的点云初始配准方法

针对现有算法难以精确配准重叠区域较小的点云,提出一种结合二维序列图像的点云初始配准方法。基于移动式三维测量方法获取实物表面灰度图像及三维数据,根据透视投影原理对相机在点云局部坐标系中的位置进行定位,获取点云到对应相机坐标系的变换矩阵,并以灰度图像的特征点及其匹配点作为匹配对,通过重建序列图像对相机外参数予以全局优化,根据初始配准公式实现点云初始配准。试验结果表明,该算法可正确配准重叠区域较小的点云,且能显著提高配准过程的稳健性及配准效率。     

基于结构光的微细管孔内表面三维重建

介绍了一种适于空间曲线型微细管孔内表面三维重建的系统。该系统主要由管道机器人、形貌检测器和曲率检测器等部分组成。形貌检测器在管道机器人的带动下潜入管孔内部进行内壁截面图像采集，曲率检测器负责测量管孔中心轴线在检测器采样位置处的局部几何性质。对管道内壁截面图像进行适当的处理，结合形貌传感器的标定参数和结构参数，可以计算出在检测器局部坐标系下的管道截面三维轮廓；同时，根据传感器采样位置处的管道中轴线局部几何性质、管道机器人的前进步长，建立局部坐标系与全局坐标系的关系，从而将被测全部截面的局部坐标转化为全局坐标，实现管道内表面的三维重建。实验结果表明，利用该技术检测的管道内表面三维形貌与实际情况是一致的。     

叶片机器人砂带磨抛点云匹配算法优化

为解决机器人磨抛路径中工件坐标系难以计算的问题及校正工件装夹误差,将三维点云配准技术应用到叶片机器人砂带磨抛系统中。由三维激光扫描仪扫描工件型面获得工件点云,采用基于主成分分析(PCA)的全局配准算法和改进的迭代最近点(ICP)算法完成了扫描点云和工件模型离散点云间以及不同工件扫描点云间的匹配,以获取工件坐标系和校正工件装夹误差。相关仿真和试验结果表明,优化后的算法在匹配速度与精度上有了长足改进,且加工后产品精度和质量都能满足实际加工要求。     

基于2D激光扫描的基准检测技术研究

在机器人自动制孔系统中,基准孔检测的准确性会直接影响整个机器人制孔过程的位置精度。为获取基准孔孔位准确信息,采用激光扫描的方式对基准孔进行检测。设计了2D线激光扫描在基准平面内点云的三维转化方法,通过分析基准孔在扫描仪坐标系下点云的分布特点,提出了一种基于坐标差值的基准孔边界提取算法。通过设定相邻点云在线激光扫描仪坐标系下z轴的坐标差值获取边界点,实验验证该算法能有效地去除点云中的噪声点,获取准确的基准孔边缘特征信息,进而得到准确的基准孔孔位信息。     

基于激光雷达的火箭推进剂加注机器人姿态估计研究

针对运载火箭发射中燃料推进剂加注环节中的自动对接需求,提出了一种基于单线激光雷达识别人工信标的姿态估计算法。通过电机带动二维激光雷达旋转,采集环境三维点云信息,通过所提算法从中识别出具有特殊几何形状的目标板来确定加注机器人与箭体活门之间的相对姿态,并实现机器人基于人工信标的姿态估计。最后通过实验验证了所提算法的可靠性与准确性。     

一种改进ICP算法的移动机器人激光与视觉建图方法研究

针对未知环境中移动机器人定位与建图中激光雷达建图提供的信息少,视觉slam实时性差的问题,提出了激光slam与视觉建图结合的方式,激光地图用于导航,而视觉地图用于复原目的地场景。首先采用区域分割和特征提取处理激光雷达数据,通过区域分割主要完成了特征模式的分类及识别确定,通过特征提取完成了各类特征模式参数的确定以及特征点的提取;使用改进的基于RGBD图像的ICP迭代最近点算法求取了转换关系,进行了点云拼接;采用图优化算法,消除了累计误差,提升了整体视觉地图的精度。通过激光雷达与Kinect相机之间的位置关系,算得了三维点云到激光雷达坐标系的对应关系,实现了激光地图与点云地图的融合。研究结果表明:能实现实时建立周围环境的二维地图,并将三维点云信息融入到激光雷达坐标系等功能,精度高、鲁棒性好。     

基于深度卷积网络的多目标动态三维抓取位姿检测方法

在非结构化环境机器人抓取任务中,获取稳定可靠目标物体抓取位姿至关重要。本文提出了一种基于深度卷积网络的多目标动态三维抓取位姿检测方法。首先采用Faster R-CNN进行多目标动态检测,并提出稳定检测滤波器,抑制噪声与实时检测时的抖动;然后在提出深度目标适配器的基础上采用GG-CNN模型估算二维抓取位姿;进而融合目标检测结果、二维抓取位姿以及物体深度信息,重建目标物体点云,并计算三维抓取位姿;最后搭建机器人抓取平台,实验统计抓取成功率达到95.6%,验证了所提方法的可行性及有效性,克服了二维抓取位姿固定且单一的缺陷。     

结合平面投影与区域生长的点云表面重建

为提高点云曲面重建的精度和效率,提出了一种将平面投影与区域生长相结合的散乱点云曲面重建方法。从散乱点云中选取局部点集,对其离散度进行判断,将较平滑的符合离散度要求的点集投影到二维平面并进行三角剖分,将三角剖分后点之间的拓扑连接关系映射回三维空间,实现该部分点云的表面重建,对剩余的散乱点用改进的区域生长法重建表面。实验结果表明,该算法能够重建出结构形态正确、保留物体细节信息的三维模型,降低曲面重建复杂度并提高其精确度。     

离散点云五轴加工刀轨全局干涉处理方法研究

对离散点云提出了一种五轴刀轨全局干涉处理的方法。为了提高计算效率,根据刀具扫掠体获得可能发生全局干涉的数据点,通过迭代计算判断是否与点云干涉,并逐步增大旋转角直至无全局干涉。其中,针对三维全局干涉处理较为复杂,提出将点与刀具干涉关系转换为点与截面上刀具椭圆轮廓二维位置关系,通过计算点离开椭圆的旋转角度确定无干涉理论旋转角,保证了精度。最后对算例生成的无全局干涉刀轨验证了算法的可行性。     

基于激光扫描和SFM的非同步点云三维重构方法

室外场景具有测量数据量大、扫描数据易重叠及建筑物表面信息复杂等特点,单靠激光扫描方法能够获得场景精确的深度信息,但缺乏颜色和纹理信息,利用从运动中恢复结构(SFM)方法可获得丰富的彩色信息,但重构精度不高,若将两种设备固定进行在线实时同步测量,易受到测量环境和系统制约不易实现。针对此问题,提出了一种基于激光扫描和SFM结合的非同步点云数据融合的三维重构方法。首先,提出利用手动选择控制点进行7自由度初始配准,再利用迭代最近点(ICP)算法对初始配准结果进行精确配准,最后利用最近点搜索算法将分布在经基于面片的多视图立体视觉(PMVS)算法优化后的SFM数据中的颜色信息与激光扫描的点云坐标进行融合。实验结果和数据分析显示,本文的方法能有效地将激光扫描与SFM点云数据进行融合,实现了室外大场景的三维彩色重构。     

用于弱纹理场景三维重建的机器人视觉系统

为了实现机器人在弱纹理场景中的避障和自主导航,构建了由双目相机和激光投点器构成的主动式双目视觉系统。对立体视觉密集匹配问题进行了研究:采用激光投点器投射出唯一性和抗噪性较好的光斑图案,以增加场景的纹理信息;然后,基于积分灰度方差(IGSV)和积分梯度方差(IGV)提出了自适应窗口立体匹配算法。该算法首先计算左相机的积分图像,根据积分方差的大小确定匹配窗口内的图像纹理质量,然后对超过预设方差的阈值与右相机进行相关计算,最后通过遍历整幅图像得到密集的视差图。实验结果表明:该视觉系统能够准确地恢复出机器人周围致密的3D场景,3D重建精度达到0.16mm,满足机器人避障和自主导航所需的精度。与传统的算法相比,该匹配方法的图像方差计算量不会随着窗口尺寸的增大而增加,从而将密集匹配的运算时间缩短了至少93%。     

多传感器信息融合的移动机器人定位算法研究

为有效降低使用单一传感器进行移动机器人定位时的不确定误差,提高机器人定位与建图的准确性和鲁棒性,提出了一种多传感器信息融合的移动机器人定位算法。基于激光RBPF-SLAM算法实现机器人同时定位与路标地图构建,运用图优化理论约束优化蒙特卡洛定位的位姿估计结果;通过双目视觉重建环境的三维点特征,针对视觉信息处理计算量大、跟踪精度不高的问题,研究改进基于ORB的特征点提取与四边形闭环匹配算法;利用因子图模型对激光RBPF-SLAM定位和双目视觉定位进行最大后验概率准则下的信息融合。仿真和实验结果表明通过上述方法可以得到比传统RBPF-SLAM算法及一般改进算法更高的定位精度,验证了所提方法的有效性和实用性。     

适用于管道内形貌检测的3D全景视觉传感器

管道内部缺陷种类繁多、检测困难且自动化程度低,针对这些问题,提出了一种适用于管道形貌检测的3D全景视觉检测方法。首先设计了一种获取管道内部全景颜色纹理信息的全景视觉传感器(ODVS),然后设计了一种能快速并高精度获得管道内壁深度信息的主动式全景视觉传感器(ASODVS),接着将这两种ODVS进行紧凑小型化设计,通过软件将全景3D测量数据与全景颜色纹理数据的快速融合,在对管道内功能性缺陷和结构性缺陷进行全方位自动分析和评估的同时实现管道内部三维建模。实验结果表明,所设计的ASODVS+ODVS能实时获取地下管道内部颜色纹理和几何信息的全景图像,配置在管道机器人上能在狭长管道内边行走、边检测、边识别和边重构。     

Quadric segmentation and fitting of data captured by a laser profile scanner mounted on an industrial robot

Applications like geometric reverse engineering, robot vision and automatic inspection require sets of points to be measured from the surfaces of objects and then processed by segmentation and fitting algorithms to establish shape parameters of interest. In industrial applications where speed, reliability and automatic operation is of interest a measuring system based on a laser profile scanner mounted on an industrial robot can be of interest. In earlier publications we have presented such a system and also a segmentation algorithm for planar surfaces using 2D profile data in combination with robot poses. Due to the data reduction offered by this approach the segmentation algorithm computes faster than algorithms based on 3D point sets alone. Encouraged by the results we have now developed a segmentation algorithm for two different quadric surfaces also based on 2D profiles in combination with robot poses. This paper presents the new algorithm together with test results and also an interesting observation that points to future work.     

桥门式起重机轨道检测系统

基于激光三角原理提出了一种用于桥门式起重机轨道检测的方法,并开发了适于此类轨道的检测系统。该系统主要包括轨道测量机器人、全站仪、三维重构计算系统。轨道测量机器人携带角隅棱镜沿轨道前进,全站仪实时追踪角隅棱镜的位置,根据记录数据重构出轨道顶面中心线的空间形状,进而计算出轨道的直线度,双轨平行度,轨道跨距等参数,以此为依据对轨道进行维修或者更换。该系统的测量精度可达±2mm,与原有检测方法相比,其检测效率提高约50％。     

Planar segmentation of data from a laser profile scanner mounted on an industrial robot

In industrial applications like rapid prototyping, robot vision, and geometric reverse engineering, where speed and automatic operation are important, an industrial robot and a laser profile scanner can be used as a 3D measurement system. This paper is concerned with the problem of segmenting the data from such a system into regions that can be fitted with planar surfaces. We have developed a new algorithm for planar segmentation based on laser scan profiles and robot poses. Compared to a traditional algorithm that operates on a point cloud, the new algorithm is shown to be more effective and faster.     

基于U曲线法的油气润滑ECT系统图像重建病态优化

采用U曲线法确定油气润滑ECT系统图像重建中的正则化参数,分析正则化处理后灵敏度矩阵的病态性;通过LBP算法和Tikhonov正则化算法分别对油气润滑ECT系统管道截面进行第一次图像重建;对第一次重建图像的灰度分布矩阵进行门限滤波阈值的优化,并对管道截面进行二次图像重建。结果表明:相较于L曲线法,U曲线法选取的正则化参数在削弱灵敏度矩阵病态程度方面的作用显著;第一次图像重建中,图像重建质量有较大改善;门限滤波阈值优化后的二次图像重建中,图像重建质量进一步提高。研究表明U曲线法确定的正则化参数和门限滤波阈值优化有助于提高油气润滑ECT系统的图像重建质量。