适用于管道内形貌检测的3D全景视觉传感器

管道内部缺陷种类繁多、检测困难且自动化程度低,针对这些问题,提出了一种适用于管道形貌检测的3D全景视觉检测方法。首先设计了一种获取管道内部全景颜色纹理信息的全景视觉传感器(ODVS),然后设计了一种能快速并高精度获得管道内壁深度信息的主动式全景视觉传感器(ASODVS),接着将这两种ODVS进行紧凑小型化设计,通过软件将全景3D测量数据与全景颜色纹理数据的快速融合,在对管道内功能性缺陷和结构性缺陷进行全方位自动分析和评估的同时实现管道内部三维建模。实验结果表明,所设计的ASODVS+ODVS能实时获取地下管道内部颜色纹理和几何信息的全景图像,配置在管道机器人上能在狭长管道内边行走、边检测、边识别和边重构。     

基于机器人的管道内壁三维重建技术研究

该文主要研究根据排水管道的二维激光扫描信息重建其三维内壁图像的技术与应用。提出了携带二维激光扫描仪的管道机器人对管道内壁进行数据采集及处理的方案;探讨管道内壁的三维数据重建算法,即利用机器人在管道中相对于水平面的二维倾角信息和管道内壁点云的圆柱形几何特征来计算机器人在管道中的姿态,进而得到机器人坐标系相对于全局坐标系的变换矩阵,把不同视点的点云转换到统一的全局坐标系中,对点云进行匹配。实验验证了该文提出的管道三维重建算法的可行性,对于检测管道内部工况具有重要的理论与应用价值。     

三维点云特征的工件识别与位姿估计

针对工业机器人在抓取工件过程中需要识别和定位工件的问题,提出了一种基于改进法矢计算的点云局部描述符SHOT的三维物体识别与位姿估计的方法。首先,对三维扫描仪获取工件表面点云进行预处理和分割,得到用于匹配的工件点云模板数据集;其次,采用均匀采样算法提取特征点集,通过SHOT特征描述符对场景点云与模板点云提取的特征点进行点云局部描述;最后,利用Kd树建立初始对应对,引入3D霍夫投票机制通过点云局部坐标系各向量之间的转换关系完成工件识别,根据对应关系求解出初始变换矩阵。基于ICP算法进行精确配准,得到工件的精确位姿信息。实验结果表明:该方法与基于ICP算法进行对比,提高了配准精度,可以得到精确的位姿估计信息,为在机器人应用中工件定位抓取提供精确的位姿检测方法。     

基于自适应惯导辅助特征匹配的视觉SLAM算法

为提高视觉同步定位与建图系统的定位、建图精度,克服传统算法中特征匹配搜索半径为固定值导致视觉里程计在高动态运动时特征误匹配率高的问题,本文提出一种搜索半径自适应的惯导辅助图像特征匹配方法。该方法首先对双目相机左右两帧图像进行特征提取与匹配,并获取地图点三维坐标,然后通过预积分惯性测量单元的量测值预测相机位姿,再根据误差传播定律计算预测位姿的协方差,最后利用预测位姿将地图点投影至图像得到对应像素坐标,从而根据像素坐标中误差确定地图点最有可能出现的区域半径。实验结果表明,该方法可有效缩小特征匹配的搜索半径,显著提高图像特征匹配的准确度,使跟踪线程位姿精度提高约38.09%,系统整体位姿精度提高约16.38%。该方法可为每个特征点提供自适应区域约束,提高特征点匹配的准确度,进而提升系统位姿估计精度,构建更高精度的稠密地图。     

基于XTION的机器人室内三维地图实时创建

针对室内复杂环境中移动机器人三维地图创建问题,基于RGB-D相机XTION搭建机器人地图创建系统,提出一种利用视觉里程计和贝叶斯闭环检测实时创建三维地图的方法。在机器人操作系统(ROS)框架内,首先由移动机器人携带XTION获取环境三维图像经WIFI上传上位机,然后由上位机软件使用SURF算法对RGB-D相机图像进行特征点提取与匹配,接着采用视觉里程计进行机器人位姿估计,同时利用贝叶斯闭环检测消除累积误差,最后使用g2o方法对三维点云图进行优化并创建完整的三维地图。经室内环境实验验证,机器人地图创建系统创建了完整的室内环境三维地图,所描述室内物体轮廓比较清晰并与真实场景相一致,机器人位姿估计比较精确,验证了利用视觉里程计和贝叶斯闭环检测实时创建三维地图的可行性。     

基于双目立体视觉技术的轮式机器人位姿测量方法研究

为规划轮式机器人运动轨迹,需要获得轮式机器人在空间中的位姿,提出一种基于机器视觉软件Halcon9.0测量轮式机器人位姿的方法,利用机器视觉软件实现机器人图像实时采集、摄像机标定、特征点提取、坐标系变换、位姿转换实现机器人位姿的非接触式检测。试验结果表明采用机器视觉方法和采用陀螺仪检测得到的数据变化趋势吻合,验证了该方法可行性和可靠性。每次测量机器人位姿的时间仅需要678.089 ms,对实时测量运动目标位姿的非接触检测有参考价值。     

机器人杆件位姿估计与抓夹

杆件位姿检测与自主抓夹是爬杆机器人的一项基本技能,它能保证机器人离开地面后不掉落。结合图像和点云处理技术,提出一种基于RGB-D传感器的杆件识别与位姿估计方法。在彩色图像中根据杆件特征识别环境中的可抓夹杆件,并提取杆件的点云数据集,运用RANSAC算法估计杆件在相机坐标系下的位置和姿态;通过手眼转换关系,求取目标杆件在机器人基坐标系下的位姿。实验结果表明:杆件半径检测的平均误差为0.935 mm,杆件轴线向量检测误差小于2°,满足机器人的杆件抓夹要求。     

基于ASODVS的火炮身管损伤检测系统

针对火炮身管内膛疵病种类多、定性定量分析难和检测自动化程度低等问题,提出了一种基于ASODVS的火炮身管损伤视觉检测方法,既能视觉检测身管横截面几何尺寸又能获取和分析身管内壁表面缺陷,还能对身管内表面三维测量和重构。首先,通过高斯曲线法提取激光扫描全景图像中的激光中心点,并采用贝塞尔曲线对提取的激光中心点进行平滑处理;接着,根据ASODVS的标定结果解析出全景图像上身管内壁全景激光投射点的三维点云数据;进一步,根据定性分析中识别出来的疵病采用四连通域法标记损伤,进而求解该损伤部分的面积和深度,然后采用椭圆拟合法测量身管形变;最后用3D重构技术将定性定量分析结果进行融合,重构出火炮身管真实状态,实现身管窥膛"采集-识别-判定-重构"全过程的定性定量自动视觉检测。实验结果表明:基于ASODVS的火炮身管损伤检测系统能够快速检测出各种火炮疵病,并能精确解析出疵病所处的空间位置、大小及深度等重要信息,测量误差基本满足国标规定要求,为火炮身管修复及寿命预估等奠定了坚实的基础。     

基于视觉和扩展卡尔曼滤波的位姿和运动估计新方法

估计两参考坐标系之间的相对三维位姿和相对运动 ,对机器人导航、机器人装配、测量、跟踪、目标识别和摄像机定标来说是一个非常重要的问题。用八元数来表示摄像机和运动目标两坐标系之间相对平移和旋转 ,在假设运动目标的三维几何尺寸已知 ,且摄像机和运动目标之间的相对运动为匀速运动的情况下 ,由单个针孔摄像机获取运动目标的图像并测量其图像中的线特征点。由于旋转部分用四元数表示 ,状态转移函数是非线性的 ,测量函数由三维坐标变换和针孔摄像机模型所决定 ,存在严重的非线性 ,常规的卡尔曼滤波方法不适合 ,这里以扩展卡尔曼滤波方法作为数学模型 ,对状态转移函数和测量函数进行线性化后 ,对摄像机和运动目标之间的位姿和相对运动进行了估计 ,仿真结果表明 :该位姿和运动估计算法具有良好的收敛性     

基于机器人的对接位姿视觉测量系统标定研究

针对传统的相机内参矩阵和相机位置参数标定方法较为繁琐复杂且与相机内参标定互相割裂的痛点,本文设计了一种基于机器人的对接位姿视觉测量系统标定方法,利用采集得到的不同位姿关系下标定板图像以及对应的末端机器人末端执行器位姿数据,解算视觉位姿测量过程中涉及到的不同坐标系间位姿转换关系,一次性完成相机内参标定和相机位置参数标定....     

基于激光扫描和SFM的非同步点云三维重构方法

室外场景具有测量数据量大、扫描数据易重叠及建筑物表面信息复杂等特点,单靠激光扫描方法能够获得场景精确的深度信息,但缺乏颜色和纹理信息,利用从运动中恢复结构(SFM)方法可获得丰富的彩色信息,但重构精度不高,若将两种设备固定进行在线实时同步测量,易受到测量环境和系统制约不易实现。针对此问题,提出了一种基于激光扫描和SFM结合的非同步点云数据融合的三维重构方法。首先,提出利用手动选择控制点进行7自由度初始配准,再利用迭代最近点(ICP)算法对初始配准结果进行精确配准,最后利用最近点搜索算法将分布在经基于面片的多视图立体视觉(PMVS)算法优化后的SFM数据中的颜色信息与激光扫描的点云坐标进行融合。实验结果和数据分析显示,本文的方法能有效地将激光扫描与SFM点云数据进行融合,实现了室外大场景的三维彩色重构。     

地面三维激光扫描仪与外架数码相机间安置参数的高精度标定

提出了地面三维激光扫描仪与外置数码相机安置参数的高精度标定方案。首先,利用商业化近景摄影测量系统对相机内参数进行单独标定;然后,利用回光反射标志作为二维和三维匹配的同名控制点,对直接线性变换进行拓展应用,在算法迭代过程将内参数作为已知值对外参数进行求解;最后,根据相机数据采集特点确定其拍摄全景时多张影像之间的位置关系,对多张影像的外方位元素进行求解,从而实现全景点云与全景完整影像之间的映射。进行了实验测试,利用安置参数标定结果反求验证点像素坐标与真实测量结果之差验证了本文标定方法的精度和可行性。实验显示:点云与影像间的映射精度可达到1像素左右;相机拍摄全景获取的影像与全景点云可以实现正确映射,表明提出的标定方法正确,满足纹理贴图及将影像作为特征提取辅助信息的精度要求。     

基于主动式全景视觉的管道内部缺陷检测方法

针对管道内表面检测空间受限的约束以及同时需要检测管道内壁功能性缺陷和结构性缺陷等需求,基于主动式全景视觉检测原理提出了一种既能视觉检测管道横截面几何尺寸又能获取和分析管道内壁表面缺陷的管道内部全方位视觉检测方法。利用携带有主动式全景视觉传感器的爬行机器人进入管道内部,分别实时获取内壁全景图像及激光横断面扫描全景图像。本文重点介绍基于管道内壁全景图像的缺陷检测方法,对管道内壁全景图像进行展开、预处理并提取管道病害区域的几何特征,最后判定缺陷类别及危害程度。经本文方法获取的缺陷几何特征实验数据验证,管道内表面存在的较为普遍的裂缝、腐蚀缺陷几何特征差异明显：腐蚀缺陷的圆形度较大,而裂缝缺陷的圆形度趋于0;腐蚀缺陷的凸度普遍大于裂缝缺陷;裂缝缺陷由于弯曲程度不同其边界离心率变化率大,而腐蚀缺陷的边界离心率趋于1。实验结果表明：该系统能够有效提取疑似缺陷区域并计算各几何特征,可通过合适的阈值判定其所属类别,为管道内表面缺陷检测提供了一种新的手段。     

基于结构光的微细管孔内表面三维重建

介绍了一种适于空间曲线型微细管孔内表面三维重建的系统。该系统主要由管道机器人、形貌检测器和曲率检测器等部分组成。形貌检测器在管道机器人的带动下潜入管孔内部进行内壁截面图像采集，曲率检测器负责测量管孔中心轴线在检测器采样位置处的局部几何性质。对管道内壁截面图像进行适当的处理，结合形貌传感器的标定参数和结构参数，可以计算出在检测器局部坐标系下的管道截面三维轮廓；同时，根据传感器采样位置处的管道中轴线局部几何性质、管道机器人的前进步长，建立局部坐标系与全局坐标系的关系，从而将被测全部截面的局部坐标转化为全局坐标，实现管道内表面的三维重建。实验结果表明，利用该技术检测的管道内表面三维形貌与实际情况是一致的。     

基于传感器融合里程计的相机与激光雷达自动重标定方法

智能驾驶车辆行驶环境复杂多样,不可避免地导致传感器相对位姿发生变化,此时需要进行重新标定。针对智能驾驶车辆的相机和激光雷达发生漂移后的重标定问题,提出一种基于传感器融合里程计的自动重标定方法。基于点云投影和图像配准原理建立基准点云和观测图像之间的3D-2D点对,利用N点透视投影得到平移尺度不准的相机运动;通过融合估计的激光雷达运动来恢复准确尺度的相机运动,并将基准点云根据相机运动转换到观测位置下,与观测点云通过点云配准求解变换矩阵,使用时域均值滤波得到最终的外参矩阵。基于智能驾驶车辆试验平台进行室内外实车试验。结果表明所提出的基于传感器融合里程计的方法无需设置标定板,不受环境和数据特征限制,能够实现相机和激光雷达的精确重标定,对传感器漂移具有较高的鲁棒性。     

潜入式微细管道机器人的全程定位方法

提出一种潜入式微细管道机器人的全程定位方法,设计了基于PSD位置敏感原理的曲率传感器及其检测系统.结合机器人移动参数及检测的初始条件,运用管道机器人全程定位算法在全局坐标中描述了管道机器人的空间位置.     

基于点云三维重建技术的甲状腺超声穿刺三维导航研究

设计了一种基于超声自动扫描机器人的甲状腺点云三维重建系统,并与甲状腺超声截面穿刺机器人系统相融合,实现并验证了一套甲状腺超声穿刺三维导航的软硬件方案.通过甲状腺自动超声扫查机器人获得了１组带有准确空间位姿信息的甲状腺超声图像,并且通过传统图像算法和深度学习方法分割出甲状腺组织的区域.此后通过点云重建和空间重建方案获得了甲状腺模型,并将超声模型与CT扫查模型及机械臂模型进行空间配准和数据融合,依此在软件界面为医生提供了穿刺手术的多视角三维空间信息,在减轻手术医师负担的同时提升了穿刺手术的精准度和成功率.通过实验分析了扫描控制算法和三维重建算法的可行性和稳定性,并验证了该三维导航系统的导航空间精度和响应速度.     

基于DLP数字微镜的结构光三维扫描系统

为了提高现代化生产中的效率和满足三维扫描的需求,设计了一种能够准确提取物件表面三维轮廓信息的扫描系统。系统采用结构光三维成像方法,先通过普通白光将光栅投影到被测物体表面,利用工业相机采集变形光栅图,再根据变形光栅图像中的灰度值变化,用傅里叶变换轮廓法解调出三维坐标信息。实验结果表明,使用傅里叶变换轮廓法重构可获得效果理想的三维点云,其为三维轮廓扫描提供了实验方法,同时也为提高点云精度提供参考。