激光熔覆零件破损边界提取和形状还原研究

为了快速、准确地提取零件破损边界,直观地反映零件损伤的过程和结果并进行形状还原,更好地实现激光熔覆再制造修复复杂破损零件,依据激光熔覆的工艺特点对破损零件的缺陷类型进行划分,并对不同类型缺陷进行破损边界提取和形状还原方法的研究。提出基于曲率阈值和法矢夹角阈值的表面浅斑类损伤边界特征以及基于3-D比较的局部深层类损伤边界特征进行提取的方法,采用NURBS曲面对表面浅斑类损伤零件和传统曲面造型方法对局部深层类损伤零件进行形状还原,最后路径规划进行激光熔覆再制造修复实验验证。结果表明,此方法提高了其破损区域提取和还原的精度和效率,熔覆形貌波纹度较小。该研究为零件破损边界提取与形状还原在激光熔覆再制造的应用提供了理论基础。     

激光再制造中缺陷识别关键技术研究

损伤零件缺陷区域的三维形貌检测对于激光机器人加工过程的智能化具有重要作用。系统实现了激光加工中损伤零件的缺陷识别,并提出损伤零件缺陷边界检测的高精度算法。利用基于点特征面积累加的法矢法识别出缺陷边界点,生成初始缺陷边界,针对初始缺陷边界具有不连续、多分支、锯齿状边界等问题,提出了三步优化处理方法,最终得到封闭、高精度的损伤零件的缺陷边界。系统运行处理速度快,精度高,可完全满足工业零件智能化激光再制造的要求。     

单目光栅投影系统的多频外差相位补偿

在通过单目光栅投影系统形成零件三维点云的过程中，零件表面及边界的反光会造成部分点云突变，使后续重建及测量过程出现误差。本文提出一种相位补偿方法，结合物体轮廓信息和相位等级图的递增特性设计图像处理算法，实现对连续相位图的补偿，减小零件表面及边界反光导致的干扰。实验结果表明，进行相位补偿后能使零件表面及边界点云突变的数量减少，提高在零件表面及边界存在反光的情况下三维点云的重建效果。     

基于高密度点云的激光焊接缺陷智能在线检测（特邀）

铝合金薄板激光焊接经常会出现咬边、凹陷等表面缺陷。这两种缺陷由于尺寸小、特征相似,难以通过传统视觉在线检测手段对其进行精确分类和测量。开发了一种基于深度学习缺陷分类-点云测量的在线监测系统,利用高密度的点云数据对缺陷进行识别、分类与测量,解决了上述检测难题。通过双目结构光传感器采集点云数据;利用基于区域推荐网络的卷积神经网络模型识别和定位缺陷;在识别和定位缺陷后,通过对局部缺陷区域的点云进行操作,快速测量缺陷尺寸。高密度点云数据训练的模型的识别准确率达到93%,高于传统二维视觉传感器图像训练的模型。该检测系统在线检测允许的最大焊接速度为316.87 mm/s,适用于大多数激光焊接。     

单目视觉引导机器人在视觉检测中的应用

提出一种基于单目视觉引导的机器人工件表面缺陷检测系统。结合标定后的相机参数与物体成像以及物体虚拟投影建立的形状模板初步估计物体的位置姿态,物体的三维点云模型以一定位置姿态参数在虚拟空间的投影匹配零件真实位置姿态提升定位精度。定位完成后获取待检测位置的点云坐标及其法线方向经过坐标转换后提供给六轴机器人进行路径规划及机器人姿态控制,从而实现机器人辅助检测。     

双目线结构光测量系统三维数据融合研究

在物体的三维重建过程中,常用的立体视觉测量和激光三角测量都存在着一定的局限性,适用性不强。为了快速获取点云数据更为丰富、精度较高的三维模型,结合两种方法构建了一套扫描式三维测量系统。首先提出了基于HSV颜色空间的亚像素激光中心提取算法,实现了对激光中心的精确提取;然后借助立体视觉系统来获取空间标志点的三维坐标,并根据标志点的位姿不变性完成帧间点云数据的拼接,分别得到立体视觉系统和激光三角系统的整体三维数据;最后通过建立全局坐标系将两种测量方法得到的数据进行统一融合,获取了更加丰富的点云数据。实验证明,该方法可以快速获取物体表面丰富的三维点云数据,测量误差在1 mm以内。     

两组双目立体深度图像信息融合与三维重建方法

获取工件目标的三维表面与深度信息是实现工业立体视觉应用的关键。提出一种将两组双目视觉系统结合的方法,对随机摆放的工件多方位采集图像并获得目标工件的三维表面点云。其中,两组双目视觉系统会根据NCC(Normalized Cross Correlation)匹配算法产生工作场景的两组视差图像,去噪分割之后对其立体深度信息进行提取,其过程中采用一种新颖的转换方法,视差图像中每个坐标位置的像素点的x、y、z方向的立体深度信息分别被转化为X、Y、Z图像中对应位置上像素的灰度值。采样两组立体深度数据,共同储存到标定完成的参考相机坐标系中达到信息融合的目的。最后,对随机摆放的工业工件进行了的三维重构实验,对于相互重叠、高度、姿势都不同的零件能较好的恢复出清晰的轮廓点云,在重叠区域也能产生较为明显的层次性。     

空间非合作目标点云聚类配准方法

空间非合作目标的相对位姿测量问题成为空间在轨操作任务的重难点,通过对激光雷达获取的目标三维点云进行聚类,得到小规模、特征明显的聚类点云,有效提高了配准效率和精度。针对基于区域生长的聚类算法在对可视点云进行聚类时,特征相似部分无法聚类识别的问题,提出了二维图像优化三维点云聚类的方法。该方法将深度值信息和RGB颜色值建立数学映射关系,点云降维后,利用颜色梯度突变进行边界提取,将边界内的点逆向恢复到原始点云,最后将各个类的点云进行合并,得到易于识别的显著特征点云。实验结果表明,在配准角度误差为±5°的条件下,可有效地缩减点云规模并保留了显著特征,提高ICP配准算法的计算效率,为解决空间非合作目标相对位姿实时测量提供技术支持和解决思路。     

基于面阵三维成像激光雷达的目标点云分割技术

针对偏振三维成像系统的高效目标三维点云分割问题,提出一种多维信息融合的高效分割理念。系统采用高分辨率EMCCD相机作为面阵探测器,在一次成像过程中,可同时获得视场中的灰度图像以及三维点云数据。根据该成像特点,建立灰度图的像素坐标与点云数据像素坐标之间的点对点映射关系,结合粒子群优化算法的边缘分割方法,将灰度图中目标分割后的坐标信息映射到三维点云数据中,得到其三维点云数据。该方法将三维点云数据降维处理为二维图像处理,显著降低了计算复杂度,避免了点云数据误差对分割精度造成的影响。实验验证了多维数据融合目标三维点云分割方法的有效性。     

图像平滑在地面激光点云与影像融合中的应用

针对地面激光点云与影像数据的融合,提出一种利用激光点云反射强度值将点云三维数据化为二维图像信息,根据图像的情况从多种图像平滑的方法中利用图像客观质量评价选择出一种最优的图像平滑的方法将激光反射强度图像进行去噪,最后利用激光反射强度图像与影像的匹配得到同名点,从而实现激光点云数据与影像数据的配准达到数据的融合。     

基于主动式全景视觉的管道形变检测及重构技术的研究

研究了一种采用主动式全景视觉传感器(ASODVS)的 管道内表面全方位检测方法。基于主动式全景视觉检测原理, 提出了一种能够快速、全方位获取管道内壁三维点云信息,实现视觉检测管道形变的全景激 光视觉系统; 利用携带有ASODVS的爬行机器人进入管道内部,采集激光横断扫描全 景图像;然后根据提 取的管道内壁三维点云数据计算最小直径、横断面面积等几何特征判断变形率;最后根据三 维点云圆周分 布的特征,采用三角格网模型进行三维重构。实验结果表明:基于主动式全景视觉的管道内 壁全方位检测 系统能够实时完成对管道凹凸形变的检测和识别,并恢复管道内壁的三维形貌,具有较高的 检测精度。     

远距离目标的多基线立体视觉点云成像技术

双目立体视觉是机器视觉的重要分支之一,其通过直接模拟人眼观察和图像处理的方式来获取探测目标的深度信息。这种非接触式的测量方法具有速度快、精度高、操作简单等特点,但是对于不同距离的目标,特别是远距离目标难以获取深度信息。提出了一种基于多基线双目立体视觉的远距离目标三维点云成像技术,该方法通过可变基线实现对不同距离目标的点云成像。实验结果表明,该方法能有效探测500 m～4 000 m范围内目标的深度信息,实现三维点云成像,突破了双目立体视觉远距离三维成像的技术难点,同时形成的三维点云与激光三维成像雷达的数据格式一致,为未来激光三维成像雷达技术与立体视觉技术的点云融合,优势互补提供了借鉴。     

Light bottle transformer based large scale point cloud classification

With the rapid development of computer vision, point clouds technique was widely used in practical applications, such as obstacle detection, roadside detection, smart city construction, etc. However, how to efficiently identify the large scale point clouds is still an open challenge. For relieving the large computation consumption and low accuracy problem in point cloud classification, a large scale point cloud classification framework based on light bottle transformer (light-BotNet) is proposed. Firstly, the two-dimensional (2D) and three-dimensional (3D) feature values of large scale point cloud were extracted for constructing point cloud feature images, which employed the prior knowledge to normalize the point cloud features. Then, the feature images are input to the classification network, and the light-BotNet network is applied for point cloud classification. It is an interesting attempt to combine the traditional image features with the transformer network. For proving the performance of the proposed method, the large scale point cloud benchmark Oakland 3D is utilized. In the experiments, the proposed method achieved 98.1% accuracy on the Oakland 3D dataset. Compared with the other methods, it can both reduce the memory consumption and improve the classification accuracy in large scale point cloud classification.     

无人机自主降落过程视觉定位方法研究

为了充分利用连续视觉图像中3维空间信息, 解决无人机自主降落过程中的定位问题, 在稠密3维点云法和光流法定位原理的基础上, 提出了基于同物不同时图像像空间的定位方法。以理论推算、图形注释等方式, 通过求解单个像素点和整个图像移动变化情况, 将连续帧图像的形变、量变信息分解为无人机和参照物的空间相对运动信息, 并结合已知的参照物运动参量, 推算了无人机飞行位姿信息, 完成了无人机基于光学视觉图像的空间定位方法研究。结果表明, 该研究为视觉系统在无人机降落回收过程中独立实现空间定位提供了一定的借鉴和参考。     

基于主动式全景视觉的管道形貌缺陷检测系统

针对现有的管道缺陷检测技术不能同时对管道的形、貌缺陷进行检测与评估这一工程难题,在前期研究工作的基础上,设计了一种基于主动式全景视觉的管道内部缺陷检测系统,能够快速获取管壁密集点云的三维坐标,同时对内壁表面缺陷进行检测与评估。首先利用主动式全景视觉传感器（AODVS）实时获取内壁全景图像和激光横断面扫描全景图像,然后对管道内壁全景图像进行柱状展开、预处理和缺陷检测及分类等处理;然后对激光横断面扫描全景图像处理,计算管道内壁点云的三维坐标,进一步对管道缺陷部分进行定量分析,最后利用三维建模技术重构带有真实纹理信息的管道模型。实验结果表明:文中设计的检测系统能够对管道凹凸形变、孔洞、管壁裂缝、腐蚀等缺陷进行检测与分析,具有较高的检测精度,为管道内表面三维测量和重构提供了一种新的手段。     

激光制导武器目标光斑检测系统设计与实现

为了实现激光制导武器目标光斑检测系统对远距离的来袭激光光斑的捕获与定位,采用机器视觉检测技术设计并实现全数字化、实时、高精度的激光检测系统。系统针对CMOS探测器采集到的激光光斑图像,采用硬件实现改进的快速二维中值滤波算法进行图像滤波处理,最大类间方差算法进行灰度图像阈值分割,灰度重心法进行中心提取,实现了精确中心定位。实验验证和误差分析表明,该系统具有很强的抗干扰性及精确的坐标定位,坐标误差在1mm以内。     

载人潜水器的深海地貌线结构光三维重建

针对深海环境下通过视觉方法难以实现地貌的大范围、高精度三维重建的问题,提出一种基于蛟龙号载人潜水器的线结构光法深海地貌三维重建视觉传感器的设计方案。根据线结构光三维重建的原理,首先改进了Steger算法,实现了快速、精准的激光条纹中心线提取;然后利用直接标定法求解出地形特征的二维空间坐标,并克服了图像畸变对重建的影响;再将获得的二维点云与多传感器数据融合,跟随潜水器坐标实时计算偏移量,并根据传感器位姿变化对图像矫正,最终获得地貌的三维点云数据。根据重建原理设计了视觉传感器的软硬件系统,并搭建了实验模拟平台来验证方案的可行性。通过水下实验可以实现对模拟地貌的完整重建,精度达到96.9%,符合重建要求。     

三维点云重建混凝土结构裂缝定位与追踪技术的研究

混凝土结构裂缝是影响既有工程安全的病害之一，如何实现对混凝土结构裂缝的自动定位、扩展跟追，是降低混凝土裂缝病害破坏力、预防安全事故的主要问题。三维点云重建混凝土结构裂缝定位与跟追技术基于大数据技术，其可以通过无人机搭载的高分辨云台照相机获得目标图像集，然后通过优化数据集与三维重建流程，获得建筑结构点云模型并还原相机空间参数，最后通过视点定位算法，求得拍摄图片的坐标，并将图片与坐标相连接，以此将裂缝定位在点云模型中。检验表明，三维点云重建的模型能精准定位混凝土裂缝，并实现对裂缝的实时跟踪与观测。     

中值滤波在激光雷达点云数据预处理中的应用

为了研究3维激光雷达测量系统采集到的点云数据如何进行去噪处理,根据灰度图像中对灰度值进行滤波去噪的概念,采用改进的2维中值滤波方法对点云数据中的噪声点加以处理。基于激光雷达点云数据数据量庞大且存在噪声点特点,重点分析了改进2维中值滤波算法和点云数据信噪分离方法,并通过实验验证,得到了速度对比数据和滤波效果图。结果表明,利用改进后的2维中值滤波方法,速度明显得到改进,对激光雷达点云数据的滤波效果良好。