基于双目结构光的工件位姿检测方法

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明：视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

基于双目结构光的工件位姿检测方法北大核心CSCD

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明:视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

应用摄像机位姿估计的点云初始配准

基于摄像机位姿估计的数学模型,提出了一种检测摄像机位移前后目标图像特征点的方法,通过求解摄像机发生位移前后的相对位姿矩阵来解决应用视觉图像获得点云的初始配准问题。首先,介绍了摄像机位姿估计模型,包括本质矩阵、旋转矩阵以及平移矩阵;然后,介绍了SURF算子的特征点检测、描述和匹配的方法,在此基础上面向双目视觉和单目结构光系统,分别提出了摄像机位移前后目标图像SURF特征点匹配和深度估计模型;最后,分别进行双目视觉和单目结构光系统点云的获取、位移前后目标图像特征点检测匹配和深度估计实验,应用摄像机位姿估计模型求解旋转矩阵和位移矩阵,并对位移矩阵进行统计分析剔除粗差。实验中采用基于点云空间特征点和基于图像的方法进行对比,点云对应特征点均方误差缩小至12.46mm。实验结果验证了方法的可行性,表明本文的点云初始配准方法能较好地获得点云精确配准初值。     

基于PointNet++的机器人抓取姿态估计北大核心CSCD

为解决在无约束、部分遮挡的场景下对部分遮挡的物体生成可靠抓取姿态的问题,基于PointNet++网络改进了一种抓取姿态估计算法,该算法可直接从目标点云中生成二指夹具的抓取姿态。由于该算法降低了抓取姿态的维度,将抓取的7自由度问题转变成4自由度问题处理,从而简化学习的过程加快了学习速度。实验结果表明:该算法在无约束、部分遮挡的场景中,能够生成有效的抓取姿态,且较Contact-GraspNet算法成功抓取率提升了约12%,能够应用于家用机器人的抓取任务。     

基于双目视觉的机械手识别、定位、抓取系统研究

针对多类堆叠工件分类和提取三维位姿困难的问题,对随机摆放规则物体的机器识别、三维定位和自动抓取等方面进行了研究,采用一种基于MLP分类器的视觉算法实现了工件识别。利用识别结果选取合适的透视可变形模板匹配将堆叠工件与背景分离,结合双目视觉中的立体匹配、深度计算和坐标变换完成了三维位姿估计,通过Halcon和Visual Studio联合编程的方式,进行了工件识别定位抓取实验系统的软件开发,设计了实验平台,对矩形工件和圆柱体对象进行了位姿提取和抓取实验。实验结果表明:该系统具有较好的分类效果和较高的识别定位精度,可以满足机器人对工件的在线抓取需求。     

基于结构光辅助的网格候选点三维测量方法

光学三维测量技术是计算机视觉领域中最为活跃的研究主题之一.针对双目立体视觉三维测量方法中无纹理物体表面测量误差较大的问题,提出一种基于结构光投影辅助的网格候选点三维测量方法.设计灰度单调变化的锯齿波图案投射在被测场景中,有助于使三维网格候选点投影像点间的灰度差异最大化,依此提高系统的测量精度,实现了主动测量方法和被动测量方法的有效结合.通过3DS MAX和MATLAB软件平台下的仿真实验,验证了结构光辅助的网格候选点测量方法在计算精度上具有明显优势,且不会增加系统的复杂度,扩展了网格候选点三维测量方法的适用范围.     

基于双目视觉的地形三维重建

为克服传统接触式测量方法的缺点,更便捷更准确地获取地形信息,提出了基于双目视觉的地形三维重建方法。该方法对双目图像对进行了校正;并采用高效率高准确度的支撑点邻域扩展立体匹配算法获取空间点的三维信息;最后基于八叉树原理,采用曲率法精简点云,并结合改进的Delaunay三角剖分算法进行三角网格化,从而恢复地形三维模型。实验结果表明,采用本算法能够在1s内获得致密的视差图,将21841个点云精简到5463个(25%)仅用时0.7s,并且能在此基础上高效地完成三角网格剖分,实现崎岖地形的三维重建同时保留地形细节特     

基于区域点云的工件位姿计算方法

为了获取稳定可靠并具有代表性的特征点估计物体的位姿,根据实际工作环境采用背景差分法对图像上的物体进行图像位置粗限定,减少双目立体匹配所消耗的时间.对立体匹配获得的粗糙目标三维点云进行去噪优化处理,以获取可靠的物体三维点云集.根据点云的分布情况对目标物体进行三维的空间位置限定,获取独立物体的点云特征.通过区域点云密度分布...     

基于线结构光视觉的方形状物体位姿估计

工业生产制造领域存在大量的方形状物体,与之相关的机器人自动化作业需要获取方形状物体的位姿信息,为此提出了一种基于线结构光视觉的方形状物体位姿估计方法.首先搭建硬件系统并完成标定;然后采集图像进行处理并提取出能够表达方形状物体位姿信息的特征点,对这些特征点进行矩形拟合,获取位姿参数;最后对所开发的检测系统进行了测试评估实...     

一种基于结构光双目视觉的特征匹配算法研究

特征点匹配在图像检索、三维测量、模式识别等技术中起着重要的作用。使用MATLAB软件剪切图像并细化线结构光光线条纹。经理论分析SURF算法优缺点,提出了一种基于SURF算法特征点提取的改进算法。用C语言编写改进后的特征提取算法,通过MATLAB软件实验对比两种算法的特征点提取结果并且编写程序实现后期的特征匹配。实验表明:该算法基本满足双目视觉立体匹配的要求,对于线结构光三维测量技术具有重要的理论意义和实用价值。     

双目视觉检测钢卷内护角安装系统设计

针对国内外钢卷包装生产线钢卷内护角的安装工序普遍采用人工安装,在结构设计和控制系统设计的基础上设计一种基于双目视觉检测的钢卷内护角自动安装系统。以双目摄像头模组为图像采集模块;根据工况建立双目立体视觉模型对钢卷规格范围中任意规格的钢卷内护角安装点坐标提取方法进行重点研究;搭建钢卷位姿检测实验平台。从实验结果可以看出：钢卷在该平台经过图像采集和一系列图像处理流程后得到的钢卷安装点坐标和钢卷位姿角的理论值与实际值的误差较小,满足钢卷内护角的自动固定的精度需求。     

基于线结构光的焊缝位姿识别研究

为解决机器人在焊接时的焊接角度问题,提出了基于线结构光的焊缝位姿识别的方法.首先搭建了机器人视觉系统并完成标定,然后对采集的焊缝图像通过图像处理提取出了能够表达焊缝信息的特征点,并由几个特征点构建向量表达了焊缝角度信息,接着结合标定参数,计算出焊枪与焊缝之间的角度,得到了焊缝特征点的位姿数据,最后对离散的焊缝特征点进行...     

高铁钢轨的三维结构光检测及视角优化研究

为满足高速铁路对钢轨更为严格的检测要求,同时实现检测过程的高效与数据的智能管理,提出了一种新的钢轨廓形非接触检测系统。针对在双目结构光检测过程中人为选择的检测仪视角对钢轨检测数据的不确定性影响,基于投影仪和系统最佳测量范围两方面影响因素,提出了视角优化方法,确定检测设备位置参数,保证点云数据的完整性和准确性。通过实地检测与实验对比,证明该视角优化方法确定的检测视角可获得较理想的检测结果,较好地解决了人为选择视角得到点云数据的缺失和冗余等缺陷。     

单线结构光平行双目测量仪

根据人的眼-脑视觉成像原理,模仿人类双眼结构处理景物的方式,将两个CCD平行放置在线结构光激光器两侧,构造了单线结构光双目三维视觉测量装置,建立了测量系统数学模型,开发了数据采集和处理软件系统。对测量系统进行了标定,并进行实物测量及数据处理。实验证明该系统结构简便、性能稳定,在许多领域均具备应用价值。     

基于双目视觉的主从式机器人主手系统设计和研究

提出了一种基于双目视觉的主从式机器人主手系统,采用双目视觉技术实时识别并跟踪手柄的运动,同时测量其空间位姿。首先通过背景差分法检测出手柄,然后用卡尔曼滤波器对手柄的位置和速度进行预测,跟踪手柄的运动。在标记点的立体匹配中采用了特征匹配和区域灰度匹配相结合的方法,并引入唯一性和顺序一致性约束来剔除伪匹配,最终测罱出手柄的实时空间位姿信息。实验结果证明系统方案是可行的。     

基于单目结构光的手型、脚型三维轮廓测量系统设计

随着人们生活水平的提高,定制化产品也逐渐实现大众化。产品的三维参数快速精确获取是定制化产品的前提。基于结构光三维测量技术,搭建了用于手型、脚型三维轮廓测量的光机结构平台,实现了视觉旋转装置与测量对象的运动轨迹分开,保证了系统可以对测量对象无接触、简便地采集图像信息。另外,结合逆相机系统标定技术、条纹编码技术、三频外差解相技术、点云配准技术等搭建软件分析平台,集合了相机投影仪控制及标定、图像采集、三维重建,点云处理等功能。通过该软件平台可以快速进行系统标定和对数据图采集和处理,获取测量对象的三维点云数据,得到手模的三维轮廓信息。最后,进行了相机和投影仪标定实验、基于手模的三维重构实验。相机和投影仪标定的重投影误差分别为0.04和0.1像素,标定结果较好。系统标定参数结合解相得到的相位可以对手模的三维重构,不同角度重构的点云进行配准融合,得到完整的手模点云,实现了手模三维参数的获取。通过系统验证了所提出方案的可行性以及有效性。本方案为手型和脚型的定制化数据获取提供有效的解决方案,有望用于相关产品的生产制造。     

面向空中加油的视觉相对定位算法研究

现代化战争中,军用飞机的续航里程和作战半径是决定飞机战斗力的重要因素,现有加油方案多采用人工操作,对飞行员要求高、压力大。提出一种无合作标志的面向空中加油的视觉相对定位算法。算法使用人工智能模块,主要包括训练过程和使用过程。训练过程中利用带真实位置信息的加油机锥套图像和锥套的三维点云训练人工智能模型;算法使用时,由模型处理相机拍摄的锥套图像,得到图像中锥套的像素坐标,以及预测的锥套三维坐标;最后使用单目相机位姿估计算法得到锥套与相机坐标系的相对位置。实验室环境下,位置精度优于0.2 m,证明了此算法的可行性。     

基于双目视觉的机械零件位姿检测系统研究

针对机械零件搬运过程中需要精确测量零件位姿的实际问题,基于VS220双目立体视觉测量系统平台,设计了一种机械零件位姿检测系统。采用改进的Canny边缘检测算法,对零件边缘进行了轮廓识别,利用尺度不变特征转换方法进行了零件特征点的提取与立体匹配;利用立体视觉三维重建方法,建立了位姿检测系统数学模型,通过求解坐标系之间的转换关系,计算出了零件在传送带上放置的位置和方向等信息;通过VC++语言编写了位姿识别算法程序,实现了零件形状与位姿的识别;搭建了位姿测试系统实验平台,进行了测试实验。实验结果表明:系统能快速有效地对零件进行位姿检测,为实现零件的自动上下料提供了技术支撑。     

基于面结构光投影法的刀具几何参数测量研究

先进制造技术中高效切削刀具的几何形状与几何参数是否合理直接影响刀具的使用寿命以及产品的加工质量,针对这个问题,采用面结构光投影法对高效切削刀具的几何参数进行非接触式测量,此方法不仅能够准确重建出用于其几何参数测量的刀具三维模型,还能够直观反映刀具表面有无缺陷。主要对面结构光投影法基本思想、测量系统数学模型和点云旋转拼接进行了研究,并给出了刀具转台坐标系和CCD摄像机成像坐标系之间的变换关系,并对直柄麻花钻进行测量实验,实际结果测量结果的比较表明面结构光投影法可有效对刀具进行测量,且测量精度较高。