基于SURF+RANSAC的双目立体视觉目标识别与抓取

针对单目视觉处理简单、无法获取获取三维维空间数据的问题,提出一种双目立体视觉目标识别和抓取方法。结合SUR算法和RANSAC算法对图像进行匹配,以滤除图像中的"外点";利用仿射变换获取关键点信息及形心坐标,根据立体重建原理实现目标测距与定位,最终完成抓取任务。实验结果表明:采用距离辅助坐标定位法可以准确识别目标物体并获得距离信息,实现准确定位。     

基于正交双目视觉的研磨工具位姿引导方法

为解决Eye-in-Hand的自主研磨作业机器人在完全未知的非结构化环境中,能够感知作业空间的三维信息、识别作业空间中的目标及该目标与研磨工具末端的位姿等问题,提出一种基于正交双目视觉实时反馈研磨工具末端的位姿并引导其实时运动的方法。将视觉传感器的测量坐标系(待加工曲面坐标系)建立在对应的激光平面上,并将两个正交相机的光轴交点作为引导研磨工具末端位姿的参考点,从该参考点开始迭代逐步逼近实际加工点。对两个正交相机采集的图像进行处理,可以得到研磨工具末端在两个相机图像坐标系的位置和姿态,再对两组正交立体位置信息进行融合得到其三维位姿。实验结果表明:利用两个正交CCD相机构成的Eye-in-Hand结构能够实时反馈和引导研磨工具末端三维位姿,提供了通过机器视觉引导机器人进行待加工曲面轮廓研磨的解决方案。     

基于机器视觉三维激光线扫描系统的组成及应用

三维几何信息的获得是逆向工程中极为重要的一部分工作.本文讨论了一种基于计算机视觉原理的三维激光扫描测量系统的原理,组成,工作过程,精度分析和在工程实际中的应用.     

一种三维几何公差标注信息审查方法

为检查三维几何公差标注中存在的不规范和难以检测等问题,对几何公差的自动化审查方法进行了研究。对MBD(Model Based Definition)模型中的标注信息和几何信息进行提取和处理;采用混合式知识表达方法,将相关标准和知识等总结成审查规则;以基于规则的推理作为审查方式,并使用相关数据信息驱动推理,完成对几何公差信息的审查,并给出了三维几何公差自动化审查的总体过程。通过对3DDFM(Design For Manufacture)原型系统的继续开发,并以三维零件模型为实例,验证了该方法的有效性。     

基于主动视觉的焊缝成形尺寸测量和缺陷识别研究

为了实现焊缝成形质量的在线检测,建立了一个基于主动视觉的焊后焊缝成形质量检测系统,同时对整个系统最重要的部分-图像处理进行了深入探讨。在图像处理过程中,首先进行图像预处理;在特征提取部分,用质心法提取结构光中心线;然后用RANSAC算法来拟合焊接母材;用面积法来提取结构光中心线上的特征点。最后得到焊缝成形的几何参数,还可以利用视觉检测系统得到的三维信息进行焊缝三维形貌重建。试验结果表明,该焊缝成形质量检测系统的图像处理方法可靠性高、鲁棒性强、运算速度快。     

V型坡口几何参数及中心线的视觉检测

提出了一种基于双目立体视觉自动检测V型坡口几何参数及其中心线的新方法.首先搭建了一套坡口视觉成像系统并用其获取了坡口表面轮廓图像信息.其次,采用去噪、阈值分割、形态学等图像预处理方法获得了更加清晰的坡口区域特征图像.最后,采用立体匹配的方法获得了特征区域的三维坐标,建立了坡口几何参数及其中心线的提取方法.     

基于三维视觉技术的自动化焊接机器人路径规划及实例应用

基于三维视觉技术,提出了自动化焊接机器人的焊接路径规划系统。系统采用索贝尔和拉普拉斯算法两种图像处理技术计算三维扫描点云的边缘并删除离群值,获得了最小的扫描及计算时间成本。该系统还为用户提供了一个方便的界面,既可以修改焊炬取向,又能用于开发新的焊接任务。将三维视觉技术成功用于复杂几何形状工件的测量与焊接过程。     

基于激光双目视觉的接缝三维重建

设计研制了结构激光双目视觉传感器,该传感器加入结构激光,很好地解决了立体视觉中对应点的匹配问题.利用该传感器采集接缝图像,开发了图像采集处理程序,实现接缝图像处理和特征分析,识别并提取了二维平面上接缝特征点的图像坐标.采用MATLAB软件实现了三维重建标定算法,根据双目视觉原理,由接缝特征点的图像坐标计算出其三维坐标,进行了三维重建,抽取了接缝三维几何尺寸、坡口类型、角度、间隙等焊接特征信息.     

基于单目视觉的工业机器人拆垛系统设计与实验

基于单目视觉提出了工业机器人拆垛系统构想。为实现工业机器人视觉拆垛系统中机器人精确运动控制与工件位姿识别,运用D-H位移矩阵法建立了机器人运动学模型,得到机器人末端相对机器人坐标系的位姿信息。基于形状模板匹配法提出目标图像识别算法,得到各个目标图像在相机坐标系下的位姿信息;将三维视觉模型与机器人运动学模型进行信息融合,建立机器人视觉拆垛控制系统数学模型。基于CCD工业相机、4-DOF工业机器人搭建视觉定位抓取实验系统。通过对空间目标进行抓取的实验,验证基于单目视觉的工业机器人拆垛系统的正确性、精确性、鲁棒性。     

基于改进SIFT的无人机双目目标识别与定位北大核心

对无人机自主着陆系统中双目视觉采集到的地标图像进行了研究,在分析地标图像中存在模糊噪声以及大量背景干扰问题,提出一种基于改进SIFT算法的无人机双目视觉目标识别与定位方法。首先,采用基于OTSU与HSV的ROI算法对无人机双目图像进行目标识别与分割预处理操作,将目标准确识别;其次,针对双目视觉获取三维信息效率慢的问题,采用基于改进的SIFT算法对已识别的地标进行特征提取,生成二进制描述符,并采用局部敏感哈希算法对特征点进行稀疏匹配,提高目标特征匹配准确度及效率;最后,采用相似三角形原理计算每个特征匹配点的三维距离,获得无人机与目标之间的平均三维距离。实验结果表明所设计的算法相较于传统的SIFT算法更具有可行性和有效性。     

基于图像拼接的砂轮表面三维形貌图重构

为了实现大面积砂轮表面形貌的计算机视觉检测,本文利用视频系统从两个不同视角采集钎焊金刚石砂轮表面形貌,通过特征配准法找出两幅图像的特征点和匹配点,然后对图像进行拼接融合,最终得到拼接后的目标图像,实现了砂轮表面三维形貌图的有效重构。     

基于改进GWO-GRNN的管道焊缝三维重构测量

为提高双目相机不同位姿下焊缝的三维重构测量精度,提出一种基于立体视觉图像误差补偿的管道焊缝三维重构测量方法。采用改进灰狼算法（IGWO）优化广义回归神经网络（GRNN）补偿焊缝三维重构图像点的坐标误差。采用混沌映射、非线性收敛因子和最优记忆保存思想对GWO算法进行改进,通过8个标准测试函数进行仿真验证;利用优化后的GRNN模型对图像点坐标误差进行预测和补偿,计算三维坐标重构出焊缝点云,三维测量焊缝的焊宽、余高和长度。试验结果表明：该模型在双目相机不同的位姿状态下都能较准确地实现焊缝的三维重构,焊缝的三维测量相对误差在0.9%以内。     

基于计算机视觉的排爆机器人三维坐标计算

针对目前排爆机器人手动控制方式的不足,研究和开发了一种基于计算机双目视觉的排爆机器人三维坐标计算方法,并依此设计相应的控制系统,以实现排爆机器人的自动抓取。首先介绍排爆机器人机械结构设计,然后介绍计算机双目视觉的原理及其软硬件,最后抓取精度实验和分析,机器人自动抓取目标物时,误差小于2 cm,满足抓取任务的精度要求。抓取中,当手爪在机器人正前方时,误差最小,反之,当手爪在机器人正前方的上面或下面、左边或右边时,误差变大;同时目标位置愈近愈好,但由于机械手的视觉范围决定不能太近,否则可能抓不到,或无法使目标物在摄像头的视觉范围之内。     

基于固定位姿约束的双目相机标定研究

针对影响双目视觉系统精度的双目相机标定问题,提出一种基于数字图像相关法与固定位姿约束的双目相机标定方法。采用传统的相机标定方法对双目相机进行标定,得到双目相机参数初值;采用数字图像相关法提高图像点提取的坐标精度;通过添加固定约束关系,建立简化的优化目标函数,并对相机参数进行优化,得到高精度标定结果。实验结果表明：该方法可达到较高精度。     

基于视觉的工业机器人装配演示示教研究

针对工业机器人编程效率低下、智能化程度不高和人机交互性能弱等问题，提出一种基于视觉的工业机器人装配演示示教系统，该系统包括目标检测与中心点定位模块、装配动作分类识别模块和机器人动作执行模块。在目标检测与中心点定位模块中,提出一种目标物体中心点定位和机器人抓取方法，使用实例分割算法识别物体类别，通过掩码均值化处理和坐标转换计算物体3D姿态信息；在装配动作分类识别模块中，建立基于深度学习网络的动作分类识别模型，该模型的输入为装配动作视频帧，输出为动作分类标签；最后，机器人动作执行模块根据物体类别、物体3D姿态和动作分类标签等信息规划机器人装配动作，控制机器人执行装配任务。以轴孔装配为例，验证了上述方法的有效性，实现了基于视觉演示的机器人装配模仿编程，对机器人演示示教研究具有一定的参考价值。     

基于数字成像机理的齿轮疲劳试验方法研究北大核心

由于齿轮副啮合接触和内封装等特点,其疲劳强度的检测存在较大限制,尤其是对疲劳裂纹、轮齿折断等疲劳失效状态的监测大多采取间隔停机并拆解后检视的方式。整个过程耗时耗力,容易因人工主观判断和经验差异造成观测误差,而且无法感知齿轮早期疲劳阶段的微动疲劳特征。为此,基于双目视觉技术和数字图像相关理论提出一种面向齿轮疲劳强度试验的非接触式检测方法。通过双电机对拖驱动的方式搭建包含双目摄像头的减速机试验台,在齿轮上预制作高质量散斑进行疲劳试验,应用双目视觉方法采集全寿命周期的疲劳特征图像。通过图像匹配算法搜索跟踪轮齿上的目标区域,并分析计算得到区域内数据点的位移及应变等信息。结果表明:所提方法可以在无须拆装的情况下,实时在线监控齿轮疲劳试验过程并准确识别早期微小裂纹等疲劳失效特征,具有检测精度高、抗干扰能力强的特点,有利于提高试验效率,降低成本。     

卷积神经网络算法在工件抓取中的应用

为提高机械手臂夹取物件的准确率,提出基于深度学习法的3D视觉辨识与抓取系统。该视觉系统结合GPU和深度影像Open CV等函数库,分别进行影像拾取、深度数据运算、坐标转换、影像轮廓搜寻和卷积类神经网络模型训练等。采用YOLOv2算法判别目标物体的种类和中心点,并利用轮廓搜寻方法找出物体的角度信息,作为机械手臂操作目标点;通过坐标转换将相机坐标转为机械手臂坐标,由TCP/IP通信传至运动控制系统进行物件夹取。实验结果表明:不同位置的所有零件辨识准确率均在82%以上,抓取误差在1～4 mm内,符合工业生产的要求。     

基于机器视觉的UVW定位系统

面向工业装备对高性能运动平台的需求,开发一套基于机器视觉的UVW定位系统。提出一种基于机器学习的视觉系统标定方法,利用平台运动学分析得到的平台坐标与图像坐标的方程,建立UVW平台的逆运动学图像求解关系,用于求解目标坐标的控制量。完成了定位系统的机器学习视觉标定和双目视觉定位控制实验,结果表明:设计的UVW平台视觉标定方法简单高效,运动平台具有较高的对位精度,可以满足工业应用需求。     

红透山铜矿外围隐伏矿体三维定量预测

介绍红透山铜矿外围隐伏矿体三维定量预测的技术组合和方法体系。首先,借助三维可视化仿真环境,实现红透山铜矿的地表面、矿体、断层、地层实体模型的三维可视化。其次,将成矿信息场、地层形态场、断裂影响场、地球物理场等多元地学空间数据在统一的三维空间数据场构架下有效集成,实现了三维空间信息的综合研究和地学多专业的有机结合。其次,基于三维地质空间相关场分析,为三维定量预测提取定量指标集和建立预测模型。最后,使用三维定量预测模型对红透山矿外围的矿化位置与分布规律进行预测和评价,圈定找矿靶区。三维地质建模与可视化及三维地质空间相关场等技术的使用,为进行红透山矿外围隐伏矿体在三维空间中的分布及形态的定量预测提供支撑。     

基于编码结构光的角焊缝视觉检测

针对目前角焊缝外形检测方法中存在的缺点,提出了一种基于编码结构光的角焊缝外形尺寸检测方法,采用安装在机器人手臂末端的投影结构光视觉传感机构对焊缝进行测量.投影仪在测量位置向焊缝投射一幅伪随机编码彩色条纹图像与一幅用于彩色补偿的空白图像,通过彩色补偿消除焊缝表面彩色纹理信息对结构光解码的干扰,将补偿后的变形条纹图像恢复出焊缝表面三维数据,并通过几何关系计算出角焊缝的焊缝宽度、焊脚长度等尺寸参数.结果表明,基于编码结构光的角焊缝视觉检测方法能够实现角焊缝外形尺寸的非接触式高速测量,并且测量稳定性好,测量可靠度高,在焊缝视觉检测领域将会成为一种十分有效的方法.