基于双目视觉的工件空间定位方法研究

本文基于双目视觉原理,设计实现了一种对特定工件空间定位方法。首先对双目视觉系统进行标定,根据标定结果进行图像矫正,使用基于区域的立体匹配算法求取视差图,结合特征点对应视差值和标定结果对图像进行三维重构,获得工件表面的高度位置信息;根据工件特征,通过拟合获得的工件一组同轴圆的圆心三维坐标,确定工件在摄像机坐标系下的位置和姿态,实现工件的空间定位。     

基于双目视觉的带圆特征工件空间定位研究

针对空间中带圆形特征工件定位问题进行研究,对图像进行椭圆拟合并根据双目视觉系统三维重构结果,基于几何关系对圆特征工件进行空间定位,获得工件的空间位置。首先建立虚拟椭圆投影模型,获得投影椭圆和虚拟椭圆的对应关系。然后建立虚拟椭圆锥面,使用旋转平面在椭圆锥面中截得曲线,计算圆面的姿态。最后根据三维重构结果,解决圆面定位的二义性问题,获得空间圆面准确的位姿。实验结果表明,该方法能够实现对带圆特征工件的准确空间定位。     

基于双目视觉的六自由度工业机器人控制系统研究

目前机器人视觉系统正越来越广泛地应用于视觉检测、视觉引导和视觉装配领域。为了使机器人能够快速准确地识别、检测、抓取工作台上的工件,该文设计了一套双目视觉的六自由度工业机器人控制系统。文中以张正友摄像机标定法为理论依据研究双目视觉合成技术,利用MATLAB摄像机标定工具箱分别获取左右摄像机的内外参数;通过建立机器人用户坐标系、摄像机坐标系以及世界坐标系实现了空间坐标转换;由OpenCV图像处理算法获得工件坐标位置,控制系统驱动机器人实现工件抓取。     

基于超分辨率特征融合的工件表面细微缺陷数据扩增方法

针对工件缺陷检测中的表面细微缺陷难以检测问题,提出一种基于超分辨率特征融合的数据扩增模型。该模型由数据层(Data)、超分辨率特征提取与样本修复层(SR-Re)和数据扩增层(M-A)3层结构组成。Data层完成样本划分,并以缺陷特征像元占比小于0.333%的样本作为细微缺陷数据输出;SR-Re层采用双路结构并行处理输入数据,分别完成对输入图像数据的超分辨率特征提取与样本修复;M-A层通过对超分辨率特征和无缺陷样本进行泊松融合实现样本扩增。该模型重点解决了由于图像特征不明显导致工件表面细微缺陷难以识别、检测模型难以构建与工业检测困难的问题,通过扩增细微缺陷样本提升了缺陷检测模型的准确率。最后通过对5类铝型材样本进行实验,验证了该模型的有效性与可行性。     

基于双目结构光的工件位姿检测方法北大核心CSCD

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明:视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

基于双目结构光的工件位姿检测方法

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明：视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

柔性装夹机器人工件视觉定位系统设计

针对智能制造平台的需要,建立了基于双目立体视觉的柔性装夹机器人工件定位系统。采用GrabCut算法对采集图像进行图像分割获得目标工件图像;进一步基于SURF特征和极限约束实现工件立体匹配;最后基于视差测距法算法求取目标工件的三维坐标,实现工件的定位。定位误差实验结果表明,定位平均误差为0.276mm,能满足柔性装卸机器人对目标工件的抓取要求。     

基于双目立体视觉的齿轮端面高度测量方法

为了实现齿轮端面高度的高精度非接触式测量,提出基于双目立体视觉的齿轮端面高度测量方法。创新性地使用可滑动固定基线距离的单目CCD相机代替传统的双目相机获取齿轮双目图像。在获取双目图像后,通过双目相机标定实现齿轮图像立体矫正。基于改进的SGBM算法对矫正后的双目图像进行立体匹配,获取视差图和相机坐标系下平面三维坐标点,对上下平面的三维坐标点进行最小二乘拟合,从而获取上下平面的深度信息,上下平面深度相减即可实现齿轮端面高度的测量。使用直齿轮进行了视觉测量实验,实验结果表明,提出的测量系统及方法具有较高的精度和稳定性。     

基于双目视觉和声阵列的声学摄像机的开发

基于双目视觉技术和阵列测量方法设计实现了一种声学摄像机,可以实现声场的动态视频可视化.基于波束成型原理,利用十字阵列实现空间声场的动态测量,构造空间指定位置的二维声场云图.利用双目立体视觉技术,实现被测空间的空间位置定位,与通过声阵列方法获得的声场图像建立统一的时间空间坐标系,实现声场图像和视频图像的融合,实现空间声场的视频可视化,达到准确、直观地进行声源定位和显示的目的.     

采用光学定位跟踪技术的三维数据拼接算法

为了实现大型自由曲面的三维面型测量,提出了采用光学定位跟踪技术的数据拼接方法。平面靶标作为中介,固定在测量系统上,靶标上的特征点在测量坐标系中的坐标通过中介坐标转换法获得。利用双目立体视觉构建跟踪定位系统,并以跟踪坐标系为全局坐标系,获取平面靶标上特征点的三维全局坐标,求得测量坐标系到全局坐标系的转换矩阵,将测量传感器在不同位置下所测的各子区域的三维数据统一到全局坐标系下,完成大型自由曲面的全局测量。对平面靶标上100个点进行两次测量,实验结果表明：单次测量精度为0.08mm,拼接均方误差小于0.237mm。该方法操作简单、可行,能满足一般的精度要求。     

基于深度学习的表面缺陷检测技术研究进展

随着计算机视觉技术的快速发展,基于深度学习的表面缺陷检测技术实现了爆发式的应用,并逐步成为了主流发展方向。基于深度学习的缺陷检测技术可以近似为计算机视觉任务中的分类、检测、分割等任务,其主要目的是找出物体表面缺陷的类别和所在位置,相较于传统图像处理方法,深度学习在特征提取能力和环境适应能力上优势明显。以缺陷数据标签类型为依据,对近年来基于深度学习的表面缺陷检测技术进行梳理划分,总结目前技术的优点与不足,重点阐述了监督学习下的三种缺陷检测方法。探讨了表面缺陷检测技术面临的小样本以及不平衡样本等关键问题：对于小样本问题目前有结构优化、数据增广、迁移学习等解决方法;针对不平衡样本问题,介绍了近年来热点的无监督、弱监督与半监督学习模型。随后介绍了常用的工业表面缺陷数据集并展现了近年来提出的算法在NEU数据集上的应用效果。最后对进一步的研究工作提出展望,希望能给缺陷检测研究提供有意义的参考。     

基于DSSD模型的机械加工件表面缺陷检测研究

针对机械加工件表面缺陷检测问题,对工件表面缺陷种类、缺陷位置进行了研究,对深度学习中的目标检测算法进行了归纳分析,提出了一种基于DSSD模型的机械加工件表面缺陷检测方法。该方法首先利用扫描电子显微镜获取了不同工件、不同位置的表面缺陷图像,建立了工件表面缺陷数据集,并对数据集进行了扩充;然后将DSSD网络模型反卷积模块的网络层数进行了简化,从而降低了计算复杂度;最后利用简化后的DSSD模型完成了对数据集的训练和测试。研究结果表明:DSSD模型的检测效率高于YOLO、Faster R-CNN和SSD这3种模型,能够更准确、快速地检测工件表面缺陷,为实际工业场景下的缺陷检测提供了新的思路。     

高速立体视觉与机械运动异常动作三维检测

建立了高速立体视觉系统,实现了高速周期性机械运动的500帧/秒实时检测,可以对高速运动中瞬间发生的异常动作进行智能检测,并且自动保存该时刻的高帧率图像.为保证高速处理,提出了利用周期相位提取理论创建特征样本库的方法,建立了2套图像与特征样本空间;同时提出了双目高速视觉实时检测算法,可以在2 ms内同步完成双目相机的图像匹配、异常动作检测和自动录像功能.为计算异常动作的空间位置,利用双目立体视觉计算异物的三维运动轨迹.实验使用缝纫机的机械部分模拟约12 Hz的高速周期性机械运动,本系统可完成双目视觉的实时检测和三维轨迹追踪,结果证明了高速立体视觉系统和检测算法的有效性.     

采用立体视觉实现子孔径拼接测量的工件定位

为了实现大口径光学元件的子孔径拼接干涉测量,提出了采用立体视觉进行光学元件位姿测量的方法,建立了基于双目视觉的子孔径拼接测量系统。介绍了圆形子孔径拼接干涉测量的原理,基于齐次坐标变换分析了其对工件定位的要求;引入了立体视觉辅助测量系统,建立了通用测量模型,利用双目视觉获取不同子孔径测量时与工件刚性连接的特征点的三维全局坐标,在完成全部子孔径测量后利用四元数法求取各子孔径相对于全局坐标系的转换矩阵,然后利用优化拼接算法将各子孔径数据统一到全局坐标系下,完成大口径光学元件的全局测量。最后利用该系统实现了对口径为150mm平面和100mm球面的检测。实验结果证明,在本系统中,立体视觉系统平移定位精度优于0.1mm,转动测量精度优于0.01°,可为优化拼接算法提供一个有效的初始值,该方法能够快速给出各子孔径间的相对坐标变换且不产生误差累积方法简单且可靠。     

采用立体视觉的子孔径拼接测量工件定位

为了实现大口径光学元件的子孔径拼接干涉测量,提出了采用立体视觉进行光学元件位姿测量的方法,建立了基于双目视觉的子孔径拼接测量系统,对该系统的数学模型、测量原理以及基于四元数法的位姿变换矩阵求取方法进行了研究。首先,介绍了圆形子孔径拼接干涉测量的原理,并基于齐次坐标变换分析了其对工件定位的要求,接着引入了立体视觉辅助测量系统,建立了其通用测量模型,利用双目视觉获取不同子孔径测量时与工件刚性连接的特征点的三维全局坐标,在完成全部子孔径测量后利用四元数法求取各子孔径相对于全局坐标系的转换矩阵,然后利用优化拼接算法将各子孔径数据统一到全局坐标系下,完成大口径光学元件的全局测量。最后利用该系统实现了对口径为150mm平面和100mm球面的检测。实验结果证明,在本系统中,立体视觉系统平移定位精度优于0.1mm,转动测量精度优于0.01度,能够给优化拼接算法提供一个有效的初始值,且该方法能够快速给出各子孔径间的相对坐标变换且在其视场范围内不产生误差累积,方法简单实用,稳定可靠。     

基于单幅图像的三维视觉测量与缺陷检测技术研究

研究了一种基于明暗恢复形状的三维视觉测量方法,可以通过单幅灰度图像获取表面三维形貌信息,进而对工件表面加工质艇或缺陷进行检测.本文采用了轴承表面质量进行检测分析,实验证明该三维测量方法能够精确获取工件表面的深度信息,并可以检测出轴承工件的表面缺陷区域的深度信息.同时,该方法具有操作简单,硬件成本低,处理速度快,精度较高的特点,能够用于工业在线检测.     

应用SVM算法的相位—三维坐标标定方法

在采用光栅投影轮廓术的立体视觉方法对目标物体重构过程中,关键的步骤就是求得目标物表面特征点的相位与三维坐标的映射关系。通过对单目相机与投影仪组成的视觉系统建立模型,并对相机坐标系与投影仪坐标系进行空间解析,可得空间中任意一点在图像中坐标(u,v)、绝对相位θ与其在相机坐标系下的三维坐标(xc,yc,zc)存在复杂的非线映射关系。提出基于SVM算法的相位—三维坐标标定方法,用带有圆形标志点的平面标定板进行SVM回归模型的样本采集与训练。并通过对测试集回归预测的数据与实际测量中的数据进行对比,分析实验结果显示该标定方法确实可行,具有较高的标定精度。     

基于多元回归的人体动态视觉定位方法

提出了一种低精度视觉设备布置环境下的单目视觉人体动态定位方法,通过构建的人体定位多元回归预测模型,建立人体从2D图像空间到3D位置空间的映射关系,无需对视觉相机进行内外参数标定。首先,采集人体的2D图像序列和3D坐标位置序列,构建时间同步的视觉人体定位样本集;其次,通过人体骨架检测算法提取样本集中2D图像的人体骨架信息,进而选取并构建适用于人体定位的关键特征;然后,训练基于多元回归的人体定位模型,采用基于L_1惩罚项的嵌入型特征选择方法和K-fold交叉验证方法,在模型训练过程中实现特征选择和超参数估计;最后,对获取的人体定位模型进行定位误差评估,实验结果表明模型的均方根定位误差为2.95 cm,验证了所提方法的可行性及有效性。     

接触式交互感知的人体三维坐姿姿态估计

针对视觉姿态估计方法受覆盖遮挡等干扰,提出一种基于座椅面压力图像的人体三维坐姿姿态估计方法,建立坐姿时 座椅面体压分布与人体三维姿态之间的跨域联系。 设计了一套基于压力-视觉的坐姿训练系统,将阵列式压力传感器嵌入在座 椅面中感知坐姿变换,利用时间戳实现压力图像和双目视觉图像的同步匹配。 采取双边滤波消除压力图像的尖峰噪声;依靠 OpenPose 姿态估计、三角测量等手段从双目视觉图像中提出 19 个三维关键点;为提高姿态估计精度,提出随机梯度下降最小化 损失函数的方法来优化三维关键点坐标,并利用 3D 高斯滤波器进一步生成 3D 关键点置信度图。 设计一个基于多层卷积神经 网络的压力-视觉跨域深度学习模型,以连续的多帧压力图像作为模型输入,包含三维关键点坐标及其置信度图的 3D 姿态估计 结果作为监督对模型进行训练。 算法依靠椅面上的阵列传感器接触感知坐姿时的压力分布,就能够准确的估计包含 19 个人体 关键点的三维坐姿姿态,在验证集上测试,19 个关键点平均误差 9. 7 cm。     

基于PSO改进BP神经网络算法的金属表面缺陷分类

为了实现金属工件表面缺陷在线检测,利用CCD传感器和图像处理技术,对金属工件表面孔洞、划伤和壳状凸起等缺陷进行特征提取与分类。采用自适应阈值分割法对预处理图像进行缺陷特征分割,运用BP神经网络建立对样本的缺陷特征向量和缺陷分类结果的网络预测模型,为了提高网络模型的精确度,采用PSO算法改进BP神经网络的权值和阈值,通过实验样本验证和对比BP和PSO-BP模型的准确率和平均误差,试验结果表明基于PSO-BP算法的金属表面缺陷分类准确率达到85%以上,获得了更优的分类效果。