基于TOF相机的堆叠产品分拣系统

针对工业生产线的堆叠矩形物品的识别与分拣问题，设计了一套由TOF(time of flight)相机、并联机器人与夹具等组合而成的产品分拣系统。采用一种基于深度图与RGB图结合的三维矩形检测算法，实现堆叠物品的识别与空间位姿的计算。运用机器人定位，通过简易的手眼标定法，对算法进行验证。最后，结合视觉系统与机器人控制系统进行抓取测试。通过不同数量下反复抓取的实验，检测该系统的分拣能力。     

基于TOF相机的靶标识别与位姿测量系统设计

设计了以激光为驱动光源的TOF相机嵌入式系统,采集灰度图像和深度图像对合作靶标进行实时检测识别、匹配,并求出目标物体的位姿信息。所使用的靶标为圆形靶标,采用经典的阈值算法,提取靶标的形心坐标以及计算圆心率作为靶标识别的条件,使用经典的确定性退火算法完成靶标配,得到两组三维坐标值,利用SVD方法求解位姿数据。在实验中,利用TOF相机解算的姿态角度精度能够达到0.13°,位置平移精度有0.6%,能够准确识别靶标并且计算位姿,验证了此TOF相机用于交会对接、SLAM等领域的可行性。     

一种基于TOF相机与CCD相机的联合标定算法研究

针对基于Time-of-Flight(TOF)相机的彩色目标三维重建需标定CCD相机与TOF相机联合系统的几何参数,在研究现有的基于彩色图像和TOF深度图像标定算法的基础上,提出了一种基于平面棋盘模板的标定方法。拍摄了固定在平面标定模板上的彩色棋盘图案在不同角度下的彩色图像和振幅图像,改进了Harris角点提取,根据棋盘格上角点与虚拟像点的共轭关系,建立了相机标定系统模型,利用Levenberg-Marquardt算法求解,进行了标定实验。获取了TOF与CCD相机内参数,并利用像平面之间的位姿关系估计两相机坐标系的相对姿态,最后进行联合优化,获取了相机之间的旋转矩阵与平移向量。实验结果表明,提出的算法优化了求解过程,提高了标定效率,能够获得较高的精度。     

基于双目立体视觉的机器人定位系统设计与实现

针对传统工业机器人预先示教或单目视觉引导应用的局限性,提出一种基于双目立体视觉的机器人定位系统设计,获取目标物体在空间中的三维信息。该系统设计基于ABB机器人执行系统,使用TCP触碰标定板的方式完成双相机的标定,采用SIFT斑点算法获取工件的特征,结合Opencv3.4.1库,基于图像特征点对左右相机获得的图像进行立体匹配,得到物体的三维点坐标,引导机器人实现抓取。     

基于散斑结构光编码的三维人脸重建方法研究

三维人脸信息获取通过三维相机和三维人脸重建算法进行三维人脸建模。真实环境中三维重建方法往往存在匹配误差较高、表面粗糙等问题。针对三维人脸重建中的问题设计一套三维人脸重建算法用以提高三维重建效果,通过向人脸投射散斑图案增强人脸纹理,改进ZNCC算法生成平滑的三维人脸模型。通过仿真实验验证了该算法可以得到较高精度的平滑三维人脸模型。     

激光探测器光斑质心算法硬件设计

针对计算机在接收工业高清相机通过图像采集卡传输的图像数据进行信号处理运算的低速与单一性,设计一款相机控制器,该控制器在设备端与相机通过Camera Link电缆连接,利用可编程逻辑(FPGA)进行图像采集和算法实现,将原先运行于计算机的算法移植到该设备中,处理完成的数据通过以太网发送给计算机。与原始方法相比,该方法充分利用了FPGA对信号的高速并行处理能力,能够完成每秒300帧图像传输的同时,实时提取每帧图像的质心坐标供计算机使用,对计算机的配置不需高要求。该方法为控制接收多台相机数据并同时进行信号处理提供了有效途径。     

基于双目视觉的小场景三维轮廓提取

为实现机器人移动过程中自主避障及轨迹修正,研究了小场景内基于立体视觉的环境信息的三维重构技术。用MATLAB双目相机标定工具箱对相机进行标定,SGM算法计算出相机左右视图的视差图,三角测距原理求取场景的三维点云信息。为适当简化环境参数,提出了基于二维轮廓图的三维轮廓提取方法,并借助模板匹配算法验证三维重建的准确性。在MATLAB环境下进行试验,结果表明:使用的方法比较准确地实现了小场景的三维轮廓的提取,说明提出的方法可以为机器人移动及其路径规划提供相应参考。     

一种基于工业相机的距离测量系统

基于双目视觉的基本原理,运用视差法,设计了一个距离测量系统,该系统通过两台高精度数字工业相机,能对一目标距离进行检测。系统首先通过工业相机获取图像,利用标定算法对工业相机内部参数进行标定,之后选取目标点输入并进行距离测算,最终输出目标点距离结果。实验结果表明,该系统能够较好地完成对物体的非接触式测量。     

基于机械臂的化学物品定位与分类

针对化学实验场景下深度相机难以探测试管等透明物体距离,继而引起机械臂难以获取化学试管在空间中的三维坐标的问题,提出通过改进的深度学习算法YOLOv3 Tiny检测试管上的贴纸标签以获取透明化学试管的三维空间坐标;针对不同化学试管无法分类的问题,提出通过深度学习算法CTPN+BLSTM+CTC Loss识别标签上的文字信息对试管进行分类。本文采用深度相机、单目相机与搭载ROS系统的六轴机械臂为实验平台,在TensorFlow上训练化学标签检测模型与文字检测识别模型。通过在机械臂搭载的树莓派上的ROS系统进行Python编程对贴有不同的化学标签的化学试管进行抓取实验,结果显示该方法对贴有标签的透明试管具有较高的识别率及定位准确率,可以实现机械臂抓取装有不同物质的化学试管。     

基于多目视觉的变形钢板三维测量方法

提出了一种使用4个相机测量变形钢板三维形状的方法;在没有纹理的钢板上画一些点,使用4个相机同时拍摄钢板;利用边缘检测算法找出钢板的边缘,利用特征点提取算法提取出4个图像中钢板上的特征点,并找到4个图像上精确的特征点匹配关系,然后测量出这些特征点的三维点;最后,以这些三维点为种子点向外区域增长,从而得到钢板的三维形状;实验对变形钢板进行三维测量,得到了钢板的精确的三维形状,结果验证了该方法的有效性和可行性。     

一种基于校正误差的立体相机标定算法

立体相机的标定是一个精确求解各个相机内参数以及相机之间关系参数的过程.它是三维重建的基础,其标定精度的好坏直接影响立体重建的结果.为此提出了一种使用校正误差作为代价函数的立体相机标定算法.该算法首先使用传统的基于重投影误差的方法对单个相机的内参数进行标定,然后利用校正误差完成对相机之间关系参数的标定求解.由于校正误差的计算只与相机内参数以及关系参数有关,可以避免在标定过程中使用难以精确标定的相机外参数.实验结果表明本算法能够有效的提高立体相机标定的精度.     

用飞行时间相机优化可视外壳的实时三维重建算法

在基于图像的三维重建领域中,基于轮廓或立体匹配的实时三维重建算法精度很低,而高精度的三维重建算法需要像素级能量最优化,很难做到实时.针对这个问题,提出一种用飞行时间相机拍摄得到的深度图优化可视外壳方法的实时三维重建算法.首先使用一种简化的深度标定方法对深度数据进行误差修正;然后根据两种相机得到的数据构造粗糙网格模型;最后进行局部搜索匹配,对模型表面进行像素块的优化.实验结果表明,该算法比同类算法的实时性高,且能够有效地处理模型表面的凹多边形,比可视外壳算法的精度有较大改善.     

智能相机的设计研究

提出了一种整机采用DSP＋FPGA＋AVR结构，基于低级算法和高级算法相结合的智能相机，设计制作了实验用样机。并用其对钢珠缺陷进行了检测，对该相机的性能进行了较为系统的测试和研究，提出了如何改进结构和算法以提高性能。实验证明该相机的正确识别率较高，相机的设计方案有广泛的适应性，对软件的结构和算法稍作修改即可应用于不同的工作场合。     

大功率高频脉冲LD驱动电源设计

光子飞行时间测距成像相机(Time of flight Camera,TOF camera)是一种实时三维成像的相机,该相机以其小体积、低功耗等特点引起相关领域广泛关注.由于TOF相机是一种主动照明成像设备,受限于照明驱动而难以远距离应用.本文针对TOF相机高功率、高频率照明驱动问题,设计了一种模块化激光二极管(Las...     

智能相机的设计研究

提出了一种整机采用DSP FPGA AVR结构,基于低级算法和高级算法相结合的智能相机,设计制作了实验用样机。并用其对钢珠缺陷进行了检测,对该相机的性能进行了较为系统的测试和研究,提出了如何改进结构和算法以提高性能。实验证明该相机的正确识别率较高,相机的设计方案有广泛的适应性,对软件的结构和算法稍作修改即可应用于不同的工作场合。     

基于双目定位测距的工业车辆实时避障

针对目前工业车辆测距避障技术中易受环境影响、信号干扰等问题,提出一种基于双目定位测距的工业车辆实时避障方法.首先,对双目深度相机进行标定,将采集到的车辆正后方作业环境图像进行双目立体矫正;其次,使用SGBM算法计算得到视差图,并结合相机内参通过三角变换原理进行3D点云重建;接下来,对地面进行标定并拟合地面方程,自定义有效检测范围及安全预警范围;最后,对行人进行方位检测,设计了直行及转弯测距算法对范围内检测到的行人进行距离计算,最终实现范围预警与实时规划避障. 4组实验结果表明,行人测距算法在直行及转弯状态下0–3 m和3–5 m范围内误差均分别低于0.1 m和0.2 m,行人检测算法的识别精度为97.38%,检测帧率为22.12 fps,该方法在设定范围内具有较高的灵敏性,具备较好的实时避障效果.     

基于三线结构光的相机平面标定方法研究

相机标定技术是结构光三维视觉测量的关键技术之一,结构光测量系统的相机标定的精度对三维测量的精度有很大影响;首先对三线结构光系统图的相机标定方法进行了分析,简单介绍了工业相机成像的几何模型及标定的原理;其次利用Harris角点检测方法提取特征点坐标,并选用了BP神经网络来校正工业相机的畸变模型,以提高标定算法的优化速度和标定精度;最后采用张正友的平面标定法对校正后的摄像机模型进行标定实验,由实验结果知,该方法具有一定的准确性和有效性,在一定误差范围内,基于神经网络畸变校正的张正友相机标定能够有效提高视觉检测的精度。     

计算机视觉中的三维重构建模

三维重构建模是计算机视觉技术的主要内容之一。相机内外参数的标定、图像特征点的提取以及特征点的立体匹配是三维重构建模的技术核心。本文总结了近来三维重构建模的研究成果和计算方法,并提出了一些观点,对三维重构建模的难点和发展趋势作了说明。     

基于双目视觉的物体尺寸测量系统

提出了一种基于双目视觉的物体尺寸测量系统,用于非接触式测量物体尺寸。该系统采用张正友棋盘标定法进行双目相机标定,并利用标定参数对采集的图像进行校正。通过采用图像分割技术和角点检测算法获取待测物体的特征点。通过立体匹配算法对校正图像进行处理,得到视差图。根据三角形相似性原理计算特征点的三维坐标,计算出物体尺寸的信息。实验结果表明,该系统具备较高的测量精度,具有一定的实用性和应用前景。     

基于SFM与深度学习融合的水果体积测量算法

以生活常见的水果作为研究对象，结合SFM对图像序列的深度估计以及神经网络重建三维结构的优点，提出SFM算法融合深度学习三维重建的水果体积测量算法。对单目相机采集的水果多视角图像进行研究，分析图像重建以及估计大小的方法，搭建快速、便捷估计水果实际体积算法框架。使用神经网络快速推理水果结构，解决三维重建构建稠密点云耗时长的缺点，利用多视角图像获取稀疏点云，估计目标尺寸，提高采样的便利性。实验结果表明，该算法能快速重建水果三维模型，实现简单、快速、较精确的水果体积测量。