基于YOLOv3的无人机目标识别与双目测距应用研究

本文将YOLOv3[1]目标检测算法与双目测距方法融合并应用在无人机上,不仅能够检测出无人机前方是否有物体,还能够对物体进行识别和分类,同时测量与目标物体的距离.此算法首先通过训练好的YOLOv3-tiny模型对前方的物体进行检测,再用标定过的双目相机获取视角内的深度图,对识别到的目标物体进行测距.为验证检测结果的有效...     

双目区域视差快速计算及测距算法

目的 双目测距对水面无人艇自主避障以及视觉侦察具有重要意义,但视觉传感器成像易受光照环境及运动模糊等因素的影响,基于经典Census变换的立体匹配代价计算方法耗时长,且视差获取精度差,影响测距精度。为了提高测距精度并保证算法运行速度,提出一种用于双目测距的快速立体匹配算法。方法 基于传统Census变换,提出一种新的比特串生成方法,在匹配点正方形支持窗口的各边等距各选3个像素点,共选出8个像素点,这8个像素点两两比较生成一个字节的比特串。将左右视场中的匹配点与待匹配点的比特串进行异或,得到两点的汉明距离,在各汉明距离中找到距离最小的像素点作为匹配像素点,两像素点的横坐标差为视差。本文采用区域视差计算的方法,在左右视场确定同一目标区域后进行视差提取和滤波,利用平均视差计算目标的距离。结果 本文算法与基于传统Census变换的立体匹配视差获取方法相比,在运算速度方面优势明显,时间稳定在0.4 s左右,用时仅为传统Census变换算法的1/5。在Middlebury数据集中的图像对teddy和cones上进行的算法运行时间对比实验中,本文基于Census变换改进的算法比已有的基于Census变换的匹配算法在运行时间上快了近20 s。在实际双目测距实验中,采用本文算法在1019 m范围内测距误差在5%以内,根据无人艇的运动特点和避障要求,通过分析可知该算法的测距精度可以满足低速无人艇的避障需求。结论 本文给出的基于改进Census变换的匹配算法在立体匹配速度上有大幅提高,提取目标视差用于测距,实际测距结果表明,本文算法能够满足水面无人艇的视觉避障要求。     

局部双目视差回归的目标距离估计

目的 双目视觉是目标距离估计问题的一个很好的解决方案。现有的双目目标距离估计方法存在估计精度较低或数据准备较繁琐的问题,为此需要一个可以兼顾精度和数据准备便利性的双目目标距离估计算法。方法 提出一个基于R-CNN（region convolutional neural network）结构的网络,该网络可以实现同时进行目标检测与目标距离估计。双目图像输入网络后,通过主干网络提取特征,通过双目候选框提取网络以同时得到左右图像中相同目标的包围框,将成对的目标框内的局部特征输入目标视差估计分支以估计目标的距离。为了同时得到左右图像中相同目标的包围框,使用双目候选框提取网络代替原有的候选框提取网络,并提出了双目包围框分支以同时进行双目包围框的回归;为了提升视差估计的精度,借鉴双目视差图估计网络的结构,提出了一个基于组相关和3维卷积的视差估计分支。结果 在KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上进行验证实验,与同类算法比较,本文算法平均相对误差值约为3.2%,远小于基于双目视差图估计算法（11.3%）,与基于3维目标检测的算法接近（约为3.9%）。另外,提出的视差估计分支改进对精度有明显的提升效果,平均相对误差值从5.1%下降到3.2%。通过在另外采集并标注的行人监控数据集上进行类似实验,实验结果平均相对误差值约为4.6%,表明本文方法可以有效应用于监控场景。结论 提出的双目目标距离估计网络结合了目标检测与双目视差估计的优势,具有较高的精度。该网络可以有效运用于车载相机及监控场景,并有希望运用于其他安装有双目相机的场景。     

机器人双目立体视觉测距技术研究与实现

机器人视觉是一种重要的机器人传感技术,主要应用于机器人定位和检测之中;文章阐述了构建机器人双目立体视觉测距系统的方法,并运用Labview对所设计的系统加以实现;完成了图像的采集、预处理和边缘检测;通过在Labview中的C语言接口调用C算法程序,进行了物体特征识别和目标物体测距的算法实现;实验表明焦距、滤波算法和外围光源都会对测量结果会产生较大影响;在相同检测距离不同焦距时得到的检测精度会有一些偏差;并且加入低通滤波,可增加图像识别的精度,进而使特征点匹配和检测的精度都有所提高,对提高系统的检测精度具有实际意义。     

基于双目定位测距的工业车辆实时避障

针对目前工业车辆测距避障技术中易受环境影响、信号干扰等问题, 提出一种基于双目定位测距的工业车辆实时避障方法. 首先, 对双目深度相机进行标定, 将采集到的车辆正后方作业环境图像进行双目立体矫正; 其次, 使用SGBM算法计算得到视差图, 并结合相机内参通过三角变换原理进行3D点云重建; 接下来, 对地面进行标定并拟合地面方程, 自定义有效检测范围及安全预警范围; 最后, 对行人进行方位检测, 设计了直行及转弯测距算法对范围内检测到的行人进行距离计算, 最终实现范围预警与实时规划避障. 4组实验结果表明, 行人测距算法在直行及转弯状态下0–3 m和3–5 m范围内误差均分别低于0.1 m和0.2 m, 行人检测算法的识别精度为97.38%, 检测帧率为22.12 fps, 该方法在设定范围内具有较高的灵敏性, 具备较好的实时避障效果.     

双目CCD测距系统的高精度标定

为实现高精度的远距离被动测距,提出一种摄像机内、外参数以及双目CCD测距系统的标定方法.基于双目测距模型设计双目测距系统的机械结构,进行左右摄像机的单目标定,利用主点标定方法求出主点坐标,使用两步法线性求解摄像机的焦距、一阶径向畸变系数、旋转矩阵和平移向量,从而对高精度双目测距系统完成基线长、两摄像机光轴夹角和两像面相对位置的系统标定.实验结果表明,摄像机标定精度为0.582 6像素,双目测距系统的标定精度为0.208 mm,取得了较为理想的结果,此外,在300 m以内的目标实际测量精度高于0.28％,满足高精度双目测距的精度要求.     

基于融合动态模板匹配的双目测距算法

高空无人机灭火时,要对火灾点进行探测.传统的探测方法易受环境的干扰,并且它的反应不灵敏,实时性较差.基于此本文提出了一种基于双目立体视觉的探测方法：首先搭建实验平台并设计其硬件电路,然后深入研究了经典的双目立体视觉测距算法,提出了一种新的测距方法.该方法主要内容包括：图像获取、感兴趣区域提取、图像预处理和基于权重融合的动态模板匹配算法.最后,采用多段非线性补偿的方法构建了测距模型,并在实验平台上对所构建的测距模型进行了大量的实验,实验结果表明：在50 m以内,该测距模型的误差在1 m以内,100 m以内,测距误差在2 m,匹配精度为6.947像素/m,基本符合高空无人机灭火的精确测距要求,故该测距模型测量的距离精度较好,工程应用性强.     

结合YOLO的ORB双目图像匹配方法研究

针对双目视觉中ORB(Oriented Fast and Rotated Brief)图像匹配算法准确率不高以及会出现不同物体之间特征点错误匹配的问题,提出一种将YOLO(You Only Look Once)目标检测算法和ORB算法结合的双目图像匹配方法.该方法首先使用YOLO的卷积网络提取图像特征,并采用多尺度预测目标区域坐标和类别信息,以解决小目标与多目标识别不准的问题;接着,使用FAST(Features from Accelerated Segment Test)算子检测特征点和BRIEF(Binary Robust Independent Elementary Features)算子描述特征点,并利用ORB算法进行粗匹配;最后用去误匹配算法判断并去除不同类别和位置信息目标框中的匹配点.实验结果表明,该方法在单目标、双目标和多目标双目图像中的匹配准确率相较传统ORB匹配算法精度都有所提升.     

基于改进SIFT算法的双目视觉距离测量

针对视觉传感器距离测量中所使用的图像特征匹配算法精度不高、计算量大、实时性差等问题,提出了一种改进尺度不变特征变换(SIFT)图像特征匹配算法,并应用于双目测距系统当中.改进SIFT算法基于简化尺度构造空间,以曼哈顿距离作为最邻近特征点查询中的相似性度量,提高了算法效率.初次匹配之后与随机采样一致算法(RANSAC)结合,剔除误匹配点;基于精度较高的二次匹配点,提取匹配点像素信息进行距离计算,通过测距试验验证算法的可行性.实验结果表明:提出的方法获取目标距离达到较高精度,满足观测设备要求.     

基于双目相机深度图的道路边缘测距方法

为了实现道路划线喷头的自动定位，提出一种基于双目相机深度图的道路边缘测距方法。首先采用张氏标定法进行双目相机参数标定，获得相机的内部参数和外部参数，并对标定纸和标定板的标定结果进行比较；然后采用BM算法计算左右图像匹配点对之间的视差值得到深度图，通过二值化、腐蚀、膨胀和寻找最大色块的方法检测深度图中的道路边缘中心点；最后通过坐标转换得到双目相机与道路边缘的距离。实验证明，该方法能有效检测双目相机与道路边缘之间的横向距离。     

基于圆柱面映射的快速图像拼接算法

针对现有基于圆柱面映射的全景图像拼接算法无法实现自动估计焦距的问题,为满足实时性要求,提出了一种基于预测的快速特征点匹配算法,在基于纯旋转运动的自动焦距估计算法基础上,提出了一种基于单应矩阵的焦距修正算法。该算法首先从待拼接图像中提取Harris角点,然后提取方向梯度直方图(Histogram of Oriented Gradient, HOG)描述子进行特征点匹配,基于前一帧图像获得的图像映射关系采用一种基于预测的快速特征点匹配算法,然后使用简化的基于纯旋转运动的焦距估计算法估计出焦距初值,并采用基于单应矩阵的焦距修正算法得到更精确的焦距值,最后将平面图像投影至圆柱平面,使用加权平均融合算法进行拼接,合成全景图像。采用多个测试序列图像对算法进行测试,特征点匹配速度较传统方法提高了10倍以上,自动焦距估计算法能够准确估计摄像机焦距,且耗时仅50毫秒左右。实验结果表明,提出的算法能够快速地合成高质量的全景图像,拼接后的图像畸变小,具有较高的实用价值。     

基于Object Proposals并集的显著性检测模型

针对当前常见的显著性检测模型得到的结果会包含大量的背景区域的缺点,本文提出了基于Object Proposals并集的显著性检测模型。该模型首先对于输入图片生成一系列Object Proposals,并通过其并集计算得到背景图;然后结合纹理特征和全局对比度得到初始显著图;最后,用得到的背景图对初始显著图进行背景抑制得到最终显著图。实验结果表明,在通用MSRA1000数据集上,本文提出的显著性模型与其他5种方法相比取得了很好的效果。     

动态背景下空时特性均显著的运动目标检测

从序列图像中提取变化区域是运动检测的主要作用,动态背景的干扰严重影响检测结果,使得有效性运动检测成为一项困难工作。受静态图像显著性检测启发,提出了一种新的运动目标检测方法,采用自底向上与自顶向下的视觉计算模型相结合的方式获取图像的空时显著性：先检测出视频序列中的空间显著性,在其基础上加入时间维度,利用改进的三帧差分算法获取具有运动目标的时间显著性,将显著性目标的检测视角由静态图像转换为空时性均显著的运动目标。实验和分析结果表明：新方法在摄像机晃动等动态背景中能较准确检测出空时均显著的运动目标,具有较高的鲁棒性。     

结合区域协方差分析的图像显著性检测

目的 图像显著性检测的目的是为了获得高质量的能够反映图像不同区域显著性程度的显著图,利用图像显著图可以快速有效地处理图像中的视觉显著区域。图像的区域协方差分析将图像块的多维特征信息表述为一个协方差矩阵,并用协方差距离来度量两个图像块特征信息的差异大小。结合区域协方差分析,提出一种新的图像显著性检测方法。方法 该方法首先将输入的图像进行超像素分割预处理;然后基于像素块的区域协方差距离计算像素块的显著度;最后对像素块进行上采样用以计算图像像素点的显著度。结果 利用本文显著性检测方法对THUS10000数据集上随机选取的200幅图像进行了显著性检测并与4种不同方法进行了对比,本文方法估计得到的显著性检测结果更接近人工标定效果,尤其是对具有复杂背景的图像以及前背景颜色接近的图像均能达到较好的检测效果。结论 本文方法将图像像素点信息和像素块信息相结合,避免了单个噪声像素点引起图像显著性检测的不准确性,提高了检测精确度;同时,利用协方差矩阵来表示图像特征信息,避免了特征点的数量、顺序、光照等对显著性检测的影响。该方法可以很好地应用到显著目标提取和图像分割应用中。     

基于RGBD摄像头的障碍物检测

检测障碍物是机器人自主移动的基础. 为了提高检测的障碍物效率和准确率, 提出一种基于RGBD摄像头的障碍物检测方法, 主要分为障碍物识别和检测长度, 宽度两部分. 在障碍物形状不规则的前提下, 通过摄像头实时采集图像传输到数据处理中心, 用改良的帧差法、最小矩形法匹配法和图像处理等方法来确定障碍物轮廓, 利用深度图像及其阈值得出障碍物距摄像头的相对位置, 同时, 用坐标转换法计算出障碍物的高度与宽度. 结果显示, 在不同位置检测同一物体的误差不超过9%. 因此, 改良的帧差法检测障碍物轮廓准确率高, 坐标转换法速度快, 可以证明基于RGBD摄像头的障碍物检测设计检测效果良好.     

基于改进显著图和局部特征匹配的copy-move窜改检测

检测整幅窜改图像的方法增加了许多非必要的计算量,为了降低计算复杂度和进一步提高检测精确率,提出了一种基于改进显著图和局部特征匹配的copy-move窜改检测方法。首先,结合图像梯度改进显著图,分离出包含图像高纹理信息的局部显著区域;其次,只对该局部区域采用SIFT(scale invariant feature transform)算法提取特征点;然后,对显著性小的图像采用密度聚类和二阶段匹配策略,对显著性大的图像采用超像素分割和显著块特征匹配的策略;最后,结合PSNR和形态学操作来定位窜改区域。在两个公开数据集上进行实验,该方法的平均检测时间小于10 s,平均检测精确率大于97%,均优于所对比的方法。实验结果表明,该方法能够大幅缩减检测时间、有效提高检测精确率,并且对几何变换和后处理操作也都具有较好的鲁棒性。     

一种基于弹道曲线模型的脱靶量测试方法

针对传统的脱靶量测试设备体积庞大、不便移动且测试成本高等缺点,提出了一种基于弹道曲线模型的双目立体视觉的脱靶量测试方法。研究了摄像机的成像模型及坐标系变换,分析了摄像机标定的一般方法,构建了摄像机标定模型,并推导了标定参数的表达式。基于双目立体视觉测试技术设计了弹道曲线模型的弹丸脱靶量测量系统,其测量过程简单且标定结果稳定,可实现弹丸运动目标的快速检测,通过对运动目标的空间定位和轨迹拟合实现了脱靶量的测试。实验结果表明:弹道直线模型和曲线模型均能简便地求解飞行弹丸脱靶量,后者比前者更贴近实际弹丸飞行轨迹,可获得更高精度的脱靶量,弹道曲线模型的脱靶量平均绝对误差(MAE)比直线模型降低了大约一半。     

Calibration of an active binocular head

In this paper, we show how an active binocular head, the IIS head, can be easily calibrated with very high accuracy. Our calibration method can also be applied to many other binocular heads. In addition to the proposal and demonstration of a four-stage calibration process, there are three major contributions in this paper. First, we propose a motorized-focus lens (MFL) camera model which assumes constant nominal extrinsic parameters. The advantage of having constant extrinsic parameters is to having a simple head/eye relation. Second, a calibration method for the MFL camera model is proposed in this paper, which separates estimation of the image center and effective focal length from estimation of the camera orientation and position. This separation has been proved to be crucial; otherwise, estimates of camera parameters would be very noise-sensitive. Thirdly, we show that, once the parameters of the MFL camera model is calibrated, a nonlinear recursive least-square estimator can be used to refine all the 35 kinematic parameters. Real experiments have shown that the proposed method can achieve accuracy of one pixel prediction error and 0.2 pixel epipolar error, even when all the joints, including the left and right focus motors, are moved simultaneously. This accuracy is good enough for many 3D vision applications, such as navigation, object tracking and reconstruction