鱼眼镜头的标定和畸变校正研究

为在使用鱼眼镜头得到大视野图像的同时得到正常的视觉效果,研究鱼眼镜头的成像模型及内外参数的标定过程.相比常用的标定算法,采用基于镜头模型的标定方法;针对Davide Scaramuzza提出的全方位相机标定工具箱,指出其不足之处,对角点坐标的精度、标定系数矩阵稳定性和角点范围随意性三方面进行优化和提高;根据标定结果对鱼眼畸变图像进行畸变校正,得到正常视觉的平面图.实验结果表明,优化后的方法实现简单、鲁棒性强、结果准确.     

一种改进的鱼眼畸变校正算法

畸变是鱼眼镜头的最大的问题,针对这一情况,提出一种利用双椭圆模型对鱼眼镜头进行畸变校正的算法,在改善鱼眼畸变的情况下,同时能够保障实时输出;对鱼眼图像进行边缘扫描和检测,采用线性拟合的方法获取鱼眼图像的光心和半径,经过双椭圆模型寻找校正前和校正后图像的映射关系,调用GPU加速处理,达到实时输出的效果,经过实验对比,针对鱼眼镜头引起的畸变问题进行校正并且能够实时输出;     

一种采用纹理映射技术实现鱼眼镜头快速校正的方法

鱼眼镜头摄像机具有大视场角的特点,但存在严重的图像变形,常规的校正算法实时性较差。本文详细介绍了采用纹理映射技术实现鱼眼镜头校正的方法。实验表明,该方法不但较好地完成了镜头的校正,而且大大提高了系统的实时性,解决了传统方法中的几个问题。     

一种基于球面透视投影约束的鱼眼镜头校正方法

鱼眼镜头摄像机具有较大视场，但是，使用鱼眼摄像机拍摄的图像会有非常严重的变形．该文研究基于球面透视投影约束的鱼眼镜头校正方法．球面透视投影约束是指空间直线的球面透视投影为球面上的大圆．作者首先使用含有变形校正参数的鱼眼变形校正模型，将空间直线的鱼眼投影曲线上的点映射为球面点，然后通过球面点到大圆的球面距离最小来拟合大圆，恢复了变形校正参数，从而实现了鱼眼图像的校正．模拟实验和真实图像实验表明，该方法能得到比较满意的校正结果．     

基于几何模型的鱼眼图像校正

在虚拟现实,机器人导航及视觉监控等领域,需要使用具有较大视角的鱼眼摄像机,这样得到的图像被称为鱼眼图像。鱼眼图像存在严重的变形和失真。本研究利用平面,柱面和球面经纬网格3种几何模型分别进行鱼眼图像校正,实现了真实场景的还原,并对校正结果进行分析和比较。     

基于双线性插值的鱼眼图像校正方法

鱼眼镜头具有大视场、短焦距等优点,近年来被广泛应用到不同的领域。由于鱼眼镜头成像存在较大的畸变,目前主要用来目标监测,在目标物体的识别方面应用得很少。为此,提出一种基于球面透视投影约束的鱼眼图像校正方法,并用双线性插值法对校正后的图像进行填充,为鱼眼镜头在目标物体识别跟踪方面的应用做了准备工作。实验结果表明采用上述方法能够很好地对鱼眼图像畸变进行校正,且校正后的鱼眼图像符合人的直观感觉,真实感较强,图像边缘清晰。     

应用经纬映射的鱼眼图像校正设计方法

为了消除鱼眼镜头带来的形变,该文提出了一种应用经纬映射的鱼眼图像校正设计方法,推导了消除变形的数学依据,总结出一种不需要任何标定数据,快速的纠正等角鱼眼变形的算法。使用经纬映射图像的校正方法,可以把扭曲的半球鱼眼图像投射为普通照片的四方形状,也即通过投射降低图像的扭曲程度,在视觉上基本达到实用要求。     

一种用于鱼眼镜头的线性标定方法

针对鱼眼镜头的高精度标定需求,提出一种基于除法畸变模型的线性标定方法。通过除法模型将标定问题转换为线性方程组求解问题,在确定相机畸变中心后对畸变方程与投影矩阵进行解耦,分别求解相机内外参数和畸变系数,从而实现鱼眼镜头的快速鲁棒标定。实验结果表明,与非线性标定方法相比,该方法在保证标定准确性和可靠性的同时,计算效率提高了约10倍。     

基于鱼眼图像的全景漫游模型

介绍了如何利用鱼眼镜头所拍摄的图像建立起在固定视点上沿空间任何方向的全景漫游模型的方法,它克服了使用普通镜头需要拍摄多幅照片,经过拼结,缝合处理后才能形成全景图的缺点,试验结果证明了该方法的有效性.     

基于分离参数标定的鱼眼镜头成像模型研究

鱼眼图像具有大视场角,但在应用方面存在严重畸变,为了探索鱼眼镜头的成像规律,本文提出一种基于分离参数标定的鱼眼镜头成像模型研究方法。对相机的物理参数进行分离标定,设计靶标,拟合径向、切向畸变系数,从而得到鱼眼镜头成像模型。比较由成像模型反推出的物点与真实物点的位置,实验结果表明,经本文提出的成像模型得到的成像点与真实物点的入射角和偏移角的误差均值分别为0.011 5和0.019 4。采用基于分离参数标定的鱼眼镜头成像模型研究方法可以较好地反映鱼眼镜头的成像规律,为更广泛地应用鱼眼镜头奠定基础。     

单幅圆形鱼眼图像的校正

针对有效圆域提取不准确以及传统柱面投影校正法在垂直方向上校正视场角不能达到180°的问题,分别提出了变角度线扫描法和纵向压缩柱面投影校正法.前者通过不断改变扫描线的倾斜角来寻找切点坐标,并对无效切点进行滤除,然后使用Kasa圆拟合法求取有效圆域的参数.后者则对传统柱面投影的光路进行了人为的弯折,从而把投影到无穷远点的光线压缩回柱面上,保留了图像有效信息.通过与经纬映射校正法以及墨卡托投影法的实验处理结果对比,纵向压缩柱面投影法能弱化校正图像边缘的拉伸模糊效应,使处理结果更加自然.     

环视鱼眼图像处理深度学习研究进展

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径：一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。     

鱼眼图像轮廓提取及校正研究

提出鱼眼图像轮廓提取的扫描线逼近算法,算法能够准确地求取鱼眼图像的圆心坐标和半径,特别是在鱼眼图像圆形轮廓区域内存在大量黑色像素点、统计算法失效的情况下,该算法仍能准确地提取图像轮廓,计算图像定位参数,具有明显的优越性.在此基础上,采用球面坐标定位校正方法进行图像扭曲变形校正,取得了较好的图像校正效果.     

基于运动点团的鱼眼图像中多目标检测方法研究

采用运动点团模式对鱼眼视频序列中的目标检测方法进行了研究和探讨。运动点团模式的运动目标检测分为三个层次,每个层次对应一个具体的检测算法,即基于像素层的背景提取和更新、运动点团层的点团检测和判定及运动目标层的目标标记和跟踪。对三个算法的原理进行了探讨,并结合鱼眼图像的特点进行了算法改进和优化。实验结果表明,以运动点团作为中间检测过程的方法能有效对圆形鱼眼视频序列中的多个运动目标进行检测,特别是图像边缘的大畸变、低分辨率目标,相比传统的检测方法具有更好的检测稳定性和准确性,在大范围智能视频监控中具备很好的实际应用价值。     

基于嵌入式CPU-GPU的高清鱼眼视频实时校正系统

在安防监控领域,需要鱼眼实时监控系统实现360°×180°大范围高质量无死角全景实时监控,现有的鱼眼校正系统存在成本较高,灵活性差,特别是清晰度不高和实时性差等方面的问题。针对如何提高全景高清鱼眼视频校正的实时性问题,提出了基于嵌入式平台STiH418的CPU-GPU高速通信协议和基于可编程着色器的嵌入式CPU-GPU内存共享方法,并利用GPU的纹理映射技术实现了全景高清鱼眼视频实时校正系统。实验结果表明,与相关校正系统相比,该系统很好地兼顾到算法效率、图像校正效果和完整性,可以完全满足360°×180°的全景高清（400万像素,2 048×2 048p30）鱼眼视频实时监控,而且与使用PC服务器相比嵌入式系统降低了系统整体成本,ARM CPU软件生成更新校正算法和可事时实时和事后的虚拟PTZ提高系统灵活性和稳定性,因此该系统具有很高的实用价值。     

鱼眼相机与PTZ相机相结合的主从目标监控系统

提出了一种将鱼眼相机和PTZ相机相结合的主从目标监控系统,充分利用鱼眼相机单镜头半球空间成像以及PTZ相机指向性高分辨率成像的优点,实现了单系统半球空间运动目标的高分辨率成像监控。首先采用运动点团模式实现鱼眼图像中运动目标的检测;然后在鱼眼图像空间计算目标的相对方位角P′、俯仰角T′和距离Z′;最后通过参数映射将其映射到PTZ图像空间,输出PTZ控制信号给相机进行指向性成像。PTZ图像空间中的P参数和T参数结合鱼眼镜头畸变系数进行校正计算,Z参数根据目标在鱼眼图像中的相对尺寸及PTZ图像中需要的尺寸进行计算。通过对PTZ参数的多次实验测量,其结果的误差均在系统要求范围之内。系统实际的户外测试结果表明,系统能准确检测出鱼眼图像中的运动目标,在PTZ参数的控制下,PTZ相机能准确指向目标进行二次高分辨率成像,目标在PTZ图像中的位置和大小合适,达到预期的设计目标。     

图像几何畸变精校正研究

卫星传感器在成像过程中会受到诸多因素的影响,使得所获取的影像在几何位置上发生畸变,几何校正的目的就是尽可能消除这些畸变的影响。本文主要研究了用于消除图像几何畸变的两个几何校正模型：多项式模型和MQ模型（Multiquadric Fuctions）,对MQ模型中的系数R进行分析实验提出了一种新的R值的确定方法,与原来的R值相比新的R值能够进一步提高模型的精度;将多项式模型和MQ模型结合使用的Göpfert’s算法引入到卫星影像几何精校正中,实验表明,能够取得比较高的校正精度.     

基于fisheye views算法解决可视化程序设计语言问题的研究

可视化程序设计语言已经引起了越来越多学者的研究兴趣,并产生了一系列研究成果。在对编程元素由二维图形对象构成的传统可视化程序设计语言中产生的两个显示问题进行了详细分析,提出引入一种改进的fisheye views算法来解决这些问题的方法。并通过设计的原型系统VPMF表征了该方法的效果和可行性。     

基于共线点的镜头畸变校正方法

为实现未知摄像机参数的镜头畸变校正,提出了一种先标定畸变中心、再标定畸变系数的方法。先在镜头的不同焦距处对靶标成两次像,利用相同靶标点在两幅图像中的相对位置关系求解畸变中心;再根据直线的透视投影不变性,通过变步长的最优化方法搜索畸变系数。模拟实验表明,在靶标点数为25,噪声水平为0.2像素时,畸变中心的平均误差为(0.2243,0.1636)像素,畸变系数误差为0.28%。真实图像实验表明,用该方法得到的畸变中心和畸变系数能够很好地校正图像。该方法不需要标定摄像机的内外部参数,也无需知道直线网格的世界坐标,简便易行。