基于视点纠正的鱼眼图像场景化漫游方法

针对鱼眼图像畸变大、表示的场景信息不直观等特点,本文提出了一种 基于视点纠正的鱼眼图像场景化漫游方法。该方法以鱼眼图像所表示的半球空间为观察对 象,通过视点的转移在半球空间进行漫游,以对不同区域内的场景信息进行直观的观察。采 用鱼眼图像校正算法为基础建立鱼眼镜头的球面映射模型,通过映射关系对以视点为中心的 观察区域进行实时校正,当视点变化时对校正后的可视区域进行实时显示从而实现漫游。实 验结果表明,通过本文算法能够实现鱼眼图像所表示半球空间的实时漫游,且漫游时显示的 校正图像满足直线约束标准。     

一种基于经线模型的鱼眼图像校正算法

鱼眼镜头所拍摄的图像具有严重的畸变。为了消除鱼眼图像的畸变,提出了一种改进的基于经线模型的校正算法。该算法首先建立经线模型,然后利用改进的校正算法对鱼眼图像进行校正,再建立半圆模型对校正过的图像进行修正,得到最终的图像。该算法不需要进行鱼眼镜头的标定以及参数的估计,通过建立全局统一的模型,对鱼眼图像进行校正。通过对模型图像和真实图像进行实验,结果表明,文中提出的算法能高效快捷地对鱼眼图像进行校正,而且具有较好的效果。     

基于线性特征的鱼眼图像校正方法

针对鱼眼镜头采集的畸变图像,在棋盘格标定模板的基础上,提出一种有效的校正方法。该方法采用标准畸变模型,首先基于畸变图像的线性特征提出目标函数;然后利用SUSAN改进算法精确定位棋盘格角点坐标;对已得到的有限角点坐标进行畸变曲线拟合,在畸变曲线上提取所需数量的点;最后用渐近寻优算法计算最优畸变系数,使得目标函数最小。实验结果表明,该方法角点定位精确、算法时间复杂度低,能够有效校正鱼眼镜头造成的图像畸变。     

基于双线性插值的鱼眼图像校正方法

鱼眼镜头具有大视场、短焦距等优点,近年来被广泛应用到不同的领域。由于鱼眼镜头成像存在较大的畸变,目前主要用来目标监测,在目标物体的识别方面应用得很少。为此,提出一种基于球面透视投影约束的鱼眼图像校正方法,并用双线性插值法对校正后的图像进行填充,为鱼眼镜头在目标物体识别跟踪方面的应用做了准备工作。实验结果表明采用上述方法能够很好地对鱼眼图像畸变进行校正,且校正后的鱼眼图像符合人的直观感觉,真实感较强,图像边缘清晰。     

鱼眼镜头的标定和畸变校正研究

为在使用鱼眼镜头得到大视野图像的同时得到正常的视觉效果,研究鱼眼镜头的成像模型及内外参数的标定过程.相比常用的标定算法,采用基于镜头模型的标定方法;针对Davide Scaramuzza提出的全方位相机标定工具箱,指出其不足之处,对角点坐标的精度、标定系数矩阵稳定性和角点范围随意性三方面进行优化和提高;根据标定结果对鱼眼畸变图像进行畸变校正,得到正常视觉的平面图.实验结果表明,优化后的方法实现简单、鲁棒性强、结果准确.     

一种不断重定位圆心的鱼眼图像校正方法

针对鱼眼图像传统经度坐标校正效果不明显,提出了一种新的鱼眼图像2D校正算法,通过对每一条畸变的经线,不断重定位圆心位置,重新计算经线上点的坐标,有效地校正桶形畸变.该算法不用进行鱼眼镜头的标定以及参数的估计,也不用寻找三维空间点信息以及在各种坐标系之间进行转换.通过与传统校正算法进行对比,发现本算法能高效快捷地对鱼眼图像进行校正,而且具有较好的效果.     

鱼眼畸变棋盘格图像校正

畸变棋盘格图像能够更精确地描述鱼眼镜头的畸变特征,畸变棋盘格图像校正算法的研究对实现畸变图像准确快捷的校正具有重要意义。在研究Carroll等人提出的校正方法的基础上,针对畸变的棋盘格图像提出了一种简单、快捷的校正方法。以棋盘格的角点坐标替代直线特征信息作为校正模型的输入,对建模后的目标函数进行线性优化求解。该方法实现了畸变校正的自动化,提高了系统的效率。实验表明,该方法方便可行,校正结果良好。     

一种新的鱼眼图像校正算法

鱼眼镜头由于焦距短视角大而在不同领域得到广泛应用,但鱼眼镜头在成像时由于不同视场垂轴放大率不同,使图像产生畸变,影响鱼眼图像的实际应用价值,由此引起了人们对鱼眼图像的研究热潮。该文就校正鱼眼图像畸变问题展开研究,首先提出了一种新的确定鱼眼图像有效区域的扫描线逼近算法,解决了经典扫描线逼近法在有效区域边界存在大量黑色像素点时容易出现偏差的问题。然后,又提出了一种对鱼眼图像横向和纵向同时进行校正的算法,实验结果表明新的校正算法的横向校正效果与经度校正算法相近,纵向校正效果明显优于经度校正算法,在校正速度上也有所提升,且校正后的图像清晰度要远远好于经度校正算法校正后的图像。     

煤矿鱼眼畸变图像校正

针对煤矿井下视频监控系统中鱼眼图像的畸变问题,根据理想球面透视投影模型的保线性约束条件,提出一种面向内容的校正参数自动获取方法,即通过对鱼眼畸变图像进行数学形态学和随机霍夫变换预处理得到所需的图像边缘特征直线,然后统计水平和垂直线段在总线段中的比例,分析统计结果,获取最佳校正参数。为了减少图像信息过多对校正参数获取过程的影响,对理想球面透视投影模型进行了改进,提出一种改进的鱼眼畸变图像校正方法,实现了对图像中心的转移和部分区域的放大。实验验证了该方法对鱼眼畸变图像的校正效果较好。     

基于粒子滤波的全方位视觉传感器实现移动机器人导航

研究了一种引导机器人沿着固定轨迹运动的实时视觉伺服系统,并提出了一种实现移动机器人导航的创新的系统架构.系统由基于鱼眼镜头的全方位视觉传感器和嵌入式图像处理单元构成,可以实时校正鱼眼镜头畸变,并利用复合的粒子滤波算法识别和跟踪自定义的航标,最终实现移动机器人的导航.实验表明,该系统能够校正鱼眼镜头畸变,实时跟踪航标并有效实现机器人的定位和导航,且结构紧凑、功耗低,容易集成到各种移动设备中实现自主导航、安防监控等功能.     

鱼眼相机与PTZ相机相结合的主从目标监控系统

提出了一种将鱼眼相机和PTZ相机相结合的主从目标监控系统,充分利用鱼眼相机单镜头半球空间成像以及PTZ相机指向性高分辨率成像的优点,实现了单系统半球空间运动目标的高分辨率成像监控。首先采用运动点团模式实现鱼眼图像中运动目标的检测;然后在鱼眼图像空间计算目标的相对方位角P′、俯仰角T′和距离Z′;最后通过参数映射将其映射到PTZ图像空间,输出PTZ控制信号给相机进行指向性成像。PTZ图像空间中的P参数和T参数结合鱼眼镜头畸变系数进行校正计算,Z参数根据目标在鱼眼图像中的相对尺寸及PTZ图像中需要的尺寸进行计算。通过对PTZ参数的多次实验测量,其结果的误差均在系统要求范围之内。系统实际的户外测试结果表明,系统能准确检测出鱼眼图像中的运动目标,在PTZ参数的控制下,PTZ相机能准确指向目标进行二次高分辨率成像,目标在PTZ图像中的位置和大小合适,达到预期的设计目标。     

Approximate model of fisheye camera based on the optical refraction

This paper proposes an approximate model of fisheye camera based on the optical refraction. The model of fisheye lens is firstly derived from the optical refraction and the structure of fisheye lenses. Secondly, a suitable linearization of the fisheye model is developed in order to obtain an approximate model, and the approximate model including two parameters is constructed from the linearization of the fisheye model. Finally, the estimation algorithm on the model parameters is presented using the epipolar constraint between two fisheye images. Furthermore, we provide lots of experiments with synthetic data and real fisheye images. To start with, the feasibility of the approximate model is tested through fitting the five common designed model of fisheye lens with synthetic data. Two groups of experiments with real fisheye image are then performed to estimate the model parameters. In practical situation, this method can automatically establish image correspondences using an improved random sample consensus algorithm without calibration objects.     

环视鱼眼图像处理深度学习研究进展

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径：一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。     

基于MSCR与CS-LBP的鱼眼图像特征区域匹配方法

相比普通镜头,鱼眼镜头拥有更大的视场角,甚至可以直接获取半球域的图像信息,在立体视觉领域,应用鱼眼镜头来采集全景图像可减少镜头及图像采集模块数目,简化系统、提高运算速度、降低成本。但同时鱼眼镜头图像也存在一定程度的畸变,越靠近边缘畸变越严重。因此,在光轴正交或是角度更大的立体视觉系统中,进行相关图像的特征点匹配存在困难,直接影响立体视觉系统的应用效果。然而采用一种具有仿射不变性的图像匹配算法即可解决这个问题,首先提取原始图像的MSCR特征区域,其次引进CS-LBP算子对各个MSCR区域进行特征描述,应用特征权重的卡方距离比较法进行唯一匹配,最后进行椭圆拟合及连线标记使得匹配结果可视化。且通过实验验证了此方法的稳定一致性,可应用于大旋转角度的鱼眼图像的特征匹配。     

嵌入式全景视觉实时目标识别

在嵌入式系统中,使用鱼眼镜头实现全景视觉,完成实时目标跟踪工作.采用FPGA+DSP+PC的硬件系统架构作为识别器,使用SAA7113H芯片采集图像,再由FPGA将采集后的图像存入到SRAM,因为使用鱼眼镜头采集后的图像是畸变的,所以采用FPGA对图像进行矫正,运用Freeman链码进行目标识别,尤其是对直线的识别,这些工作都需要大量的计算,高效的FPGA和Altera公司提供的IP核,加快目标识别速度,以达到目标跟踪的目的.     

基于分离参数标定的鱼眼镜头成像模型研究

鱼眼图像具有大视场角,但在应用方面存在严重畸变,为了探索鱼眼镜头的成像规律,本文提出一种基于分离参数标定的鱼眼镜头成像模型研究方法。对相机的物理参数进行分离标定,设计靶标,拟合径向、切向畸变系数,从而得到鱼眼镜头成像模型。比较由成像模型反推出的物点与真实物点的位置,实验结果表明,经本文提出的成像模型得到的成像点与真实物点的入射角和偏移角的误差均值分别为0.011 5和0.019 4。采用基于分离参数标定的鱼眼镜头成像模型研究方法可以较好地反映鱼眼镜头的成像规律,为更广泛地应用鱼眼镜头奠定基础。     

Optical system design for light detection and ranging with ultra-wide field-of-view using liquid lenses

The light detection and ranging (LiDAR) technology is based on irradiating near-infrared light and measuring the time-of-flight of the scattered light in an object. This technology is becoming increasingly important, as the requirement of three-dimensional camera technology for future autonomous vehicles is on the rise. In this study, we propose an ultra-wide field-of-view (FOV) optical system for LiDAR that can sequentially scan a beam emitted from a high power laser through a small beam steering system using a liquid lens and a fisheye lens. The proposed optical system consists of a series of liquid lenses for beam steering, a commercial fisheye lens with a wide FOV, and a relay optics to effectively conjugate the intermediate image planes of the two lens systems. To verify theoretical feasibility, we have designed a practical optical system with an FOV of approximately 170°, which is much higher than the FOVs in any other non-rotating LiDAR systems.

     

Hybrid tunable lens for eliminating optical aberration and enlarging optical power

In this paper, we propose a hybrid tunable lens based on electrowetting effect for eliminating optical aberration. By integrating a doublet lens in the front surface of a tunable lens, the proposed lens can achieve good image quality and obtain high optical power. Experimental results demonstrate that both two advantages can be achieved for the hybrid tunable lens. It can also reduce the operating voltage by ～5 V to reach the same focal length, and it has compact structure, light weight, and good image quality.