基于双线性插值的鱼眼图像校正方法

鱼眼镜头具有大视场、短焦距等优点,近年来被广泛应用到不同的领域。由于鱼眼镜头成像存在较大的畸变,目前主要用来目标监测,在目标物体的识别方面应用得很少。为此,提出一种基于球面透视投影约束的鱼眼图像校正方法,并用双线性插值法对校正后的图像进行填充,为鱼眼镜头在目标物体识别跟踪方面的应用做了准备工作。实验结果表明采用上述方法能够很好地对鱼眼图像畸变进行校正,且校正后的鱼眼图像符合人的直观感觉,真实感较强,图像边缘清晰。     

基于多CPU的目标识别与跟踪系统设计

设计了一个实时图像采集、目标识别与跟踪系统;系统功能包括图像采集、运动估计、目标识别、摄像机云台控制等;系统功能主要由3片CPU完成,其中由2片DSP构成的图像采集处理单元实现两路图像采集、目标识别和运动估计,识别和估计结果通过系统总线送给跟踪控制系统;由1片ARM构成的目标跟踪控制系统对2路摄像机的云台和镜头等实现实时控制,使目标一直位于视场中;该系统采样率为10fps,当运动目标的距离在100 m以内,速度小于15 m/s时,可以实现实时识别与跟踪;该系统可以应用于视频监控等应用领域。     

红外小目标检测跟踪系统设计

从图像处理方法的角度对红外图像中小目标的检测、跟踪进行了研究,给出了系统总体设计框图,整个检测算法的前端图像滤波预处理采用FPGA实现,识别跟踪采用DSP实现。详细介绍了系统各功能模块的设计方法。实验表明该系统实现了小目标检测跟踪的功能,工作稳定可靠。     

基于FPGA的运动目标实时检测系统设计

目标识别是智能安防监控视频处理系统中重要内容,为了满足安防系统小型化实时性等应用需求,本文设计了一种基于FPGA平台的运动目标识别系统。该系统采用 CMOS摄像头作为视频采集器,SDRAM作为视频流缓存及存储介质,FPGA对视频流进行灰度化和帧差法算法处理,并将结果传输至显示器终端,从而实现图像采集和目标识别跟踪和显示。测试结果表明,本系统在一定测距范围内可有效稳定地跟踪运动目标物体,可进一步应用于安防领域中。     

融合响应模板和特征组合的鱼眼视频目标跟踪方法

鱼眼摄像机的广泛应用使得鱼眼视频目标跟踪受到了越来越多的关注,然而其特殊的成像原理造成的严重畸变给目标跟踪带来了不利的影响.为了降低鱼眼镜头视频图像的畸变对跟踪结果的影响,提出一种基于响应模板和特征组合的鱼眼视频目标跟踪方法.首先基于多个样本对应的响应值合成响应模板,构建基于响应模板的分类器;然后提取目标的HoG特征和Color Name特征分别训练分类器,综合考虑2个分类器的响应来确定目标位置;最后在分类器训练前用成像模型对变形的目标进行矫正.在鱼眼视频数据集上的实验结果表明,该方法能够在实时性的基础上很好地降低图像畸变以及目标变形的影响,获得良好的跟踪表现.     

一种鱼眼镜头成像立体视觉系统的标定方法

鱼眼镜头成像立体视觉系统在微小型机器人视觉导航和近距离大视场物体识别与定位中有着广泛的应用 .尽管鱼眼镜头摄像机具有很大的视场角 (接近 180°) ,但同时也引入严重的图像变形 ,常规的摄像机标定方法无法使用 .该文提出一种标定鱼眼镜头摄像机立体视觉系统的方法 .在鱼眼镜头变形模型的基础上 ,通过考虑鱼眼镜头成像的径向变形、偏心变形和薄棱镜变形 ,建立了鱼眼镜头成像的精确成像模型 ;然后 ,利用非线性迭代算法 ,精确求解摄像机外部参数、内部参数 .实验表明 ,使用该方法得到的立体视觉系统参数满足精确恢复大场景稠密深度图的要求 .     

基于MSCR与CS-LBP的鱼眼图像特征区域匹配方法

相比普通镜头,鱼眼镜头拥有更大的视场角,甚至可以直接获取半球域的图像信息,在立体视觉领域,应用鱼眼镜头来采集全景图像可减少镜头及图像采集模块数目,简化系统、提高运算速度、降低成本。但同时鱼眼镜头图像也存在一定程度的畸变,越靠近边缘畸变越严重。因此,在光轴正交或是角度更大的立体视觉系统中,进行相关图像的特征点匹配存在困难,直接影响立体视觉系统的应用效果。然而采用一种具有仿射不变性的图像匹配算法即可解决这个问题,首先提取原始图像的MSCR特征区域,其次引进CS-LBP算子对各个MSCR区域进行特征描述,应用特征权重的卡方距离比较法进行唯一匹配,最后进行椭圆拟合及连线标记使得匹配结果可视化。且通过实验验证了此方法的稳定一致性,可应用于大旋转角度的鱼眼图像的特征匹配。     

多发光目标的高速跟踪

研究了一种基于高速图像采集与处理的多发光目标跟踪技术.采用现场可编程门阵列(FPGA)形成高速Camera Link CMOS相机的图像采集与实时处理系统.通过对图像数据进行开窗、求重心等算法处理,实现对多发光目标的跟踪,并搭建由直流电机驱动、具有两个LED光源的发光靶标进行跟踪测试.测试结果表明:相机输出帧频100 Hz时,运动目标相对于相机角速度达1.93 rad/s,仍可实时跟踪.系统的跟踪能力正比于相机帧频.     

高速动态图像目标识别算法的设计与实现

为了实现对高速动态图像进行稳定的快速识别,并将识别出的目标图像传给上位机,应用优化的背景差分原理,设计并验证了一种可并行计算的高速动态目标识别算法,利用FPGA作为主控芯片实现了有效图像的高效采集以及实时传输功能;首先该系统采用流水线处理方式实现对数据的实时采集,然后利用乒乓操作来实现目标识别算法,通过对DDR3进行分页操作,将识别后的动态目标图像进行缓存,最后采用USB3.0芯片实现上位机与FPGA进行实时传输数据;实验结果表明,所设计的动态目标高速识别算法可以有效识别出6 mm的BB弹,捕获率高达99%,同时该系统可以实现动态目标数据的实时传输。     

基于FPGA的视频图像采集及监控系统设计

本文介绍了一种采用FPGA实现视频图像采集与处理的技术.并对视频系统的四个主要组成部分--视频图像采集、存储、监视处理算法和视频显示输出进行了较为详细的讨论.系统采用了IP核模块的设计方法.主要用VHDL语言进行逻辑设计,运用了软硬件协同设计技术.实验结果表明,该系统充分发挥了FPGA器件的并行特性,显著提高了图像处理速度.并运用基于聚类的视频图像目标识别算法,较好地实现了动态图像的实时监视、识别和报警.     

一种改进的鱼眼畸变校正算法

畸变是鱼眼镜头的最大的问题,针对这一情况,提出一种利用双椭圆模型对鱼眼镜头进行畸变校正的算法,在改善鱼眼畸变的情况下,同时能够保障实时输出;对鱼眼图像进行边缘扫描和检测,采用线性拟合的方法获取鱼眼图像的光心和半径,经过双椭圆模型寻找校正前和校正后图像的映射关系,调用GPU加速处理,达到实时输出的效果,经过实验对比,针对鱼眼镜头引起的畸变问题进行校正并且能够实时输出;     

鱼眼畸变棋盘格图像校正

畸变棋盘格图像能够更精确地描述鱼眼镜头的畸变特征,畸变棋盘格图像校正算法的研究对实现畸变图像准确快捷的校正具有重要意义。在研究Carroll等人提出的校正方法的基础上,针对畸变的棋盘格图像提出了一种简单、快捷的校正方法。以棋盘格的角点坐标替代直线特征信息作为校正模型的输入,对建模后的目标函数进行线性优化求解。该方法实现了畸变校正的自动化,提高了系统的效率。实验表明,该方法方便可行,校正结果良好。     

环视鱼眼图像处理深度学习研究进展

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径：一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。     

Approximate model of fisheye camera based on the optical refraction

This paper proposes an approximate model of fisheye camera based on the optical refraction. The model of fisheye lens is firstly derived from the optical refraction and the structure of fisheye lenses. Secondly, a suitable linearization of the fisheye model is developed in order to obtain an approximate model, and the approximate model including two parameters is constructed from the linearization of the fisheye model. Finally, the estimation algorithm on the model parameters is presented using the epipolar constraint between two fisheye images. Furthermore, we provide lots of experiments with synthetic data and real fisheye images. To start with, the feasibility of the approximate model is tested through fitting the five common designed model of fisheye lens with synthetic data. Two groups of experiments with real fisheye image are then performed to estimate the model parameters. In practical situation, this method can automatically establish image correspondences using an improved random sample consensus algorithm without calibration objects.     

鱼眼相机与PTZ相机相结合的主从目标监控系统

提出了一种将鱼眼相机和PTZ相机相结合的主从目标监控系统,充分利用鱼眼相机单镜头半球空间成像以及PTZ相机指向性高分辨率成像的优点,实现了单系统半球空间运动目标的高分辨率成像监控。首先采用运动点团模式实现鱼眼图像中运动目标的检测;然后在鱼眼图像空间计算目标的相对方位角P′、俯仰角T′和距离Z′;最后通过参数映射将其映射到PTZ图像空间,输出PTZ控制信号给相机进行指向性成像。PTZ图像空间中的P参数和T参数结合鱼眼镜头畸变系数进行校正计算,Z参数根据目标在鱼眼图像中的相对尺寸及PTZ图像中需要的尺寸进行计算。通过对PTZ参数的多次实验测量,其结果的误差均在系统要求范围之内。系统实际的户外测试结果表明,系统能准确检测出鱼眼图像中的运动目标,在PTZ参数的控制下,PTZ相机能准确指向目标进行二次高分辨率成像,目标在PTZ图像中的位置和大小合适,达到预期的设计目标。     

基于鱼眼图像的全景漫游模型

介绍了如何利用鱼眼镜头所拍摄的图像建立起在固定视点上沿空间任何方向的全景漫游模型的方法 ,它克服了使用普通镜头需要拍摄多幅照片 ,经过拼结 ,缝合处理后才能形成全景图的缺点 ,试验结果证明了该方法的有效性     

嵌入式全方位视觉跟踪器

为了实现自引导车AGV(automatic guided vehicle)的自主导航,设计一种基于全方位视觉的嵌入式跟踪器.该跟踪器将鱼眼镜头与现场可编程门阵列(FPGA)、数字信号处理器(DSP)以及CMOS感光芯片相集成,实现一种小型化、结构化的设计.在此跟踪器上移植改进的均值漂移和粒子滤波相结合的跟踪算法,实现基于鱼眼图像的动态多目标跟踪,并通过与传统算法的分析、比较来体现改进算法的优越性.实验结果表明本文所研究的跟踪器具有良好的跟踪效果,满足实时性、准确性和鲁棒性的要求.     

Optical system design for light detection and ranging with ultra-wide field-of-view using liquid lenses

The light detection and ranging (LiDAR) technology is based on irradiating near-infrared light and measuring the time-of-flight of the scattered light in an object. This technology is becoming increasingly important, as the requirement of three-dimensional camera technology for future autonomous vehicles is on the rise. In this study, we propose an ultra-wide field-of-view (FOV) optical system for LiDAR that can sequentially scan a beam emitted from a high power laser through a small beam steering system using a liquid lens and a fisheye lens. The proposed optical system consists of a series of liquid lenses for beam steering, a commercial fisheye lens with a wide FOV, and a relay optics to effectively conjugate the intermediate image planes of the two lens systems. To verify theoretical feasibility, we have designed a practical optical system with an FOV of approximately 170°, which is much higher than the FOVs in any other non-rotating LiDAR systems.

     

基于柱面模型的鱼眼影像校正方法的研究

鱼眼镜头突破普通相机对视场的限制,然而它存在畸变。从基于球面透视的柱面模型出发,介绍如何对整幅鱼眼影像进行畸变校正,提出一种基于球面透视的柱面模型的等弧长映射方法,并给出具体算法的推导,实现了对鱼眼影像畸变的校正,取得了较好的效果。