鱼眼图像校正和配准算法研究

提出一种对鱼眼图像进行校正和配准的算法。首先把鱼眼图像从相等距离投影模型映射到参数化球面投影模型,使得合成球面全景图成为一个平移求解问题。然后使用非线性优化算法进行图像的配准。在合成场景的球面全景图以后,通过重投影球面全景图到视平面来完成虚拟场景的实时漫游。     

针对鱼眼图像边缘校正缺失的快速校正算法

针对鱼眼图像校正中水平方向畸变以及边缘缺失的问题,通过引入可控参数控制边缘部分的校正范围,同时融合三角计算以及参数变换,获取校正关系,使映射面与鱼眼图像达到最佳匹配结果.获取校正关系后运用双线性插值算法对校正图像进行插值运算以填充图像.实验表明,算法对视图主要区域和边缘部分畸变的校正取得较好效果,边缘部分信息流失较少,主视图区域畸变角度明显减小,校正后图像与未畸变源图像相比结构相似性高,尽可能大的保留鱼眼图像信息,算法效率提高,算法运行时间缩短近50%.该鱼眼图像校正算法在校正效率以及校正效果上都有显著提高,具有可行性和有效性.     

应用经纬映射的鱼眼图像校正设计方法

为了消除鱼眼镜头带来的形变,该文提出了一种应用经纬映射的鱼眼图像校正设计方法,推导了消除变形的数学依据,总结出一种不需要任何标定数据,快速的纠正等角鱼眼变形的算法。使用经纬映射图像的校正方法,可以把扭曲的半球鱼眼图像投射为普通照片的四方形状,也即通过投射降低图像的扭曲程度,在视觉上基本达到实用要求。     

面向虚拟场景的深度全景视频绘制技术

高度复杂的三维场景通常包含几千万甚至上亿个三角形和丰富的纹理,大大超过了目前图形硬件的处理能力。传统基于几何的绘制系统通过牺牲画面质量来实现场景的快速绘制。与此不同,基于图像的绘制技术利用逼真的图像序列来生成高质量的目标画面。研究面向虚拟场景的IBR(Image-Based Rendering)技术来克服现有方法的不足,提出以深度全景视频DPV作为场景表示的基本单元,通过多段深度全景视频组成的深度全景视频网络来表示虚拟场景的漫游区域,它允许视点在漫游平面的封闭区域内连续运动。绘制算法根据目标视点参数计算深度全景视频环中对目标图像有贡献的候选区域,综合利用GPU的强大处理能力和浮点格式的绘制目标,以及多幅深度图像混合绘制技术对候选区域进行绘制来生成目标图像。实验结果表明,深度全景视频绘制技术可实现大规模虚拟场景高质量实时绘制。     

一种改进的鱼眼畸变校正算法

畸变是鱼眼镜头的最大的问题,针对这一情况,提出一种利用双椭圆模型对鱼眼镜头进行畸变校正的算法,在改善鱼眼畸变的情况下,同时能够保障实时输出;对鱼眼图像进行边缘扫描和检测,采用线性拟合的方法获取鱼眼图像的光心和半径,经过双椭圆模型寻找校正前和校正后图像的映射关系,调用GPU加速处理,达到实时输出的效果,经过实验对比,针对鱼眼镜头引起的畸变问题进行校正并且能够实时输出;     

基于图像的实时漫游

提出了一个点和多边形模型混合的场景表达方式,从而实现了对复杂场景的视点不受限制的实时漫游.它从多幅带深度的参考图像出发,在预处理阶段区别对待场景中平面物体和曲面物体在参考图像中的对应像素.对于在参考图像所占区域较大的空间平面,用传统的多边形模型方式对其进行表达,试图恢复出其平面方程,然后通过采样密度比较和重采样过程,将该空间平面在所有参考图像中的出现合并成一个均匀采样的纹理图像;而对于空间曲面或在参考图像中所占面积较小的平面,使用点的形式对其进行表达,通过采样密度的比较去掉冗余的点,将保留下来的点按其空间位置进行聚类.同时,对于场景中那些不被所有参考图像所拍摄到而在漫游过程中可能形成空洞的部分,提出一个空洞预填补技术,在预处理阶段即对这类空洞进行填补,从而大大减少了漫游阶段出现空洞的几率.在漫游阶段则使用纹理映射和点Warping的方式进行绘制,以充分利用图形硬件的加速功能.     

非跳跃式全景漫游算法及在X3D下的实现

针对目前全景漫游系统漫游在切换视点过程中产生跳跃感的问题提出了一种实用的全景漫游算法。该算法以摄影变焦原理为基础,结合人机工程学视觉原则方面的理论,通过对观察摄像机朝向和视角的操作模拟视点的运动过程,实现漫游效果。漫游过程避免了复杂的图像变换运算,有很好的实时性。并且创建了一个运用该算法控制全景漫游的X3D场景,实验验证了该算法的可行性。     

基于柱状全景图的空间漫游视图拟合算法

本文提出了一种基于柱状全景图的空间漫游视图拟合算法。其核心是基于固定点柱状全景图之间的空间关系并通过图像拼接技术和图像混合技术生成任意视点下图像。为实现漫游行进中视图信息的合理过渡,设计了固定视点柱状全景图分割后各部分的图像映射关系。实验证明该漫游策略可以满足虚拟漫游的实时性要求,同时具有规模扩展性。     

虚平面映射:深度图像内部视点的绘制技术

首先推导与归纳了图像三维变换中像素深度场的变换规律,同时提出了基于深度场和极线原则的像素可见性别方法,根据上述理论和方法,提出一种基于深度图像的建模与绘制(image-based modeling and rendering,简称IBMR)技术,称为虚平面映射.该技术可以基于图像空间内任意视点对场景进行绘制.绘制时,先在场景中根据视线建立若干虚拟平面,将源深度图像中的像素转换到虚平面上,然后通过对虚平面上像素的中间变换,将虚平面转换成平面纹理,再利用虚平面的相互拼接,将视点的成像以平面纹理映射的方式完成.新方法还能在深度图像内侧,基于当前视点快速获得该视点的全景图,从而实现视点的实时漫游.新方法视点运动空间大、存储需求小,且可以发挥图形硬件的纹理映射功能,并能表现物体表面的三维凹凸细节和成像视差效果,克服了此前类似算法的局限和不足.     

基于图像的实时漫游

提出了一个点和多边形模型混合的场影表达方式，从而实现了对复杂场景的视点不受限制的实时漫游。它从多幅带深度的参考图像出发，在预处理阶段区别对待场景中平面物体和曲面物体在参考图像中的对应像素。对于在参考图像所占区域较大的空间平面，用传统的多边形模型方式对其进行表达，试图恢复出其平面方程，然后通过采样密度比较和重采样过程，将该空间平面在所有参考图像中的出现合并成一个均匀采样的纹理图像；而对于空间曲面或在参考图像中所占面积较小的平面，使用点的形式对其进行表达，通过采样密度的比较去掉冗余的点，将保留下来的点按其空间位置进行聚类。同时，对于场景中那些不被所有参考图像所拍摄到而在漫游过程中可能形成空洞的部分，提出一个空洞预填补技术，在预处理阶段即对这类空洞进行填补，从而大大较少了漫游阶段出现空洞的几度。在漫游阶段则使用纹理映射和点Warping的方式进行绘制，以充分利用图形硬件的加速功能。     

利用鱼眼技术构建全景漫游系统的方法探索

全景漫游系统是近来出现在Internet上的一种新的交互式的虚拟场景表示方式,它以全景图的方式再现了三维场景,可以用相应的浏览器实现虚拟场景的漫游,具有很好的交换性和真实感。该文就如何利用鱼眼镜头进行图像获取;如何对图像进行拼接制作球状360度全景图;如何构建基于Java applet的漫游系统的方法进行了探索。     

鱼眼图像校正及拼接的研究与实现

鱼眼图像视角大，两幅图片即可拼接成全景图，但鱼眼图像存在严重变形。该文利用场景中直线的鱼眼投影曲线，使用球面透视投影约束，得到径向和切向变形参数，实现了鱼眼图像的校正。基于待拼接图像之间重叠部分亮度差最小的原理，确定了重叠区域，通过在重叠区域间的融合，实现了图像的无缝拼接。校正及拼接结果表明，该方法能得到较为满意的效果。     

一种基于球面透视投影约束的鱼眼镜头校正方法

鱼眼镜头摄像机具有较大视场，但是，使用鱼眼摄像机拍摄的图像会有非常严重的变形．该文研究基于球面透视投影约束的鱼眼镜头校正方法．球面透视投影约束是指空间直线的球面透视投影为球面上的大圆．作者首先使用含有变形校正参数的鱼眼变形校正模型，将空间直线的鱼眼投影曲线上的点映射为球面点，然后通过球面点到大圆的球面距离最小来拟合大圆，恢复了变形校正参数，从而实现了鱼眼图像的校正．模拟实验和真实图像实验表明，该方法能得到比较满意的校正结果．     

一种基于经线模型的鱼眼图像校正算法

鱼眼镜头所拍摄的图像具有严重的畸变。为了消除鱼眼图像的畸变,提出了一种改进的基于经线模型的校正算法。该算法首先建立经线模型,然后利用改进的校正算法对鱼眼图像进行校正,再建立半圆模型对校正过的图像进行修正,得到最终的图像。该算法不需要进行鱼眼镜头的标定以及参数的估计,通过建立全局统一的模型,对鱼眼图像进行校正。通过对模型图像和真实图像进行实验,结果表明,文中提出的算法能高效快捷地对鱼眼图像进行校正,而且具有较好的效果。     

环视鱼眼图像处理深度学习研究进展

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径：一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。     

基于双线性插值的鱼眼图像校正方法

鱼眼镜头具有大视场、短焦距等优点,近年来被广泛应用到不同的领域。由于鱼眼镜头成像存在较大的畸变,目前主要用来目标监测,在目标物体的识别方面应用得很少。为此,提出一种基于球面透视投影约束的鱼眼图像校正方法,并用双线性插值法对校正后的图像进行填充,为鱼眼镜头在目标物体识别跟踪方面的应用做了准备工作。实验结果表明采用上述方法能够很好地对鱼眼图像畸变进行校正,且校正后的鱼眼图像符合人的直观感觉,真实感较强,图像边缘清晰。     

内投式球幕投影系统的实现算法

针对内投式球幕投影中涉及的计算机处理过程,提出了基于虚拟球面变换和虚拟鱼眼透镜投射的内投式球幕投影算法,并针对不规则鱼眼透镜导致的球幕映像扭曲,提出了基于等立体角投影函数的六阶函数校正算法,该六阶函数的系数可通过简单求解六元一次方程获得。实验结果表明,该方法能完全消除不规则鱼眼透镜导致的球幕投影扭曲。针对球幕投影导致的图像亮度分布变异提出了基于投射角余弦修正的球幕光强校正算法。实验结果表明,该算法成功地把与输入二维图像亮度分布差异明显的球幕投影图像校正至与原始图像亮度分布高度一致的状态。该方法对球幕投影系统的设计和软件开发具有重要的理论指导意义和实践应用价值。     

鱼眼相机与PTZ相机相结合的主从目标监控系统

提出了一种将鱼眼相机和PTZ相机相结合的主从目标监控系统,充分利用鱼眼相机单镜头半球空间成像以及PTZ相机指向性高分辨率成像的优点,实现了单系统半球空间运动目标的高分辨率成像监控。首先采用运动点团模式实现鱼眼图像中运动目标的检测;然后在鱼眼图像空间计算目标的相对方位角P′、俯仰角T′和距离Z′;最后通过参数映射将其映射到PTZ图像空间,输出PTZ控制信号给相机进行指向性成像。PTZ图像空间中的P参数和T参数结合鱼眼镜头畸变系数进行校正计算,Z参数根据目标在鱼眼图像中的相对尺寸及PTZ图像中需要的尺寸进行计算。通过对PTZ参数的多次实验测量,其结果的误差均在系统要求范围之内。系统实际的户外测试结果表明,系统能准确检测出鱼眼图像中的运动目标,在PTZ参数的控制下,PTZ相机能准确指向目标进行二次高分辨率成像,目标在PTZ图像中的位置和大小合适,达到预期的设计目标。