煤矿鱼眼畸变图像校正

针对煤矿井下视频监控系统中鱼眼图像的畸变问题,根据理想球面透视投影模型的保线性约束条件,提出一种面向内容的校正参数自动获取方法,即通过对鱼眼畸变图像进行数学形态学和随机霍夫变换预处理得到所需的图像边缘特征直线,然后统计水平和垂直线段在总线段中的比例,分析统计结果,获取最佳校正参数。为了减少图像信息过多对校正参数获取过程的影响,对理想球面透视投影模型进行了改进,提出一种改进的鱼眼畸变图像校正方法,实现了对图像中心的转移和部分区域的放大。实验验证了该方法对鱼眼畸变图像的校正效果较好。     

改进鱼眼变换技术的图像适应

目的 为解决目前基于鱼眼变换技术的图像适应方法难以解决的焦点检测和多焦点冲突两大问题,提出一种基于改进鱼眼变换技术的图像适应方法。方法 提出的方法根据源图像的能量计算出图像中所有最优高能量线并组成高能量线集合,作为源图像的高能量部分,即图像的焦点区域;以能量线而不是传统的图像区域为单位进行鱼眼变换以得到目标图像。结果 改变鱼眼变换技术的变换模式并应用于图像适应中,实验结果表明,本文方法解决了基于鱼眼变换技术的图像适应方法存在的问题,通过本文算法所得到的目标图像具有较好的视觉效果,用户满意度接近4分。算法运行速度较快,将源图像(512×384)长度缩小一半的情况下仅需6 s的运算时间。结论 本文方法一方面保留了鱼眼变换图像适应方法的优势,在突出显示图像重要部分的同时,不会忽略图像的次要部分;另一方面解决了鱼眼变换图像适应方法存在的焦点检测和多焦点冲突问题。实现效果和用户主观评价结果表明,该方法是一种有效可行的图像适应方法。     

鱼眼变换方式的图像适应中多焦点问题的处理方法

为解决目前采用形变技术的图像适应方法难以处理多焦点图像的问题,提出一种基于鱼眼变换技术的图像适应方法。这种方法既能够突出显示图像中需要关注的区域,又能够保留图像的背景信息,而且能够解决多焦点图像的适应问题。对于具有多焦点的图像,首先计算出各焦点之间的距离,通过设定合适的阈值,选择采用正交鱼眼变换或将图像分割后使用全域鱼眼变换,以解决可能出现的多焦点冲突问题。实现效果和用户主观评价结果表明,提出的方法对于解决多焦点图像适应问题是一种可行的方案。     

基于柱面模型的鱼眼影像校正方法的研究

鱼眼镜头突破普通相机对视场的限制,然而它存在畸变。从基于球面透视的柱面模型出发,介绍如何对整幅鱼眼影像进行畸变校正,提出一种基于球面透视的柱面模型的等弧长映射方法,并给出具体算法的推导,实现了对鱼眼影像畸变的校正,取得了较好的效果。     

一种扩展小孔成像模型的鱼眼相机矫正与标定方法

鱼眼相机由于其超宽的视场范围（Field of view,FOV）（可以达到180°以上）,得到越来越广泛的应用. 常规的基于小孔成像模型的相机矫正与标定算法在超宽视场的鱼眼成像系统中已经不太适用,为了兼顾小孔模型的特点,本文提出了一种扩展小孔成像模型的鱼眼相机矫正与标定方法. 此方法是对小孔成像模型的进一步拓展,不仅具备小孔模型实现简单、适合人眼视觉效果以及相机标定方便等优点,同时将小孔成像模型适用的视场范围扩展到超宽视场领域. 其基本思路是:在利用小孔成像模型对鱼眼相机90°左右视场范围进行矫正与标定的基础上,使用非等间距的点阵模板,并结合直线拟合以及自然邻点插值算法,扩展小孔模型适用的视场范围. 本文使用鱼眼相机从不同的角度拍摄多幅模板图,完成鱼眼相机的矫正与标定. 通过求取的小孔成像模型参数实现相机的标定;对鱼眼相机拍摄的实际场景图进行畸变矫正测试,结果表明此方法能够很好地矫正鱼眼相机存在的畸变,得到符合人眼视觉效果的矫正图;单幅矫正图视场范围达到130°,结合不同角度拍摄的多幅模板图,可把矫正的视场范围扩展到180°.     

基于MSCR和ASIFT的鱼眼图像立体匹配研究

鱼眼镜头在具有大视场优点的同时,存在成像失真大的缺陷,特别在边缘区域更为严重,因而在光轴正交或大视场条件下的立体视觉系统中,难以实现对图像的特征匹配。常规立体视觉匹配方法多基于小孔成像模型进行构建,直接用于鱼眼镜头图像的匹配存在较大误差,会影响图像间匹配的准确度。针对此问题,建立了一种具有仿射不变性的联合匹配算法。先提取鱼眼镜头图像的彩色图像最大稳定值区域(MSCR)特征区域,接着采用仿射尺度不变特征变换(ASIFT)算子对该区域进行逐一描述,从而获取鱼眼图像间的最佳匹配。通过试验验证,该方法具有稳定一致性,能够完成未经失真校正鱼眼镜头图像的立体匹配。     

对鱼眼照片场景实现三维重建和虚拟浏览

该文对鱼眼相机拍摄的照片建立了一种可校正的鱼眼镜头抛物面模型和一组鱼眼透视约束条件．对于一个场景，只需前后拍摄两幅鱼眼照片并给出其结构草图，就可以利用局部高斯加权的算法提取整个场景框架，从而恢复场景的三维模型．以此模型为基础，不仅可以实现全景漫游，而且可以实现在场景的任意位置向任意方向的具有真实感的三维虚拟浏览。     

基于视点纠正的鱼眼图像场景化漫游方法

针对鱼眼图像畸变大、表示的场景信息不直观等特点,本文提出了一种 基于视点纠正的鱼眼图像场景化漫游方法。该方法以鱼眼图像所表示的半球空间为观察对 象,通过视点的转移在半球空间进行漫游,以对不同区域内的场景信息进行直观的观察。采 用鱼眼图像校正算法为基础建立鱼眼镜头的球面映射模型,通过映射关系对以视点为中心的 观察区域进行实时校正,当视点变化时对校正后的可视区域进行实时显示从而实现漫游。实 验结果表明,通过本文算法能够实现鱼眼图像所表示半球空间的实时漫游,且漫游时显示的 校正图像满足直线约束标准。     

基于参考点配准法的全景泊车系统研究

为了提高驾驶行车的安全性,研究并改进了一种全景泊车系统,由鱼眼摄像头,图像处理单元和显示器三大部分组成.鱼眼摄像头采集汽车四周的超广角图像;在OpenCV环境下通过鱼眼摄像头标定,桶型矫正和图像的透视变换技术形成汽车前后左右的4幅平面俯视图;提出了一种参考点配准的方法,可以根据平面俯视图得到汽车的360°全景图像,并在显示器上显示.与特征点匹配法相比,参考点配准方法受环境的影响很小且对硬件性能要求较低,因此,更适用于嵌入式系统实现.     

一种基于球面透视投影约束的鱼眼镜头校正方法

鱼眼镜头摄像机具有较大视场，但是，使用鱼眼摄像机拍摄的图像会有非常严重的变形．该文研究基于球面透视投影约束的鱼眼镜头校正方法．球面透视投影约束是指空间直线的球面透视投影为球面上的大圆．作者首先使用含有变形校正参数的鱼眼变形校正模型，将空间直线的鱼眼投影曲线上的点映射为球面点，然后通过球面点到大圆的球面距离最小来拟合大圆，恢复了变形校正参数，从而实现了鱼眼图像的校正．模拟实验和真实图像实验表明，该方法能得到比较满意的校正结果．     

针对鱼眼图像边缘校正缺失的快速校正算法

针对鱼眼图像校正中水平方向畸变以及边缘缺失的问题,通过引入可控参数控制边缘部分的校正范围,同时融合三角计算以及参数变换,获取校正关系,使映射面与鱼眼图像达到最佳匹配结果.获取校正关系后运用双线性插值算法对校正图像进行插值运算以填充图像.实验表明,算法对视图主要区域和边缘部分畸变的校正取得较好效果,边缘部分信息流失较少,主视图区域畸变角度明显减小,校正后图像与未畸变源图像相比结构相似性高,尽可能大的保留鱼眼图像信息,算法效率提高,算法运行时间缩短近50%.该鱼眼图像校正算法在校正效率以及校正效果上都有显著提高,具有可行性和有效性.     

环视鱼眼图像处理深度学习研究进展

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径：一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。     

基于分离参数标定的鱼眼镜头成像模型研究

鱼眼图像具有大视场角,但在应用方面存在严重畸变,为了探索鱼眼镜头的成像规律,本文提出一种基于分离参数标定的鱼眼镜头成像模型研究方法。对相机的物理参数进行分离标定,设计靶标,拟合径向、切向畸变系数,从而得到鱼眼镜头成像模型。比较由成像模型反推出的物点与真实物点的位置,实验结果表明,经本文提出的成像模型得到的成像点与真实物点的入射角和偏移角的误差均值分别为0.011 5和0.019 4。采用基于分离参数标定的鱼眼镜头成像模型研究方法可以较好地反映鱼眼镜头的成像规律,为更广泛地应用鱼眼镜头奠定基础。     

鱼眼图像校正和配准算法研究

提出一种对鱼眼图像进行校正和配准的算法。首先把鱼眼图像从相等距离投影模型映射到参数化球面投影模型,使得合成球面全景图成为一个平移求解问题。然后使用非线性优化算法进行图像的配准。在合成场景的球面全景图以后,通过重投影球面全景图到视平面来完成虚拟场景的实时漫游。     

鱼眼相机与PTZ相机相结合的主从目标监控系统

提出了一种将鱼眼相机和PTZ相机相结合的主从目标监控系统,充分利用鱼眼相机单镜头半球空间成像以及PTZ相机指向性高分辨率成像的优点,实现了单系统半球空间运动目标的高分辨率成像监控。首先采用运动点团模式实现鱼眼图像中运动目标的检测;然后在鱼眼图像空间计算目标的相对方位角P′、俯仰角T′和距离Z′;最后通过参数映射将其映射到PTZ图像空间,输出PTZ控制信号给相机进行指向性成像。PTZ图像空间中的P参数和T参数结合鱼眼镜头畸变系数进行校正计算,Z参数根据目标在鱼眼图像中的相对尺寸及PTZ图像中需要的尺寸进行计算。通过对PTZ参数的多次实验测量,其结果的误差均在系统要求范围之内。系统实际的户外测试结果表明,系统能准确检测出鱼眼图像中的运动目标,在PTZ参数的控制下,PTZ相机能准确指向目标进行二次高分辨率成像,目标在PTZ图像中的位置和大小合适,达到预期的设计目标。     

Evaluation of the Unified Model of the Sphere for Fisheye Cameras in Robotic Applications

Abstract

A wide field of view is required for many robotic vision tasks. Such an aperture may be acquired by a fisheye camera, which provides a full image compared to catadioptric visual sensors, and does not increase the size and the weakness of the imaging system with respect to perspective cameras. While a unified model exists for all central catadioptric systems, many different models, approximating the radial distortions, exist for fisheye cameras. It is shown in this paper that the unified projection model proposed for central catadioptric cameras is also valid for fisheye cameras in the context of robotic applications. This model consists of a projection onto a virtual unitary sphere followed by a perspective projection onto an image plane. This model is shown equivalent to almost all the fisheye models. Calibration with four cameras and partial Euclidean reconstruction are done using this model, and lead to persuasive results. Finally, an application to a mobile robot navigation task is proposed and correctly executed along a 200-m trajectory.     

Cursor caging: enhancing focus targeting in interactive fisheye views

Fisheye view is an effective approach to visualizing and navigating large data sets by offering both local details and global context in the same view.However,by using different magnification factors for detail and context information,fisheye view also leads to new usability issues,one of which is the focus targeting difficulty.This challenge happens when a user tries to select a target to either shift the focus to a new place or chooses the target.Because of the magnification factors applied to the fisheye view,the target moves when the cursor moves,and consequently,the moving distance the cursor actually needs to travel to reach the target does not match the distance between the cursor and target shown on the screen.Task accuracy and efficiency can be affected.This paper analyzes the mechanism of this difficulty and proposes a new technique,cursor caging,as a method to alleviate the focus targeting difficulty in interactive fisheye views.This technique extends the fisheye magnification approach from one element to a focal region,which can contain several elements,and allows the mouse cursor to move freely inside this region without affecting the magnification of objects inside the focal region.In addition to the mathematical representation of this technique,we also develop two designs that incorporate the cursor caging concept in fisheye views,and describe a usability study on the technique.Our results showed that cursor caging can significantly improve the task completion time and reduce the error rate in focusing targeting tasks.     

一个基于认知特性的数据可视化3D模型的研究

随着计算机系统中信息规模的增大,有限的屏幕尺寸已不能满足大信息量显示的需求。针对这个问题,提出了一种全新“不倒翁”模型。该3D数据可视化模型基于对计算机图形图像学、心理学和认知学理论的研究,创造性地利用了“鱼眼视图”的优势和人们的空间认知特点,具有很强的交互性和易用性,使得用户能在“小屏幕”上方便地进行“大信息”的浏览和检索。实验结果表明它起到了预期的效果。     

鱼眼投影在虚拟实景中的应用研究

为了生成大视野的虚拟场景扣逼真的模拟球面，本文把鱼眼投影应用到虚拟实景中，给出由经纬映射图像生成角鱼眼投影的算法，并且在实现了三维浏览扣缩放，最后通过实例证明了鱼眼投影虚拟空间的效果．