内投式球幕投影系统的实现算法

针对内投式球幕投影中涉及的计算机处理过程,提出了基于虚拟球面变换和虚拟鱼眼透镜投射的内投式球幕投影算法,并针对不规则鱼眼透镜导致的球幕映像扭曲,提出了基于等立体角投影函数的六阶函数校正算法,该六阶函数的系数可通过简单求解六元一次方程获得。实验结果表明,该方法能完全消除不规则鱼眼透镜导致的球幕投影扭曲。针对球幕投影导致的图像亮度分布变异提出了基于投射角余弦修正的球幕光强校正算法。实验结果表明,该算法成功地把与输入二维图像亮度分布差异明显的球幕投影图像校正至与原始图像亮度分布高度一致的状态。该方法对球幕投影系统的设计和软件开发具有重要的理论指导意义和实践应用价值。     

内投式球幕投影系统的实现算法

针对内投式球幕投影中涉及的计算机处理过程,提出了基于虚拟球面变换和虚拟鱼眼透镜投射的内投式球幕投影算法,并针对不规则鱼眼透镜导致的球幕映像扭曲,提出了基于等立体角投影函数的六阶函数校正算法,该六阶函数的系数可通过简单求解六元一次方程获得。实验结果表明,该方法能完全消除不规则鱼眼透镜导致的球幕投影扭曲。针对球幕投影导致的图像亮度分布变异提出了基于投射角余弦修正的球幕光强校正算法。实验结果表明,该算法成功地把与输入二维图像亮度分布差异明显的球幕投影图像校正至与原始图像亮度分布高度一致的状态。该方法对球幕投影系统的设计和软件开发具有重要的理论指导意义和实践应用价值。     

鱼眼图像校正和配准算法研究

提出一种对鱼眼图像进行校正和配准的算法。首先把鱼眼图像从相等距离投影模型映射到参数化球面投影模型,使得合成球面全景图成为一个平移求解问题。然后使用非线性优化算法进行图像的配准。在合成场景的球面全景图以后,通过重投影球面全景图到视平面来完成虚拟场景的实时漫游。     

一种基于球面透视投影约束的鱼眼镜头校正方法

鱼眼镜头摄像机具有较大视场，但是，使用鱼眼摄像机拍摄的图像会有非常严重的变形．该文研究基于球面透视投影约束的鱼眼镜头校正方法．球面透视投影约束是指空间直线的球面透视投影为球面上的大圆．作者首先使用含有变形校正参数的鱼眼变形校正模型，将空间直线的鱼眼投影曲线上的点映射为球面点，然后通过球面点到大圆的球面距离最小来拟合大圆，恢复了变形校正参数，从而实现了鱼眼图像的校正．模拟实验和真实图像实验表明，该方法能得到比较满意的校正结果．     

基于球面全景图的空战环境漫游研究

研究鱼眼图像的拼接算法,实现利用两幅鱼眼图像生成球面虚拟空间,然后探讨基于球面虚拟图的多视点漫游问题,利用反投影模板技术有效地提高全景图浏览的速度,采用缩放的方法改进了行进间的浏览效果,从而提高虚拟漫游的沉浸感,具有一定的实用意义。     

鱼眼图像校正及拼接的研究与实现

鱼眼图像视角大，两幅图片即可拼接成全景图，但鱼眼图像存在严重变形。该文利用场景中直线的鱼眼投影曲线，使用球面透视投影约束，得到径向和切向变形参数，实现了鱼眼图像的校正。基于待拼接图像之间重叠部分亮度差最小的原理，确定了重叠区域，通过在重叠区域间的融合，实现了图像的无缝拼接。校正及拼接结果表明，该方法能得到较为满意的效果。     

交互式实时虚拟内窥镜系统的关键技术

在分析虚拟内窥镜和体数据可视化方法的基础上，提出了一种基于透视投影体绘制的交互式实时虚拟内窥镜算法，在微机平台上实现的基于体绘制的虚拟内窥镜系统，验证了该算法的实时性和所生成图像的质量。     

对鱼眼照片场景实现三维重建和虚拟浏览

该文对鱼眼相机拍摄的照片建立了一种可校正的鱼眼镜头抛物面模型和一组鱼眼透视约束条件．对于一个场景，只需前后拍摄两幅鱼眼照片并给出其结构草图，就可以利用局部高斯加权的算法提取整个场景框架，从而恢复场景的三维模型．以此模型为基础，不仅可以实现全景漫游，而且可以实现在场景的任意位置向任意方向的具有真实感的三维虚拟浏览。     

基于球面坐标定位算法的鱼眼图像校正方法

鱼眼镜头因其宽视场和短焦距而广泛应用于机器人导航、智能交通等领域。但鱼眼镜头拍摄的鱼眼图像存在较大程度的扭曲失真,所以图像校正问题值得研究。本文提出了基于球面坐标定位算法的鱼眼图像校正模型算法。首先运用预处理把鱼眼图像中的有效区域识别并提取出来。然后采用扫描线逼近法,得到较快的速度和较好的识别效果。由于不需要对图像进行标定,因此只选用二维算法进行校正。最后将球面坐标定位算法和双线性灰度插值方法相结合,并与传统的球面投影法进行对比试验。实验表明,与传统的球面投影模型相比,球面坐标定位模型运行速度更快、图像校正质量更好。     

基于球面全景图的虚拟场景实时漫游系统

设计并实现一种基于球面全景图的虚拟场景实时漫游系统。虚拟场景的实时漫游可以通过对球面全景图进行重投影完成。通过重投影球面全景图的可视部分到视平面上,可以生成虚拟场景在不同视线方向上的透视视图。使用球面全景图的重投影算法可以模拟相机的旋转运动,通过改变相机的视域,可以模拟相机的变焦运动。针对直接使用重投影不能满足球面全景图实时绘制的问题,在对球面全景图的重投影算法进行仔细分析的基础上,提出使用查找表和增量计算进行加速的策略。实验结果表明,优化后的系统能够对基于球面全景图的虚拟场景进行实时漫游     

Evaluation of the Unified Model of the Sphere for Fisheye Cameras in Robotic Applications

Abstract

A wide field of view is required for many robotic vision tasks. Such an aperture may be acquired by a fisheye camera, which provides a full image compared to catadioptric visual sensors, and does not increase the size and the weakness of the imaging system with respect to perspective cameras. While a unified model exists for all central catadioptric systems, many different models, approximating the radial distortions, exist for fisheye cameras. It is shown in this paper that the unified projection model proposed for central catadioptric cameras is also valid for fisheye cameras in the context of robotic applications. This model consists of a projection onto a virtual unitary sphere followed by a perspective projection onto an image plane. This model is shown equivalent to almost all the fisheye models. Calibration with four cameras and partial Euclidean reconstruction are done using this model, and lead to persuasive results. Finally, an application to a mobile robot navigation task is proposed and correctly executed along a 200-m trajectory.     

环视鱼眼图像处理深度学习研究进展

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径：一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。     

基于双线性插值的鱼眼图像校正方法

鱼眼镜头具有大视场、短焦距等优点,近年来被广泛应用到不同的领域。由于鱼眼镜头成像存在较大的畸变,目前主要用来目标监测,在目标物体的识别方面应用得很少。为此,提出一种基于球面透视投影约束的鱼眼图像校正方法,并用双线性插值法对校正后的图像进行填充,为鱼眼镜头在目标物体识别跟踪方面的应用做了准备工作。实验结果表明采用上述方法能够很好地对鱼眼图像畸变进行校正,且校正后的鱼眼图像符合人的直观感觉,真实感较强,图像边缘清晰。     

基于柱状全景图的空间漫游视图拟合算法

本文提出了一种基于柱状全景图的空间漫游视图拟合算法。其核心是基于固定点柱状全景图之间的空间关系并通过图像拼接技术和图像混合技术生成任意视点下图像。为实现漫游行进中视图信息的合理过渡,设计了固定视点柱状全景图分割后各部分的图像映射关系。实验证明该漫游策略可以满足虚拟漫游的实时性要求,同时具有规模扩展性。     

基于梯度投影法的电子稳像算法

灰度投影法在灰度值单一、对比度差的图像序列中的运动估计不精准,易造成误差。针对该问题,提出一种基于梯度投影法的电子稳像算法。该算法根据梯度帧内变化剧烈、帧间变化稳定、梯度投影曲线变化明显等特点,利用图像的梯度分布情况进行运动估计。实验结果表明,该算法可提高微光图像序列的帧间运动估计精度。     

一种360度柱面全景图快速生成算法

全景图像是构造虚拟环境的基本要素之一,本文提出了一种新的360柱面全景图绘制算法。首先对原始图像进行柱面投影,然后通过对图象重叠部分的对应特征区域进行匹配和拼合来实现图象无缝镶嵌。实验表明该算法运算量较小,能有效、快速地生成柱面全景图。     

注意力机制的曲面沉浸式投影系统补偿

目的 沉浸式投影系统已广泛运用于虚拟现实系统之中,然而沉浸式投影系统中的互反射现象严重影响着虚拟现实系统的落地使用。沉浸式投影系统的互反射是指由于投影机光线和屏幕反射光线相互叠加造成的亮度冗余现象,严重影响了投影系统的成像质量和人眼的视觉感受。为此,本文提出一种新的基于互反射通道(inter-reflection channel,IRC)先验和注意力机制的神经网络。方法 IRC先验基于这样一个事实,即大多数受到互反射影响的投影图像都包含一些亮度较高的区域。高亮度区域往往受互反射影响更为严重,而低亮度区域受互反射影响程度较低。根据这一规律,采用IRC先验作为注意力图的监督样本,获取补偿图像的亮度区域信息。同时,为了对投影图像不同区域按影响程度进行差异化补偿,提出一种新的由两个相同子网络构成的补偿网络结构Pair-Net。结果 实验对比了4种现有方法,Pair-Net在ROI(region of interesting)指标分析上取得了明显优势,在人眼感受上有显著的效果提升。结论 本文提出的基于注意力机制的网络模型能够针对不同区域进行差异化补偿,很大程度上消除了互反射影响,提升了沉浸式投影系统的成像质量。