鱼眼图像校正及拼接的研究与实现

鱼眼图像视角大，两幅图片即可拼接成全景图，但鱼眼图像存在严重变形。该文利用场景中直线的鱼眼投影曲线，使用球面透视投影约束，得到径向和切向变形参数，实现了鱼眼图像的校正。基于待拼接图像之间重叠部分亮度差最小的原理，确定了重叠区域，通过在重叠区域间的融合，实现了图像的无缝拼接。校正及拼接结果表明，该方法能得到较为满意的效果。     

基于球面全景图的虚拟场景实时漫游系统

设计并实现一种基于球面全景图的虚拟场景实时漫游系统。虚拟场景的实时漫游可以通过对球面全景图进行重投影完成。通过重投影球面全景图的可视部分到视平面上,可以生成虚拟场景在不同视线方向上的透视视图。使用球面全景图的重投影算法可以模拟相机的旋转运动,通过改变相机的视域,可以模拟相机的变焦运动。针对直接使用重投影不能满足球面全景图实时绘制的问题,在对球面全景图的重投影算法进行仔细分析的基础上,提出使用查找表和增量计算进行加速的策略。实验结果表明,优化后的系统能够对基于球面全景图的虚拟场景进行实时漫游     

基于球面坐标定位算法的鱼眼图像校正方法

鱼眼镜头因其宽视场和短焦距而广泛应用于机器人导航、智能交通等领域。但鱼眼镜头拍摄的鱼眼图像存在较大程度的扭曲失真,所以图像校正问题值得研究。本文提出了基于球面坐标定位算法的鱼眼图像校正模型算法。首先运用预处理把鱼眼图像中的有效区域识别并提取出来。然后采用扫描线逼近法,得到较快的速度和较好的识别效果。由于不需要对图像进行标定,因此只选用二维算法进行校正。最后将球面坐标定位算法和双线性灰度插值方法相结合,并与传统的球面投影法进行对比试验。实验表明,与传统的球面投影模型相比,球面坐标定位模型运行速度更快、图像校正质量更好。     

全景图配准算法在虚拟课堂场景中的应用

随着图像拼接技术的发展,图像配准技术在虚拟现实课堂场景中发挥着越来越重要的作用。文章简单归纳了虚拟现实全景图拼接步骤及其核心问题;针对虚拟现实领域全景图配准算法研究现状,提出了一种基于特征点提取和频域变换(相位相关)的柱型图像配准算法,并通过实例说明了该算法在收敛速度、精度、绘制工作量方面均有不错效果;总结了图像配准算法在虚拟课堂场景中的应用价值。     

大场景的视频全景图拼接

为了解决大场景全景图拼接过程中的误差累积问题,提高图像拼接的一致性,提出了一个新的全景图拼接算法。把全局图像配准看作是一个统计估计问题,运用增广的卡尔曼滤波对图像的全局变换参数进行递归地增广和估计。实验结果表明,得到的变换参数是全局一致的,生成的全景图不存在拼接裂缝。拼接算法考虑了各种不确定性,适用于噪声大场景的全景图拼接。     

基于改进归一化互相关配准的口腔头侧序列图像全景图拼接算法

在牙科的头颅侧位成像中,使用小视野探测器经过线性扫描获得序列图像。为了得到头侧全景图,设计一种基于改进归一化互相关配准的拼接算法。该文使用高斯混合模型对图像进行分割预处理;将目标区域内的归一化互相关系数作为测度函数,采用基于小波变换的多分辨率策略与粒子群优化算法提高配准精度;对配准后的图像进行图像融合,经过多轮连续拼接得到口腔头侧全景图。实验结果表明,改进后的算法配准误差波动从[-6,8]缩小到[-1,1],配准结果达到亚像素级。主观和客观分析显示,所提算法得到的拼接全景图无拼接缝隙和重影,且质量评价指标为最优。     

基于球面全景图的空战环境漫游研究

研究鱼眼图像的拼接算法,实现利用两幅鱼眼图像生成球面虚拟空间,然后探讨基于球面虚拟图的多视点漫游问题,利用反投影模板技术有效地提高全景图浏览的速度,采用缩放的方法改进了行进间的浏览效果,从而提高虚拟漫游的沉浸感,具有一定的实用意义。     

鱼眼投影在虚拟实景中的应用研究

为了生成大视野的虚拟场景扣逼真的模拟球面，本文把鱼眼投影应用到虚拟实景中，给出由经纬映射图像生成角鱼眼投影的算法，并且在实现了三维浏览扣缩放，最后通过实例证明了鱼眼投影虚拟空间的效果．     

球面全景图像生成技术的研究

球面全景图可以任意改变观察视角,在场景的构造中具有重要的作用.针对球面投影过程中存在的变形问题,用双线性插值算法求出变换结果图像中的像素值,较好地解决了变形问题.在此基础上,采用基于灰度相关,由粗到精的图像拼接方法进行拼接.实验结果表明,经插值后进行拼接的球面全景图像能达到较好的视觉效果.     

孔壁全景图获取中的图像拼接技术研究

采用钻井后数字摄像获取具有真实感的孔壁全景图以进行地质分析已成为地质勘测的重要方法之一。已有的全景图获取方法存在设备成本高或图像拼接效果不理想等不足。通过控制测井深度,对井下孔壁四周360度的柱面空间投影到像面上得到序列环带图像,并对图像进行展开,运用中值滤波算法对图像进行预处理,通过差值图像匹配原理找出图像的重叠部分进行配准,然后采用贝塞尔曲线的逼近算法对图像进行融合,实现图像间的平滑过渡,最后得到具有真实感的孔壁全景图。实际地质勘测应用表明,该图像拼接技术简单,处理灵活高效,所获取的孔壁全景图具有理想的效果。     

利用鱼眼技术构建全景漫游系统的方法探索

全景漫游系统是近来出现在Internet上的一种新的交互式的虚拟场景表示方式,它以全景图的方式再现了三维场景,可以用相应的浏览器实现虚拟场景的漫游,具有很好的交换性和真实感。该文就如何利用鱼眼镜头进行图像获取;如何对图像进行拼接制作球状360度全景图;如何构建基于Java applet的漫游系统的方法进行了探索。     

虚拟校园三维全景漫游技术研究

本文对全景漫游技术进行了讨论。全景漫游技术中需要解决三个问题：全景图的生成、漫游空间的编辑和浏览器的设计。基于两张圆鱼眼图像生成单张球面全景图,我们开发实现了浙江师范大学校园全景漫游系统。在全景图的生成中,提出了一种基于拼合参数自动寻优的球面全景图生成方法。该方法具有拼合速度快、拼合效果好的特点。     

基于视点纠正的鱼眼图像场景化漫游方法

针对鱼眼图像畸变大、表示的场景信息不直观等特点,本文提出了一种 基于视点纠正的鱼眼图像场景化漫游方法。该方法以鱼眼图像所表示的半球空间为观察对 象,通过视点的转移在半球空间进行漫游,以对不同区域内的场景信息进行直观的观察。采 用鱼眼图像校正算法为基础建立鱼眼镜头的球面映射模型,通过映射关系对以视点为中心的 观察区域进行实时校正,当视点变化时对校正后的可视区域进行实时显示从而实现漫游。实 验结果表明,通过本文算法能够实现鱼眼图像所表示半球空间的实时漫游,且漫游时显示的 校正图像满足直线约束标准。     

环视鱼眼图像处理深度学习研究进展

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径：一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。     

局部特征及视觉一致性的柱面全景拼接算法

目的 传统的基于平面拼接算法生成的全景图像存在严重的失真问题,很难保证良好的视觉一致性;而普通柱面拼接算法无法较好地满足实时性要求。为此,提出一种基于改进SIFT（scale-invariant feature transform）特征描述子的柱面全景图像拼接算法。方法 首先将待拼接的图像序列进行柱面投影,利用改进的SIFT特征检测器获取图像中的特征点,生成64维SIFT特征描述子;然后根据特征描述子之间的欧氏距离提取初始特征点对,利用RANSAC（random sample consensus）方法进一步剔除伪匹配特征点对并建立待拼接图像之间的空间变换矩阵;最后根据图像之间的空间变换矩阵进行图像配准,采用加权平均融合的方法完成图像的无缝拼接。结果 本文全景图拼接算法,可以有效地克服平面拼接算法存在的失真问题,保证了全景图像的视觉一致性。同时,相比普通柱面拼接算法,本文算法的拼接速度提高了近一倍。结论 通过对不同尺寸和数量的图像序列构建全景图,相对于平面拼接算法和普通柱面拼接算法,本文算法可以有效实现图像之间的拼接,生成宽视野、高分辨率的全景图像,且能够应用于对实时性要求比较高的图像拼接场合。     

球面全景图像的拼接算法研究

在分析球面图像拼接算法的参数模型、基本原理和实现方法的基础上，提出了球面全景图像拼接的优化算法，取得了良好的拼接效果。     

肌骨超声图像特征检测及拼接

目的 肌骨超声宽景图像易出现解剖结构错位、断裂等现象,其成像算法中的特征检测影响宽景图像的质量,也是超声图像配准、分析等算法的关键步骤,但目前仍未有相关研究明确指出适合提取肌骨超声图像特征点的算法。本文利用结合SIFT （scale invariant feature transform）描述子的FAST（features from accelerated segment test）算法以及SIFT、SURF（speeded-up robust features）、ORB（oriented FAST and rotated binary robust independent elementary features（BRIEF））算法对肌骨超声图像序列进行图像拼接,并对各算法的性能进行比较评估,为肌骨超声图像配准、宽景成像提供可参考的特征检测解决方案。方法 采集5组正常股四头肌的超声图像序列,每组再采样10幅图像。利用经典的图像拼接算法进行肌骨图像的特征检测以及图像拼接。分别利用上述4种算法提取肌骨超声图像的特征点;对特征点进行特征匹配,估算出图像间的形变矩阵;对所有待拼接的图像进行坐标变换以及融合处理,得到拼接全景图,并在特征检测性能、特征匹配性能、图像配准性能以及拼接效果等方面对4种算法进行评估比较。结果 实验结果表明,与SIFT、SURF、ORB算法相比,FAST-SIFT算法所提取的特征点分布更均匀,可以检测到大部分肌纤维的端点,且特征点检测时间最短,约4 ms,其平均匹配对数最多,是其他特征检测算法的25倍,其互信息和归一化互相关系数均值分别为1.016和0.748,均高于其他3种特征检测算法,表明其图像配准精度更高。且FAST-SIFT算法的图像拼接效果更好,没有明显的解剖结构错位、断裂、拼接不连贯等现象。结论 与SIFT、SURF、ORB算法相比,FAST-SIFT算法是更适合提取肌骨超声图像特征点的特征检测算法,在图像配准精度等方面都具有一定的优势。     

基于改进IGG模型的全景图像拼接缝消除算法

为了提高序列图像拼接得到的全景图的质量,通常将L-M(Levenberg-Marquardt)算法用于图像拼接中变换模型的参数优化,但L-M算法不能消除误匹配点对模型求解的影响。为了消除误匹配点的影响,提出了基于IGG(Institute of Geodesy & Geophysics)函数模型的抗差L-M算法。首先利用IGG算法的迭代过程具有良好的抗粗差能力和可靠的收敛性等特点来优化变换模型,提高图像配准的精准度。然后采用自适应区域的拉普拉斯多分辨和最优拼接缝相结合的方法对拼接结果进行融合,以消除因拼接缝及光照不均而造成的过渡不连续现象。实验结果表明,所提算法不仅有效提高了配准精度,同时还实现了无缝拼接,获得了高质量的无缝拼接全景图。     

改进YOLOv5网络的鱼眼图像目标检测算法

针对目标检测算法应用在鱼眼图像数据集上检测精准率低、算法实时性差等问题,提出了在化工场景下利用改进网络YOLOv5进行鱼眼图像中的目标检测算法。由于无公开化工场景鱼眼图像数据集,提出了利用不同类型图像间像素点的坐标关系,将数据集转换为同鱼眼图像具有相同畸变效果的图像。为消除鱼眼图像中有效区域外的冗余信息,将线扫描算法应用到YOLOv5s数据预处理阶段。为在缩减模型的同时保证算法的检测精准率,提出了采用注意力机制scSE和空洞卷积来改进轻量级网络ShuffleNetV2,并利用改进后的轻量级网络代替原YOLOv5s中主特征提取网络。实验结果表明,在实验设置相同的条件下,改进后的算法在模型从27.4 MB缩减到14.2 MB的情况下,检测精准率从97.86%提高到98.46%。