自适应成本量的抗遮挡光场深度估计算法

目的 光场相机通过一次成像同时记录场景的空间信息和角度信息,获取多视角图像和重聚焦图像,在深度估计中具有独特优势。遮挡是光场深度估计中的难点问题之一,现有方法没有考虑遮挡或仅仅考虑单一遮挡情况,对于多遮挡场景点,方法失效。针对遮挡问题,在多视角立体匹配框架下,提出了一种对遮挡鲁棒的光场深度估计算法。方法 首先利用数字重聚焦算法获取重聚焦图像,定义场景的遮挡类型,并构造相关性成本量。然后根据最小成本原则自适应选择最佳成本量,并求解局部深度图。最后利用马尔可夫随机场结合成本量和平滑约束,通过图割算法和加权中值滤波获取全局优化深度图,提升深度估计精度。结果 实验在HCI合成数据集和Stanford Lytro Illum实际场景数据集上展开,分别进行局部深度估计与全局深度估计实验。实验结果表明,相比其他先进方法,本文方法对遮挡场景效果更好,均方误差平均降低约26.8%。结论 本文方法能够有效处理不同遮挡情况,更好地保持深度图边缘信息,深度估计结果更准确,且时效性更好。此外,本文方法适用场景是朗伯平面场景,对于含有高光的非朗伯平面场景存在一定缺陷。     

基尼指数成本量指导的抗遮挡光场深度估计方法

光场相机能够实现一次拍摄即获得三维场景的多视角信息,在深度估计领域中具有独特优势.但是,当场景中存在复杂遮挡时,现有深度估计方法提取深度信息的精度会明显降低.针对该问题,设计一种基尼指数成本量指导下的抗遮挡光场深度估计方法.首先,利用光场重聚焦方法获得焦栈图像;然后,构造中心视角与其他视角的基尼指数成本量,并根据成本最小原则计算得到初始深度图;最后,结合彩色图进行联合引导滤波,获得最终的高精度的深度图像.实验结果表明,所提方法对复杂场景更加鲁棒,能够在较小的算法复杂度下获取更好的深度估计结果.相比于其他先进方法,所提方法获取的深度图精度更高,图像边缘保留效果更好,在HCI数据集上的MSE100指标平均降低约7.8%.     

3D遮挡模型引导的光场图像深度获取

目的 光场相机可以通过单次曝光同时从多个视角采样单个场景,在深度估计领域具有独特优势。消除遮挡的影响是光场深度估计的难点之一。现有方法基于2D场景模型检测各视角遮挡状态,但是遮挡取决于所采样场景的3D立体模型,仅利用2D模型无法精确检测,不精确的遮挡检测结果将降低后续深度估计精度。针对这一问题,提出了3D遮挡模型引导的光场图像深度获取方法。方法 向2D模型中的不同物体之间添加前后景关系和深度差信息,得到场景的立体模型,之后在立体模型中根据光线的传输路径推断所有视角的遮挡情况并记录在遮挡图（occlusion map）中。在遮挡图引导下,在遮挡和非遮挡区域分别使用不同成本量进行深度估计。在遮挡区域,通过遮挡图屏蔽被遮挡视角,基于剩余视角的成像一致性计算深度;在非遮挡区域,根据该区域深度连续特性设计了新型离焦网格匹配成本量,相比传统成本量,该成本量能够感知更广范围的色彩纹理,以此估计更平滑的深度图。为了进一步提升深度估计的精度,根据遮挡检测和深度估计的依赖关系设计了基于最大期望（exception maximization,EM）算法的联合优化框架,在该框架下,遮挡图和深度图通过互相引导的方式相继提升彼此精度。结果 实验结果表明,本文方法在大部分实验场景中,对于单遮挡、多遮挡和低对比度遮挡在遮挡检测和深度估计方面均能达到最优结果。均方误差（mean square error,MSE）对比次优结果平均降低约19.75%。结论 针对遮挡场景的深度估计,通过理论分析和实验验证,表明3D遮挡模型相比传统2D遮挡模型在遮挡检测方面具有一定优越性,本文方法更适用于复杂遮挡场景的深度估计。     

基于随机遮挡孔径的光场图像混叠检测方法

现有光场采集系统存在角度信息欠采样的问题,由此引起的图像混叠效应降低了光场图像质量. 本文在2D光场框架下分析了光场图像混叠的空域模型,并且提出一种变换离散孔径采样密度的混叠检测方法. 该方法通过计算随机遮挡孔径（Random masked aperture,RMA）成像点集的变异系数进行混叠检测,特点在于无需已知场景深度和纹理的先验信息. 以平面相机阵列为采集平台,本文在多组真实光场数据集上进行了方法的验证,并且在检测结果基础上对混叠效应进行了修正.     

融合两种深度线索的光场图像深度估计方法

针对传统的光场深度估计算法采用单一的深度线索进行深度估计,导致估计结果精度较低的问题,,提出了一种融合视差和散焦量两种深度线索的光场深度估计的方法。该方法首先进行深度线索的构建,将输入的光场图片转化为EPI Volume和Refocus Volume结构,通过卷积神经网络将EPI特征和散焦特征转化为深度信息,为了克服训练数据不足,采用色彩变换、缩放和随机灰度化等方式进行数据扩容。最终在HCI 4D光场标准数据集上的对比测试结果表明,该方法在均方误差和坏像素率上优于传统算法,且在执行时间上也具有很大优势。     

抗多遮挡物干扰的光场深度信息估计算法

针对光场的深度信息估计中，由遮挡带来的干扰，造成遮挡处的深度值估计精度低的问题，提出一种抗多遮挡物干扰的光场深度信息估计算法。对场景点的angular patch图像进行多遮挡物分析，分析遮挡物的位置分布特性。基于分类的思想提出改进AP（Affinity Propagation）聚类算法将场景点的angular patch图像进行像素点分类，将遮挡物和场景点分离。对分离遮挡物后的angular patch图像提出联合像素强度信息熵及中心方差的目标函数，最小化该函数，求得场景点的初始深度值估计。对初始深度值估计提出基于MAP-MRF（最大后验估计的马尔可夫随机场）框架的平滑约束能量函数进行平滑优化，并采用图割算法（Graph Cut Algorithm）求解，得到场景的最终深度值估计。实验结果表明，相较于现有深度信息估计算法，所提算法提升了遮挡处的估计精度。     

抗高光的光场深度估计方法

目的 光场相机一次成像可以同时获取场景中光线的空间和角度信息,为深度估计提供了条件。然而,光场图像场景中出现高光现象使得深度估计变得困难。为了提高算法处理高光问题的可靠性,本文提出了一种基于光场图像多视角上下文信息的抗高光深度估计方法。方法 本文利用光场子孔径图像的多视角特性,创建多视角输入支路,获取不同视角下图像的特征信息;利用空洞卷积增大网络感受野,获取更大范围的图像上下文信息,通过同一深度平面未发生高光的区域的深度信息,进而恢复高光区域深度信息。同时,本文设计了一种新型的多尺度特征融合方法,串联多膨胀率空洞卷积特征与多卷积核普通卷积特征,进一步提高了估计结果的精度和平滑度。结果 实验在3个数据集上与最新的4种方法进行了比较。实验结果表明,本文方法整体深度估计性能较好,在4D light field benchmark合成数据集上,相比于性能第2的模型,均方误差（mean square error,MSE）降低了20.24%,坏像素率（bad pixel,BP）降低了2.62%,峰值信噪比（peak signal-to-noise ratio,PSNR）提高了4.96%。同时,通过对CVIA （computer vision and image analysis） Konstanz specular dataset合成数据集和Lytro Illum拍摄的真实场景数据集的定性分析,验证了本文算法的有效性和可靠性。消融实验结果表明多尺度特征融合方法改善了深度估计在高光区域的效果。结论 本文提出的深度估计模型能够有效估计图像深度信息。特别地,高光区域深度信息恢复精度高、物体边缘区域平滑,能够较好地保存图像细节信息。     

光场深度估计方法的对比研究*

为了更有效地利用光场信息实现场景深度的精确估计,文中回顾并深入探讨光场的深度估计问题。通过阐述光场基本理论,将光场深度估计归纳为基于极平面图像、多视角图像及重聚焦的3种方法。在合成数据集上,对比光照变化对不同算法性能的影响,并构建一个更全面且具有挑战性的光场数据集。在该数据集、光场标准数据集及LytroDataset上,定性及定量分析不同复杂场景对算法性能的影响,进一步指出该领域的研究方向。     

基于共聚焦图像序列的深度估计方法

提出一种基于共聚焦图像的深度估计方法。采用虚拟孔径技术把相机阵列获得的多视角图像合成得到共聚焦图像序列,并将其作为聚焦测距的数据源进行聚焦分析,实现对场景深度信息的估计。针对共聚焦图像的特点,将传统聚焦测距方法中的清晰度评价算法与颜色一致性评价算法相结合,提出一种聚焦度测量算法,该测量算法同时适用于图像中强纹理区域和弱纹理区域的聚焦分析。实验结果表明,该方法对聚焦判别的有效性较高,可以获得较准确的场景深度估计。     

基于超像素的深度图修复算法

随着计算机视觉领域不断的发展,用于描述场景深度信息的深度图受到越来越多的关注。针对深度图中由于深度信息缺失导致的图像空洞、深度值准确度不高及图像噪声等问题,提出了一种融合超像素和基于方向的联合双边滤波器的深度图修复算法来改善深度图的质量。该算法引入了基于超像素的自适应滤波窗口,并对不同类型的空洞像素点采用不同的滤波算法,从而对深度图进行修复和优化。定性对比实验和定量评价结果表明,其可以有效地修复深度图空洞噪点,获得高质量、高准确性的深度图。     

基于多尺度特征及Wasserstein距离损失的单目图像深度估计

矿井巷道、交通隧道等场景受火灾威胁的困扰,采用基于图像的智能火灾探测方法在火灾初期快速识别其发生位置具有重要意义。现有方法面临时间序列一致性问题,且对相机姿态变化具有高度敏感性,在复杂动态环境中的识别性能下降。针对该问题,提出一种红外（IR）和可见光（RGB）图像融合的隧道火源深度估计方法。引入自监督学习框架的位姿网络,来预测相邻帧间的位姿变化。构建两阶段训练的深度估计网络,基于UNet网络架构分别提取IR和RGB特征并进行不同尺度特征融合,确保深度估计过程平衡。引入相机高度损失,进一步提高复杂动态环境中火源探测的准确性和可靠性。在自制隧道火焰数据集上的实验结果表明,以Resnet50为骨干网络时,构建的隧道火源自监督单目深度估计网络模型的绝对值相对误差为0.102,平方相对误差为0.835,均方误差为4.491,优于主流的Lite-Mono,MonoDepth,MonoDepth2,VAD模型,且精确度阈值为1.25,1.25²,1.25³时整体准确度最优;该模型对近景和远景区域内物体的预测效果优于DepthAnything,MonoDepth2,Lite-Mono模型。

     

特征融合网络：多通道信息融合的光场深度估计

摘 要：光场相机可以仅在一次拍摄中记录场景的空间和角度信息,所生成的图像与传统二维图像相比包含了更多的信息,在深度估计任务方面更具有优势。为了利用光场图像获取高质量的场景深度,基于其多视角的表征方式,提出了一种具有多通道信息高效融合结构的特征融合网络。在人为选择特定视角的基础上,使用不同尺寸卷积核来应对不同的基线变化;同时针对光场数据的多路输入特点搭建了特征融合模块,并利用双通道的网络结构整合神经网络的前后层信息,提升网络的学习效率并减少信息损失。在 new HCI 数据集上的实验结果显示,该网络在训练集上的收敛速度较快,可以在非朗伯场景中实现精确的深度估计,并且在 MSE 指标的平均值表现上要优于所对比的其他先进的方法。     

基于条件生成对抗网络的光场图像透视视图生成算法

光场图像新视图生成算法在视点内插和外插方面已经取得了良好的研究成果,但在视点位置平移和旋转一定角度情形下的透视视图生成仍然是一项具有挑战性的任务。针对上述问题,提出了一种基于条件生成对抗网络的光场图像透视视图生成算法LFIPTNet（light field image perspective transformation network）,利用相机的位姿信息作为条件来引导条件生成对抗网络学习新视图的内容。提出了多个模块,充分利用相机位姿信息和光场宏像素图像（macro pixel image,MPI）记录空间信息、角度信息、深度信息来生成预测视图。提出的方法在构建的数据集上与最新的三种方法进行了比较,相比于性能第二的StereoMag模型,PSNR提高了7.77 dB,SSIM提高了0.35。消融实验部分对提出的模块进行了评估,验证了创新点的有效性。充分的实验结果表明LFIPTNet相比于现有算法,生成的预测视图更加准确。     

光场成像技术及其在计算机视觉中的应用

目的 光场成像技术刚刚在计算机视觉研究中展开初步应用,其相关研究比较零散,缺乏系统性。本文旨在系统介绍光场成像技术发展以及其应用在计算机视觉研究中有代表性的工作。方法 从解决计算机视觉问题的角度出发,4个层面讨论光场成像技术最近十年的研究工作,包括:1)主流的光场成像设备及其作为计算机视觉传感器的优点与不足;2)光场相机作为视觉传感器的标定、解码以及预处理方法;3)基于4维光场的图像渲染与重建技术,以及其如何促进计算机视觉研究;4)以4维光场数据为基础的特征表达方法。结果 逐层梳理出光场成像在求解视觉问题中的优势和局限,分析其中根本性的原理与掣肘,力图总结出亟待解决的关键问题以及未来的发展趋势。结论 作为一种颇具前景的新型计算机视觉传感器技术,光场成像技术的研究必将更为广泛和深入。研究应用于计算机视觉的光场成像技术将有力的引导和促进计算机视觉和光场成像技术协同发展。     

动静态联合滤波器在多聚焦图像融合中的应用

动静态联合滤波器具有良好的边缘平滑特性,对梯度反转和全局强度迁移等伪影具有很强的鲁棒性。为了保留源图像的结构信息,提出了基于动静态联合滤波器的多聚焦图像融合方法。首先采用动静态联合滤波器将源图像分解为结构分量和纹理分量,以视觉显著度加权法对结构分量进行融合,综合相位一致性和清晰度信息对纹理分量进行融合;将两分量叠加获得初始融合图像,并通过计算源图像与初始融合图像间的结构相似度作为决策矩阵,获得最终的融合图像。通过对比多组融合图像主、客观评价结果发现,该方法能有效保留边缘信息。