场景目标的稀疏序列融合三维扫描重建

针对场景扫描深度图数据量大、匹配误差累积导致重建结果漂移以及耗时高的问题,提出一种场景级目标的稀疏序列融合三维扫描重建方法.首先,对深度图序列采样以筛选支撑深度图;其次,在支撑深度图子集上划分扫描片段,各扫描片段内执行深度图匹配融合生成表面片段;再次,利用表面片段几何特征执行局部多片段间的连续迭代配准,优化各扫描片段的相机位姿;最后,融合支撑深度图序列生成场景目标三维表面.在消费级深度相机采集的深度图序列和SceneNN与Stanford 3D Scene这2个公开数据集上进行测试,将稀疏序列融合与稠密序列融合方法进行比较.实验结果表明,该方法可将配准过程的均方根误差降低16%～28%,使用8%～54%的数据量即可完成稀疏序列融合,运行时间平均缩短56%;同时,增强了扫描过程的有效性和鲁棒性,显著地提高了扫描场景的重建质量.     

基于通道多尺度融合的场景深度图超分辨率网络

针对传统消费级深度相机采集的场景深度图通常存在分辨率低、深度图模糊等缺陷,利用场景高分辨率彩色图引导,提出一种基于通道多尺度融合的场景深度图超分辨率网络——CMSFN.为了有效地利用场景深度图的多尺度信息,CMSFN采用金字塔多尺度结构,在金字塔各层级上,通过对低分辨率深度图进行通道多尺度上采样,并结合残差学习提升深度图分辨率.首先,在超分辨率网络金字塔结构每一层级上对深度特征图与同尺度彩色特征图通过密集连接进行融合,使场景彩色-深度图特征得到复用并能够充分融合场景结构信息;其次,对融合后的深度特征图进行通道多尺度划分,使网络能获得不同大小的感受野,并在不同尺度上有效捕捉特征信息;最后,在CMSFN中加入全局与局部残差结构,使网络在恢复场景深度图高频残差信息的同时缓解梯度消失.对于Middlebury数据集A组, CMSFN方法超分辨率均方根误差平均为1.33,与MFR和PMBANet方法相比,分别降低了6.99%和26.92%;对于Middlebury数据集B组, CMSFN方法超分辨率均方根误差平均为1.41,与MFR和PMBANet方法相比,分别降低了9.03%和17.05%.实...     

基于多引导结构感知网络的深度补全

针对三维场景深度信息观测稀疏问题,提出一种融合彩色图像的多引导结构感知网络模型以补全稀疏深度.首先,利用三维平面法向量与场景梯度信息之间的映射关系,设计一种两分支主干网络框架,结合图像特征和几何特征进行深度预测,以充分提取空间位置信息的特征表示;然后,考虑到大范围场景下不同物体的结构差异性,基于网络通道注意力机制设计一种自适应感受野的结构感知模块,以对不同尺度的信息进行表征;最后,在网络采样的过程中,以不同尺寸图像为指导对预测子深度图进行滤波并修复物体的边缘细节.公开数据集上的实验结果表明,所设计的深度补全算法可以获得准确的稠密深度,同时通过两个下游感知任务进行深入评估,表明利用所提出方法能够有效提升其他感知任务的效果.     

基于自适应聚合与深度优化的三维重建算法

针对现有基于多视图的三维重建方法未充分考虑像素点在其余视图的可见性,从而导致重建完整度不足,且在弱纹理和遮挡区域重建困难等问题,提出了一种应用于高分辨率的三维重建网络。首先提出了一种引入可见性感知的自适应成本聚合方法用于成本量的聚合,通过网络获取视图中像素点的可见性,可以提高遮挡区域重建完整性;采用基于方差预测每像素视差范围,构建空间变化的深度假设面用于分阶段重建,在最后一阶段提出了基于卷积空间传播网络的深度图优化模块,以获得优化的深度图;最后采用改进深度图融合算法,结合所有视图的像素点与3D点的重投影误差进行一致性检查,得到密集点云。在DTU 数据集上与其他方法的定量定性比较结果表明,提出的方法可以重建出细节上表现更好的场景。     

基于全景照片复原的点云重建算法研究

针对数字孪生点云数据不适合直接浏览,并且难以直接用于三维网格模型重建的问题,提出了一种将场景稠密点云转换到多组全景照片和全景深度图,并合并到现有三维重建流程的方法.算法可以将现有激光扫描设备输出的点云数据采样和处理为连续的RGB颜色和深度图像数据,并与照片的重建流程、及连续深度图的重建流程相结合.经过实测表明,方法对重...     

融合空洞卷积网络的无监督单目深度恢复

针对实际场景中动态物体、场景纹理、相机曝光等诸多影响,深度图提取结果广泛存在细节模糊和丢失等问题,同时因基于深度学习的网络没有传统算法中的捆集优化策略,无法对相机累积的误差进行分摊,这些都影响着深度图的精度.因此本文提出一种融合空洞卷积的DispNet深度网络,同时加入误差分摊策略给网络更强的约束条件.在DispNet的结构设计中,模型中加入空洞卷积设计新的卷积模块,使其扩大感受野,更多的提取上下文信息;模型中引入误差分摊损失函数减少相机误差的累积,以此提高相机位姿估计精度,得到高质量的重建视图;视频帧输入网络前先进行限制对比度直方图均衡化运算再输入模型.本研究在公开数据集KITTI上设计了实验,结果表明空洞卷积和误差分摊损失函数的引入对深度图恢复精度有明显的提升效果.     

基于深度图压缩的边界自适应上采样方案

在三维视频系统中,为了更好地保护深度图的锐利边界并改善虚拟视图的合成质量,提出一种新的边界自适应性上采样方案来恢复由于在编码前进行下采样操作而丢失的深度信息。通过Sobel算子识别出低分辨率深度图和高分辨率纹理图的水平边界和垂直边界。根据深度图不同区域的特点利用纹理信息来指导高分辨率深度图的重建。实验结果表明本文方法在提高了编码效率的同时也改善了合成视图的视觉效果。     

基于匹配扩散的多视稠密深度图估计

提出一种高精度的基于匹配扩散的稠密深度图估计算法. 算法分为像素级与区域级两阶段的匹配扩散过程.前者主要对视图间的稀疏特征点匹配进行扩散以获取相对稠密的初始深度图; 而后者则在多幅初始深度图的基础上, 根据场景分段平滑的假设, 在能量函数最小化框架下利用平面拟合及多方向平面扫描等方法解决存在匹配多义性问题区域(如弱纹理区域)的深度推断问题. 在标准数据集及真实数据集上的实验表明, 本文算法对视图中的光照变化、透视畸变等因素具有较强的适应性, 并能有效地对弱纹理区域的深度信息进行推断, 从而可以获得高精度、稠密的深度图.     

伪激光点云增强的道路场景三维目标检测

目的 针对激光雷达点云稀疏性导致小目标检测精度下降的问题,提出一种伪激光点云增强技术,利用图像与点云融合,对稀疏的小目标几何信息进行补充,提升道路场景下三维目标检测性能。方法 首先,使用深度估计网络获取双目图像的深度图,利用激光点云对深度图进行深度校正,减少深度估计误差;其次,采用语义分割的方法获取图像的前景区域,仅将前景区域对应的深度图映射到三维空间中生成伪激光点云,提升伪激光点云中前景点的数量占比;最后,根据不同的观测距离对伪激光点云进行不同线数的下采样,并与原始激光点云进行融合作为最终的输入点云数据。结果 在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）数据集上的实验结果表明,该方法能够提升多个最新网络框架的小目标检测精度,以典型网络SECOND（sparselyembedded convolutional detection）、MVX-Net （multimodal voxelnet for 3D object detection）、Voxel-RCNN为例,在困难等级下,三维目标检测精度分别获得8.65%、7.32%和6.29%的大幅提升。结论 该方法适用于所有以点云为输入的目标检测网络,并显著提升了多个目标检测网络在道路场景下的小目标检测性能。该方法具备有效性与通用性。     

基于深度学习的三维点云修复技术综述

三维点云是最常用的三维场景/物体表示方法之一.根据点云修复侧重点不同,将基于深度学习的三维点云修复技术划分为密集重建、补全重建和去噪重建3类;详细分析了相关典型修复模型及关键技术,如特征编码、特征扩展和损失函数设计;总结了常用的网络模块、点云数据集和评估准则;最后讨论了3类修复技术之间的关系,并从旋转不变性特征提取、细节信息修复、拓扑关系保持、几何算法应用和多模态数据融合5个方面探讨了点云修复技术面临的挑战及未来发展趋势.