基于卷积神经网络的室内场景三维重建技术研究

三维场景重建技术是计算机视觉领域的十分重要的研究课题。传统三维场景重建大多是专业工程师通过手工制图实现,效率不高且成本较高。对此提出一种基于卷积神经网络的三维场景重建方法。该方法在对2D图像进行语义分割的基础上,提取分割后的室内场景元素图像块,训练一个基于卷积神经网络的三维模型匹配模型;再将匹配得到的三维模型结合深度图构造的残缺三维模型,进一步进行组合,从而完成室内场景的三维重建工作。实验验证了该方法的可行性和优异性。     

基于半直接法SLAM的大场景稠密三维重建系统

当前三维重建系统大多基于特征点法和直接法的同时定位与地图重建(SLAM)系统,特征点法SLAM难以在特征点缺失的地方具有较好的重建结果,直接法SLAM在相机运动过快时难以进行位姿估计,从而造成重建效果不理想.针对上述问题,文中提出基于半直接法SLAM的大场景稠密三维重建系统.通过深度相机(RGB-D相机)扫描,在特征点丰富的区域使用特征点法进行相机位姿估计,在特征点缺失区域使用直接法进行位姿估计,减小光度误差,优化相机位姿.然后使用优化后较准确的相机位姿进行地图构建,采用面元模型,应用构建变形图的方法进行点云的位姿估计和融合,最终获得较理想的三维重建模型.实验表明,文中系统可适用于各个场合的三维重建,得到较理想的三维重建模型.     

基于准稠密匹配的结构化场景三维重建

传统的准稠密对应点匹配算法大都是针对一般场景开发的,未考虑场景的结构特点.为此,针对结构化场景提出一种基于平面单应约束的准稠密匹配方法.首先采用基于仿射不变量的方法检测和匹配稀疏平面种子区域,然后根据平面间的几何约束和对应点相似性约束,利用区域增长的方法实现准稠密扩散匹配.最优种子区域优先扩散策略的应用大大减小了初始错误种子区域对扩散过程的影响,而对不可靠扩散点的后处理也有效地提高了最终三维重建的精度.实验结果表明,相比传统的准稠密匹配方法,对于结构化场景,采用文中方法更加精确和稳定.     

采用去抖动模糊算法的稠密三维重建

针对无人机在航拍大场景对象进行三维重建时因抖动产生的图像模糊现象,以及二维图像序列经运动恢复结构SFM后得到的点云较为稀疏,可视化差等不足,采用去抖动模糊算法恢复模糊图像的原始图像信息,然后在运动恢复结构的基础上进行基于点云的稠密三维重建,最后对稠密重建后的点云进行泊松表面重建以得到表面致密、均匀的三维模型。实验结果表明,去抖动模糊算法可以有效地提高图像的质量,大场景对象经过基于点云的稠密三维重建后得到的重建效果逼真,可视化强。     

基于ToF相机的三维重建技术

针对利用ToF相机实现物体的重建提出一种新的三维重建算法,通过分析物体重建过程的特点,对KinectFusion的重建算法进行改进。点云匹配过程包括粗匹配和精匹配两个过程,最后进行全局优化,提高相机位姿估计的精度,从而得到更精确的三维重建结果。利用泊松重建算法重建物体表面,相比于TSDF算法,能够实现完整表面的重建。提出结合强度图对深度图进行多边滤波的算法以及一种新的补空洞法则,增强深度图像。多边滤波算法在PSNR和SSIM的评估中都优于双边滤波结果,提出的三维重建算法与KinectFusion三维重建结果对比,表面更完整,重建结果更优。     

一种基于图像的室内大场景自动三维重建系统

由于室内场景具有结构化的特点, 如人们习惯的平行、垂直、共线共面等, 在基于图像的室内场景自动重建中, 即使一些小的误差也会导致明显的视觉差异. 文献中对具有高保真的室内场景的自动重建系统尚少有报道. 针对犯罪现场三维复原的具体需求, 本文报道了一种基于图像的室内场景自动重建系统, 包括图像采集平台的标定, 特征点与特征直线的匹配与重建, 以及多视角下重建结果的融合等. 本系统有如下特点: 1)重建过程为全自动, 不需要任何人机交互; 2)直线特征的自动匹配与重建考虑了场景的深度与结构信息, 匹配的正确率及空间直线重建效果得到了显著提高; 3)重建结果的整体优化中, 融合了特征点与特征直线. 大量实验结果表明, 该系统方便实用, 且能得到比较好的重建效果.     

基于摆动单线激光雷达的大场景稠密点云地图创建系统

在创建大场景稠密点云地图时,由于当前的各类环境3维测量系统难以兼顾大范围和高密度的点云测量要求,为此设计了一种基于摆动单线激光雷达的大场景稠密点云地图创建系统.首先,实现了大型激光雷达稳定精确的全向摆动.然后,给出了单点采集点云的拼接方法和多点采集点云的配准方法.最后,提出了一种3维点云投影密度的分析方法,并对仿真测量结果进行了对比与评价.实验结果表明,本系统的有效测量距离超过75 m、测量范围覆盖俯仰±45?、点云间距小于20 cm、点云分布均匀,装置的视野范围和点云分布可进行调节,并能通过多点配准对更大场景进行建图.     

基于稀疏点云的多平面场景稠密重建

多平面场景是生活中常见的一种场景,然而由于该类场景中常常存在物体表面纹理缺乏和纹理重复的现象,导致从多视图像重建获得的三维点云数据中存在点云过于稀疏甚至孔洞等问题,进而导致以微面片拟合三维点云所得到的重建表面出现平面颠簸现象.针对这些问题,本文提出了一种基于稀疏点云的分段平面场景重建方法.首先,利用分层抽样代替随机抽样,改进了J-Linkage多模型估计算法;然后,利用该方法对稀疏点云进行多平面拟合,来获得场景的多平面模型;最后,将多平面模型和无监督的图像分割相结合,提取并重建场景中的平面区域.场景中的非平面部分用CMVS/PMVS(Clustering views for multi-view stereo/patch-based multi-view stereo)算法重建.多平面模型估计的实验表明,改进的J-Linkage算法提高了模型估计的准确度.三维重建的实验证实,提出的重建方法在有效地克服孔洞和平面颠簸问题的同时,还能重建出完整平面区域.     

基于场景对象注意与深度图融合的深度估计

现有单目深度估计算法主要从单幅图像中获取立体信息,存在相邻深度边缘细节模糊、明显的对象缺失问题。提出一种基于场景对象注意机制与加权深度图融合的单目深度估计算法。通过特征矩阵相乘的方式计算特征图任意两个位置之间的相似特征向量,以快速捕获长距离依赖关系,增强用于估计相似深度区域的上下文信息,从而解决自然场景中对象深度信息不完整的问题。基于多尺度特征图融合的优点,设计加权深度图融合模块,为具有不同深度信息的多视觉粒度的深度图赋予不同的权值并进行融合,融合后的深度图包含深度信息和丰富的场景对象信息,有效地解决细节模糊问题。在KITTI数据集上的实验结果表明,该算法对目标图像预估时σ<1.25的准确率为0.879,绝对相对误差、平方相对误差和对数均方根误差分别为0.110、0.765和0.185,预测得到的深度图具有更加完整的场景对象轮廓和精确的深度信息。     

基于匹配扩散的多视稠密深度图估计

提出一种高精度的基于匹配扩散的稠密深度图估计算法. 算法分为像素级与区域级两阶段的匹配扩散过程.前者主要对视图间的稀疏特征点匹配进行扩散以获取相对稠密的初始深度图; 而后者则在多幅初始深度图的基础上, 根据场景分段平滑的假设, 在能量函数最小化框架下利用平面拟合及多方向平面扫描等方法解决存在匹配多义性问题区域(如弱纹理区域)的深度推断问题. 在标准数据集及真实数据集上的实验表明, 本文算法对视图中的光照变化、透视畸变等因素具有较强的适应性, 并能有效地对弱纹理区域的深度信息进行推断, 从而可以获得高精度、稠密的深度图.     

一种高速密集视频监控场景背景重构方法*

针对高速密集视频监控序列建立了一种新的简单的背景重构方法。该方法首先基于帧差序列的时空分布特性,利用高阶统计量理论,获取视频序列公共背景区域;然后根据同一背景帧差图像分布特性相似性,去除运动对于背景的干扰,形成路面背景序列值,从而获得路面背景图像;最后利用计分牌监测的自适应背景更新方法进行背景更新。实验结果表明该方法效果理想,为高速路视频背景重建和运动目标检测提供了新的方法。     

单图三维重构方法

在场景深度信息未知的情况下,由多视点成像产生的焦散失真是无法消除的。针对该问题,利用多视点成像中光束斜交的特性,提取失真图像中结构化图形中包含的场景深度信息,实现对单幅多视点图像的三维几何结构重建。重构适用范围包括所有已知函数形式的曲线,尤其为直线、圆等特殊几何图形的三维重构提供了专门的数学方法。     

快速鲁棒的城市场景分段平面重建

对于基于图像的城市场景重建,由于光照变化、透视畸变、弱纹理区域等因素的影响,传统像素级与区域级的重建算法通常难以获得可靠的重建结果.为了解决此问题,本文提出一种快速、鲁棒的分段平面重建算法.根据城市场景结构特征与分段平面假设,本文算法首先利用基于连通域检测的空间平面拟合方法从初始空间点中抽取充分且可靠的候选空间平面,然后在MRF（Markov random field）能量最小化框架下将场景的完整结构推断问题转化为平面标记问题进行求解.由于候选平面集与融合灰度一致性度量、空间几何与可见性约束的能量模型的高可靠性,场景的完整结构因此可被有效地重建.实验结果表明,本文算法能较好地克服传统算法可靠性差、重建场景不完整等缺点,同时具有较高的计算效率.     

多特征三维稠密重建方法

基于图像的立体重建技术直接通过多幅二维图像获取物体的三维数据模型,建模自动化程度高,且不需要任何先验信息和特殊硬件支持。但对于具有精致雕刻的中国古式建筑以及非平行拍摄的大型室外场景,现有的基于图像的三维重建技术重建模型往往存在细节信息丢失、数据散乱现象,使得重建结果不够精确。针对这一问题,综合考虑模型的光照信息、纹理阴影、凹凸感等多种特征,通过给出特征候选点匹配策略及对初始点云的可靠性排序,提出了一种多特征三维稠密重建算法MFPMVS（patch with multiple features based multi-view stereopsis）。实验表明,MFPMVS算法与经典的PMVS（patch based multi-view stereopsis）算法相比,重建得到的三维点云更加密集;凹凸感较强的模型重建细节更为细腻;仰拍得到的模型重建结果中漏洞明显减少,边缘细节信息更加完整。算法能够更稳定、鲁棒地重建出物体的三维模型,具有很高的实用价值。     

面向微运动视频的三维重建

手持相机拍照瞬间, 通常手部抖动可产生画面的微小运动. 一方面微小运动蕴含了视差信息, 将有助于进行场景深度感知并可潜在应用于虚拟/增强现实和照片重定焦等领域. 另一方面, 由于极窄的基线, 图像对应点匹配过程中对噪声较为敏感, 因而从无标定的微运动视频重建场景极具挑战性. 当前处理微运动视频三维重建的主流方法由于没有考虑重建过程的不确定性, 导致算法精度较差. 本文提出一种高精度的从无标定微运动视频复原场景深度的算法, 主要包含2个关键步骤: 首先, 在自标定阶段, 提出一种视点加权的光束平差方法, 充分考虑邻域视点间由于基线不同所产生的匹配不确定性, 减少较窄基线视点的可信度, 保持自标定过程的鲁棒性; 进一步地, 提出一种基于广义全变分平滑的深度图估计方法, 抑制窄基线产生的深度图噪声的同时保持倾斜结构和精细几何特征. 本文提出的方法与当前处理微运动三维重建的主流方法在真实和合成数据集上进行了定量和定性实验, 充分验证了提出方法的有效性.     

基于无组织结构数据集的三维表面重建算法

三维表面重建技术具有广泛的应用前景,通用高效的重建算法是迫切需要研究的课题之一。由于三维点集分布不均匀,目前通用的基于无组织结构数据集的重建算法欠缺稳定性,应用范围受到了限制。文中提出了分布不均匀补偿的近邻点确定算法,提高了算法的稳定性和可靠性,扩展了基于无组织结构数据集表面重建算法的应用范围。实验表明通过分布不均匀补偿的离散数据集三维表面重建算法具有很好的重建效果。     

特征点维度的静态场景三维重建运动目标剔除

基于语义分割的图像掩膜方法常用来解决静态场景三维重建任务中运动物体的干扰问题,然而利用掩膜成功剔除运动物体的同时会产生少量无效特征点.针对此问题,提出一种在特征点维度的运动目标剔除方法,利用卷积神经网络获取运动目标信息,并构建特征点过滤模块,使用运动目标信息过滤更新特征点列表,实现运动目标的完全剔除.通过采用地面图像和航拍图像两种数据集以及DeepLabV3、YOLOv4两种图像处理算法对所提方法进行验证,结果表明特征点维度的三维重建运动目标剔除方法可以完全剔除运动目标,不产生额外的无效特征点,且相较于图像掩膜方法平均缩短13.36%的点云生成时间,减小9.93%的重投影误差.     

一种三维准欧氏重建方法

研究在不必精确知道相机内参数的情况下进行场景的三维重建，充分利用建筑场景的平面信息，假设场景由一些基本平面元素组成，从而自动生成场景的拓扑结构．虽然重建结果从严格意义上仍是射影重建，但已经非常接近欧氏重建结果，文中称之为准欧氏重建，该结果还可以为其它优化算法提供很好的初值．真实图像的实验结果证实了本文算法，重建模型达到了很好的可视效果．     

对鱼眼照片场景实现三维重建和虚拟浏览

该文对鱼眼相机拍摄的照片建立了一种可校正的鱼眼镜头抛物面模型和一组鱼眼透视约束条件．对于一个场景,只需前后拍摄两幅鱼眼照片并给出其结构草图,就可以利用局部高斯加权的算法提取整个场景框架,从而恢复场景的三维模型．以此模型为基础,不仅可以实现全景漫游,而且可以实现在场景的任意位置向任意方向的具有真实感的三维虚拟浏览。