基于1维子空间的3维重建算法

为了重建3维场景,假设相机为正投影模型,提出了一种基于1维子空间的3维重建算法．所有图像序列构成的行向量与3维空间点构成的行向量所生成的子空间是同一线性子空间,而且由第1幅图像点构成的2个行向量外加1个行向量就可以组成该子空间的一个基底．该算法利用上述特性,线性地求取该行向量,最后完成3维重建．模拟实验和真实实验数据结果表明,该重建算法具有鲁棒性好、重投影误差小等优点．     

结构光视觉三维点云逐层三角网格化算法

针对结构光视觉恢复的大规模三维点云的可投影特点,提出一种基于投影网格的底边驱动逐层网格化曲面重建算法。该算法首先将点云投影到一个二维平面上;然后基于点云投影区域建立规则投影网格,并将投影点映射到规则二维投影网格上,建立二维网格点与三维点云间的映射关系;接着对投影网格进行底边驱动的逐层网格化,建立二维三角网格;最后根据二维投影点与三维点的对应关系及二维三角网格拓扑关系获得最终的三维网格曲面。实验结果表明,算法曲面重建速度快,可较好地保持曲面细节特征。     

三维场景点云理解与重建技术

3维场景理解与重建技术能够使计算机对真实场景进行高精度复现并引导机器以3维空间的思维理解整个真实世界,从而使机器拥有足够智能参与到真实世界的生产与建设,并能通过场景的模拟为人类的决策和生活提供服务。3维场景理解与重建技术主要包含场景点云特征提取、扫描点云配准与融合、场景理解与语义分割、扫描物体点云补全与细粒度重建等,在处理真实扫描场景时,受到扫描设备、角度、距离以及场景复杂程度的影响,对技术的精准度和稳定性提出了更高的要求,相关的技术也十分具有挑战性。其中,原始扫描点云特征提取与配准融合旨在将同场景下多个扫描区域进行特征匹配,从而融合得到完整的场景点云,是理解与重建技术的基石;场景点云的理解与语义分割的目的在于对场景模型进行整体感知并根据语义特征划分为功能性物体甚至是部件的点云,是整套技术的核心组成部分;后续的物体点云细粒度补全主要研究扫描物体的结构恢复和残缺部分补全,是场景物体点云细粒度重建的关键性技术。本文围绕上述系列技术,详细分析了基于3维点云的场景理解与重建技术相关的应用领域和研究方向,归结总结了国内外的前沿进展与研究成果,对未来的研究方向和技术发展进行了展望。     

基于独立三视图的图像序列三维重建

针对图像序列的高效、稳定三维重建问题,提出一种基于独立三视图的三维重建方法.首先以三视图为重建单元,叠加三视图约束,实现基础矩阵的鲁棒性计算,然后通过三角测量恢复得到三视图对应的三维场景局部三维点云.对于三视图的稳定三维点云刚体结构,通过求解相邻三视图间转换参数,将整个图像序列的三维点云统一到同一空间坐标系,实现完整图像序列的三维点云重建.实验表明,所提出算法计算简单、效率高,并且不产生误差累积,重投影误差在1个像素左右,实现建模所需可靠三维点云数据的快速生成.     

点云下地平面检测的RGB-D相机外参自动标定

目的 RGB-D相机的外参数可以被用来将相机坐标系下的点云转换到世界坐标系的点云,可以应用在3维场景重建、3维测量、机器人、目标检测等领域。 一般的标定方法利用标定物（比如棋盘）对RGB-D彩色相机的外参标定,但并未利用深度信息,故很难简化标定过程,因此,若充分利用深度信息,则极大地简化外参标定的流程。基于彩色图的标定方法,其标定的对象是深度传感器,然而,RGB-D相机大部分则应用基于深度传感器,而基于深度信息的标定方法则可以直接标定深度传感器的姿势。方法 首先将深度图转化为相机坐标系下的3维点云,利用MELSAC方法自动检测3维点云中的平面,根据地平面与世界坐标系的约束关系,遍历并筛选平面,直至得到地平面,利用地平面与相机坐标系的空间关系,最终计算出相机的外参数,即相机坐标系内的点与世界坐标系内的点的转换矩阵。结果 实验以棋盘的外参标定方法为基准,处理从PrimeSense相机所采集的RGB-D视频流,结果表明,外参标定平均侧倾角误差为-1.14°,平均俯仰角误差为4.57°,平均相机高度误差为3.96 cm。结论 该方法通过自动检测地平面,准确估计出相机的外参数,具有很强的自动化,此外,算法具有较高地并行性,进行并行优化后,具有实时性,可应用于自动估计机器人姿势。     

面向大规模场景的三维线段检测算法

为了实现大规模重建场景的三维轮廓高效提取,提出了一种基于重投影的三维线段检测算法.在基于二维线段检测器的线段检测与基于运动恢复结构的重建基础上,根据摄像机矩阵对空间点云进行重投影;通过弱匹配关系寻找最佳重投影线段,并利用重投影索引推断出三维线段;最后通过对空间短线段进行延伸获得三维轮廓线,并采用空间点云的平面聚类消除重...     

基于多视图深度采样的自然场景三维重建

自然场景的多视图三维重建一直是计算机视觉领域的基本问题,有着广泛的应用.随着深度获取设备的日益普及,如何有效地利用多视点的深度图信息重建场景的三维模型已成为一个重要的研究课题.为了自动剔除输入深度图中的错误深度信息,恢复高质量的场景模型,提出一种多视图深度采样方法来实现自然场景的三维几何重建.首先对深度图进行非均匀采样以获得每帧的三维点集,并剔除部分深度误差较大的三维点;然后通过深度置信度估计的方法对多帧的三维点集进行融合并剔除多帧之间重复冗余的三维点,从而获得整体场景的三维点云;最后基于融合后的三维点云生成完整的场景几何模型.一系列复杂的自然场景实例证明了该方法的正确性和鲁棒性,其不仅能够重建小规模的物体,也同样适用于大规模场景的三维几何重建.     

基于Delaunay规则的无组织采样点集表面重建方法

表面重建在3维地理信息系统、计算机辅助设计与图形学、计算机造型、逆向工程、虚拟仿真等应用领域有着广阔的应用前景。在前人研究的基础上,提出了一种基于Delaunay规则的3维表面重建方法,通过将局部采样顶点投影到局部切平面上,利用Delaunay规则对投影点进行约束三角剖分,并将剖分得到的顶点连接关系映射到3维空间中,即可得到采样点之间的相互连接关系,实现采样曲面S的表面重建。实验结果表明,算法在表面重建过程中可以有效检测不充分采样区域以及表面边界部分,适用于开、闭两种类型曲面的表面重建。此外,算法还具有实现简单、运行高效等优点。     

基于自适应聚合与深度优化的三维重建算法

针对现有基于多视图的三维重建方法未充分考虑像素点在其余视图的可见性,从而导致重建完整度不足,且在弱纹理和遮挡区域重建困难等问题,提出了一种应用于高分辨率的三维重建网络。首先提出了一种引入可见性感知的自适应成本聚合方法用于成本量的聚合,通过网络获取视图中像素点的可见性,可以提高遮挡区域重建完整性;采用基于方差预测每像素视差范围,构建空间变化的深度假设面用于分阶段重建,在最后一阶段提出了基于卷积空间传播网络的深度图优化模块,以获得优化的深度图;最后采用改进深度图融合算法,结合所有视图的像素点与3D点的重投影误差进行一致性检查,得到密集点云。在DTU 数据集上与其他方法的定量定性比较结果表明,提出的方法可以重建出细节上表现更好的场景。     

基于雷达复杂1维距离数据的3维重建算法

基于刚体目标3维运动过程中的几何不变性,可以利用目标上多个散射点在单天线雷达1维距离像序列中的1维距离数据,重建出目标未知的3维结构和运动路径。针对此1维到3维的几何重构问题,提出了一种雷达刚体目标结构和运动的3维重建算法,该算法可利用散射点复杂的1维距离数据进行重建,并且采用非线性优化技术实现了对目标重建参数的捆绑调整(bundle adjustment)。另外,该算法中引入了目标的平移模型,使目标的平移参数能够与旋转参数一并求解,从而避免了距离对准操作的误差对重建精度的影响。仿真实验结果表明,由于重建数据中散射点的数量以及目标3维运动的丰富性得到了显著提高,尤其是最优化技术在算法中的成功应用,重建算法的鲁棒性得到了有效增强。     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

飞行时间三维相机的多视角散乱点云优化配准方法研究

针对目前基于飞行时间(TOF)原理的三维相机实现物体完整表面的三维点云重建过程中,多视角散乱点云配准精度低的问题,本文提出了一种多视角散乱点云优化配准方法。该方法通过构建一个目标功能函数,并结合相邻点云的变换矩阵对该目标函数进行最小化求解,直接获取任意位置的点云到基准坐标系的绝对变换矩阵,避免了对相邻点云的变换矩阵进行累积而引起误差的累加。实验结果表明,该方法提高了多视角点云配准的精度,同时增强了物体点云模型重建的效果,在三维曲面重建中具有较强的实用性。     

基于GPU的实时三维点云数据配准研究

在三维重建中,不同摄像机坐标系下点云配准耗时过多。为此,提出一种基于图形处理单元(GPU)的实时三维点云数据配准算法。利用投影映射法获取匹配点对,使用点到切平面距离最小化方法计算变换矩阵,通过GPU多线程并行处理大规模图像数据。实验结果表明,对于分别包含307 200个数据的2帧点云,在保持原有配准效果的基础上,该算法的最优耗时仅为基于CPU的最近邻迭代算法的11.9%。     

特征点维度的静态场景三维重建运动目标剔除

基于语义分割的图像掩膜方法常用来解决静态场景三维重建任务中运动物体的干扰问题,然而利用掩膜成功剔除运动物体的同时会产生少量无效特征点.针对此问题,提出一种在特征点维度的运动目标剔除方法,利用卷积神经网络获取运动目标信息,并构建特征点过滤模块,使用运动目标信息过滤更新特征点列表,实现运动目标的完全剔除.通过采用地面图像和航拍图像两种数据集以及DeepLabV3、YOLOv4两种图像处理算法对所提方法进行验证,结果表明特征点维度的三维重建运动目标剔除方法可以完全剔除运动目标,不产生额外的无效特征点,且相较于图像掩膜方法平均缩短13.36%的点云生成时间,减小9.93%的重投影误差.     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

利用Kinect深度信息的三维点云配准方法研究

针对三维重建中的点云配准问题,提出一种基于点云特征的自动配准算法。利用微软Kinect传感器采集物体的多视角深度图像,提取目标区域并转化为三维点云。对点云进行滤波并估计快速点特征直方图特征,结合双向快速近似最近邻搜索算法得到初始对应点集,并使用随机采样一致性算法确定最终对应点集。根据奇异值分解法求出点云的变换矩阵初始值,在初始配准的基础上运用迭代最近点算法做精细配准。实验结果表明,该配准方法既保证了三维点云的配准质量,又降低了计算复杂度,具有较高的可操作性和鲁棒性。     

基于点云面的区域性三维重建及点云拼接*

目前基于点云面的三维重建方法中,重建的区域性选择存在着两个问题：重建区域过大会导致目标物体不明确,效果不佳,运行时间长;重建区域过小会导致目标物体不完整,信息丢失。针对重建窗口过大时,本文采用改进的snake的区域性重建算法,即通过轮廓提取只对窗口内的目标物进行重建;针对重建窗口过小时,本文采用基于投影面的点云拼接算法,即通过重建后的点云进行拼接的方法使目标物体恢复完整。以上两点改进弥补了点云三维重建及拼接时出现的应用局限性和不稳定性,减少重建时间,提高重建有效性,鲁棒性。     

面向RGBD深度数据的快速点云配准方法

目的 真实物体的3维重建一直是计算机图形学、机器视觉等领域的研究热点。针对基于RGBD数据的非匀速非固定角度旋转物体的3维重建问题,提出一种利用旋转平台重建物体3维模型的配准方法。方法 首先通过Kinect采集位于旋转平台上目标物的深度数据和颜色数据,对齐融合并使用包围盒算法去除背景噪声和不需要的外部点云,获得带有颜色信息的点云数据。并使用基于标定物不同角度上的点云数据标定出旋转平台中心轴的位置,从而获得Kinect与旋转平台之间的相对关系;然后通过曲率特征对目标点云进行特征点提取并寻找与相邻点云的对应点;其中对于特征点的选取,首先针对点云中的任意一点利用kd-tree搜寻其k个邻近点,对这些点进行曲面拟合,进而计算其高斯曲率,将高斯曲率绝对值较大的n个点作为点云的特征点。n的取值由点云的点个数、点密度和复杂度决定,具体表现为能反映物体的大致轮廓或表面特征信息即可。对于对应点的选取,考虑到欧氏距离并不能较好反映点云中的点对在旋转过程中的对应关系,在实际配准中,往往会因为点云重叠或距离过远等原因找到大量错误的对应点。由于目标物在扫描过程中仅绕旋转轴进行旋转,因此采用圆弧最小距离寻找对应点可有效减少错误点对。随后,使用二分迭代寻找绕中心轴的最优旋转角度以满足点云间的匹配误差最小;最后,将任意角度获取的点云数据配准到统一的坐标系下并重建模型。结果 使用斯坦福大学点云数据库和自采集数据库分别对该方法和已有方法在算法效率和配准结果上进行对比实验,实验结果显示在拥有平均75 000个采样点的斯坦福大学点云数据库上与传统ICP算法和改进ICP算法相比,迭代次数分别平均减少86.5%、57.5%,算法运行时间分别平均减少87%、60.75%,欧氏距离误差平方和分别平均减少70%、22%;在具有平均57000个采样点的自采集点云数据库上与传统ICP算法和改进ICP算法相比,迭代次数分别平均减少94%、75%,算法运行时间分别平均减少92%、69%,欧氏距离误差平方和分别平均减少61.5%、30.6%;实验结果显示使用该方法进行点云配准效率较高且配准误差更小;和KinectFusion算法相比在纹理细节保留上也表现出较好的效果。结论 本文提出的基于旋转平台标定的点云配准算法,利用二分迭代算法能够有效降低算法复杂度。与典型ICP和改进的ICP算法的对比实验也表明了本文算法的有效性。另外,与其他方法在具有纹理的点云配准对比实验中也验证了本文配准方法的优越性。该方法仅采用单个Kinect即可实现对非匀速非固定角度旋转物体的3维建模,方便实用,适用于简单快速的3维重建应用场合。