基于RGB-D视频流的室内环境3D目标高效检测

由于室内复杂环境RGB-D扫描数据不完整、物体相互遮挡等缺陷,以及表示部分场景的单帧数据输入的局限性,导致难以通过一次操作高效检测室内场景中的所有3D目标物体.为了克服难以感知获取室内场景中全部物体信息以及场景3D目标检测效率低等的难点,提出一种基于RGB-D视频流的室内环境3D目标高效检测方法.首先,利用Kinect相机获取待检测的室内环境RGB-D视频流,经预处理得到连续帧彩色图及其对应的扫描点云信息;其次,利用哈希算法从连续帧彩色图中提取内容敏感的视频关键帧,并根据相邻关键帧所包含的物体种类及个数为其构建目标语义关系,以确保各关键帧均出现不一样的目标物体;然后,利用神经网络VoteNet对视频关键帧点云数据进行3D目标检测,并利用四元数球面线性插值算法插值相邻关键帧的相对位姿关系以估计其余帧检测结果,最终实现RGB-D视频流中各帧数据的3D目标检测.使用SUN RGB-D数据集对关键帧检测网络进行训练,与基于VoteNet的视频流逐帧检测方法相比,该方法的目标检测结果准确,同时大大缩短了视频流整体检测耗时.实验结果表明该方法的有效性和高效性.     

基于类别-实例分割的室内点云场景修复补全

三维室内场景修复补全是计算机图形学、数字几何处理、3D计算机视觉中的重要问题.针对室内场景修复补全中难以处理大规模点云数据的问题,本文提出了一种基于类别-实例分割的室内点云场景修复补全框架.该框架包括点云场景分割模块和点云形状补全模块,前者由基于PointNet的类别分割网络和基于聚类的实例分割模块完成,后者由基于编码器-解码器结构的点云补全网络实现.本文框架以缺失的室内场景点云数据为输入,首先根据"类别-实例"分割策略,采用PointNet对室内场景进行类别分割,并利用基于欧式距离的聚类方法进行实例分割得到室内各家具点云,然后借助点云补全网络将分割出的缺失家具点云逐一进行形状补全并融合进原始场景,最终实现室内点云场景的修复.其中,为了实现缺失家具点云形状的补全,本文提出了一种基于编码器-解码器结构的点云补全网络,首先通过输入变换和特征变换对齐缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据.实验结果表明,本文提出的点云补全网络能够较好地补全室内场景中缺失的家具结构形状,同时基于该网络的场景修复补全框架能够有效修复大型室内点云场景.     

基于深度信息局部二值模式特征的室内场景边缘检测

针对室内场景深度图像,检测场景中的面片边缘信息并确定场景中的完整面信息是实现室内场景分析和理解的基础.基于深度信息局部二值模式特征,提出一种室内场景深度图像边缘检测的方法.首先对场景深度信息图分别求X方向和Y方向的梯度信息,结合2个梯度图找到深度信息图的基本边缘信息;然后计算基本边缘附近的局部二值模式特征信息,并计算深度图每个点的法线信息;最后利用深度信息局部二值模式特征和法线信息对边缘信息进行判断和矫正,以提取深度图像的面片边缘信息.实验结果表明,该方法能够高效、准确地检测室内场景深度图像的边缘信息,避免边缘信息的过检测和欠检测.     

基于深度信息局部二值模式特征的室内场景边缘检测EI北大核心CSCD

针对室内场景深度图像,检测场景中的面片边缘信息并确定场景中的完整面信息是实现室内场景分析和理解的基础.基于深度信息局部二值模式特征,提出一种室内场景深度图像边缘检测的方法.首先对场景深度信息图分别求X方向和Y方向的梯度信息,结合2个梯度图找到深度信息图的基本边缘信息;然后计算基本边缘附近的局部二值模式特征信息,并计算深度图每个点的法线信息;最后利用深度信息局部二值模式特征和法线信息对边缘信息进行判断和矫正,以提取深度图像的面片边缘信息.实验结果表明,该方法能够高效、准确地检测室内场景深度图像的边缘信息,避免边缘信息的过检测和欠检测.     

改进的基于冗余点过滤的3D目标检测方法

VoxelNet网络模型是第一个基于点云的端对端目标检测网络,只利用点云数据来生成高精度的3D目标检测框,具有十分良好的效果。但是,VoxelNet使用完整场景的点云数据作为输入,导致耗费了更多的计算资源在背景点云数据上,而且只包含几何信息的点云对目标的识别粒度较低,在较复杂的场景中容易出现误检测和漏检测。针对这些问题对VoxelNet进行了改进,在VoxelNet模型中加入视锥体候选区。首先,通过RGB前视图对感兴趣目标进行定位;然后,将目标2D位置升维至空间视锥体,在点云中提取目标视锥体候选区,过滤冗余点云,仅对视锥体候选区中的点云数据进行计算来得到检测结果。改进后的算法与VoxelNet相比,降低了点云计算量,避免了对背景点云数据的计算,提升了有效运算率,同时,避免了过多背景点的干扰,降低了误检测和漏检测率。KITTI数据集上的实验结果表明,改进后的算法在简单、中等、困难三种模式下的3D平均精度分别为67.92%、59.98%、53.95%,优于VoxelNet模型。     

改进的基于冗余点过滤的3D目标检测方法

VoxelNet网络模型是第一个基于点云的端对端目标检测网络，只利用点云数据来生成高精度的3D目标检测框，具有十分良好的效果。但是，VoxelNet使用完整场景的点云数据作为输入，导致耗费了更多的计算资源在背景点云数据上，而且只包含几何信息的点云对目标的识别粒度较低，在较复杂的场景中容易出现误检测和漏检测。针对这些问题对VoxelNet进行了改进，在VoxelNet模型中加入视锥体候选区。首先，通过RGB前视图对感兴趣目标进行定位；然后，将目标2D位置升维至空间视锥体，在点云中提取目标视锥体候选区，过滤冗余点云，仅对视锥体候选区中的点云数据进行计算来得到检测结果。改进后的算法与VoxelNet相比，降低了点云计算量，避免了对背景点云数据的计算，提升了有效运算率，同时，避免了过多背景点的干扰，降低了误检测和漏检测率。KITTI数据集上的实验结果表明，改进后的算法在简单、中等、困难三种模式下的3D平均精度分别为67.92%、59.98%、53.95%，优于VoxelNet模型。     

基于深度学习与点云数据的3D检测系统应用研究

为了解决高低差场景中平坦度高的2D视觉检测乏力的问题,基于深度学习和点云数据处理平台,融合3D点云格式图像和深度学习技术,建立微米精度、在线检测、成本可控的3D检测架构机制。采用相移和光栅投影结构光技术的硬件方案获取3D点云原始数据,基于强大的CPU和GPU处理芯片,对经过被测物体调制的光栅图案进行重新编码,并结合标定参数解算3D点云数据。对2D深度学习模型进行升级开发,可对点云数据进行标注、学习训练和检测,并将3D硬件、3D软件和3D算法进行整合。实验结果表明,所提系统有利于3D缺陷检测系统的落地,为智能3D检测设备奠定算法和软件基础。     

基于合成数据的水下机器人视觉定位方法

针对水下场景水下机器人(AUV)位姿数据集难以获取、现有的基于深度学习的位姿估计方法无法应用的问题,提出了一种基于合成数据的AUV视觉定位方法。首先基于Unity3D仿真搭建虚拟水下场景,通过虚拟相机获取仿真环境下已知的渲染位姿数据。其次,通过非配对图像转换工作实现渲染图片到真实水下场景下的风格迁移,结合已知渲染图片的位姿信息得到了合成的水下位姿数据集。最后,提出一种基于局部区域关键点投影的卷积神经网络(CNN)位姿估计方法,并基于合成数据训练网络,预测已知参考角点的2维投影,产生2D-3D点对,基于随机一致性采样的Perspective-n-Point(PnP)算法获得相对位置和姿态。本文在渲染数据集以及合成数据集上进行了定量实验,并在真实水下场景进行了定性实验,论证了所提出方法的有效性。实验结果表明,非配对图像转换能够有效消除渲染图像与真实水下图像之间的差距,所提出的局部区域关键点投影方法可以进行更有效的6D位姿估计。     

一种融合多特征聚类集成的室内点云分割方法

针对特定场景下传统点云分割算法不精确及特征描述不全面的问题,提出一种融合2D和3D多特征的近邻传播(AP)聚类集成分割方法。从点云中获得一组表征复杂室内场景不同点云类别的描述子,如彩色图像特征、曲率、法向量、旋转图像等,根据它们之间的差异性,通过对每类特征进行AP聚类得到聚类成员,建立聚类成员簇间一致性矩阵,并利用Ncut算法进行图分割获得最终的点云分割结果。实验结果表明,该算法相较传统的点云分割算法能更准确地区分室内复杂三维点云场景,并且具有更好的稳定性。     

基于姿态阈值滤波的单目视觉农业机械定位方法

精确定位是农业机械实现自动导航的重要前提,提出了一种基于单目摄像机的导航定位算法。算法通过对捕获的每帧图像进行特征点检测与跟踪,基于3D-2D特征点配对方法,还原了车辆行驶过程中的姿态信息。同时,假设车辆前方小区域近似平坦,摄像机离地高度近似固定不变,算法实时求解车辆位移的绝对尺度因子,配合姿态阈值滤波器,对所求姿态信息进行在线修正。实验选择在三种不同的场景进行,以RTK-GPS定位数据作为对比,三种场景的平均相对位置偏差分别为5.459 9%、8.373 1%、6.443 94%,三种不同场景的航向角变化平均值分别为7.717 7°、5.738 9°、3.438 3°。结果表明算法可实现农业机械的自动定位,在短距离范围内具有一定的可靠性。     

基于高斯混合模型聚类的Kinect深度数据分割

基于深度图像的室内场景理解是计算机视觉领域中的前沿问题。针对三维室内场景中平面较多的特性,提出一种基于高斯混合模型聚类的深度数据分割方法,实现对场景数据的平面提取。首先将Kinect获取的深度图像数据转换为离散三维数据点云,并对点云数据作去噪和采样处理;在此基础上计算所有点的法向量,利用高斯混合模型对整个三维点云的法向集合聚类,然后利用随机抽样一致性算法对各个聚类进行平面拟合,由每个聚类得到若干平面,最终把整个点云数据分割为一些平面的集合。实验结果表明,该方法得到的分割区域边界准确,分割质量较高。提取出的平面集合为以后的室内对象识别和场景理解工作奠定了较好的基础。     

考虑多位姿估计约束的双目视觉里程计

为了提升复杂环境中双目视觉里程计的精度,提出一种考虑多位姿估计约束的双目视觉里程计方法.首先,分别建立匹配深度已知点与深度未知点的数学模型,将深度未知点引入2D-2D位姿估计模型,从而充分利用图像信息;然后,基于关键帧地图点改进3D-2D位姿估计模型,并结合当前帧地图点更新关键帧地图点,从而增加匹配点对数,提高位姿估计精度;最后,根据改进的2D-2D及3D-2D位姿估计模型,建立多位姿估计约束位姿估计模型,结合局部光束平差法对位姿估计进行局部优化,达到定位精度高且累积误差小的效果.数据集实验和实际场景在线实验表明,所提出方法满足实时定位要求,且有效地提高了自主定位精度.     

结合视觉惯性模组的室内三维布局鲁棒重建方法

针对使用传统单目相机的全自动三维重建方法结果精确度差和整体结构理解缺失等问题,提出一种结合视觉惯性里程计和由运动到结构的全自动室内三维布局重建系统.首先利用视觉里程计获得关键帧图像序列和对应空间位置姿态,并利用运动恢复结构算法计算精确相机位姿;然后利用多图视立体几何算法生成高质量稠密点云;最后基于曼哈顿世界假设,针对典型的现代建筑室内场景,设计一种基于规则的自底向上的布局重建方法,得到最终房间外轮廓布局.使用浙江大学CAD&CG实验室场景现场扫描数据集和人工合成的稠密点云数据集作为实验数据,在Ubuntu 16.04和PCL 1.9环境下进行实验.结果表明,文中方法对三维点云噪声容忍度高,能够有效地重建出室内场景的三维外轮廓布局.     

自动驾驶3D目标检测研究综述

精确实时地进行目标检测是自动驾驶车辆能够准确感知周围复杂环境的重要功能之一,如何对周围物体的尺寸、距离、位置、姿态等3D信息进行精准判断是自动驾驶3D目标检测的经典难题.服务于自动驾驶的3D目标检测已成为近年来炙手可热的研究领域,鉴于此,对该领域主要研究进展进行综述.首先,介绍自动驾驶感知周围环境各相关传感器的特点;其次,介绍3D目标检测算法并按照传感器获取数据类型将其分为:基于单目/立体图像的算法、基于点云的算法以及图像与点云融合的算法;然后,对每类3D目标检测的经典算法以及改进算法进行详细综述、分析、比较,梳理了当前主流自动驾驶数据集及其3D目标检测算法的评估标准,并对现有文献广泛采用的KITTI和NuScenes数据集实验结果进行对比及分析,归纳了现有算法存在的难点和问题;最后,提出自动驾驶3D目标检测在数据处理、特征提取策略、多传感器融合和数据集分布问题方面可能遇到的机遇及挑战,并对全文进行总结及展望.     

加速概率存在场目标检测的改进算法

概率存在场（POM）算法是一种多视角目标检测算法,其根据各视角对应的二值前景图像,估计检测场景中所有3D位置对应地面上存在目标的概率。当检测场地面积过大时,POM算法估计所有3D位置上存在目标的概率会十分耗时,拖累算法速度。提出了一种加快POM算法速度的方法：根据二值前景图像和3D位置信息,大幅减少POM算法需要处理的3D位置数量,从而提高算法速度。实验结果表明：在对算法检测结果影响很小的情况下,对于单目标和多目标检测场景,算法速度都得到了较大的提升。     

工厂环境下改进的视觉SLAM算法

针对工业场景对自动导引车(AGV)高定位精度的要求,提出一种改进的视觉同时定位与地图创建(VSLAM)算法.在算法前端,双目相机采集立体图像,通过双目匹配算法得到亚像素级的匹配点对,计算出这些特征点在相机坐标系中的3D信息.然后利用RansacPnP算法根据3D-2D匹配点对计算位姿变换,并以它为初值进一步最小化重投影误差,实现局部优化.基于匹配点对描述子的汉明距离提出一种不确定性模型,该模型为局部优化中的约束条件提供信息矩阵,提高定位精度.在算法的后端,通过竖直向上拍摄的单目相机检测可靠的人工信标闭环信息,进行全局位姿优化,并针对AGV的运动模型和工作场景,提出一种基于全局平面约束的优化方法,降低SLAM系统的误差.实验通过KITTI离线数据集对比了该算法前端双目里程计与ORB-SLAM2及libviso2算法里程计的定位精度,并在工厂环境中对整个算法进行实地测试来判断其实际精度和鲁棒性.实验结果表明该算法具有良好的综合性能,定位误差在10 cm以内,定位频率达20 Hz,能够满足工业现场要求.     

融合2D激光雷达的室内单目深度估计

在室内单目视觉导航任务中, 场景的深度信息十分重要. 但单目深度估计是一个不适定问题, 精度较低. 目前, 2D激光雷达在室内导航任务中应用广泛, 且价格低廉. 因此, 本文提出一种融合2D激光雷达的室内单目深度估计算法来提高深度估计精度. 本文在编解码结构上增加了2D激光雷达的特征提取, 通过跳跃连接增加单目深度估计结果的细节信息, 并提出一种运用通道注意力机制融合2D激光雷达特征和RGB图像特征的方法. 本文在公开数据集NYUDv2上对算法进行验证, 并针对本文算法的应用场景, 制作了带有2D激光雷达数据的深度数据集. 实验表明, 本文提出的算法在公开数据集和自制数据集中均优于现有的单目深度估计.     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

融合双目视觉和2D激光雷达的室外定位

高精度的定位对于自动驾驶至关重要. 2D激光雷达作为一种高精度的传感器被广泛应用于各种室内定位系统.然而在室外环境下,大量动态目标的存在使得相邻点云的匹配变得尤为困难,且2D激光雷达的点云数据存在稀疏性的问题,导致2D激光雷达在室外环境下的定位精度极低甚至无法实现定位.为此,提出一种融合双目视觉和2D激光雷达的室外定位算法.首先,利用双目视觉作为里程计提供相对位姿,将一个局部时间窗口内多个时刻得到的2D激光雷达数据融合成一个局部子图;然后,采用DS证据理论融合局部子图中的时态信息,以消除动态目标带来的噪声;最后,利用基于ICA的图像匹配方法将局部子图与预先构建的全局先验地图进行匹配,消除里程计的累积误差,实现高精度定位.在KITTI数据集上的实验结果表明,仅利用低成本的双目相机和2D激光雷达便可实现较高精度的定位,所提出算法的定位精度相比于ORB-SLAM2里程计最高可提升37.9%.     

基于自注意力机制的点云分类分割

3D点云由于其无序性以及缺少拓扑信息使得点云的分类与分割仍具有挑战性.针对上述问题,我们设计了一种基于自注意力机制的3D点云分类算法,可学习点云的特征信息,用于目标分类与分割.首先,设计适用于点云的自注意力模块,用于点云的特征提取.通过构建领域图来加强输入嵌入,使用自注意力机制进行局部特征的提取与聚合.最后,通过多层感知机以及解码器-编码器的方式将局部特征进行结合,实现3D点云的分类与分割.该方法考虑了输入嵌入时单个点在点云中的局部语境信息,构建局部长距离下的网络结构,最终得到的结果更具区分度.在ShapeNetPart、RoofN3D等数据集上的实验证实所提方法的分类与分割性能较优.