基于单幅RGB-D扫描数据的室内场景解析

随着消费级RGB-D设备的普遍使用,室内场景三维扫描数据更易获取,但通过此类低分辨率设备获取的点云数据通常带有噪声且缺失严重.为此,基于单幅RGB-D扫描点云数据,提出一种室内场景基元提取与自动分割方法.首先对RGB-D扫描数据进行预处理,自动检测场景中的墙面、天花板、地板等结构,并对点云进行降采样和离群点滤波处理;然后利用几何基元对剩余点云进行抽象,通过几何基元的组合来鲁棒地表示室内物体和部件,有效地减少大规模扫描数据处理的计算量;最后根据每个基元的几何和颜色特征描述符以及基元之间的几何关系,采用基于图的分割算法对基元进行组合实现室内场景物体的自动分割和提取.实验结果表明,该方法可以有效、鲁棒地抽象并分割杂乱的室内场景.     

基于纹理信息的室内场景语义标注学习方法

针对目前室内场景视频中关键物体的检测、跟踪及信息编辑等方面主要是采用人工处理方式,存在效率低、精度不高等问题,提出了一种基于纹理信息的室内场景语义标注学习方法。首先,采用光流方法获取视频帧间的运动信息,利用关键帧标注和帧间运动信息进行非关键帧的标注初始化;然后,利用非关键帧的图像纹理信息约束及其初始化标注构建能量方程;最后,利用图割方法优化得到该能量方程的解,即为非关键帧语义标注。标注的准确率和视觉效果的实验结果表明,与运动估计法和基于模型的学习法相比较,所提基于纹理信息的室内场景语义标注学习法具有较好的效果。该方法可以为服务机器人、智能家居、应急响应等低时延决策系统提供参考。     

基于RGB-D数据的目标分割与实时重建方法

应用RGB-D传感器进行三维重建具有速度和成本的优势,并可获取纹理信息,但扫描数据易受干扰。针对有干扰的外部环境,提出一种基于RGB-D数据的目标分割与重建方法。首先为改善输入图像质量,采用多帧叠加的中值滤波对信息缺失的位置进行预处理。接着,利用静态减除和动态3D Mean-shift相结合的方法分割目标,实现对目标物体的实时定位。最后使用一种优化的点到面ICP方法进行配准,并在此基础上利用随机抽样算法对点云的配准进行加速。采用该方法实现的原型系统能够支持含有背景和一定干扰下的小物体配准,且能有效提高三维重建的速度和自动化程度。     

室内监控中一种运动目标检测的精确算法

针对室内环境的特点,本文提出了在室内视频监控系统中进行运动目标提取时算法所需要满足的基本要求,并提出了一种能够满足这些要求的方法.采用基于颜色的混合高斯模型(MoG)给场景中每个象素点建模,根据光照的变化对像素点亮度值的影响的分布情况,实现光照突变检测.利用帧间差分法检测运动物体的灵敏性,加快消除了因物体的移入移出造祆成的"影子"现象.实验结果证明,本文运动目标探测算法对室内视频监控系统的运动检测和消除虚假报警具有较好的实时性和稳健性.     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

基于分级关键帧筛选的RGB-DSLAM算法研究

利用关键帧求解SLAM算法(simultaneous localization and mapping)能够提高SLAM系统的实时性与精确度。针对现存关键帧筛选算法中存在的计算复杂度高、图像帧冗余以及鲁棒性较差等问题,提出一种分级关键帧筛选方法。该算法考虑了SLAM系统在不同运行阶段时对关键帧的要求,首先结合旋转度指数与地图点跟踪筛选出一级关键帧用于后端优化与回环检测,再利用相邻帧在空间上的相对运动距离筛选出二级关键帧用于三维地图构建,最后,实现了基于此二级筛选算法的RGB-D SLAM系统。实验表明,一级关键帧算法能提高SLAM系统的定位和建图精度,二级关键帧算法则有效减少了数据冗余,提高了建图效率。     

一种基于RS和Ⅰ帧的关键帧提取方法

关键帧提取技术是视频分析和基于内容的视频检索的基础.关键帧的使用可以大量降低视频索引的数据量,提出了一种基于RS理论和Ⅰ帧的关键帧提取方法.该方法在压缩域上进行,只需要视频流中Ⅰ帧数据,因此大大减少了运算的数据量.     

基于RGB-D相机的室内环境3D地图创建

RGB-D相机（如微软的Kinect）能够在获取彩色图像的同时得到每个像素的深度信息,在移动机器人三维地图创建方向具有广泛应用。本文设计了一种利用RGB-D相机进行机器人自定位及创建室内场景三维模型的方法,该方法首先由RGB-D相机获取周围环境的连续帧信息;其次提取并匹配连续帧间的SURF特征点,通过特征点的位置变化计算机器人的位姿并结合非线性最小二乘优化算法最小化对应点的双向投影误差;最后结合关键帧技术及观察中心法将相机观测到的三维点云依据当前位姿投影到全局地图。本文选择三个不同的场景试验了该方法,并对比了不同特征点下该方法的效果,试验中本文方法在轨迹长度为5.88m情况下误差仅为0.023,能够准确地创建周围环境的三维模型。     

室内3D点云模型的门窗检测

为了检测室内3D场景中的门窗信息,提出一种3D-2D-3D的门窗检测算法.首先在3D室内场景点云模型中多角度旋转拍照,获取点云的2D图像;然后对2D图像进行门窗目标的粗检测,得到门窗在图像中的大致范围,并将此2D信息返回到3D点云数据中,得到包含门窗的局部点云数据;最后提取局部点云数据的轮廓线及其交点,通过优化得到门窗特征角点的位置信息.实验结果表明,采用这种"整体-局部"策略的算法能有效地检测出3D室内场景中门窗的位置信息.     

融合检测与跟踪的半自动视频目标标注

针对视频图像连续帧间的目标具有冗余性,采用手动标注方式耗时耗力的问题,提出一种融合检测和跟踪算法的视频目标半自动标注框架。利用手动标注的样本离线训练改进YOLO v3模型,并将该检测模型作为在线标注的检测器。在线标注时在初始帧手动确定目标位置和标签,在后续帧根据检测框与跟踪框的IOU（Intersection-Over-Union）值自动确定目标的位置,并利用跟踪器的响应输出判断目标消失,从而自动停止当前目标标注。采用一种基于目标显著性的关键帧提取算法选择关键帧。采用自建舰船目标数据集进行了改进YOLO v3检测性能对比实验,并采用舰船视频序列验证了提出的视频目标半自动标注方法的有效性。实验结果表明,该方法可以显著提高标注效率,能够快速生成标注数据,适用于海上舰船等场景的视频目标标注任务。