一种由粗至精的室内场景的空间布局估计方法

为有效标注室内场景的布局关系,提出一种由粗至精的空间布局估计方法.首先,采用局部不连续自适应阈值检测场景的长直线段,根据直线段的方向将其分为竖直和水平直线段;基于投票机制和正交准则估计垂直与水平消失点,由这两个消失点等角度间隔地引出成对射线生成场景候选布局.其次,采用VGG-16全卷积神经网络估计相应场景的几何上下文和信息化边界,采用softmax分类器决策其fc7层特征以获取布局类别,融合信息化边界和布局类别生成全局特征以粗选取场景候选布局.接着,基于VGG空间多尺度卷积神经网络估计相应场景的法向图和深度图以提取法向特征和深度特征.然后,利用消失点射线夹角参数化3D盒式布局模型,利用几何积分图聚集候选布局中的直线段成员、几何上下文、法向量和深度等区域级特征,采用割平面法学习结构化模型参数.最后,对候选布局的结构化预测得分进行排序,将得分最高者选取为最终空间布局.Hedau和LSUN数据集实验表明,该方法能获得空间布局的精准区域面划分个数和精确边界位置.     

基于Kinect系统的场景建模与机器人自主导航

本文分别基于微软Kinect系统的单目RGB摄像机以及深度距离受限的RGB-D像机,研究解决室内机器人的6自由度定位问题.首先,在传统不完全自由度估计的基础上,提出了特征点参数的增量式模型以解决运动尺度不确定性问题.该模型和以往的欧几里得、逆深度参数化模型相比,不仅能够显著降低系统状态维数,而且能够保证系统状态的一致可观测性;此外,基于增量式模型,根据Kinect系统中采集的RGB图像和红外图像,实现了对机器人6自由度的运动估计.最后,将Kinect系统采集得到的RGB图像和深度图像序列用于欧几里得参数化模型和增量式参数化模型,对应的实验结果证明了本文所提的自主导航方法的有效性.     

结合语义分割与模型匹配的室内场景重建方法

目的 由于室内点云场景中物体的密集性、复杂性以及多遮挡等带来的数据不完整和多噪声问题,极大地限制了室内点云场景的重建工作,无法保证场景重建的准确度。为了更好地从无序点云中恢复出完整的场景,提出了一种基于语义分割的室内场景重建方法。方法 通过体素滤波对原始数据进行下采样,计算场景三维尺度不变特征变换（3D scale-invariant feature transform,3D SIFT）特征点,融合下采样结果与场景特征点从而获得优化的场景下采样结果;利用随机抽样一致算法（random sample consensus,RANSAC）对融合采样后的场景提取平面特征,将该特征输入PointNet网络中进行训练,确保共面的点具有相同的局部特征,从而得到每个点在数据集中各个类别的置信度,在此基础上,提出了一种基于投影的区域生长优化方法,聚合语义分割结果中同一物体的点,获得更精细的分割结果;将场景物体的分割结果划分为内环境元素或外环境元素,分别采用模型匹配的方法、平面拟合的方法从而实现场景的重建。结果 在S3DIS （Stanford large-scale 3D indoor space dataset）数据集上进行实验,本文融合采样算法对后续方法的效率和效果有着不同程度的提高,采样后平面提取算法的运行时间仅为采样前的15%;而语义分割方法在全局准确率（overall accuracy,OA）和平均交并比（mean intersection over union,mIoU）两个方面比PointNet网络分别提高了2.3%和4.2%。结论 本文方法能够在保留关键点的同时提高计算效率,在分割准确率方面也有着明显提升,同时可以得到高质量的重建结果。     

一种基于改进卷积神经网络的RGB-D室内场景分类方法

RGB-D室内场景分类是一项极具挑战性的工作,卷积神经网络在场景分类方面已经取得了非常好的效果,但是由于室内场景存在多种目标且布局复杂,另外不同类别的场景之间存在相似性,因此传统卷积神经网络直接应用于室内场景分类存在着很多问题。针对这些问题,本文提出一种改进的基于卷积神经网络的RGB-D室内场景分类方法,包括2个分支,一个是基于ResNet-18的全局特征提取分支,另一个是深度与语义信息的融合分支。将2个分支得到的特征进行融合,达到室内场景分类的目的。在SUN RGB-D数据集上的实验结果表明,所提出的方法优于现有的对比方法。     

基于配准元素选择的改进ICP算法研究

ICP算法作为解决深度图像的配准问题的一个应用较为广泛的算法,得到了研究者的关注,本文全面地回顾了ICP算法的研究背景,对其存在的不足进行了分析,并从配准元素选择的角度对它进行了简单的改进。     

结合全卷积神经网络的室内场景分割

目的 视觉假体通过向盲人体内植入电极刺激视神经产生光幻视,盲人所能感受到的物体只是大体轮廓,对物体识别率低,针对视觉假体中室内应用场景的特点,提出一种快速卷积神经网络图像分割方法对室内场景图像进行分割,通过图像分割技术把物品大致的位置和轮廓显示出来,辅助盲人识别。方法 构建了用于室内场景图像分割的FFCN（fast fully convolutional networks）网络,通过层间融合的方法,避免连续卷积对图像特征信息的损失。为了验证网络的有效性,创建了室内环境中的基本生活物品数据集（以下简称XAUT数据集）,在原图上通过灰度标记每个物品的类别,然后附加一张颜色表把灰度图映射成伪彩色图作为语义标签。采用XAUT数据集在Caffe（convolutional architecture for fast feature embedding）框架下对FFCN网络进行训练,得到适应于盲人视觉假体的室内场景分割模型。同时,为了对比模型的有效性,对传统的多尺度融合方法FCN-8s、FCN-16s、FCN-32s等进行结构微调,并采用该数据集进行训练得到适用于室内场景分割的相应算法模型。结果 各类网络的像素识别精度都达到了85%以上,均交并比（MIU）均达到60%以上,其中FCN-8s at-once网络的均交并比最高,达到70.4%,但其分割速度仅为FFCN的1/5。在其他各类指标相差不大的前提下,FFCN快速分割卷积神经网络上平均分割速度达到40帧/s。结论 本文提出的FFCN卷积神经网络可以有效利用多层卷积提取图像信息,避免亮度、颜色、纹理等底层信息的影响,通过尺度融合技术可以很好地避免图像特征信息在网络卷积和池化中的损失,相比于其他FCN网络具有更快的速度,有利于提高图像预处理的实时性。     

基于改进全局—局部注意网络的室内场景识别方法

由于卷积神经网络(CNN)大多侧重于全局特征学习,忽略了包含更多细节的局部特征信息,使得室内场景识别的准确率难以提高。针对这一问题,提出了基于改进全局—局部注意网络(GLANet)的室内场景识别方法。首先,利用GLANet捕捉场景图像的全局特征和局部特征,增加图像特征中的细节信息;然后,在局部网络中引入non-local注意力模块,通过注意力图和特征图的卷积来进一步保留图像的细节特征,最后融合网络不同阶段的多种特征进行分类。通过在MIT Indoor67和SUN397数据集上的训练和验证,所提方法的识别准确率与LGN方法相比分别提高了1.98%和3.07%。实验结果表明,该算法能够有效捕获全局语义信息和精细的局部细节,显著提高了识别准确率。     

基于卷积神经网络的室内场景三维重建技术研究

三维场景重建技术是计算机视觉领域的十分重要的研究课题。传统三维场景重建大多是专业工程师通过手工制图实现,效率不高且成本较高。对此提出一种基于卷积神经网络的三维场景重建方法。该方法在对2D图像进行语义分割的基础上,提取分割后的室内场景元素图像块,训练一个基于卷积神经网络的三维模型匹配模型;再将匹配得到的三维模型结合深度图构造的残缺三维模型,进一步进行组合,从而完成室内场景的三维重建工作。实验验证了该方法的可行性和优异性。     

一种机器人触视觉图像配准方法的研究

遥操作机器人触觉与视觉图像的配准是这两种图像信息融合的关键技术．提出了一种基于OCD-ICP(Optimize Corner Detection—Iterative Closets Point．优化角点集提取——迭代最近点)的图像配准方法．该方法利用图形学原理．对图像边缘角点候选点集提出了四个筛选规则．逐步筛选得到优化的角点集，并在此基础上利用迭代最近点的方法得到最优配准变换参数．实验证明，该方法能够有效的检测到正确的曲线角点集，利用此角点集的ICP方法有较高的配准精度和速度．     

基于几何配准的三维模型几何比对方法研究

针对设计师在进行协同建模时无法快速查看模型变更信息的问题,提出了快速比 对两个模型几何差异的方法。首先,通过等步长采点获取两个模型的点云数据;然后,利用主 元分析法计算两个点云的特征向量从而获取点云的参考坐标系,推导两个点云参考坐标系的坐 标变换,将两个点云调整到一致,即可实现点云的初始配准;最后,利用最近点迭代法对两个 点云进行精确配准,记录配准后两个点云中的非重叠区域,可获取两个点云的几何差异区域。 测试结果表明该方法可以有效识别两个模型的几何差异。     

基于知识模板的产品建模方法

为实现产品概念设计的创新,提出功能模板、行为模板和结构模板的概念,并利用三者之间的映射关系实现行为流产品建模.通过行为流建模的具体算法,在实现产品概念模型设计的同时生成该模型的行为路径.发动机模型的创建实例表明,该算法能实现产品概念模型设计的再创新.     

A surface modeling method based on the envelope template

In this paper, we present a novel surface modeling scheme based on an envelope template. A two-parameter family of interpolating surfaces is generated by repeated bicubic interpolation of the given data points, and then a solution to the envelope condition and the envelope of the family are constructed. The continuity conditions of two adjacent patches along the common boundary are derived by analyzing the geometric properties of the envelope patch. In order to facilitate surface modeling, an envelope template is constructed, which has many desirable advantages including simple structure, good local features and so on. G² or C² composite surfaces can be obtained utilizing the envelope template sweeping over the data points.     

利用立体视觉的室内场景分类

场景分类的目标是为各种视觉处理任务建立语义上下文,尤其是为目标识别。双目视觉系统现已广泛配备在智能机器人上,然而场景分类的任务大多只是使用单目图像。由于室内场景的复杂性,使用单目图像进行场景分类的性能很低。提出了一种基于双目视觉的室内场景分类方法,使用在一些特定区域里拟合出的若干平面的参数作为场景的特征。采用层级的分类方法,依据视差图,场景被分为开放场所类和封闭场所类,利用提出的场景特征和Gist特征对上述两类进行细分。为了验证提出的方法,建立了一个包含四种场景类别的图像数据集。实验结果表明提出的方法取得了较好的分类性能。     

结合目标检测的室内场景识别方法

在目标检测网络(ObjectNet)和场景识别网络相结合的方法中,由于ObjectNet提取的目标特征和场景网络提取的场景特征的维度和性质不一致,且目标特征中存在影响场景判断的冗余信息,导致场景识别的准确率低.针对这个问题,提出一种改进的结合目标检测的室内场景识别方法.首先,在ObjectNet中引入类转换矩阵(CCM...     

Indoor scene segmentation algorithm based on full convolutional neural network

Neural Computing and Applications - With the leaps and bounds of computer performance and the advent of the era of big data, deep learning has drawn more and more attention from all walks of life....     

基于目标检测的室内动态场景定位与建图

针对室内场景中动态对象严重影响相机位姿估计准确性的问题,提出一种基于目标检测的室内动态场景同步定位与地图构建（SLAM）系统。当相机捕获图像后,首先,利用YOLOv4目标检测网络检测环境中的动态对象,并生成对应边界框的掩膜区域;然后,提取图像中的ORB特征点,并将掩膜区域内部的特征点剔除掉;同时结合GMS算法进一步剔除误匹配,并仅利用剩余静态特征点来估计相机位姿;最后,完成滤除动态对象的静态稠密点云地图和八叉树地图的构建。在TUM RGB-D公开数据集上进行的多次对比测试的结果表明,相对于ORB-SLAM2系统、GCNv2_SLAM系统和YOLOv4+ORB-SLAM2系统,所提系统在绝对轨迹误差（ATE）和相对位姿误差（RPE）上有明显的降低,说明该系统能够显著提高室内动态环境中相机位姿估计的准确性。     

基于场景图谱的室内移动机器人目标搜索

在移动机器人执行日常家庭任务时,首先需要其能够在环境中避开障碍物,自主地寻找到房间中的物体。针对移动机器人如何有效在室内环境下对目标物体进行搜索的问题,提出了一种基于场景图谱的室内移动机器人目标搜索,其框架结合了导航地图、语义地图和语义关系图谱。在导航地图的基础上建立了包含地标物体位置信息的语义地图,机器人可以轻松对地标物体进行寻找。对于动态的物体,机器人根据语义关系图中物体之间的并发关系,优先到关系强度比较高的地标物体旁寻找。通过物理实验展示了机器人在语义地图和语义关系图的帮助下可以实现在室内环境下有效地寻找到目标,并显著地减少了搜索的路径长度,证明了该方法的有效性。     

基于拓扑约束模板的支吊架建模方法研究

基于支吊架标准和形式的分析,抽象出了支吊架拓扑结构的层次模型,提出了基于对偶智能点的支吊架拓扑约束模型,解决了支吊架拓扑关系多元性和层次性导致的智能组嵌套问题。使用拓扑约束模板表达支吊架设计标准,将支吊架设计转化为多元约束求解,解决了支吊架设计中设计标准的多样性和专业间的紧密协同性两个关键性问题。