基于RGB-D图像的语义场景补全研究综述

近年来随着计算机视觉领域的不断发展,三维场景的语义分割和形状补全受到学术界和工业界的广泛关注.其中,语义场景补全是这一领域的新兴研究,该研究以同时预测三维场景的空间布局和语义标签为目标,在近几年得到快速发展.对近些年该领域提出的基于RGB-D图像的方法进行了分类和总结.根据有无使用深度学习将语义场景补全方法划分为传统方法和基于深度学习的方法两大类.其中,对于基于深度学习的方法,根据输入数据类型将其划分为基于单一深度图像的方法和基于彩色图像联合深度图像的方法.在对已有方法分类和概述的基础上,对语义场景补全任务所使用的相关数据集进行了整理,并分析了现有方法的实验结果.最后,总结了该领域面临的挑战和发展前景.     

A Survey of 3D Indoor Scene Synthesis

Journal of Computer Science and Technology - Indoor scene synthesis has become a popular topic in recent years. Synthesizing functional and plausible indoor scenes is an inherently difficult task...     

三维场景中被遮挡边界与错觉轮廓的感知修复

以格式塔心理学原理、视觉组织规则和静电场理论为参考,提出一个基于静电修复场的补全模型来解决立体视觉中的感知修复问题.在该模型中,定义用于产生修复场的激发子及其安置规则.该修复场能够自然地将轮廓片段的断点进行匹配并且用合适的光滑曲线进行连接修复,从而得到与人类的感知结果相一致的修复结果.修复结果用于重构存在遮挡和错觉轮廓的三维场景,能够得到正确的深度估计和分割.     

三维模型语义检索研究进展

针对近年来三维模型检索研究不只是考虑形状相似性匹配,而更多地关注如何把语义知识应用于检索这一研究新动态,对三维模型语义检索研究现状,包括三维模型知识提取、语义检索中的主动学习机制、三维模型语义检索系统等方面进行总结.在此基础上,对已有研究成果进行比较分析,突出三维模型语义检索取得的进展以及存在的问题.最后,提出三维模型语义检索需要进一步深入研究的方向.     

基于地形的三维场景绘制方法

地形绘制是计算机图形学中的一个热门的话题,在游戏制作,仿真场景的构建方面都有重要的应用。文章给出了利用位图快速生成三维地形的算法。为了满足真实感的要求,使用了多纹理映射、天空盒以及简单水纹模拟技术。     

RSDCN: A Road Semantic Guided Sparse Depth Completion Network

Neural Processing Letters - Laser radar (Lidar) plays an indispensable role in lots of security critical applications such as autonomous driving. However, the high sparsity and non-uniformity...     

基于内容的三维模型检索综述

对当前基于内容的三维模型检索技术的国际研究现状及进展进行了广泛而深入的综述．探讨和分析了基于内容的三维模型检索技术的系统框架及其关键方法,重点介绍其中的模型坐标标准化、特征提取与索引、相似性匹配、查询方式与用户界面等方面的基本内容,并进行了适当分类．分析总结了现有的基于内容的三维模型检索系统及搜索引擎的典型实例．最后,对现有研究中存在的难点问题及其未来的发展方向进行了展望．     

语义查询优化技术研究综述

1.引言传统的查询优化器利用语法变换对查询进行优化,从生成的查询计划中选择一个具有最小代价的执行计划。然而,随着数据库技术和网络技术的发展,尤其是在异构数据库环境下和面向对象的数据库中,处理的对象结构更为复杂,传统的查询优化器显得力不从心。语义查询优化利用数据库上的语义规则将一个查询变为一个语义等价且更加高效地查询,以此来弥补传统查询优化技术的不足。虽然,语义查询优化能够产生较好的优化效果,但必须有效地解决以下一些问题:     

Make3D: Learning 3D Scene Structure from a Single Still Image

We consider the problem of estimating detailed 3D structure from a single still image of an unstructured environment. Our goal is to create 3D models that are both quantitatively accurate as well as visually pleasing. For each small homogeneous patch in the image, we use a Markov Random Field (MRF) to infer a set of "plane parameters” that capture both the 3D location and 3D orientation of the patch. The MRF, trained via supervised learning, models both image depth cues as well as the relationships between different parts of the image. Other than assuming that the environment is made up of a number of small planes, our model makes no explicit assumptions about the structure of the scene; this enables the algorithm to capture much more detailed 3D structure than does prior art and also give a much richer experience in the 3D flythroughs created using image-based rendering, even for scenes with significant nonvertical structure. Using this approach, we have created qualitatively correct 3D models for 64.9 percent of 588 images downloaded from the Internet. We have also extended our model to produce large-scale 3D models from a few images.     

基于场景语义的3D交互体系结构

借鉴真实世界的认知心理学原理,将虚拟场景的可视表达和语义信息结合起来共同服务于用户的交互过程,多种3D交互技术被融合在一个统一的交互框架内,使复杂虚拟环境中的3D用户界面更容易被用户理解和使用.通过增强场景图的语义处理能力,建立支持高层语义的3D用户界面体系结构,3D交互系统不仅在几何层上而且还能在语义层上支持交互任务的执行.最后介绍了一个应用实例.     

3D Motion Completion in Crowded Scenes

Crowded motions refer to multiple objects moving around and interacting such as crowds, pedestrians and etc. We capture crowded scenes using a depth scanner at video frame rates. Thus, our input is a set of depth frames which sample the scene over time. Processing such data is challenging as it is highly unorganized, with large spatio‐temporal holes due to many occlusions. As no correspondence is given, locally tracking 3D points across frames is hard due to noise and missing regions. Furthermore global segmentation and motion completion in presence of large occlusions is ambiguous and hard to predict. Our algorithm utilizes Gestalt principles of common fate and good continuity to compute motion tracking and completion respectively. Our technique does not assume any pre‐given markers or motion template priors. Our key‐idea is to reduce the motion completion problem to a 1D curve fitting and matching problem which can be solved efficiently using a global optimization scheme. We demonstrate our segmentation and completion method on a variety of synthetic and real world crowded scanned scenes.     

3D点云形状补全GAN

在真实的扫描环境中,由于视线遮挡或技术人员操作不当,实际采集到的点云模型会存在形状不完整的问题.点云模型的不完整性会对后续应用产生严重的影响,因此提出3D点云形状补全GAN用于完成点云模型的形状补全.该网络的点云重建部分由PointNet中用于数据对齐的T-Net结构与3D点云AutoEncoder网络相结合,来完成预...     

自然场景图像中的文本检测综述

本文对自然场景文本检测问题及其方法的研究进展进行了综述.首先,论述了自然场景文本的特点、自然场景文本检测技术的研究背景、现状以及主要技术路线.其次,从传统文本检测以及深度学习文本检测的视角出发,梳理、分析并比较了各类自然场景文本检测方法的优缺点,并介绍了端对端文本识别技术.再次,论述了自然场景文本检测技术所面临的挑战,探讨了相应的解决方案.最后,本文列举了测试基准数据集、评估方法,将最具代表性的自然场景文本检测方法的性能进行了比较,本文还展望了本领域的发展趋势.     

一种图像背景视觉语义模板的生成方法

1.引言图像低层的物理视觉特征与人的高层认识之间不存在明显的直接联系,这就是视觉信息处理中的“语义鸿沟,这使得基于图像全局特征的检索结果与人的主观感觉大相径庭。要缓解“语义鸿沟”问题,一个直接的方法是在低层的视觉特征和高层的主观语义之间建立多个中间处理过程,使得两者能够有个渐进的过渡。这种分而治之的策略,需要保证每一步处理结果都要更加有利于主观语义的辨认,同时这些处理     

VRML／X3D场景的优化

VRML／X3D是新一代面向Web的交互式三维图形规范,由本地机上VRML的浏览器解释生成三维场景．也就是三维网页的技术规范。作者根据经验所得,从结构层次、文件压缩、源码优化和重复代码的简化等几个方面对VRML／X3D场景进行优化．压缩了VRML／X3D场景文件的大小,加快VRML／X3D三维网页的浏览速度。     

基于层次结构的 3D 室内场景结构重组

室内场景，连同建筑和植物，是构成人类生存环境的三大重要因素。但是，目前可获取的三维室内场景并不像 人们期望的那样是经过了合理性语义层面上的分割，而是存在着大量的拓扑结构上的错误。这些拓扑错误是由模型重用 产生的碎片以及模型转换中导致的信息缺失等因素造成的。本文通过考虑拓扑结构关系(支撑关系和主次关系)以及几何 关系(对称、对齐、相交、连接等)，循环迭代地利用图割方法，构建了一个具有层次结构的场景树。该层次结构树对场 景进行了层级的重整，用户可以根据需要得到不同细节层次上的有意义的语义分割，从而纠正了原有模型拓扑结构上的 错误，为进一步的场景编辑提供了便利。     

建筑物三维场景重建方法

针对建筑物模型的规则性问题,基于一幅或多幅非标定图像,对建筑物结构进行多视角三维场景重建,得到360°观测模型。区别于传统三维重建方法,该方法无需先标定摄像机参数与逐点配准、不依赖深度数据和高分辨率图像。实验结果表明该方法解决了单张图像方向性感知视野受限的问题,在系统复杂度和速度上优于传统方法。     

VRML/X3D场景的优化

VRML/X3D是新一代面向Web的交互式三维图形规范,由本地机上VRML的浏览器解释生成三维场景,也就是三维网页的技术规范。作者根据经验所得,从结构层次、文件压缩、源码优化和重复代码的简化等几个方面对VRML/X3D场景进行优化,压缩了VRML/X3D场景文件的大小,加快VRML/X3D三维网页的浏览速度。