基于深度学习的多视图立体视觉综述

多视图立体视觉在自动驾驶、增强现实、遗产保护和生物医学等领域得到广泛应用. 为了弥补传统多视图立体视觉方法对低纹理区域不敏感、重建完整度差等不足, 基于深度学习的多视图立体视觉方法应运而生. 对基于深度学习的多视图立体视觉方法的开创性工作和发展现状进行综述, 重点关注基于深度学习的多视图立体视觉局部功能改进和整体架构改进方法, 深入分析代表性模型. 同时, 阐述目前广泛使用的数据集及评价指标, 并对比现有方法在数据集上的测试性能. 最后对多视图立体视觉未来有前景的研究发展方向进行展望.     

基于工程视图的三维重建技术研究的若干问题

基于工程视图的三维重建技术不仅具有理论意义,而且具有广泛的应用价值。总结了三维重建技术及其在发展过程中需解决的一些典型问题,并提出了今后研究工作的重点和方向。     

面向嵌入式平台多视图立体视觉深度感知

针对目前基于神经网络的多视图立体视觉(multi-view stereo, MVS)深度估计算法存在参数量大、内存消耗严重,难以满足当下低算力嵌入式平台的需求.提出基于MVS2D极线注意力机制与MobileNetV3-Small的MVS深度感知网络(Mobile-MVS2D).该网络采用编码器-解码器的结构,使用MobileNetV3-Small网络进行编码特征提取,对源图像与参考图像之间不同特征层的尺度信息耦合采用极线注意力机制,解码阶段引入SE-Net与跳跃连接扩展解码特征细节,提升预测精度.实验结果表明,提出的模型在ScanNet数据集中在深度图的评价指标中展现较高的精度.在与视觉SLAM结合下可以展现出较准确的三维重建效果,具有较好的鲁棒性.在Jeston Xavier NX上推理精度为Float16尺寸为640×480的图片组,仅需0.17 s, GPU消耗仅需1 GB,能够满足低算力嵌入式平台的需求.     

基于图像的工程图视图分离

视图分离是工程图三维重建的关键步骤之一。该文提出了一种新的工程图视图分离方法,通过将二维视图中的图元转换为图像,利用图像域中离散像素点的连贯性,快速稳定地在图像域中找到视图轮廓和轮廓的最小包围矩形,达到分离视图的目的,然后在图形域中精确确定视图最小包围矩形。该方法的分离过程与视图中图元组合复杂性无关,并能自动分离任意视图数目的工程图。     

三幅视图的计算机立体视觉匹配

两幅视图的体视匹配、有可能因为视图中的相似特征而造成多义性匹配。为了解决这个问题,本文讨论了三幅视图的体视匹配问题, 本文提出了三种基本的三视图位置模式,并讨论了这三种情况下的特征点抽取方法和匹配方法。     

基于深度学习的单视图三维重建综述

计算机视觉是计算机领域研究的热门方向,而三维重建在计算机视觉方面具有很高的研究价值.近年来,随着深度学习、人工智能不断的发展,基于深度学习的单视图三维重建工作受到大量学者的关注.介绍了基于深度学习的单视图三维重建的三种常用方法、三维重建工作常用数据集和其具体的应用领域,并对基于深度学习的单视图三维重建进行了小结与展望.     

网络视觉数据语义关联理解研究综述

针对现有大多数视觉数据理解孤立地处理单个视觉对象且专注于其固有特性,对网络异构分布及相互关联等特性重视不够,导致出现求解困难、计算效率低、仅能理解低层语义等问题,阐述面向大规模网络视觉数据的关联推理与语义理解研究热点,分析国内外研究现状,对该方向的发展趋势进行展望。     

多视图图像三维重建技术研究

多视图三维组建技术是在图像中获取所需对象和具有实用价值的三维图像。这种方法目前普遍应用于计算机图形与视觉领域中。此技术的应用对于三维视觉感模型的建立和规模较大的三维图像建模起着至关重要的作用。近年来,该技术逐渐应用到了其他领域,如医学、机器人导航等。然而该技术在实际应用中还存在一些问题。在本研究主要针对多视图三维重建技术进行深入探讨,为三维重建提供解决方案,包括图像特征提取、几何约束计算、鲁棒性参数估计等。     

计算机视觉——探索行为理解,认知内心世界

人类发展的过程,是一个对人类自身和环境不断观察、认识、理解和改造的过程。观察人们的动作和行为进而理解他们的目标、意图、动机、态度等内心思想状态是正常成年人在人类社会中生存和发展所必需的生活能力,也是开发以人为中心的计算,使现代信息技术成为提高生活质量有力工具的基础。根据行为理解     

基于二维视图特征的三维重建

在分析现有ＣＡＤ二维参数化设计,三维参数化设计以及三维重建方法的基础上,基于工程图图形的整体宏观性,图形拓扑性及三维视图的投影规律,提出了二维视图特征的概念及一种新的工程图处理方法。     

基于工程图的二次曲面体重建

针对基于工程图的曲面体重建,在现有的基于边界表示模型(Brep oriented)的重建方法中,提出了“线面交点计数判别法”来判断曲面上基环之间的位置关系,即曲面上顶点和多边形的包含关系,建立各表面上的基环位置关系树,并据此构造实体模型的候选面片．最后,根据二维流形(2-manifolds)的性质和莫比乌斯法则(Mǒbius rule)以及正投影规律从候选面片中提取面序列和确定性面序列,将符合条件的面片和面序列装配成实体．这些方法的提出与应用,将传统的处理对象由平面拓展到二次曲面,从而扩大了形体的重建覆盖域,同时减少了候选面片的组合判定次数,提高了重建效率．     

Embedding visual cognition in 3D reconstruction from multi-view engineering drawings

In this paper we discuss how to reconstruct 3D models from multi-view engineering draws by employing human engineers’ approaches. Human's ‘divide and conquer’ interpretation strategy in visual cognition is simulated, and successfully carried out on the basis of spatial division of 3D object space. At first, a volume-oriented method is utilized to decompose the 3D object space in a set of 3D ‘cell-boxes’ whose three-view bounding rectangles will isolate its related sub-projections from input projections views, and in every cell-box a cell primitive is implied. Then, a 3D model of each cell primitive is ‘locally’ generated from its ‘sub-projection’ views by wire-frame oriented algorithms. The final interpretation result of the overall projection-views is a ‘Union’ of these cell primitives. To deal with the ambiguity, a visual reasoning engine is implemented on the basis of principles from Gestalt psychology. It will be activated to pick out the most reasonable interpretation, when ambiguities are generated during the reconstruction process. The section views are also incorporated in getting rid of the ambiguity. Moreover, we design a natural and convenient interaction way to encourage the user to be involved in the process while interpreting complex projections. The key steps of this human-like reconstruction approach are presented in detail.     

工程图矢量化中的尺寸识别与重建

尺寸识别是工程图识别的重要环节。针对现有单人口识别算法的局限性,提出了一种多人口的尺寸识别算法,从多种已识别的图形元素开始搜索一个尺寸标识。在遇到不能正常识别的图形元素时,通过先搜索其他组成元素获得尺寸标识的初步确认后,放宽阈值对未识别元素进行再识别,有效地识别受退化或干扰影响较大的尺寸元素。提出了基于坐标网络的图形元素尺寸重建方法,通过建立坐标网使每一尺寸在整体环境下得到调整,满足了图低复用对图形数据精确度的要求。     

Reconstruction of 3D Object Models from Vectorised Engineering Drawings

In this paper, the problem of 3D-object model reconstruction from engineering drawing projections is analysed, and its main stages are shown. Image vectorisation and entity recognition is mentioned briefly, the main focus being editing or the parameterisation of vectorised drawings and 3D object model reconstruction from vectorised ED projections. Vectorised drawing, as a rule, do not exactly correspond to sizes and other features (touching, parallelity, perpendicularly, symmetry, collinearity, etc.) being available on the initial drawing, and this ED vector model is not suitable for direct use in CAD systems. That is why the parameterisation stage is introduced and considered in detail. An algorithm for 3D-object reconstruction from the vectorised and parameterised drawing is proposed. The algorithm is based on the detection of volumetric solid-state object components (primitives), and performing theoretic-set operations with the components. Practical experience in realising these stages is shown. Received: 23 April 1999, Received in revised form: 29 November 2000, Accepted: 07 December 2000     

由三视图重建包含圆环面的形体

机械零件中的管道和曲面过渡通常都由圆环面构成.分析了圆环面在三视图中的投影性质,将圆环面不同方向投影中的具有独特性的二次曲线特征定义为它的主特征和次特征,以工程图标注的语义信息为辅,提出基于曲面特征识别的圆环面重建算法.该算法首先在三视图中识别圆环面特征,然后由特征计算曲面参数,最后构造拓扑结构.用该算法对带有管道和曲面过渡的实例进行了验证.     

基于投影特征识别的斜截切二次曲面重建算法

平面与二次曲面的截切组合是机械零件常用的设计手段.在分析斜截切二次曲面在三视图中的投影特性的基础上,提出识别和重建这类曲面的算法.首先根据曲面的投影特性在三视图中检索斜截切曲面的投影痕迹;然后以其作为引导,初步判定曲面类型,深度优先搜索进一步识别斜截切二次曲面;再根据投影边的二维信息计算未截切曲面的几何参数,并通过未截切曲面与截平面求交获取截切曲线;最后构造斜截切曲面的拓扑结构,生成三维曲面.该算法可以识别和重建空间任意位置的斜截切二次曲面,拓展了重建算法的形体覆盖域.文中算法目前已运用到形体重建原型系统中,实验结果证明了其有效性.     

三维机械模型和其对应工程图纸的智能化校对方法

给出一个完整的模型信息校对平台的设计,重点讨论了模型的外观和轮廓校对,为实现模型校对提供了一个图形化的系统集成环境,同时分析了模型校对的发展方向,为进一步完善模型校对系统提供了基础。     

基于逐层切削扫描测量法的实用化逆向工程

逆层切削扫描测量法是一种可获得零件内外腔数据且比较实用的测量方法．本文重点介绍了采用该法实现的逆向工程系统中特征识别、三维重构各模块的实现．特别是在特征识别过程中对于二维数字曲线的分段及重构提出了新的算法．最后指出将正向设计与逆向工程相结合是逆向工程实用化的一条新途径．     

基于条形块跟踪的圆弧识别方法研究

本文给出了一种基于条形块跟踪的圆弧矢量化方法，采取条形块跟踪的思想获取圆弧和组合线的低级矢量——型值链，对组合线进行了分隔，在几何意义明显的圆弧形值链基础上，通过检测和验证的方法识别出圆弧。实验结果显示出算法的快速性，识别出的圆弧和原始位图吻合度高，并具有较高的识别率。