近距离3D人机交互技术研究实现

3D人机交互技术是计算机图形学、虚拟现实和模式识别的交叉融合领域,可分为虚拟环境的显示和三维物体识别。该研究将虚拟环境显示和三维物体识别整合成一个完整的解决方案并应用到1∶1模拟虚拟场景的近距离交互。研究了虚拟现实之间的坐标转换;分析了影响虚拟物体立体显示的三个主要因素：OpenGL中摄像机的张角,摄像机间距和立体图像对的产生;并实现了基于Intel Perceptual Computing的三维物体识别。实验结果显示：该方案在1∶1模拟虚拟场景方面具有良好的3D显示效果,同时在手势识别方面有较高的识别率。     

广义的以物体为中心的行程编码：一种新的三维物体模型

三维物体的表达和识别是图象理解和场景分析的核心问题,三维模型在三维物体的识别和场景分析中具有十分重要的作用.三维模型应该是以物体为中心的,能够提供该场景的所有有用信息.物体的大小,形状及朝向应均可从该模型中提取得到.本文提出了一种新的三维物体模型——广义的以物体为中心的行程编码.它包括物体的GORC物理数据结构,详细的形状描述和抽象描述.物体的高层次的表达可以通过以GORC编码的物理数据直接提取得到.三维的GORC是二维的以物体为中心的行程编码在三维上的推广,它兼有物体的体积表达和表面表达的优点.三维物体的GORC模型可以很容易地由其深度信息构造得出,基于GORC的投影运算,图象代数运算以及特征提取均可非常有效地实现.     

面向点云的三维物体识别方法综述

随着三维扫描技术的快速发展,获取各类场景的点云数据已经非常简单快捷;加之点云数据具备不受光照、阴影、纹理的影响等优势,基于点云的三维物体识别已成为计算机视觉领域的研究热点。首先,对近年来面向点云数据的三维物体识别方法进行归纳和总结;然后,对已有方法的优势及缺点进行分析;最后,指出点云物体识别中所面临的挑战及进一步的研究方向。     

三维点云中的二维标记检测

特征检测在物体识别、数据配准等应用中具有至关重要的作用。同一场景中不同采集数据的配准和融合,必须已知或者估算不同数据中的共同特征对应点。然而,许多场景缺少有效对应特征点。解决该问题的一种有效的方法是在场景中添加标记以增加特征。文章提出一种在只含有位置信息的三维点云中自动检测二维标记的方法。该方法首先在三维场景添加黑色圆形薄纸片作为二维标记,利用区域增长法将获取的三维场景的点云数据分割成不同类别,然后基于随机抽样一致性算法的扩展方法依次对分割后的点云进行形状拟合,最后通过检测形状检测该二维标记。该方法能够有效地检测出三维场景中的二维标记,并避免了遮挡、形变等问题,为缺少特征的场景提供了简单可行的特征,可广泛应用于数据配准、物体识别、物体追踪、三维重建等领域。     

基于形态及受约束结构的三维物体建模方法

文中提出一种基于物体形态及受约束结构的三维物体建模方法,该方法利用具有透视不变性的三维结构来表达物体的各个形态。利用该表达方法可以使机器视觉系统在用单幅灰度图像识别物体时,在模型索引阶段避开求解物体位姿、摄像机参数、特征对应等复杂问题,从而实现先索引后匹配的识别策略,提高识别物体的实时性。文中首先论述了透视不变性和具有透视不变性的受约束结构的基本概念;其次,给出了用受约束结构进行三维物体建模的一般方法和应用实例;最后,指出了这种方法的不足和进一步的研究方向。     

基于点对特征的三维点云匹配算法

针对现有的基于全局特征的三维物体识别方法和基于局部特征的三维物体识别方法在有遮挡和混叠场景中识别效果均不理想的问题,提出了一种基于点对特征的三维点云匹配算法。利用模型上的所有点对特征来完成全局模型描述构建,并在减少的二维空间上,利用快速投票方案,在局部对模型点云和场景点云进行匹配,从而恢复模型在场景中的全局姿态。实验结果表明:该算法在有遮挡和混叠的场景中识别效果比较理想。     

利用深度图像的虚实物体碰撞交互研究与实现

对传统增强现实系统中虚拟物体与真实物体难以进行碰撞交互的问题,提出一种对深度图像中的场景进行分割,并基于分割结果构建代理几何体的方法来实现虚、实物体的碰撞交互。采用Kinect等深度获取设备获取当前真实场景的彩色图像信息和深度图像信息;通过深度图像的法向聚类及平面拟合技术来识别出场景中的主平面区域;对除去主平面区域的其他聚类点云区域进行融合处理,得到场景中的其他主要物体区域;为识别出的主平面构建虚拟平面作为该平面的代理几何体,为分割出的物体构建包围盒来作为其代理几何体。将这些代理几何体叠加到真实物体上,并对之赋予物理属性,即可模拟实现虚拟物体与真实物体的碰撞交互。实验结果表明,该方法可有效分割简单场景,从而实现虚实交互。     

面向散乱数据点的超二次曲面建模与识别综述

在深度图像处理中,针对散乱的数据点进行三维建模与识别研究更具一般性,它是计算机视觉领域中的一个研究热点。通过阐述超二次曲面建模、分割与识别理论和方法的研究进展,以及演化计算在三维建模与识别中的应用,针对离散不规则三维数据点的特性,分析了超二次曲面参数拟合、多物体场景分割、部件识别存在的问题,提出进一步研究扩展超二次曲面的表达能力,利用的超二次曲面作为基元部件对场景进行建模与分割,并将群体并行演化以及关系匹配理论引入到超二次曲面建模与识别中,其目的在于探求一种高效实用的三维建模与识别方案。     

基于图像的几何建模技术综述

三维建模是计算机图形学与计算机视觉领域研究的重要问题.近年来,基于图像的三维建模技术因其成本低、操作简单、逼真性高等优势,逐渐得到研究者的重视,相关研究成果也被广泛应用于文物数字保护、智能人机交互、数字特效制作、实时监控等领域,具有极其重要的研究意义与实用价值.基于图像的建模研究由单一图像、图像序列或视频中,通过自动或交互的方式,恢复出物体、场景三维模型的方法.而基于图像的建模首先需要解决的核心问题是基于图像的几何建模问题.它主要研究的是如何从图像中恢复出物体或场景的三维几何信息.而该技术领域当前综述性文章的缺乏成为其发展的制约因素.因此,对基于图像的几何建模技术进行了综述性的分析与讨论.侧重从计算机视觉的角度,按照建模时所使用视觉线索信息的区别,对目前主流的基于图像几何建模方法进行了归类;分别对各类方法进行了基本原理探讨与研究现状介绍,并作了较深入的对比分析与讨论;最后,经过对现有研究工作的分析,对该领域存在的问题作出了总结,并对其未来可能的发展与研究方向给出了一些预测性建议.     

结合物体先验和空域约束的室内空域布局推理

对结构化室内场景的空域布局结构进行估计是计算机视觉领域的研究热点之一.然而,对于内部堆放了众多杂乱物体的室内场景,现有的大多数方法容易受到各种物体遮挡的影响而无法对这一类场景的布局结构进行准确推理.为此,本文方法充分考虑了房间和物体之间的几何和语义关联性,参数化地对房间和内部物体的三维体积分别进行描述,并且提出利用多种高层图像语义来获取物体的先验信息.此外,还在此基础上加入了空域排他性和空域位置等多种空域约束,进而在改进室内场景空域布局估计的同时为物体的识别和定位提供关键信息.本文方法不仅具有较低的求解复杂度,而且通过试验表明相比于现有的经典方法在杂乱的室内场景中能够取得更为鲁棒的空域布局推理结果.     

3D对象动态方位邻接关系及双向关联表示

3D空间对象方位关系的表示和分析在空间数据库、地理信息系统、人工智能和机器人学等领域具有重要的意义。为了分析和处理复杂的3D空间对象的方位关系,讨论了3种3D空间对象方位关系的立体表示模型：3DR7模型、3DR27模型和3DR39模型,给出了方位关系的交集序列;研究了3D空间对象方位关系的动态邻接关系和处理方法;进一步给出了3D空间对象方位关系的双向映射模型。研究成果为3D空间对象方位关系在空间数据库和地理信息系统等领域的应用奠定了基础。     

3D scene retrieval and recognition with Depth Gradient Images

The intention of the strategy proposed in this paper is to solve the object retrieval problem in highly complex scenes using 3D information. In the worst case scenario the complexity of the scene includes several objects with irregular or free-form shapes, viewed from any direction, which are self-occluded or partially occluded by other objects with which they are in contact and whose appearance is uniform in intensity/color. This paper introduces and analyzes a new 3D recognition/pose strategy based on DGI (Depth Gradient Images) models. After comparing it with current representative techniques, we can affirm that DGI has very interesting prospects.The DGI representation synthesizes both surface and contour information, thus avoiding restrictions concerning the layout and visibility of the objects in the scene. This paper first explains the key concepts of the DGI representation and shows the main properties of this method in comparison to a set of known techniques. The performance of this strategy in real scenes is then reported. Details are also presented of a wide set of experimental tests, including results under occlusion, performance with injected noise and experiments with cluttered scenes of a high level of complexity.     

用于遥感图像人造目标识别的三维建模方法研究

该文研究了用于遥感图像人造地物目标识别的三维建模方法,文中分析了识别任务的特点,比较了一般的建模方法,介绍了一种基于广义锥思想的几何表示方法,并利用面向对象的技术来表示模型内部数据及其操作。     

三维物体的形态图表达方法

三维物体的表达方法是计算机视觉中的关键问题之一，现有的各种三维物体表达方法虽然在各自的识别中得到应用，但都存在各自的局限性，用形态图表达三维物体是一种以视点为中心的表达方法，由于它列举了一个物体所有可能的“定性”形象，即它可使用最少的二维投影线图（特征视图）来表达一个完整的三维物体，因此使三维物体识别转化为2D与2D的匹配，该文首先定义了二维线图拓扑结构等价的判别准则，然后给出了构造透明物体形态图的方法，最后根据拓扑结构等价准则来得到不透明物体的形态图和特征图，并用圆锥与圆柱相交的实例进行了验证。     

基于物体特征有效提取和离散点三维重建的3D扫描系统原型研究

针对3D扫描技术的近期发展情况,以及市场关于被摄物体特征有效提取的迫切需求,通过系统的对照相机和投影仪测量的方法与计算,利用离散点三维重建算法、标准化算法详细分析了,作为3D扫描原型系统的关键技术,并深入的对三维坐标重复演算的过程,进行了实践研究与计算,论证了基于投影光编码技术的3D扫描仪原型系统,在物体特征有效提取和离散点三维重建中完全可以高效应用;同时,使用焦距标准化运算、逆向倾角变形运算、逆向扭曲变形运算三种方法,综合论述了物体特征有效提取和离散点三维重建过程的相关内容,测试了原型系统对真实文物的扫描情况,展开了该原型系统可应用于不同材料,不同种类物体的扫描,并能有效的进行数字化物体特征识别的研究结论。     

On the Recognition and Location of Partially Occluded Objects

The recognition and location of partially occluded objects is important for image-guided robot automation. A computational object recognition system consists of three main parts: shape representation, matching strategies and verification. The shape representation scheme, which is always application-oriented, should keep extracted features as invariant as possible. This paper presents a new model-based object recognition scheme for general two dimensional objects in a cluttered scene. The scheme considers objects subjected to similarity transformations (i.e., a combination of rotation, scaling and translation). It employs a new feature detection algorithm, combining curvature measures and polygonal approximation. An approximate, but efficient matching strategy is proposed for hypothesis generation and synthetic verification procedures are introduced to improve the robustness of the system. Experiment results are presented to show that the system works effectively and efficiently.     

工程三视图的三维恢复

本文在总结边界表示法（ＢＲ）的结构式立体几何表示法（ＣＳＧＲ）重建三维图形的基础上，提出了一种基于两者结合的三维重建方法。采用ＢＲ方法，把工程图纸的二维矢量化信息作为原始数据，逐步恢复三维点，三维边，面及ＣＳＧＲ意义下的基元体。采用ＣＳＧＲ方法，组合基元体，最终生成复合体，重建三维图形。算法以多面体为研究对象，在ＷＩＮＤＯＷ５３．０环境下实现。     

Point Signatures: A New Representation for 3D Object Recognition

Few systems capable of recognizing complex objects with free-form (sculptured) surfaces have been developed. The apparent lack of success is mainly due to the lack of a competent modelling scheme for representing such complex objects. In this paper, a new form of point representation for describing 3D free-form surfaces is proposed. This representation, which we call the point signature, serves to describe the structural neighbourhood of a point in a more complete manner than just using the 3D coordinates of the point. Being invariant to rotation and translation, the point signature can be used directly to hypothesize the correspondence to model points with similar signatures. Recognition is achieved by matching the signatures of data points representing the sensed surface to the signatures of data points representing the model surface.The use of point signatures is not restricted to the recognition of a single-object scene to a small library of models. Instead, it can be extended naturally to the recognition of scenes containing multiple partially-overlapping objects (which may also be juxtaposed with each other) against a large model library. No preliminary phase of segmenting the scene into the component objects is required. In searching for the appropriate candidate model, recognition need not proceed in a linear order which can become prohibitive for a large model library. For a given scene, signatures are extracted at arbitrarily spaced seed points. Each of these signatures is used to vote for models that contain points having similar signatures. Inappropriate models with low votes can be rejected while the remaining candidate models are ordered according to the votes they received. In this way, efficient verification of the hypothesized candidates can proceed by testing the most likely model first. Experiments using real data obtained from a range finder have shown fast recognition from a library of fifteen models whose complexities vary from that of simple piecewise quadric shapes to complicated face masks. Results from the recognition of both single-object and multiple-object scenes are presented.     

Application of multi-layer perceptron neural networks to vision problems

This paper discusses the application of a class of feed-forward Artificial Neural Networks (ANNs) known as Multi-Layer Perceptrons(MLPs) to two vision problems: recognition and pose estimation of 3D objects from a single 2D perspective view; and handwritten digit recognition. In both cases, a multi-MLP classification scheme is developed that combines the decisions of several classifiers. These classifiers operate on the same feature set for the 3D recognition problem whereas different feature types are used for the handwritten digit recognition. The backpropagationlearning rule is used to train the MLPs. Application of the MLP architecture to other vision problems is also briefly discussed.