增强现实中基于轮廓深度恢复的虚实遮挡方法研究

针对增强现实系统中的虚实场景遮挡问题,提出一种基于立体视觉与前景轮廓深度重建的虚实遮挡恢复新方法.首先设计了一种基于色彩与亮度相结合的前景物体轮廓提取方法,以避免阴影对轮廓提取所造成的负面影响,系统随后利用立体视觉原理与插值技术恢复出前景轮廓以及轮廓内部的深度信息,为恢复虚拟与真实场景之间的正确遮挡关系提供依据.实验结...     

光学透视式增强现实显示系统虚实遮挡问题研究

鉴于增强现实系统中,虚拟物体与真实环境之间是否具有正确的遮挡关系会影响到虚实融合能否取得逼真的效果,为此根据一种新型光学透视式头盔显示器,提出了一种利用OpenGL来绘制虚拟网格遮挡平面,以便使虚拟物体呈现被裁剪的形态,而与真实物体融合后可呈现出实挡虚效果的方法。这种方法,在程序实现方面相对较为容易,且计算量较低,因而更适宜实时系统的使用。通过实验可以看出,采用OpenGL对虚拟物体与真实场景的深度数组进行逐点深度比较来绘制遮挡平面的方法是可行的。     

基于ARToolkit立体视觉成像增强现实系统的研究

沉浸性是虚拟现实系统最为吸引人的特点，也是研究的重点和热点。而增强现实技术是将计算机生成的虚拟环境的图像和真实环境的景象叠加显示到用户所佩带的辅助显示设备来获得真实的沉浸感。ARToolkit为增强现实技术的应用提供了一种方便快捷的开发工具．本文介绍了一个使用ARToolkit实现具有立体视觉成像的人机交互系统。     

面向移动增强现实的实时深度学习目标检测方法综述

移动增强现实(AR)借助智能移动终端将虚拟信息和真实世界进行实时融合,能否实时准确地对 环境中需要增强的物体进行目标检测直接决定了系统的性能。随着深度学习的快速发展,近年来出现了大量的 基于深度学习的目标检测方法。由于存在移动增强设备计算能力有限、能耗大、模型尺寸大以及卸载任务到边 缘云端的网络延迟严重等问题,将深度学习方法应用于移动 AR 的目标检测是一项具有挑战性的问题。首先从 Two stage 和 One stage 的 2 方面对目前深度学习目标检测算法进行综述;然后对面向移动 AR 的目标检测系统 架构进行归纳分类,分析了基于本地端、云端或边缘端和协作式的移动 AR 目标检测系统并总结了各自的优势 和局限性;最后对移动 AR 中目标检测亟待解决的问题和未来发展方向进行了展望和预测。     

增强现实中的跟踪技术

增强现实是一种正在发展的新技术,它将由计算机产生的虚拟场景或信息准确叠加到真实环境中,可以增强用户对真实世界的感知与交互能力;对用户视场及视点的跟踪是增强现实中实现虚、实场景配准的关键技术之一;通过对增强现实中跟踪技术性能要求的讨论,介绍了基于磁场、声学、惯性、光学传感等多种跟踪技术,分析了各种方法的跟踪性能与局限性,认为以基于视觉跟踪为主的混合跟踪技术将是增强现实系统的主流跟踪技术,重点论述了基于视觉的跟踪与基于视觉一惯性的混合跟踪技术及其有待解决的问题,并针对户外增强现实中的跟踪技术做了专门讨论。     

计算机视觉中的增强现实技术

增强现实技术作为计算机视觉研究领域的一个重要内容,是计算机图形学、虚拟现实技术相结合的产物。本文描述了增强现实技术的特征及其应用领域,并对相关基础技术进行了阐述。     

增强现实系统及其关键技术研究

首先概要介绍了增强现实技术的概念、相关特性,指出了视觉一致性是增强现实系统最需要解决的问题;接着给出了增强现实系统的总体结构,概略介绍了各组成部分的功能以及对应的关键技术;然后在此基础上论述了关键技术中的显示技术和跟踪注册技术,并以跟踪注册为重点介绍了的增强现实系统基于跟踪器的方法、视觉跟踪方法和复合跟踪法等多种方案,并分析了不同方法不同实现的特性和应用场合,最后对增强现实的当前应用和未来趋势做出了概要总结.     

混合跟踪技术在增强现实系统中的应用

跟踪技术是增强现实的一个重要研究方向,它致力于解决虚拟信息与真实环境的精确配准问题,构建稳定、高效的增强现实系统。通过分析增强现实系统的跟踪需求,指出单一跟踪存在的不足,说明采用混合跟踪技术的必要性,论述了基于视觉一惯性的混合跟踪技术及其在增强现实中的应用,实现了一种基于VisTracker视觉-惯性混合跟踪器的增强现实实验系统,并给出调试结果。     

移动增强现实系统的关键技术研究

针对传统的增强现实系统在使用范围和可操作性等方面的局限性,首先介绍了一种基于移动便携设备的户外移动增强现实系统,并且分析了其主要的关键技术,然后重点阐述了该系统的体系构架和用于移动便携设备的3维图像渲染技术,通过北京圆明园部分场景的增强现实的实验结果表明,该移动增强现实系统不仅具有较强的实用性和可行性,并且还显示该移动增强现实技术具有广泛的应用前景和巨大的商业价值。     

户外增强现实系统的关键技术研究

增强现实技术,特别是户外增强系统,近年来已经成为一大研究热点。论文研究了增强现实中的主要技术,分析了户外增强现实系统的关键技术,就听觉增强方面的未来发展等提出了自己的见解。     

Handling occlusions in video‐based augmented reality using depth information

Augmented Reality (AR) composes virtual objects with real scenes in a mixed environment where human–computer interaction has more semantic meanings. To seamlessly merge virtual objects with real scenes, correct occlusion handling is a significant challenge. We present an approach to separate occluded objects in multiple layers by utilizing depth, color, and neighborhood information. Scene depth is obtained by stereo cameras and two Gaussian local kernels are used to represent color, spatial smoothness. These three cues are intelligently fused in a probability framework, where the occlusion information can be safely estimated. We apply our method to handle occlusions in video‐based AR where virtual objects are simply overlapped on real scenes. Experiment results show the approach can correctly register virtual and real objects in different depth layers, and provide a spatial‐awareness interaction environment. Copyright © 2009 John Wiley & Sons, Ltd.     

Depth perception in shuffleboard: Depth cues effect on depth perception in virtual and augmented reality system

The virtual reality (VR) and augmented reality (AR) applications have been widely used in a variety of fields; one of the key requirements in a VR or AR system is to understand how users perceive depth in the virtual environment and AR. Three different graphics depth cues are designed in shuffleboard to explore what kind of graphics depth cues are beneficial for depth perception. We also conduct a depth‐matching experiment to compare performance in VR and AR systems using an optical see‐through head‐mounted display (HMD). The result shows that the absolute error increases as the distance becomes farther. Analysis from the inverse of distance shows that box depth cues have a significant effect on depth perception, while the points depth cues and line depth cues have no significant effect. The error in diopter in AR experiment is lower than that in VR experiment. Participants in the AR experiment under medium illuminance condition have less error than those under low and high illuminance conditions. Men have less error than women in certain display conditions, but the advantage disappears when there is a strong depth cue. Besides, there is no significant effect of completion time on depth perception.     

全向立体成像系统场景深度估计

基于单相机双抛物面反射镜设计了一种共轴结构的折反射全向立体成像装置,给出了针对相应展开柱面全景立体图像对深度估计的应点匹配方法,最后通过3D Max构造相应虚拟装置和虚拟场景进行了仿真实验,初步证明了该结构设计和对应深度估计方法的有效性。     

Automatic recalibration of moving cameras in stereo vision systems

A straightforward approach is described for the recalibration of moving cameras in a stereo vision system. The technique requires a knowledge only of the initial calibration parameters and the relative image plane motion. Other significant ramifications of the approach, and a reduced-order example, are presented.     

Interactive stereo vision telepresence for correct communication of spatial geometry

This paper presents a novel interactive stereo vision telepresence system for use in broadband Internet-2 communication environments. An algorithm for virtual distance correction is deployed in this system which allows us to present a correct nominal depth impression of a remote environment to a local human operator. The correctness properties around the nominal depth are analyzed and an error function is derived. The efficacy of the distance correction measures is tested by evaluation experiments.     

机器人手眼立体视觉标定研究

以固高GRB-400型机器人和CCD组成机器人手眼系统,分析了摄像机的成像模型,采用了基于直接将图像坐标映射到机器人参考坐标的“黑箱”思想,从图像坐标直接计算出目标位置的方法,用于立体定位的摄像机手眼标定,该方法通过保持机器人末端执行器到机器人参考坐标系旋转矩阵来简化复杂的相机标定过程,最后通过实验验证了该方法的可行性,并分析了实验误差产生的原因,并提出了相应的解决措施。     

一种基于立体视觉的运动目标检测算法

在目标检测中采用立体视觉方法。首先对立体图像对进行匹配求取场景的视差图,再运用基于视差的背景差分法获得含有运动目标的前景区域,最后根据前景区域的视差和位置分布准确定位各运动目标。立体视觉方法有效解决了单目视觉检测方法中的一些难点问题,可以克服光线的变化和阴影干扰对目标检测带来的影响,在多个目标发生部分遮挡时仍能正确区分各运动目标。     

Evaluation of quality and personalisation of VR/AR/MR learning systems

ABSTRACT

The paper aims to analyse the problem of quality evaluation and personalisation of virtual reality/augmented reality/mixed reality (VR/AR/MR). First of all, systematic review of relevant scientific literature on the research topic was conducted. After that, findings of the systematic review concerning evaluation of quality and personalisation of VR/AR/MR learning environments are presented. The author’s VR/AR/MR learning systems/environments quality evaluation and personalisation framework is also presented in the paper. Evaluation of quality of VR/AR/MR platforms/environments should be based on (a) applying both expert-centred (top-down) and user-centred (bottom-up) quality evaluation methods and (b) separating ‘internal quality’ criteria, and ‘quality in use’ criteria in the set of quality criteria (model). Personalisation of VR/AR/MR platforms/environments should be based on learners’ models/profiles using students’ learning styles, intelligent technologies, and Semantic Web applications.