基于OpenGL ES的移动增强现实虚实融合

传统移动增强现实系统中虚拟模型和场景之间存在明显的视觉差异,不能够给予用户良好、逼真的真实体验在基于移动增强现实系统中使用OpenGL ES技术来实现高逼真度的虚实场景融合,研究内容主要包括三维虚拟模型的解析、渲染及管理和虚实融合场景图层设计的关系,最终完成高渲染性、高融合度的虚实融合场景的构建.实验结果表明,在OpenGL ES环境下,可以将三维虚拟物体注册到真实场景中,达到了虚实融合的效果,为用户展示出高沉浸度、无缝的视觉体验.     

基于图像分解的光照估计算法

增强现实技术的目的在于将计算机生成的虚拟物体叠加到真实场景中。实现良好的虚实融合需要对场景光照进行估算,针对高光场景,利用场景中的不同反射光信息对场景进行有效的光照估计,首先通过基于像素聚类方法的图像分解对图像进行反射光的分解,得到漫反射图和镜面反射图,对漫反射图进行进一步的本征图像分解,得到反照率图和阴影图;之后结合分解结果和场景深度对输入图像的光照信息进行计算;最后使用全局光照模型对虚拟物体进行渲染,可以得到虚实场景高度融合的光照效果。     

利用深度图像的虚实物体碰撞交互研究与实现

对传统增强现实系统中虚拟物体与真实物体难以进行碰撞交互的问题,提出一种对深度图像中的场景进行分割,并基于分割结果构建代理几何体的方法来实现虚、实物体的碰撞交互。采用Kinect等深度获取设备获取当前真实场景的彩色图像信息和深度图像信息;通过深度图像的法向聚类及平面拟合技术来识别出场景中的主平面区域;对除去主平面区域的其他聚类点云区域进行融合处理,得到场景中的其他主要物体区域;为识别出的主平面构建虚拟平面作为该平面的代理几何体,为分割出的物体构建包围盒来作为其代理几何体。将这些代理几何体叠加到真实物体上,并对之赋予物理属性,即可模拟实现虚拟物体与真实物体的碰撞交互。实验结果表明,该方法可有效分割简单场景,从而实现虚实交互。     

基于环境映照自动对齐的高质量虚实融合技术

要实现高品质的增强现实效果需要解决虚拟物体与现实场景的光照一致性问题.虽然采用HDR技术能获取场景的环境映照,但需要解决所获取的光照环境信息与真实场景的对齐问题.为此提出一种基于特征自动匹配的环境映照对齐方法.首先采用Affine-SIFT算法和随机抽样一致性算法对环境映照和拍摄场景进行特征匹配并优化匹配结果,然后利用基于运动推断结构的摄像机定标算法求得匹配对的三维位置,从而计算出环境映照与真实场景的对应关系,实现了二者的自动对齐.基于该技术搭建的高真实感实时虚实融合系统采用基于关键帧的相机跟踪技术,可以实时地将虚拟物体注册到拍摄的视频场景里,并允许对其进行实时的交互编辑.在渲染时有效地利用了自动对齐后的光照环境信息,采用重要性采样算法和阴影映射技术实现了实时的高质量渲染.实验结果表明,所搭建的增强现实系统很好地解决了实时虚实融合中的几何一致性和光照一致性问题.     

用于增强现实的光照估计研究综述

增强现实技术将计算机生成的虚拟物体实时叠加到用户周围的真实场景中,虚拟物体与真实环境拥有一致的光照效果是该技术的难点之一.光照一致性研究包括光照估计、材质表面反射属性估计以及真实感渲染等内容,其中光照估计是光照一致性的先决条件,结合材质表面反射属性可以保证虚实物体一致的光照渲染效果.文中概述了增强现实中光照一致性研究的最新进展,通过分析现有技术的优缺点阐述了当前光照估计研究所面临的主要挑战,同时展望了该领域未来的发展方向.     

增强现实系统中的深度检测技术研究

增强现实技术是虚拟现实的一个分支,它将虚拟的增强信息融合到真实场景中去。对于增强现实系统而言,融合过程中虚实的遮挡关系需要根据真实环境的深度信息来判断。为了实时获取真实环境的深度信息,文中根据双目立体视觉原理,构建了一个完整的增强现实深度检测系统,该系统安装要求低,通过对系统进行标定和校正,使其达到双目立体规范结构,为对应点的匹配搜索提供了很大的方便。从实验的结果可以看出,文中的深度检测系统算法快速稳定,左右视差图效果良好,可以为虚实遮挡提供可靠的深度信息。     

基于投票决策的实时遮挡处理技术

针对当前基于深度信息的虚实遮挡处理技术面临的实时性差和精度低的问题,提出一种基于局 部区域深度估计和基于 patch 相似性噪声点投票融合的实时虚实遮挡处理算法。该算法将真实场景视频序列作 为输入,首先利用局部区域深度估计算法通过稀疏重建估算出稀疏关键点的深度信息,对稀疏深度施加目标区 域的约束限制深度向周围像素的传播,从而快速恢复出目标区域的相对深度图;然后,噪声点投票融合算法利 用深度比较确定虚实物体的前后位置关系,基于 patch 相似性和投票决策的方法对区域内的像素进行投票和融 合绘制;最后输出具有真实遮挡关系的融合效果。实验结果表明,该算法不仅可以提高虚实遮挡的实时性,还 能够获得真实和虚拟场景不同空间关系下的良好融合效果。     

卡通风格增强现实系统

增强现实技术将计算机生成的虚拟物体叠加到真实场景中.在传统的AR系统中,虚拟物体和真实场景视觉上存在较为明显的差异,达不到虚拟物体和真实场景无缝结合的要求.本文将增强现实技术与非真实感的绘制技术有机的结合起来,减小这种视觉差异,研究并实现了卡通风格的增强现实系统.     

增强现实环境下的产品装配引导技术

以增强现实环境下引导产品装配为目标,建立了面向增强装配过程的统一 信息模型,管理文字、几何和产品装配特征等可视化引导信息。采用基于标志物的视觉跟踪 技术实现虚拟零件和视频中真实零件的注册定位,通过建立虚拟和真实装配场景的深度图处 理增强装配场景中虚实物体的遮挡关系。利用虚实零件的注册位置把装配引导信息叠加到装 配视频场景中。并开发了演示系统,分析和说明了增强现实环境下引导产品进行装配的过程。     

光学透视式增强现实显示系统虚实遮挡问题研究

鉴于增强现实系统中,虚拟物体与真实环境之间是否具有正确的遮挡关系会影响到虚实融合能否取得逼真的效果,为此根据一种新型光学透视式头盔显示器,提出了一种利用OpenGL来绘制虚拟网格遮挡平面,以便使虚拟物体呈现被裁剪的形态,而与真实物体融合后可呈现出实挡虚效果的方法。这种方法,在程序实现方面相对较为容易,且计算量较低,因而更适宜实时系统的使用。通过实验可以看出,采用OpenGL对虚拟物体与真实场景的深度数组进行逐点深度比较来绘制遮挡平面的方法是可行的。     

Point set stratification and Delaunay depth

In the study of depth functions it is important to decide whether a depth function is required to be sensitive to multimodality. An analysis of the Delaunay depth function shows that it is sensitive to multimodality. This notion of depth can be compared to other depth functions such as the convex and location depths. The stratification that Delaunay depth induces in the point set (layers) and in the whole plane (levels) is investigated. An algorithm for computing the Delaunay depth contours associated with a point set in the plane is developed. The worst case and expected complexities of the algorithm are and O(nlogn), respectively. The depth of a query point p with respect to a data set S in the plane is the depth of p in S∪{p}. The Delaunay depth can be computed in O(nlogn) time, which is proved to be optimal, when S and p are given in the input.     

Depth perception in shuffleboard: Depth cues effect on depth perception in virtual and augmented reality system

The virtual reality (VR) and augmented reality (AR) applications have been widely used in a variety of fields; one of the key requirements in a VR or AR system is to understand how users perceive depth in the virtual environment and AR. Three different graphics depth cues are designed in shuffleboard to explore what kind of graphics depth cues are beneficial for depth perception. We also conduct a depth‐matching experiment to compare performance in VR and AR systems using an optical see‐through head‐mounted display (HMD). The result shows that the absolute error increases as the distance becomes farther. Analysis from the inverse of distance shows that box depth cues have a significant effect on depth perception, while the points depth cues and line depth cues have no significant effect. The error in diopter in AR experiment is lower than that in VR experiment. Participants in the AR experiment under medium illuminance condition have less error than those under low and high illuminance conditions. Men have less error than women in certain display conditions, but the advantage disappears when there is a strong depth cue. Besides, there is no significant effect of completion time on depth perception.     

Generalized penetration depth computation

Penetration depth () is a distance measure that is used to describe the extent of overlap between two intersecting objects. Most of the prior work in computation has been restricted to translational, which is defined as the minimal translational motion that one of the overlapping objects must undergo in order to make the two objects disjoint. In this paper, we extend the notion of to take into account both translational and rotational motion to separate the intersecting objects, namely generalized. When an object undergoes a rigid transformation, some point on the object traces the longest trajectory. The generalized between two overlapping objects is defined as the minimum of the longest trajectories of one object, under all possible rigid transformations to separate the overlapping objects.We present three new results to compute generalized between polyhedral models. First, we show that for two overlapping convex polytopes, the generalized is the same as the translational . Second, when the complement of one of the objects is convex, we pose the generalized computation as a variant of the convex containment problem and compute an upper bound using optimization techniques. Finally, when both of the objects are non-convex, we treat them as a combination of the above two cases and present an algorithm that computes a lower and an upper bound on the generalized . We highlight the performance of our algorithms on different models that undergo rigid motion in the 6-dimensional configuration space. Moreover, we utilize our algorithm for complete motion planning of rigid robots undergoing translational and rotational motion in a plane or in 3D space. In particular, we use generalized computation for performing C-obstacle query and checking path non-existence.     

基于CNN特征提取和加权深度迁移的单目图像深度估计

单目图像的深度估计可以从相似图像及其对应的深度信息中获得。然而,图像匹 配歧义和估计深度的不均匀性问题制约了这类算法的性能。为此,提出了一种基于卷积神经网 络(CNN)特征提取和加权深度迁移的单目图像深度估计算法。首先提取 CNN 特征计算输入图像 在数据集中的近邻图像;然后获得各候选近邻图像和输入图像间的像素级稠密空间形变函数; 再将形变函数迁移至候选深度图像集,同时引入基于 SIFT 的迁移权重 SSW,并通过对加权迁 移后的候选深度图进行优化获得最终的深度信息。实验结果表明,该方法显著降低了估计深度 图的平均误差,改善了深度估计的质量。     

基于全卷积编解码网络的单目图像深度估计

针对传统方法在单目图像深度估计时精度低、速度慢等问题,提出一种全卷积编码-解码网络模型,该模型将稀疏的深度样本集和RGB图像作为输入,编码层由Resnet和一个卷积层组成,解码层由两个上采样层和一个双线性上采样层组成,上采样层采用上卷积模块和上投影模块交叉使用,有效降低了棋盘效应并保留了预测深度图像的边缘信息。同时,模型中使用了全卷积,使得参数减少,提升了预测速度。在NYU-Depth-v2数据集上验证了网络模型的有效性与优越性。实验结果表明,在仅使用RGB图像进行深度预测的情况下,与多尺度卷积神经网络相比,该模型在精度[δ<1.25]上提高约4%,均方根误差指标降低约11%;与仅使用RGB图像相比,添加100个空间随机深度样本,均方根误差降低约26%。     

多特征组合的深度图像分割算法

深度图像直接反映景物表面的三维几何信息,且不受光照、阴影等因素的影响,对深度图像处理、识别、理解是目前计算机视觉领域研究的热点和重点之一。针对深度图像信息单一且噪声较大的特点,提出一种基于组合特征的阈值分割算法,实现对深度图像数据的有效分割。算法首先通过梯度特征对图像进行Otsu阈值分割;在此基础上,分别在不同分割区域内利用深度特征进行Otsu多阈值分割,得到候选目标;然后,在空域上利用像素的位置特征对候选目标进行分割、合并与去噪,最终得到图像分割的结果。实验结果表明,该方法能有效克服深度图像中噪声的影响,得到的分割区域边界准确,分割质量较高,为以后的室内对象识别和场景理解工作奠定了较好的基础。     

基于深度信息的快速身份识别方法

采用传统视频信号进行身份识别时,易受遮挡、复杂背景等因素干扰的问题,本文提出一种利用 Kinect深度信息进行身份快速鉴别的方法。首先利用微软Kinect设备获取人体俯视图（深度图像）,然后根据深度信息提取以下特征：（1）身高,（2）肩宽,（3）深度直方图,根据人体生理结构的差异达到判别人身份的目的。实验结果表明,该方法计算简单,具有较高的识别精度和较强的鲁棒性。     

基于数据深度的过程工业故障检测方法

为了对过程工业的生产过程进行质量监控,提出了一种基于数据深度的故障检测方法。选取较为易用的马氏深度与空间深度,同时为了提高空间深度对位置偏离程度的敏感性,引入高斯核函数将其核化,借助深度函数（马氏深度、核空间深度）将高维过程数据映射成一维深度值,再结合非参数秩统计量构造渐近分布进行故障判断。通过田纳西-伊士曼（TE）仿真实验,参考误报警率和检测效率两个指标,并将故障检测效果与其他方法进行对比,验证了所提方法的有效性。     

实时立体视觉系统中的深度映射

目的 为减少立体图像中由于水平视差过大引起的视觉疲劳。针对实时渲染的立体视觉系统,给出了一种非均匀深度压缩方法。方法 该方法在单一相机空间内,通过不同的投影变换矩阵生成双眼图像,水平视差由投影变换来控制。为减少深度压缩造成的模型变形而带来的瑕疵,将不同深度区域内物体施以不同的压缩比例;将相机轴距表示为深度的连续函数,通过相机轴距推导出在单一相机空间内获取双眼图像的坐标变换,将深度压缩转换为模型的坐标变换,从而保证压缩比例的连续变化。结果 实验结果表明,该方法能有效提高立体图像的质量。结论 该方法简单、高效,可应用于游戏、虚拟现实等实时立体视觉系统。