融合深度和颜色信息的图像物体分割算法

讨论立体图对的图像分割问题,提出一种基于深度和颜色信息的图像物体分割算法。该算法首先利用基于聚类的Mean-shift分割算法对目标图像进行适度的过分割,同时借助双目立体视觉算法获取立体图对的稠密深度图,并依据深度不连续性从过分割结果中选取用于继续进行“精致”分割的种子点集,接着对未分配种子标签的区域用图割算法分配标签,并对彼此之间没有深度不连续边界但具有不同标签的相邻区域进行融合。相比于传统图像分割算法,该算法可有效克服过分割和欠分割问题,获取具有一定语义的图像分割结果。相关的对比实验结果验证了该算法的有效性。     

三维单目虚实物体球对面碰撞检测算法

为加强增强现实的沉浸感与真实性,实时地进行虚实物体间的碰撞检测至关重要.因此,提出一种基于增强现实和单目视觉的任意形状虚实物体碰撞检测估计算法.通过改进现有的单目二维虚实碰撞检测及响应算法,针对现有碰撞检测算法存在的计算复杂度高的问题,提出一种仅需计算实际物体4个特征点的三维碰撞检测算法;并通过对象分割、特征点提取、碰撞检测和碰撞响应等过程取得与真实世界物理特性一致的三维虚实碰撞响应估计效果.在增强现实有标记和无标记环境下分别进行实验结果表明,碰撞检测的计算量与二维算法相近,且具有景深效果,实现了基于单目视觉的增强现实三维虚实碰撞响应预测和处理.     

增强现实中基于轮廓深度恢复的虚实遮挡方法研究

针对增强现实系统中的虚实场景遮挡问题,提出一种基于立体视觉与前景轮廓深度重建的虚实遮挡恢复新方法.首先设计了一种基于色彩与亮度相结合的前景物体轮廓提取方法,以避免阴影对轮廓提取所造成的负面影响,系统随后利用立体视觉原理与插值技术恢复出前景轮廓以及轮廓内部的深度信息,为恢复虚拟与真实场景之间的正确遮挡关系提供依据.实验结...     

基于深度图像的人体骨骼提取技术的研究

利用Kinect设备获取深度图像,通过前景提取得到深度图像中的人体目标,使用距离变换(包括欧氏距离、城市街区距离、棋盘距离方法)和图像细化算法(包括Hilditch细化算法和Zhang快速并行细化算法)研究并实现了人体骨骼的提取,通过实验对各算法的运行效果进行了对比分析。同时,利用深度图像具备深度信息这一特点解决了在骨骼提取中出现的人体自遮挡问题。在获取的人体骨骼线基础上根据人体测量比例定位人体各骨骼关节点,最终通过实验证明了该骨骼提取方法的有效性。     

基于增强现实的物联网物体识别与虚拟交互

介绍增强现实的物联网物体识别与定位原理,分析基于数据手套的物联网增强现实虚拟交互方法,设计并实现一个物联网增强现实虚拟交互系统原型。实验结果表明,该系统能为物联网用户提供更自然的物体信息获取方式与虚拟交互体验,满足物联网相关应用对于实时性、精确度和稳定性的要求。     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。     

利用分层深度全景图实现基于图像的绘制

提出一个快速绘制的ＩＢＲ新方法,它用分层深度全景图（ＬＤＰ）作为三维模型的中间表示,通过ＬＤＰ的重投影变换快速生成新的视图,ＬＤＰ可以看作物体的一个全景视图,但在每个视线方向有多个不同深义的象素,当用ｎ个平面投影图像建立ＬＤＰ时,它的数据量不是取决于采样图像的数量,而是取决于物体表面的复杂性,由于ＬＤＰ可以看作一个独立的图像坐标框架,ＭｃＭｉｌｌａｎ的顺次扫描重投影算法能够用于ＬＤＰ中,避免了Ｚ缓     

碰撞响应中方向穿透深度算法的研究

方向穿透深度是碰撞响应的基础,在增强虚拟环境的逼真性和真实感方面起到了重要的作用.现有的方向穿透深度算法,很难同时兼顾计算速度和计算精度,实用性受到很大限制.提出一种新的方向穿透深度计算方法,无须对凹多面体进行凸分解,就能精确地计算任意多面体间的方向穿透深度.在此基础上,提出一种基于体分解的包围体层次——ISBVH,极大地提高了算法的效率.     

多尺度特征融合的透明物体深度图像快速修复方法

透明物体是日常生活中常见的事物,具有独特的视觉特性,这些特性使得标准的视觉3D传感器较难对其进行准确的深度估计.在大多数情况下,视觉3D传感器捕获的深度信息表现为透明物体后面的背景的深度值或大面积的深度缺失.为了对深度图像中透明物体的深度缺失进行快速修复,提出一种基于语义分割和多尺度融合的透明物体深度图像快速修复的方法,使用轻量级实时语义分割预测出透明物体的遮罩,剔除深度场景图像中该部分的错误深度信息,对彩色图像和剔除错误信息后的深度图像进行多尺度的特征提取和特征融合,完成对透明物体的深度图像快速修复.本文在Clear Grasp数据集上算法进行了效果验证.该数据集包含了5万多组RGB-D图像.实验结果表明,文中方法对透明物体深度的修复在度量指标MAE, δ_1.05和δ_1.25上,分别取得了0.027, 72.98和98.04的结果,均优于现有方法,并且在效率上有较好的提升.     

虚实融合场景中的深度感知研究综述

混合现实系统可以提供虚拟信息和真实环境实时叠加的虚实融合场景,在教育培训、文物保护、军事仿真、装备制造、手术医疗和展览展示等领域具有十分广阔的应用前景。混合现实系统首先利用标定数据构建虚拟摄像机模型,然后根据头部跟踪结果和虚拟摄像机位置实时绘制虚拟内容并将其叠加在真实环境中,用户通过虚实融合场景中渲染的图形化线索和虚拟物体特征感知其深度信息,但存在用于指导虚实融合场景绘制的视觉规律和感知理论匮乏、图形化线索可提供的绝对深度信息缺失和虚拟物体的渲染维度和特征指标不足等问题。本文分析了面向虚实融合场景绘制渲染的视觉规律,从用户感知的角度出发,围绕虚实融合场景中图形化线索绘制和虚拟物体渲染等展开综述,并对虚实融合场景中深度感知的研究趋势和重点进行展望和预测。     

A method to measure the uniformity of the virtual image distance in an augmented reality or virtual reality device

The virtual image distance in an augmented reality (AR) or virtual reality (VR) device is an important factor in determining its performance. In this paper, a method for measuring the virtual image distance and its uniformity is proposed. The setup for measurement consists of a two-dimensional spatial sensor array on the translational stage and a pinhole array plate placed in front of the AR or VR device. As the distance between the pinhole plate and the two-dimensional spatial sensor array were changed, the positions of the rays through each pinhole were measured by a two-dimensional spatial sensor array. The ray trajectories through each pinhole were obtained by fitting these positions to straight lines. The relative distances between these ray trajectories were calculated with respect to the distance from the pinhole plate. This method is effective for measuring the uniformity, such as the azimuthal dependence of the virtual image distance or the dependence of the virtual image distance on the distance from the optical axis of the VR lens.     

虚拟装配中快速碰撞检测算法的研究与实现

针对虚拟装配中碰撞检测的特殊要求，提出了一种基于包围盒与空间剖分法的两级碰撞检测算法HSDHBB。该算法首先用空间剖分法找出潜在的相交区域，然后用包围盒求得碰撞的三角面片对和精确的碰撞点。给出了层次包围盒树的构造方法和空间网格的剖分方法，在空间剖分中采用哈希表的数据结构加快检索速度。最后，在CATIA环境中实现了该算法，结果表明该算法能够满足虚拟装配系统的实时性和精确性的要求。     

虚拟环境中优化的OBB碰撞检测算法研究

碰撞检测是计算机图形学的研究热点之一,基于包围盒的碰撞检测算法是一种比较有效的碰撞检测算法.OBB紧密性较好,能有效提高系统的检测效率,但是相交测试的代价太大,根据AABB易于构造、计算简单但紧密性差的特点,提出并实现了优化的OBB碰撞检测算法.实验结果证明:优化算法能够较大幅度地提高了碰撞检测的实时性能,取得较好的效果.     

虚拟现实技术在化学实验教学中的应用研究

虚拟实验应用日益广泛,而支持虚拟实验的相关技术成为了研究热点。分析了虚拟化学实验及其在未来虚拟现实技术上的发展趋势,综述了U-nity3D技术、增强现实技术和Kinect体感交互技术的理论基础以及在虚拟化学实验中的应用与发展,以虚拟技术融合的方法为导向,仿真化学实验的实时环境,使虚拟实验简单化、直观化。展望了虚实融合技术在虚拟实验领域的应用前景。虚实融合技术有利于推动虚拟化学实验朝智能化发展,是虚拟实验改革的一个新起点。     

基于增强现实的虚拟实景空间漫游机制研究与实现

增强现实技术可以把计算机产生的虚拟物体或其它信息合成到用户看到的真实场景中.将增强现实技术与基于图像的绘制技术有机的结合起来,介绍了虚拟实景空间的构造,探讨了虚拟物体与实景空间的合成方法,给出了一种在虚拟实景空间中漫游的机制及其实现方法,综合考虑了机制的复杂度和漫游的自由度,在两者之间取得了平衡,该方法具有较好的实用性.     

虚拟手术中快速碰撞检测方法的研究

为了解决虚拟手术的快速碰撞检测问题,提出了一种新的基于层次包围盒的快速碰撞检测方法。文中基于虚拟手术中器官组织是软体模型且规模巨大,而手术器械是刚体模型且结构简单这一特点,从层次包围盒构造、包围盒树遍历和精确相交测试三个方面改进算法。仿真实验表明该算法能正确有效地处理虚拟手术中的碰撞检测,与标准库RAPID对比,随着软体模型规模的增大,该方法能显著提高碰撞检测的效率。     

Evaluation of diagnostician user interface aspects in a virtual reality-based tele-ultrasonography simulation

ABSTRACT

Ultrasonography (USG) is a common medical examination that can be performed remotely and that highly benefits from robotics. In this paper, we evaluate a novel interface for a telediagnosis system that features haptic feedback and a 2D/3D visualization of the remote site. A Virtual Environment (VE) representing the patient site was used for the validation to stress the interaction capabilities of the interface and to decouple expert's interface performance from the effects of the whole teleoperation loop of a telediagnosis system. The interface evaluation measures include the accuracy that doctors achieve when positioning the interface's end-effector in the VE and the success of experts to perform tasks related to cardiac USG that require force feedback. Twelve experienced sonographers performed four experiments in which visualization modality and VE navigation technique varied. Given the limitations of an evaluation in simulated settings, both quantitative results and experts' opinions suggest that the interface is suitable for integration in tele-USG systems. After a positive evaluation of latencies and rendered forces, we show how navigation condition influences the accuracy of the end-effector positioning as well as the covered distance and the elapsed time to accomplish the tasks. Similarly, we highlight the effect of visualization on accuracy.     

虚拟现实中动画和碰撞的层次细节技术研究及应用

研究了动画和碰撞处理中的层次细节技术，提出了动画层次细节二叉树、碰撞层次细节控制矩阵等多种有效的应用解决方法。实验结果表明这些方法应用在存在大量动画和撞碰处理的虚拟三维场景中有效地提高了渲染实时性。     

虚拟拆卸中多方式交互技术的应用

通过分析虚拟环境下不同人-机交互方式的特点,结合对产品装配体进行人工拆卸的操作活动,提出面向虚拟拆卸的人-机-零件间的多方式交互操作方法,在虚拟环境下研究和利用手抓取操作、手势操作、语音命令和3D虚拟菜单等多种交互方式对产品零部件进行自然、直观的人工拆卸,人机结合进行产品的装配／拆卸序列规划。     

基于增强人机交互技术的虚拟装配

提出了基于虚实融合、增强信息和约束代理的增强交互技术,从视觉、信息和操作三个方面来改善虚拟装配环境的人机交互效率.虚实融合在保留虚拟现实全部交互方式的同时附加真实装配场景来丰富装配过程感知;基于文字和特征表示的增强信息为用户提供装配知识来引导装配操作;约束代理及其匹配规则可视化重建零件装配约束关系并避免了复杂计算.增强人机交互技术为虚拟装配的应用提供了一种便捷的交互手段.最后介绍了虚拟装配辅助支持平台的体系构架,并用实例说明了虚拟装配系统的运行流程.