多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

基于SIFT关键点的增强现实初始化算法

介绍了一种基于SIFT关键点的无标志点增强现实初始化算法。算法在已知场景少量标定关键帧图像的基础上，将关键帧图像与当前视频图像帧中的SIFT关键点进行匹配，利用RANSAC算法消除外点，而后利用图像匹配算法获取摄像机的位置和方向信息，完成系统的自动初始化工作。实验结果表明，算法鲁棒性强，跟踪定位精度高，有效地减小了人工干预的工作量。     

基于随动控制的数字圆明园增强现实系统注册方法

针对户外复杂环境中的增强现实三维注册问题,提出一种基于随动控制的跟踪注册方法.所提出的方法通过惯性跟踪器实时获取角度跟踪数据,通过步进电机驱动高精度随动转台随动控制实景摄像机旋转,之后根据跟踪结果在虚实三维空间中建立摄像机模型,注册配准虚实摄像机的角度信息.所提出的随动控制使得跟踪器的误差不直接影响虚实叠加,降低了环境因素的影响.系统滞后和误差的实验数据分析表明所提出的方法提高了跟踪的稳定和精确性,在圆明园大水法遗址的实地应用结果证明了系统的实用性.     

多投影机非平面自动几何校正

非平面投影以其高度的沉浸感、多样的表现形式和灵活的场景布局,近年来越来越多地应用在虚拟现实、数字娱乐、展览展示等领域。非平面投影与平面投影相比,由于涉及到投影机位姿标定以及失真图像校正等问题,实现难度较高。目前的投影校正方法虽然可以通过重建或者非重建方法实现非平面屏幕投影的几何校正,但是它们多少都存在成本高昂,步骤复杂,需要人工干预,适用面窄等问题。针对非平面屏幕中最常使用的柱幕面型,提出一种非重建的多投影机投影几何校正方法,此方法可自动实现柱幕环境的几何投影校正,并且可对柱幕在加工中引入的倾斜、表面起伏等外形偏差予以修正,实现了复杂柱幕环境下多投影机高精度、短时间投影几何校正。提出的方法不仅适用于柱幕,还可扩展应用于其他可参数化描述的面型,如球面、双曲面、抛物面等面型的投影环境,具有广泛的适用性。     

虚实融合场景中的深度感知研究综述

混合现实系统可以提供虚拟信息和真实环境实时叠加的虚实融合场景,在教育培训、文物保护、军事仿真、装备制造、手术医疗和展览展示等领域具有十分广阔的应用前景。混合现实系统首先利用标定数据构建虚拟摄像机模型,然后根据头部跟踪结果和虚拟摄像机位置实时绘制虚拟内容并将其叠加在真实环境中,用户通过虚实融合场景中渲染的图形化线索和虚拟物体特征感知其深度信息,但存在用于指导虚实融合场景绘制的视觉规律和感知理论匮乏、图形化线索可提供的绝对深度信息缺失和虚拟物体的渲染维度和特征指标不足等问题。本文分析了面向虚实融合场景绘制渲染的视觉规律,从用户感知的角度出发,围绕虚实融合场景中图形化线索绘制和虚拟物体渲染等展开综述,并对虚实融合场景中深度感知的研究趋势和重点进行展望和预测。     

视频立体增强现实系统舒适度评价方法研究

立体图像效果的评价是一个热点问题,许多文献对此进行了深入的探讨.但是,对于立体增强现实系统的立体效果进行研究的文献比较少,针对视频透射式立体增强现实系统,对其舒适度进行了研究,设计了三个实验并对影响立体增强现实系统虚实融合效果的因素进行分析.实验表明虚拟摄像机与实景摄像机参数的匹配程度对最终的舒适度具有影响.对于立体增强现实系统的设计具有一定参考价值.     

基于监督学习的单幅图像深度估计综述

单幅图像深度估计是三维重建中基于图像获取场景深度的重要技术,也是计算机视觉中的经典问题,近年来,基于监督学习的单幅图像深度估计发展迅速.文中介绍了基于监督学习的单幅图像深度估计及其模型和优化方法;分析了现有的参数学习、非参数学习、深度学习3类方法及每类方法的国内外研究现状及优缺点;最后对基于监督学习的单幅图像深度估计进行总结,得出了深度学习框架下的单幅图像深度估计是未来研究的发展趋势和重点.     

融合时空约束的光学动作捕捉标记点实时补全方法

在基于标记点的光学动作捕捉系统中,针对粘贴在用户身上的标记点受遮挡等因素影响丢失跟踪位置后导致人体位姿计算失败的问题,提出一种基于深度学习的标记点序列预测补全方法.该方法中,深度学习网络模型以人体运动的时间反演对称性作为理论依据,使用双向长短期记忆网络作为网络主体架构;在模型训练过程中提出组合损失函数,分别对人体关键运动节点的活动范围、同一段骨骼上标记点之间的刚性结构,以及标记点运动轨迹的时间连续性进行限制,确保补全的标记点序列符合人体运动的时空约束.在HDM05数据集上的实验结果表明,与现有方法相比,在丢失不同数量、不同时间跨度的标记点序列的条件下,所提方法补全标记点位置的平均误差下降超过14%.