支持多模态交互的桌面增强显示系统

传统的显示设备在受限的物理空间内难以向用户呈现大量画面和复杂内容,而AR头戴式显示设备通过将三维的可视化内容悬浮显示在用户眼前,在不占用额外物理空间的条件下可增强真实世界的画面显示,呈现形式更为丰富的内容。设计AR虚拟空间与真实电脑画面虚实融合的桌面增强显示系统。通过基于二维码识别的空间定位技术将真实电脑画面映射至虚拟空间内,实现交互空间的统一,同时构建窗口布局计算模型使得系统可以根据用户自定义参数自动生成窗口并设置其布局。在此基础上,利用蓝牙通信、网络传输、操作系统底层映射和结合视线检测的语音识别等技术支持手势、键鼠和语音的多模态交互方式,设计鼠标移动策略以扩展鼠标在三维空间下的多种操作模式。实验结果表明,与隔空手势交互、鼠标交互等传统交互方式相比,该系统在处理常见电脑任务时平均耗时节省10%~30%,具有较高的交互效率,且在跨窗口连续移动和瞬间跳转时能够正确显示鼠标位置。     

一种插值与逼近运动物体活动标架的新方法

插值运动物体给定活动标架(原点位置和3个坐标轴朝向)是计算机图形学、机器人等领域的一个重要问题.该文提出一种采用B样条曲线插值与逼近运动物体活动标架的新方法.采用4个欧拉参数对正交活动标架的旋转变换矩阵进行参数化,得到了一个简单的优化方程.采用迭代法求解该优化方程来逼近运动轨迹任意处伪活动标架的旋转变换矩阵.还证明了插值和逼近所引起的误差是可控的.由于活动标架的计算只涉及2阶或3阶线性方程组,所以此方法具有很高的运行效率.     

一种面向VR多投影环幕设备的可视化结果显示方法

传统显示设备难以满足大规模复杂数据可视化结果显示的需求,而VR多投影环幕显示设备提供的沉浸式显示环境可以良好地应对复杂数据可视化显示的使用情景。提出一种面向VR多投影环幕设备的可视化结果显示方法,通过设计多投影环境中兼容2D与3D显示的渲染流程,解决了传统方法中出现的画面渲染模糊问题。同时,该方法通过3D运动模拟计算以及交互射线计算解决了在新渲染流程下的立体显示和交互坐标转换问题。实验结果表明,该方法有效地提高了多投影环境中可视化结果画面的清晰度,并支持立体显示与交互。     

一种面向多投影显示的全景视频分块编码方法

近年来虚拟现实技术快速发展,全景视频内容生成技术不断进步。内容呈现方面,多投影显示设备可通过集群驱动解决单机性能有限的问题,具有视角广、分辨率高、支持多人参与的优点。针对多投影显示设备的特点,设计并实现了一套全景视频分块编码格式及其相应的转码工具。该格式以现有的JPEG图像序列编码研究为基础,添加对立体全景视频分块编码的支持,实现双分辨率视频流动态适配机制,保证视角变化时视频的流畅播放,并添加非均匀分块编码的支持以针对实际需求定制分块参数,优化播放性能。实验结果表明,该方法可以有效提升多投影显示设备中高分辨率全景视频播放的流畅度。     

面向虚拟场景的深度全景视频绘制技术

高度复杂的三维场景通常包含几千万甚至上亿个三角形和丰富的纹理,大大超过了目前图形硬件的处理能力。传统基于几何的绘制系统通过牺牲画面质量来实现场景的快速绘制。与此不同,基于图像的绘制技术利用逼真的图像序列来生成高质量的目标画面。研究面向虚拟场景的IBR(Image-Based Rendering)技术来克服现有方法的不足,提出以深度全景视频DPV作为场景表示的基本单元,通过多段深度全景视频组成的深度全景视频网络来表示虚拟场景的漫游区域,它允许视点在漫游平面的封闭区域内连续运动。绘制算法根据目标视点参数计算深度全景视频环中对目标图像有贡献的候选区域,综合利用GPU的强大处理能力和浮点格式的绘制目标,以及多幅深度图像混合绘制技术对候选区域进行绘制来生成目标图像。实验结果表明,深度全景视频绘制技术可实现大规模虚拟场景高质量实时绘制。     

一种面向网络游戏的沉浸式显示框架

网络游戏客户端通常采用单台显示器作为显示设备,无法给玩家提供大尺寸、高分辨率、广视角的沉浸式游戏画面。基于对现有网络游戏架构的分析,提出一种面向网络游戏的沉浸式显示框架。该框架不修改网络游戏服务器逻辑,只对游戏客户端源程序进行修改。改造后的沉浸式客户端采用集群系统驱动,集群包括一个Master节点及多个Slave节点。Master节点执行普通客户端除绘制外的所有功能。所有Slave节点与Master节点保持游戏世界状态同步,并行绘制多通道画面,并通过多投影沉浸式显示系统展示游戏画面。应用该框架对一款第一人称射击(FPS)网络游戏客户端进行改造,实验结果表明沉浸式客户端能实时展示沉浸式游戏画面,且相对集群节点数具有良好的可伸缩性。     

一种面向多投影视频播放的系统架构和集群管理

集群驱动的多投影视频播放系统能够提供大尺寸、高分辨率的显示画面,在展览展示领域得到广泛应用。虽然许多研究讨论了如何构建集群驱动的视频播放系统,但高可靠性却一直被忽略。当硬件或软件发生异常时,已有视频播放系统难以正常工作。基于对集群驱动的视频播放系统可靠性分析,提出一种面向多投影视频播放的系统架构与集群管理。系统由集群驱动,包含一个Master节点和多个Slave节点,节点身份在启动阶段动态确定。系统采用帧同步刷新策略,保证各个节点同步播放相同序列号视频帧。Master节点负责集群自主管理,Master节点能迅速检测到陷入失效状态的和从异常状态中恢复的Slave节点,并进行相应的处理,实现容错性与可恢复性。采用上述技术构建的多投影视频播放系统已成功应用于2010年上海世博会世博会博物馆。     

面向沉浸式多人射击游戏的分布式设备驱动系统设计与实现

沉浸式多人射击游戏利用高度沉浸的画面及蓝牙体感交互设备来提升游戏体验。单台PC同时连接的蓝牙体感交互设备数量有限,不能满足沉浸式游戏娱乐项目多达几十位玩家同时游戏的要求。采用多个设备连接节点,设计并实现一个分布式设备驱动系统对交互设备进行分布式管理。系统在应用VRPN的基础上引入设备服务器节点来负责与游戏通信,降低了游戏与多个设备连接节点通信带来的开发复杂度;通过定义数据映射层实现游戏逻辑与交互设备类型的低耦合。实验结果表明应用该系统对游戏性能影响很小,能保证玩家与游戏的实时交互。     

一种基于视频捕获的多投影显示系统

随着科学技术的高速发展以及信息量的急速膨胀,具有多个输出画面的多通道计算机系统得到了广泛应用。多显示器/拼接单元系统无法生成大尺寸高分辨率的无缝画面,多投影显示系统可克服这类系统的不足。提出一种基于视频捕获的多投影显示系统,它将多通道的画面显示与画面生成相分离,从而避免显示系统对画面生成系统的影响。该系统针对VGA模拟视频信号输入,给出基于三维查找表的颜色校正技术;针对非参数化成像模型的投影仪,给出多投影系统颜色校正的三阶段模型及其求解方法;针对工程实际,设计了基于自由曲面变形的交互式网格编辑工具进行多投影系统的几何校正。实验结果表明本系统及其关键技术切实有效,适用于构建投影数量中等规模的显示系统。