一种面向多投影显示的全景视频分块编码方法

近年来虚拟现实技术快速发展,全景视频内容生成技术不断进步。内容呈现方面,多投影显示设备可通过集群驱动解决单机性能有限的问题,具有视角广、分辨率高、支持多人参与的优点。针对多投影显示设备的特点,设计并实现了一套全景视频分块编码格式及其相应的转码工具。该格式以现有的JPEG图像序列编码研究为基础,添加对立体全景视频分块编码的支持,实现双分辨率视频流动态适配机制,保证视角变化时视频的流畅播放,并添加非均匀分块编码的支持以针对实际需求定制分块参数,优化播放性能。实验结果表明,该方法可以有效提升多投影显示设备中高分辨率全景视频播放的流畅度。     

一种面向多投影视频播放的系统架构和集群管理

集群驱动的多投影视频播放系统能够提供大尺寸、高分辨率的显示画面,在展览展示领域得到广泛应用。虽然许多研究讨论了如何构建集群驱动的视频播放系统,但高可靠性却一直被忽略。当硬件或软件发生异常时,已有视频播放系统难以正常工作。基于对集群驱动的视频播放系统可靠性分析,提出一种面向多投影视频播放的系统架构与集群管理。系统由集群驱动,包含一个Master节点和多个Slave节点,节点身份在启动阶段动态确定。系统采用帧同步刷新策略,保证各个节点同步播放相同序列号视频帧。Master节点负责集群自主管理,Master节点能迅速检测到陷入失效状态的和从异常状态中恢复的Slave节点,并进行相应的处理,实现容错性与可恢复性。采用上述技术构建的多投影视频播放系统已成功应用于2010年上海世博会世博会博物馆。     

一种建立虚拟环境的新方法——全景视频

本文阐达了全景视频的概念以及它与虚拟现实的关系，并讨论了利用全景视频技术来建立虚拟环境的一股方法，指出这种基于实是图像的技术具有很大的研究价值，在军用和民用两方面都有广阔的应用前景．     

多校区间网络视频直播系统解决方案

以广东海洋大学为例,对多校区间的课堂视频直播系统各个模块的硬件构建进行说明,针对系统建设中的具体情况进行相应的模块硬件搭建实现阐述。为解决目前全国众多高校合并,出现的多校区间课堂视频直播系统网络链接等问题,提供一个解决的案例。     

一种多核SoC系统的多源看门狗设计技术

介绍了一种内含多个DSP处理器核的SoC系统中的看门狗电路.随着对大规模SoC系统可靠性和稳定性要求的提高,在多核SoC系统中设计看门狗电路能够对多个处理器核进行监控和异常情况处理,并自动重启恢复SoC系统的工作.介绍了该多核SoC系统中的看门狗硬件逻辑和功能特性,并对看门狗工作流程和多核多源看门狗相互协调技术的运行方...     

基于多尺度分析的多源视频拼接方法

针对多视频源图像的拼接问题,提出基于多尺度分析的图像配准及融合方法。在配准方面,弥补传统的基于 Harris 角点的配准方法对尺度变化不稳定的缺点,使其具有多尺度特性,提取的角点更加稳定精确。在融合方面,采用基于多尺度多分辨率分析的图像融合方法,克服传统空间域图像融合算法在频域上的不足,具有在空间域和频率域的局部化能力,并提供人眼视觉对其比较敏感的强对比度信息。实验结果表明,相比较传统方法,该方法所提取角点更精确、融合效果更好。     

一种面向多源领域的实例迁移学习

在迁移学习最大的特点就是利用相关领域的知识来帮助完成目标领域中的学习任务,它能够有效地在相似的领域或任务之间进行信息的共享和迁移,使传统的从零开始的学习变成可积累的学习,具有成本低、效率高等优点.针对源领域数据和目标领域数据分布类似的情况,提出一种基于多源动态TrAdaBoost的实例迁移学习方法.该方法考虑多个源领域知识,使得目标任务的学习可以充分利用所有源领域信息,每次训练候选分类器时,所有源领域样本都参与学习,可以获得有利于目标任务学习的有用信息,从而避免负迁移的产生.理论分析验证了所提算法较单源迁移的优势,以及加入动态因子改善了源权重收敛导致的权重熵由源样本转移到目标样本的问题.实验结果验证了此算法在提高识别率方面的优势.     

一种面向多源异构数据的协同过滤推荐算法

随着电子商务网站的快速发展,数据特征和现实需求均发生了较大变化.以大规模、多源性、异构性为主要特征的数据发挥着更加重要的作用.然而,电子商务系统中数据所具有的特性使得大多数协同过滤方法较难直接用于物品推荐.如何整合多源异构数据来实现数据的价值最大化是当前推荐系统亟待解决的问题.针对这一问题,首先分析了多源异构数据中各类数据的特点,并根据各自特点为其设计了不同的建模方式.其次,提出一种新颖的推荐模型用于评分预测任务,它通过融合多关系数据和视觉信息来缓解数据稀疏问题.最后,设计了一种高效的算法MSRA(multi-source heterogeneous information based recommendation algorithm)用于求解所提模型的参数.在多个亚马逊数据集上的实验结果表明:1)面向多源异构数据的推荐算法其性能明显优于当前主流协同过滤算法; 2)该算法不仅可以有效缓解物品的冷启动问题,而且能够更好地预测不同类型物品的实际评分.     

虚拟现实技术的“嗅频”解决方案

随着计算机硬件及软件技术的飞速发展,目前计算机视频及音频技术有了重大的突破,虚拟现实(VirtualRe-ality)技术应运而生,而计算机的“嗅频”技术仍缓步不前。有分析显示,气味较图像更吸引人。该文提出的虚拟现实技术的嗅频解决方案,可以说是对传统的虚拟现实技术的必要补充。文章从分子角度探讨了基于QSAR(定量结构活性关系)的气味识别理论,介绍了SuperScent气味分析专业软件的功能实现方案,说明了用于气味识别的气味识别子系统的实现原理和用于气味发生的气味发生子系统的实现方案。     

A Three Dimensional Image Cache for Virtual Reality

Despite recent advances in rendering hardware, large and complex virtual environments cannot be displayed with a sufficiently highframe rate, because of limitations in the available rendering performance. This paper presents a new approach of software accelerated rendering which draws from the concepts of impostors, hierarchical scene subdivision and levels of detail. So far software optimization in real-time rendering has merely considered individual objects. This work is actually optimizing the rendering of the whole virtual environment by implementing a three dimensional image cache. It speeds up rendering for large portions of the scene by exploiting the coherence inherent in any smooth frame sequence. The implementation of the three dimensional image cache is discussed and the savings in rendering load achievable on a suitable hardware platform are presented.     

A Virtual Reality Interface for Space Planning Tasks

Manipulating and assembling elements in a 3D space is a task which interests a huge number of potential applications whether they deal with real or abstract objects. Direct manipulation techniques in traditional interactive systems use 2D devices and do not allow an easy manipulation of 3D objects. To facilitate user interaction, we have studied direct manipulation techniques in a virtual reality environment. A VR interface is naturally object-oriented and allows the definition of real-world metaphors. Operators can thus work in the virtual world in a similar way to the real world: they perceive the position of objects through the depth cue of stereo view, and can grab and push them in any direction by means of avirtual handuntil they reach their destination. They can put an object on top of another and line it up with other objects. We model the virtual world as ajob-orientedworld which is governed by a few simple rules which facilitate object positioning. In this paper, we describe the design and implementation strategies to obtain a real-time performance on a low-level workstation.     

虚拟现实技术概述

“虚拟现实”就是一种可以创建和体验虚拟世界的计算机系统。这种系统生成的各种虚拟环境,作用于用户的视觉、听觉、触觉,使用户产生身临其境的感觉,沉浸其中。而所谓虚拟世界则是虚拟环境或给定仿真对象的集合虚拟现实是近年发展起来的一项新技术,目前已广泛地应用于许多领域。该文阐述了虚拟现实技术的产生、概念、特征及其意义、虚拟现实技术的技术组成和艺术、情感魅力,分析了虚拟现实技术的研究内容、方向和技术瓶颈。     

略论虚拟现实技术

本文首先介绍虚拟现实的概念及其特点，然后介绍了它的关键技术，并对虚拟现实技术的应用和市场状况进行了概述。     

A Multi-Modal Haptic Interface for Virtual Reality and Robotics

In this paper we present an innovative haptic device that combines the electro-tactile stimulation with the force and visual feedbacks in order to improve the perception of a virtual world. We discuss the sensation evoked in a user by the haptic, force, and the visual interface as provided by this device, implemented as a special glove, equipped with sensors and actuators connected to a PC. The techniques used to recreate tactile and kinesthetic sensations are based on an innovative use of cutaneous stimulation integrated with actuators and 3D modelling techniques. We discuss about the specificity of haptic interfaces, their controllers, their open problems. We present results about generating the sensation of touching virtual objects with our device. Experiments show also that, using a multi-modal sensorial pattern of stimulation, the subject perceives more realistically the virtual object. We discuss the possible use of the same technique as a way to interface intelligent robots.     

A Programmable Display Layer for Virtual Reality System Architectures

Display systems typically operate at a minimum rate of 60 Hz. However, existing VR-architectures generally produce application updates at a lower rate. Consequently, the display is not updated by the application every display frame. This causes a number of undesirable perceptual artifacts. We describe an architecture that provides a programmable display layer (PDL) in order to generate updated display frames. This replaces the default display behavior of repeating application frames until an update is available. We will show three benefits of the architecture typical to VR. First, smooth motion is provided by generating intermediate display frames by per-pixel depth-image warping using 3D motion fields. Smooth motion eliminates various perceptual artifacts due to judder. Second, we implement fine-grained latency reduction at the display frame level using a synchronized prediction of simulation objects and the viewpoint. This improves the average quality and consistency of latency reduction. Third, a crosstalk reduction algorithm for consecutive display frames is implemented, which improves the quality of stereoscopic images. To evaluate the architecture, we compare image quality and latency to that of a classic level-of-detail approach.     

虚拟现实工具

本文介绍了３Ｄ位置传感器、传感手套，视觉设备、３Ｄ声音设备等一些常见的ＶＲ工具，以及物体的３Ｄ位置描述、手指移动术语，人眼立体视觉原理、人的听觉模型等基本知识。