全景视频增强现实系统设计与研究

提出一种全景视频增强现实系统的建设方案。将全景视频采集装置放置在真实世界中采集视频,然后通过计算机处理生成全景视频并显示出来,使观光者通过佩戴显示设备,在其他地方观看向全景视频中添加了虚拟信息的场景。解决了系统中全景视频拼接中算法复杂度高且拼接后的视频存在拼接裂缝和"GHOST"现象,以及三维注册易受环境与目标跟踪检测算法耗时严重影响的技术难点。通过对ARToolKit二次开发,将3DMax生成的虚拟信息叠加到Ladybug拍摄后拼接的兰州市金城关全景视频中进行仿真实验。仿真结果表明,全景视频拼接方法在实时性方面表现优异,有效地抑制了拼接裂缝和"GHOST"现象,增强现实三维注册方法对于全景视频的局部增强效果表现优异。     

VR全景视频传输研究进展

VR全景视频作为一种沉浸式虚拟现实技术,其高分辨率及低延迟的严格要求为视频传输带来了严峻挑战。全景视频传输在全景视频的系统构建中起到了关键作用,并与其他重要技术紧密衔接。为了分析全景视频传输的研究现状和发展趋势,首先对映射格式、视频编码、质量评估等全景视频传输相关技术进行阐述,从不同视角对相关研究领域和方法进行分类归纳。而后详细探讨了全景视频传输技术的传输协议、三类主要传输方法及视口预测,并对各部分梳理了一些比较具有代表性的研究方法。最后就关键性技术对全景视频传输的未来研究进行展望,旨在为研究人员快速全面了解该领域提供帮助。     

基于互信息熵的全景视频关键帧数据实时提取系统设计

摘要：关键帧数据提取可以降低全景视频检索中产生的数据量,为了提高全景视频镜头边缘的检测与关键帧的提取的处理能力,提出基于互信息熵的全景视频关键帧数据实时提取系统设计。根据全景视频关键帧数据提取系统的硬件结构,分析视频播放器和镜头边缘检测器的工作原理;在系统的软件设计中,将待检测的两帧图像随机划分为子图像块,通过计算子图像块之间的互信息熵,获取全景视频图像的突变帧,将关键图像帧的特征差值曲线作为全景视频关键帧的时序特征,完成全景视频中关键帧数据的特征匹配,选择一个能够体现全景视频图像属性的特征,描述视频中的主要信息,利用数值化分析的方式,将全景视频帧的特征转换成数组形式的特征向量,通过计算互信息熵值,提取全景视频关键帧数。系统测试结果表明,文中系统将关键帧数据提取的查全率和查准率分别提高到95%和98%以上。能够准确提取出全景监控视频的关键帧数据,具有更好的全景视频处理能力。     

一种建立虚拟环境的新方法——全景视频

本文阐达了全景视频的概念以及它与虚拟现实的关系，并讨论了利用全景视频技术来建立虚拟环境的一股方法，指出这种基于实是图像的技术具有很大的研究价值，在军用和民用两方面都有广阔的应用前景．     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

基于体域网的穿戴式全景射控系统

基于超宽带体域网以及多视点视频编码技术,设计了一个面向穿戴式应用的全景视频监控系统,其中着重研究了全景视频采集、编码与传输的关键技术.在穿戴式全景监控系统中,体域网节点的处理能力、电池能量及通信带宽等资源均相当有限,而该系统对于全景视频的重构质量又提出了较高的要求.因此,针对全景视频的采集、编码与传输,根据H.264/...     

城市视频实景地图构建初探

城市视频实景地图兼具地图立体空间、视频时间4维度层面信息统一表达能力，对于我国城市立体监控系统构建、互联网地图产品发展，以及未来实景3维中国建设战略实施具有重要意义和应用价值。为引起更多研究者进行探索，对城市视频实景地图构建方法、技术及其应用前景进行讨论。从增强虚拟环境技术（AVE）角度出发，对融合全景视频与地理3维模型构建城市视频实景地图涉及的全景摄像机标定、全景视频空间配准及视频纹理映射、实时渲染系列技术、方法进行了梳理。经过分析得出：1）适合传统“针孔”模型的摄像机标定、影像空间配准理论和方法，需根据全景摄像机球面投影模型进行拓展；2）适合静态纹理的大规模3D场景渲染LOD（levels of detail）技术和策略，需结合视频传输带宽限制、高帧率特点进行技术创新。城市视频实景地图构建是一项值得重视的崭新课题，将有力促进互联网、人工智能前沿技术发展，有望给相关行业带来万亿级市场机遇。     

采用视频拼图方法构建高分辨率全景视频监控系统

与普通视频监控系统只能实现单向监控不同,全景视频监控系统可以实现360°全向监控。设计并实现了一种嵌入式高分辨率全景视频监控系统KD-PVS。重点介绍了KD-PVS中多个摄像头的空间位置设计、视频图像变换与拼接算法。KD-PVS通过对多个摄像头采集的视频进行实时变换与拼接以生成全景视频。该系统可方便应用于金融系统、仓库、监狱和移动监控等多种场合,尤其适用于室内监控。     

H．264兼容的全景视频编码方法

在拍摄全景视频时,摄像头往往仅在水平方向上移动。由于在水平移动中偶尔有轻微的上下抖动,以及传感器采集引入的噪声,直接对其进行H.264编码,编码效率不高。针对全景视频拍摄和H.264编码的特点,提出了一种对全景视频高效的H.264编码方法,首先将原始全景视频合成一张全景图;然后再把全景图直接转换为标准H.264码流。实验结果表明,采用该方法对其编码,与直接编码原始视频相比,编码效率大大提高。     

ROV平台全景摄像系统的研究

不同于空气成像,水下全景受水压、暗光影响比较大,需要特殊的镜头封装和聚焦型水下照明,而水下多路图像处理可以借鉴、调整已有的图像处理算法,以解决偏色、噪点等成像问题;且基于全景视频传输的热点研究,水下ROV全景摄像系统有较好的发展空间。基于对水下全景摄像技术的研究,文章首先详细介绍了水下全景摄像的生成和传输方式,并以ROV平台为载体,从相机硬件的需求分析,说明分布式、集成式两种相机布局;接着,针对获得的多路图像数据,通过图像预处理、拼接融合生成全景图像;最后,考虑水下水上的远程视频传输,介绍了全景视频基于切片流（Tile流）划分的自适应多速率传输方案。从水下全景摄像技术的发展来看,随着图像无损拼接、影像处理器计算速度更迭、图像复原、超宽带连接和全景视频传输等技术的提高,ROV平台全景摄像系统将得到广泛应用。     

Panoramic video stitching from commodity HDTV cameras

Digital camera and smartphone technologies have made high-quality images and video pervasive and abundant. Combining or stitching collections of images from a variety of viewpoints into an extended panoramic image is a common and popular function for such devices. Extending this functionality to video however, poses many new challenges due to the demand for both spatial and temporal continuity. Multi-view video stitching (also called panoramic video stitching) is an emerging, common research area in computer vision, image/video processing and computer graphics and has wide applications in virtual reality, virtual tourism, surveillance, and human computer interaction. In this paper, we study and solve the major technical and practical problems in the complete process of stitching a high-resolution multi-view video into a high-resolution panoramic video. The challenges addressed include video stabilization, efficient high-definition multi-view video alignment and stitching, color correction, and blurred frame detection and repair. The proposed approaches have been successfully applied in a high-quality virtual reality system—the Virtual Exercise Environment (VEE) system.     

基于GPU加速的实时4K全景视频拼接

虚拟现实是近年来热门的新技术,而全景视频摄制是生产虚拟现实内容的一种重要方式。介绍了一个全景视频拼接系统,其能够对六路的2K视频实时进行拼接,生成4K的输出视频。设计了一个并行化的拼接流程,对整个拼接过程中的不同步骤都进行了并行化处理,并在GPU上进行了实现。实验结果表明,该系统能够实时拼接出高质量的4K全景视频。     

HVS：一种基于实景图象的虚拟现实系统

大多数的虚拟现实比试在于计算机图形技术,先由多边形构造虚拟场景的三维几何模型,再由计算机根据用户的观察点和观察方向实时绘制出用户所看到的虚拟场景,ＨＶＳ 另一种思路,由计算机自动拉接、变形与组织许多幅度散的实景图象或连续视频,生成虚拟场景,这种虚拟场人有照片质量的视觉效果,被我们称为虚拟实景空间,虚拟实时空间能为用户提供、后退、仰视、俯视、３６０度环境、近看、远看等漫游能力,运行它不需要高性能的图     

虚拟实景空间系统HVS的研究与实现

虚拟实景空间系统ＨＶＳ由计算机自动拼接,变形与组织许多幅离散的实景图像或连续的视频,生成虚拟空间。这种虚拟空间具有照片质量的视觉效果,称为虚拟实景空间。虑拟实景空间能为用户提供前进,后退,仰视,俯视,３６０度环视,近看,远看等漫游能力,可运行于ＰＣ平台,ＨＶＳ是虚拟实景空间的生成与漫游平台。将介绍它的模型,组成与实现。     

情景式跨媒体数字城市系统

结合虚拟现实、GIS和跨媒体技术,提出一种具有高真实感、较强交互能力的情景式数字城市系统实现方法.该方法以GIS矢量数据为空间索引,全景交互式视频为表现内容,且加载文字、图像和音频等数据,并对这些海量信息进行跨媒体数据统一建模,以实现不同类型数据的组织和管理.与通过三维图形实现城市建模相比,采用文中方法实现的系统具有数据采集高效、表现手段真实感强、建模成本低和易于扩充等优势.     

一种面向多投影显示的全景视频分块编码方法

近年来虚拟现实技术快速发展,全景视频内容生成技术不断进步。内容呈现方面,多投影显示设备可通过集群驱动解决单机性能有限的问题,具有视角广、分辨率高、支持多人参与的优点。针对多投影显示设备的特点,设计并实现了一套全景视频分块编码格式及其相应的转码工具。该格式以现有的JPEG图像序列编码研究为基础,添加对立体全景视频分块编码的支持,实现双分辨率视频流动态适配机制,保证视角变化时视频的流畅播放,并添加非均匀分块编码的支持以针对实际需求定制分块参数,优化播放性能。实验结果表明,该方法可以有效提升多投影显示设备中高分辨率全景视频播放的流畅度。     

基于实时流媒体技术的全景视频系统

将实时视频采集和虚拟现实技术相结合,探索出一种利用相对经济的采集设备,生成高信息量、强沉浸感的数字媒体的方案。文中介绍了软件系统的设计和实现,并详细说明了系统实现使用的关键技术和相应算法,解决了将流媒体技术与虚拟现实技术相结合的多个难点。全景视频系统系统基于C/S结构在Windows平台上实现,主要利用微软的DirectShow和D3D的开发包,为以后视频会议、数字媒体系统等提供了新的应用前景。     

Region of interest extraction and virtual camera control based on panoramic video capturing

We present a system for automatically extracting the region of interest (ROI) and controlling virtual cameras' control based on panoramic video. It targets applications such as classroom lectures and video conferencing. For capturing panoramic video, we use the FlyCam system that produces high resolution, wide-angle video by stitching video images from multiple stationary cameras. To generate conventional video, a region of interest can be cropped from the panoramic video. We propose methods for ROI detection, tracking, and virtual camera control that work in both the uncompressed and compressed domains. The ROI is located from motion and color information in the uncompressed domain and macroblock information in the compressed domain, and tracked using a Kalman filter. This results in virtual camera control that simulates human controlled video recording. The system has no physical camera motion and the virtual camera parameters are readily available for video indexing.