全景视频拍摄及视频编辑应用浅析

尽管全景视频的拍摄技术早已出现,但并没有受到过多的关注.近些年随着新媒体和短视频的不断发展,全景视频才开始得到重视,全景视频的拍摄技术也在不断成熟.在现代科学技术不断发展的背景下,全景视频逐渐被应用到娱乐、旅游、医疗等多个行业和领域.为此,以全景视频为主要研究对象,对全景视频拍摄及视频的编辑应用进行研究和分析.     

柱面全景视频拼接算法

本文提出基于模板帧的柱面全景视频拼接方法,实现360°全景拼接。首先采集模板帧图像,对摄像头进行参数标定获得相机内参和畸变系数,再使用畸变矫正方法去除摄像头畸变带来的成像失真。然后对模板帧图像进行SURf特征提取并进行粗匹配,再用高效的匹配点筛选方法剔除误匹配的特征点。之后将特征点进行柱面投影,事先计算好多路视频帧图像两两之间的位置变换矩阵,用于后续视频帧图像融合。由于后续视频帧利用模板帧的摄像头内参和畸变系数、变换矩阵进行拼接融合,大幅提升了算法速度。另外,为了进一步提高算法速度以适应实时性需求,我们在图像柱面投影和融合时,采用CUDA平台进行GPU并行处理,对算法进行加速。最终实现速度可达30帧/秒的实时视频拼接。     

全景视频视口预测方法综述

全景视频技术随着元宇宙概念走向现实愈发受到重视,然而其庞大的数据量成为该技术普及的瓶颈.对此,首先介绍全景视频视口预测在传输中的意义,其次对当下现有的视口预测方法进行介绍和总结,最后对视口预测技术的发展方向进行展望,旨在进一步提高视口预测的可靠性,从而降低传输带宽需求,提高用户观看体验.     

一种基于CAVE的交互式全景视频显示方法

为了实现全景视频的沉浸式显示,开发了一个基于CAVE的交互式全景视频显示系统.本系统成功地实现了pgr全景视频文件在CAVE上的播放.首先,将全景视频中的每一帧全景图像映射到一个虚拟球面上;其次,使用五个虚拟相机对该球面的四面及顶面进行拍摄,调整各相机的参数使所得各幅图像覆盖整个球面区域,并能够无缝拼接;最后,将所得五幅图像分别投影到CAVE系统中各投影幕中;另外,实现通过鼠标、手柄等输入设备调整CAVE中各投影幕的画面.     

面向网络视频的三维全景展示技术*

针对当前网络视频形式单一、缺乏多元化的视频形式展示的问题,结合三维全景展示技术,提出了面向网络视频的三维全景展示技术系统方案。重点分析了系统方案中的全景图拼接技术以及基于Flash视频技术的三维全景展示技术,并给出了一个具体的网络视频的三维全景展示示例,实现在互联网上逼真的展示三维场景。该方法能通过Flash脚本编程将图片、视频、音频等有机地结合起来,为网络视频用户提供三维全景与用户交互,使用户获得更好的网络视频体验。     

关于VR全景视频连续播放的优化算法

VR全景视频作为一种新型的视频方式,其震撼效果毋庸置疑,但客户端的用户体验一直欠佳。为实现iOS和安卓客户端稳定的连续播放需求,本文提出了优化算法,该算法可以更合理地利用移动端硬件资源,减少客户端的网络请求,加快UI页面加载等,由此实现了全景VR视频的连续稳定播放。     

一种最小变形度全景视频映射方法

全景视频需要经过采样映射转换成平面矩形视频,以便后续的压缩编码.针对现有映射方法存在的内容变形和采样不均匀问题,提出一种最小变形度映射方法(Minimum Deformation Projection,MDP).首先提出新的变形度计算公式求得最优解,其次结合像素排列为矩形的要求和人工边界等因素对最优解做近似,最后得到了...     

全景视频QoE评价研究进展

随着5G移动通信技术、高性能计算、传感技术的不断进步,全景视频受到了越来越多的关注。全景视频通过头戴显示设备,可以为用户提供远超于平面视频的逼真的立体视觉感知,具有良好的发展前景。为用户提供良好的体验质量(Quality of Experience,QoE)是视频服务提供商吸引和留住用户,在激烈的市场竞争中取得成功的关键。与平面视频相比,全景视频的数据量倍增,对视频数据的采集、编码、传输和存储均提出了更高的要求。因此,如何在网络传输带宽、存储资源有限的情况下,保证用户的QoE就成为工业界和学术界共同关注的研究热点问题。本文对全景视频QoE评价进行了综述,首先对全景视频在采集、拼接、投影、编码、传输、解码、反投影、渲染等各个环节可能存在的失真进行分析,总结归纳了用户QoE的各种影响因素,如人的因素、系统因素、情境上下文和视频内容特性等;在此基础上,从影响因素和建模方法等多个方面归纳了全景视频QoE评价模型的研究进展,及其在码率自适应、资源优化分配和码率控制等方面的应用情况;最后,介绍了具有代表性的全景视频QoE评价数据集以及常见的QoE模型性能评价准则,并探讨了QoE评价模型目前存在的问...     

全景视频实时拼接技术研究与实现

随着无人领域的不断发展,对于无人机、无人车、汽车辅助驾驶等操控者来说,需要通过无死角的全景视频进行操作,否则无法掌握无人设备完整的视野情况。通过TP2854视频数据转换芯片将AHD摄像头捕捉多路模拟视频数据转换为数字信号给处理器,再通过SURF算法和FLANN算法进行图像的特征点检测与向量计算、图像匹配、单应性矩阵计算和图像融合,最终将融合的图片数据编码和推流,实现全景视频的拼接。重点对图像融合算法不断改进,实现全景图像无拼缝、无阴影的效果。     

基于Harris图像拼接的全景视频稳像算法

对于背景变换和抖动分量比较小的视频序列,传统稳像算法不能直接适用,本文提出一种基于Harris图像拼接的全景稳像算法。首先采用Prewitt算子提取出图像的边缘信息,在此基础上进行分区的Harris特征点检测;然后结合NCC（normalized cross correlation）算法与RANSAC（random sample consensus）算法实现图像间的特征点精确匹配,接着利用加权平均融合的方法进行图像融合;最后对融合后的全景图像进行剪裁,完成图像补偿,输出稳定的视频序列。实验结果表明:改进的Harris算法提高了算法效率以及正确特征点数量,并且本文稳像算法实时性较好,能够有效消除视频抖动并输出稳定的视频序列。     

全景图拼接中图像融合算法的研究

为了实现平滑连续的全景图拼接融合效果,针对全景图拼接的特点,提出了利用彩色空间变换和Contourlet变换结合对比度金字塔分解的图像融合算法。首先进行HSI彩色空间变换,得到图像的亮度信息,然后利用基于对比度金字塔的Contourlet变换对亮度信息进行塔式分解,得到不同的频带信息,再对不同频带进行融合处理。实验证明,该文提出的算法充分利用Contourlet变换的轮廓特性,展示了图像的细节信息,从而很好地实现了全景图的拼接融合效果。     

全景电视摄像技术的研究

本文提出一种利用扫描变换技术实现的水平视场角为１８０°的全景电视摄像技术，利用该技术在普通的电视监视器上可同时观测被摄景物展开的３６０°空间图像。     

手机视频业务感知优化方法研究

为提升LTE网络中手机视频业务的用户体验,首先从研究视频业务KQI指标入手,然后将视频业务KQI与无线质量进行关联分析,寻找视频业务KQI与无线指标的关系,最后根据无线指标筛选视频业务质差小区进行整治,实施效果较好,为今后视频业务感知优化提供参考和指导。     

FPGA平台的实时全景视频系统设计

本文提出并实现了一种基于FPGA的全景视频处理系统设计方案。该系统采用Xilinx Spartan-6 FPGA全硬件单片方式实现,包括5个摄像头的图像采集、图像预处理、图像校正、全景拼接、视频压缩、以太网传输、HDMI显示等模块,达到了360度全景视频高质量、高分辨率、实时性的要求。     

多镜头反光式全景视频系统的研究

＂多镜头反光式全景视频系统＂旨在讨论一种工程上可行的全景视频系统架构,通过将一组同型镜头在同一水平面上环形对称排列,同时对周围360°内环境进行视频采集,并将采集到的多幅视频图像进行时间同步、色彩融合、统一白平衡、透视变换等处理,从而生成完整的高清晰度全景视频。该系统采用特殊的光路设计,使所有镜头光心重合,从而彻底消除视觉盲区和重影区。讨论一种统一白平衡处理方法,较好地解决了相邻图像帧间存在的色彩差异问题。主要讨论＂多镜头反光式全景视频系统＂的软/硬件系统架构及其相关算法,该软/硬件系统架构及其相关算法已在一台全景摄像机系统样机上实现,能够接近实时地生成环360°的全景视频,表明了该软/硬件系统架构及其相关算法在工程上具有可行性。     

基于强化学习的立体全景视频自适应流

针对当前立体全景视频传输缺少有效的流自适应方法,且传统全景视频流自适应策略传输双目立体全景视频使得传输数据加倍,所需带宽巨大的问题,该文提出一种基于多智能体强化学习的立体全景视频非对称传输自适应流方法,以实时应对网络带宽波动。首先,根据人眼对视频显著性区域的偏爱,左右视点中每个瓦片(tile)对立体视频的感知质量的贡献度不同,提出一个基于tiles的左右视点观看概率预测方法。其次,设计了一种基于策略-评价(Actor-Critic)的多智能体强化学习框架,对左右视点进行联合码率控制。最后,根据模型结构和双目抑制原理,设计合理的奖励函数。实验结果表明,与传统流自适应传输策略相比,该文所提方法更加适用于基于tiles的立体全景视频传输,实现在有限带宽下提高用户的体验质量(QoE),为立体全景视频联合码率控制提供了一种全新的方法和思路。