基于机器学习的立体全景视频自适应流系统

VR技术给人们提供了一种沉浸式体验,但也造成了视频数据量的大幅增加.为了在有限的带宽下获得流畅的VR观看体验,基于机器学习在视频压缩和行为决策上的优良性能,利用机器学习中的深度学习和强化学习方法设计了一个自适应帧重建和传输方案,实现了在不降低视频感知质量的前提下流畅传输立体全景视频.     

基于OMAF的全景视频传输机制分析

本文从OMAF全景视频传输机制研究入手,详细介绍了OMAF标准各种传输机制,然后对OMAF全景视频系统流程进行了说明,最后对全景视频传输机制进行了实验与分析,总结了OMAF传输机制的给全景视频传输与呈现带来的改变。     

分布式多视点视频编码中的立体边信息生成

新兴的分布式多视点视频编码通过在解码端使用立体边信息可充分挖掘传统单视点的时间相关性和多视点特有的视间相关性.研究了一种多视点运动预测的立体边信息生成算法,提出了近似视差估计和编码端掩模融合算法.实验证明,解码端采用近似的视差矢量,编码端传递某些先验信息,都能有效提高立体边信息精度,降低计算复杂度.     

一种360°全景视频自适应FEC编码算法研究

针对全景视频数据因量大和延时敏感的特点造成的视频失真问题,提出一种360°全景视频自适应前向纠错（Forward Error Correction,FEC）编码算法,根据实时网络状况对全景视频的图块进行编码比特率和FEC编码率的优化匹配,将全景视频传输质量最大化,减少视频失真。实验结果证明,与传统视频传输算法相比,该算法可以减少视频失真,且视频峰值信噪比（Peak Signal to Noise Ratio,PSNR）提高5～7 dB。     

自适应选择联合补偿预测模式的立体视频编码算法

运动补偿预测．视差补偿预测以及两者相结合的联合补偿预测是研究立体视频编码的关键技术。不同预测模式不仅考虑了左右视频通道各自的时间相关性、而且考虑到了左右视频通道之间的空间相关性。本文提出了一种自适应选择预测模式的立体视频编码算法,并在预测模式确定后通过选取不同的加权值来达到联合补偿预测的目的。实验结果表明,本文提出的算法在改善编码性能的同时,提高了编码速度。     

多智能体强化学习驱动的无人机动态信道分配

针对无人机编队在进行远距离实时视频传输时频谱资源不足且利用效率低、吞吐量要求较高、传输任务难以完成等问题,提出了多智能体强化学习驱动的动态信道分配算法,使得无人机编队可以根据传输任务和信道环境动态地选择使用的信道,实现了频谱资源的高效利用。该算法使用了集中式训练分布式执行的架构,通过联合探索和联合学习的方式保证了无人机间的探索和合作能力,使得每架无人机均可以依据局部观测信息同时独立分配自身使用信道,提高了算法的灵活性和可行性,并减少了频谱分配用时。仿真结果表明,该算法训练过程性能更好,执行时相比于现有算法可以提高编队整体的平均任务传输成功率。     

一种基于CAVE的交互式全景视频显示方法

为了实现全景视频的沉浸式显示,开发了一个基于CAVE的交互式全景视频显示系统.本系统成功地实现了pgr全景视频文件在CAVE上的播放.首先,将全景视频中的每一帧全景图像映射到一个虚拟球面上;其次,使用五个虚拟相机对该球面的四面及顶面进行拍摄,调整各相机的参数使所得各幅图像覆盖整个球面区域,并能够无缝拼接;最后,将所得五幅图像分别投影到CAVE系统中各投影幕中;另外,实现通过鼠标、手柄等输入设备调整CAVE中各投影幕的画面.     

基于深度学习的多视点视频编码方法综述

在当今这个数据爆炸增长的时代,深度学习强大的非线性建模能力进一步提高了多视点视频编码的率失真性能.对此,介绍多视点视频的特点及应用,重点对深度学习背景下现有的多视点视频编码方法进行介绍和总结,并展望多视点视频编码未来的发展趋势,旨在进一步发挥深度学习的能力,为用户提供更佳的观看体验.     

面向投影环境的计算机视觉交互信息获取

针对面向投影环境的视觉交互信息获取问题,提出了一种基于前景检测和立体视觉的体感交互信息获取方法.该方法使用双摄像头实时完成投影环境下的人体前景检测、姿势识别以及三维空间定位,能够为人机交互提供人体位置信息、姿势信息.为了验证该方法的有效性,设计并实现了一套虚拟场景视点控制系统.实验证明,该方法能够满足用户与虚拟场景实时交互的需要.     

基于视差补偿预测的立体视频图像压缩编码

本文介绍了立体视频编码方法,并对其关键技术-视差补偿预测技术进行深入研究.本文所提出的基于视差分割的视差补偿预测算法是建立在可变尺寸块匹配算法的基础上,充分利用视差信息实现对目标图像帧的有效分割,并采用相适应的视差向量编码方案.与传统算法相比,在相同预测精度下,明显降低了视差信息编码开销.     

面向网络视频的三维全景展示技术*

针对当前网络视频形式单一、缺乏多元化的视频形式展示的问题,结合三维全景展示技术,提出了面向网络视频的三维全景展示技术系统方案。重点分析了系统方案中的全景图拼接技术以及基于Flash视频技术的三维全景展示技术,并给出了一个具体的网络视频的三维全景展示示例,实现在互联网上逼真的展示三维场景。该方法能通过Flash脚本编程将图片、视频、音频等有机地结合起来,为网络视频用户提供三维全景与用户交互,使用户获得更好的网络视频体验。     

High dynamic range video reconstruction from a stereo camera setup

To overcome the dynamic range limitations in images taken with regular consumer cameras, several methods exist for creating high dynamic range (HDR) content. Current low-budget solutions apply a temporal exposure bracketing which is not applicable for dynamic scenes or HDR video. In this article, a framework is presented that utilizes two cameras to realize a spatial exposure bracketing, for which the different exposures are distributed among the cameras. Such a setup allows for HDR images of dynamic scenes and HDR video due to its frame by frame operating principle, but faces challenges in the stereo matching and HDR generation steps. Therefore, the modules in this framework are selected to alleviate these challenges and to properly handle under- and oversaturated regions. In comparison to existing work, the camera response calculation is shifted to an offline process and a masking with a saturation map before the actual HDR generation is proposed. The first aspect enables the use of more complex camera setups with different sensors and provides robust camera responses. The second one makes sure that only necessary pixel values are used from the additional camera view, and thus, reduces errors in the final HDR image. The resulting HDR images are compared with the quality metric HDR-VDP-2 and numerical results are given for the first time. For the Middlebury test images, an average gain of 52 points on a 0-100 mean opinion score is achieved in comparison to temporal exposure bracketing with camera motion. Finally, HDR video results are provided.     

基于抽取和内插方法的无线视频传输系统研究

为解决无线视频传输带宽较窄且不稳定的缺点,在编解码时转换视频分辨率印编码时抽取、解码时内插来降低传输的码率,并在抽取前进行预滤波以减少混叠,同时对视频的码率进行有效的控制,从而保证了较好的图像质量.     

视频复杂度自适应的H.264基本单元层码率控制方法

为了提高JVT-H017码率控制提案中的基本单元层比特数分配方法在视频序列复杂度较高时分配的准确度,提出了一种视频复杂度自适应的基本单元层码率控制方法。利用DMAD参数来判断视频场景的复杂度,对JVT-H017的比特数分配方法进行了改进;同时提出了一种基本单元层编码的理想情况,并以此理想情况下的比特数消耗情况来对基本单元的比特数进行修正。仿真结果表明,该方法有效地提高了视频编码的峰值信噪比(PSNR),最大可提高0.49 dB,并且输出码率更接近预定编码码率。     

Stereo Video Retargeting with Representative Seams in a Group of Stereoscopic Frames

The important requirements for stereo video retargeting are threefold: keeping temporal coherence, preventing depth distortion, and minimizing shape distortions of the retargeted video. To meet these requirements, the left and right video sequences are divided into groups of frames (GoFs), where the GoF is a basic unit for the seam carving and we assign a set of fixed seams for all frames within the GoF. To determine the fixed seams for each GoF, we need to find the GoF boundary in the video first. Then, the representative frame for each GoF is generated by considering the spatial saliency and temporal coherence. Also, the confidence of the stereoscopic correspondence between the left and right frames is considered to prevent depth distortion.     

无线视频的一种码率控制方法

无线信道的高误码率对视频图像质量有很大的影响,前向纠错(FEC)和自动重发请求(ARQ)对于降低无线信道的误码率,提高图像质量有很好的效果。通过对FEC和ARQ方法的有效性分析,在TMN8的基础上提出一种简单的混合FEC/ARQ自适应模式选择码率控制方法。该方法首先预测报文丢失数量和纠错报文传输时延,从而选择合适的纠错编码模式,并为纠错编码分配比特数。实验结果表明该方法有效降低无线信道下报文丢失率,显著提高了图像质量。