帧级低复杂度立体视频端到端失真估计技术

为了准确估计立体视频传输中的失真,结合时空相关性和立体视频帧间拷贝的错误隐藏方法,提出了一种以视点内参考为主的帧级立体视频传输失真估计模型。该模型降低了立体视频左、右视点帧之间的依赖性,具有较低的复杂度。实验表明,对于不同的丢包率和缓慢运动的立体视频序列,该模型均能准确估计视点内和视点间错误扩散,进而快速估计出终端立体视频传输失真。     

编码端帧级立体视频传输失真模型

通过分析网络传输与立体视频失真的关系,结合立体视频时空相关性、网络性能和终端错误隐藏技术,以及递归思想提出了一种编码端的帧级立体视频传输失真模型,本模型可在编码端估计特定网络条件下的终端立体视频质量。针对不同运动程度和视差大小的立体视频序列,在不同网络环境下进行实验。当用MSE表征失真时,平均预测误差为4.16%;当用PSNR表征时,平均预测误差为0.93%,表明本模型可在编码端精确估计终端的立体视频传输失真。     

视频流媒体传输失真研究

由于网络传输引起的视频流媒体质量损失（称为传输失真）是流媒体QoS中最重要的参考指标，通常只能在终端系统解码后获得．本文根据视频流媒体编解码、错误隐藏、错误扩散等理论进行分析，提出了一个视频流媒体传输失真模型，谊模型可以在发送端通过网络传输质量和视频流媒体特性参数估算视频流媒体的最终表现质量，可以为流媒体同步、控制算法提供定量的参考指标．该模型针对常见的视频流媒体处理机制进行建模，并不局限于特定的编解码格式，具有更广泛的实用价值．     

基于Internet网络的视频传输失真分析

基于Internet网络的视频通信必须进行差错控制,而差错控制需要准确估计视频流在Internet网络传输中产生的信道失真。对基于Internet网络的视频传输过程进行了失真分析,结合帧间差错扩散的特点和差错帧之间的相关性,提出一种估计包损失失真的通用模型,通过接收端提供的丢包反馈信息,可以准确估计传输中引入的失真。使用JVT/H.264编码的标准视频测试序列进行验证,该模型对信道失真的估计精度比在此之前所提出的其它模型有明显提高。     

基于FPGA高清视频图像的光纤传输系统研究

光线应用数据传输是对传统数据传输方式的颠覆,可以对当前的高清视频传输起到重要的现实作用.本文根据FPGA存在的特点设计管线传输系统,重点解决传统背景下远距离视频传输中遇到的问题,在分析系统基本原理基础上,重点设计发送端以及接收端,最后通过简单的条纹实验验证系统设计效果.     

视频编码失真估计综述

编码失真是评价视频算法性能的主要因素之一,如率失真优化、码率控制和最佳量化等算法设计中,在不进行复杂预编码的情况下精确估计编码失真,是达到良好率失真性能的必要途径。虽然部分编码失真估计方法已经被采用并作为编码算法的基础,然而,与对码率估计的关注度不同,失真估计并未引起人们的足够关注。系统地回顾总结了视频编码失真估计方法,实验并给出了一些比较结果。将失真估计方法分为四类：1)基于DCT系数分布的建模;2)ρ域;3)λ域和4)基于失真传播的建模。概述了这些方法的基本原理,并且根据实验结果对模型的精度进行了简要对比分析。     

立体视频传输与再现研究

在分析人的立体视觉原理基础上,设计了一种立体视频传输方案:用两个摄像头代替人的双眼采集远端场景,采用RTP传输两路视频,为了确保两路视频同步,提出了时间戳匹配算法.最后介绍了使用头盔显示器立体显示方法.     

一种基于MPEG-4视频编码流的信道失真模型

准确地估算信道失真是视频通信系统中联合功率率失真（P-R-D）优化的重要基础,提出了一种基于MPEG-4视频编码流的信道失真模型,采用帧间递归,根据信道平均误比特率和视频编码信息在编码器端实时估算视频序列的信道失真,仿真结果表明,对于不同的视频编码序列,在不同信道误比特率和信源编码率下,模型估算的平均相对偏差和绝对偏差较小,准确度高,为基于P-R-D优化的失真估算提供一个有力的工具。     

基于Linux高清视频无线传输系统设计研究

阐述基于ARM Cortex-M3和AT2061的嵌入式高清视频采集和压缩过程,完成高清视频信号通过CDMA无线网络进行无线传输的设计和实现过程.针对该系统对Lmux作了相应的裁剪,提高了系统的实时处理能力.将高清视频信号压缩后,仍然得到较高视频解析度的传输结果.     

立体视频传输技术研究进展

立体视频是当前视频信号处理领域的一个重要研究内容。立体视频的数据量巨大,这使得对立体视频数据进行有效的压缩编码和鲁棒性传输成为应用中一个至关重要的问题。首先介绍了立体视频流结构及其传输协议,然后讨论了立体视频传输中关键技术的研究进展,最后指出了进一步发展的前景。     

一种多视点自由立体高清视频播放器的设计与实现

根据多视点自由立体视频的压缩编码特征与数据存储结构,提出一种基于光栅显示技术的软件解决方案,采用底层Windows API编写实现播放器的全部功能。设计实现了针对YUV视频格式的播放器,并以此为基础加入H.264解码功能模块,最终实现多线程工作模式的视频播放器,支持YUV与H.264两种视频格式,具备平面/立体播放模式自由切换功能。播放立体视频时图像清晰、流畅、立体感明显。     

Region-based error concealment of right-view frames for stereoscopic video transmission

Transmission of stereoscopic video stream through error-prone wireless channels results in the loss of blocks. In this paper, we propose a region-based error concealment method that exploits encoding modes, inter-view and intra-view correlations of stereoscopic video sequences. Based on the statistical analysis of the encoding modes of the surrounding macroblocks (MBs) and of the spatially corresponding MB in the neighboring frame, the lost MBs are classified into three types: (1) smooth MBs, (2) regular motion MBs and (3) irregular motion MBs. Following the classification, corresponding operations, including direct replacement, quarter-pixel motion and disparity compensation, and bilateral error concealment with adjustable weights, are applied to reconstruct the smooth MBs, regular motion MBs and irregular motion MBs, respectively. Experimental results show that the proposed method outperforms other existing error concealment methods for stereoscopic video transmission in terms of both objective and subjective evaluations.     

P2P网络多视点立体视频传输的数据块调度策略

立体视频数据量大、编码结构复杂,因此视频数据块的重要性和紧急程度对视频的播放质量有更大的影响作用。综合考虑立体视频播放质量和网络传输效率,提出一种联合优先级和随机传输的P2P数据块调度算法。依据数据块的重要性、紧急性和稀有性计算传输优先级别,同时评估邻居节点传输能力,利用多余带宽传输随机数据块。该算法能够提供优越的视频播放质量,并能够使数据块均匀分布,保证系统传输性能。仿真实验通过分析视频PSNR、启动延迟、节点吞吐量和数据到达率等指标,证明了该算法的有效性。     

边缘加强的超高清视频质量评估

目的 随着网络和电视技术的飞速发展,观看4 K(3840×2160像素)超高清视频成为趋势。然而,由于超高清视频分辨率高、边缘与细节信息丰富、数据量巨大,在采集、压缩、传输和存储的过程中更容易引入失真。因此,超高清视频质量评估成为当今广播电视技术的重要研究内容。本文提出了一种边缘加强的超高清视频质量评估方法。方法 对输入视频的每一帧进行拆分处理,利用边缘检测算子对R、G、B三通道的图像分别进行边缘检测,合并R、G、B三通道的边缘信息得到视频帧的边缘图像。设计边缘掩蔽、内容依赖和时域记忆3个网络模块分别提取相应的特征,将特征输入到全连接层中进行降维处理后获得质量特征,基于质量特征计算输入视频的视频质量分数。由于超高清视频具有丰富的边缘,边缘细节清晰度极高,因此在边缘处引入的失真通常较为明显,而本文提出的边缘加强方法特别适用超高清视频的质量评估。同时由于提出的方法引入了内容依赖和时域迟滞特性,因此也同时适用其他野生视频的质量评估。结果 实验在包括超高清在内的4个视频质量评估数据集上进行,与5种主流方法进行比较,结果表明提出的方法性能优越。在KoNViD-1K、DVL2021、LIVE-Qualcomm、LSVQ据集上,与当前性能最好的方法相比,SROCC(Spearman rank-order correlation coefficient)指标分别提升了3.9%、4.2%、10.0%和0.6%,PLCC(Pearson’s linear correlation coefficient)指标分别提升了3.9%、2.2%、10.1%和0.1%。结论 本文方法结合超高清视频的特点,更好地拟合了人眼视觉特性,获得了当前最好的性能;同时由于未使用光流方法,大幅减少了计算量,获得了很好的泛化能力。     

时空联合视差优化的立体视频重定向

目的智能适配显示的图像/视频重定向技术近年受到广泛关注。与图像重定向以及2D视频重定向相比,3D视频重定向需要同时考虑视差保持和时域保持。现有的3D视频重定向方法虽然考虑了视差保持却忽略了对视差舒适度的调整,针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间。方法在原始视频上建立均匀网格,并提取显著信息和视差,进而得到每个网格的平均显著值;根据相似性变化原理构建形状保持能量项,利用目标轨迹以及原始视频的视差变化构建时域保持能量项,并结合人眼辐辏调节原理构建视差舒适度调整能量项;结合各个网格的显著性,联合求解所有能量项得到优化后的网格顶点坐标,将其用于确定网格形变,从而生成指定宽高比的视频。结果实验结果表明,与基于细缝裁剪的立体视频重定向方法对比,本文方法在形状保持、时域保持及视差舒适度方面均具有更好的性能。另外,使用现有的客观质量评价方法对重定向结果进行评价,本文方法客观质量评价指标性能优于均匀缩放和细缝裁剪的视频重定向方法,时间复杂度较低,每帧的时间复杂度至少比细缝裁剪方法降低了98%。结论提出的时空联合...     

Simultaneously retargeting and super-resolution for stereoscopic video

Multimedia Tools and Applications - This paper presents a novel approach that is able to resize stereoscopic video to fit various display environments with different aspect-ratios, while preserving...     

A retargeting method for stereoscopic 3D video

Computational Visual Media - We propose a disparity-constrained retargeting method for stereoscopic 3D video, which simultaneously resizes a binocular video to a new aspect ratio and remaps the...     

Disparity-based just-noticeable-difference model for perceptual stereoscopic video coding using depth of focus blur effect

Human 3D perception provides an important clue to the removal of redundancy in stereoscopic 3D (S3D) videos. Because objects outside the binocular fusion limit cannot be fused on retina, the human visual system (HVS) makes them blur according to the depth-of-focus (DOF) effect to increase the binocular fusion limit and suppress diplopia, i.e. double vision. Based on human depth perception, we propose a disparity-based just-noticeable-difference model (DJND) to save bit-rate and improve visual comfort in S3D videos. We combine the DOF blur effect with conventional JND models in the pixel domain into DJND. Firstly, we use disparity information to get the average disparity value of each block. Then, we integrate the DOF blur effect into luminance JND (LJND) by a selective low pass Gaussian filter to minimize the visual stimulus in S3D videos. Finally, we incorporate disparity information into the filtered JND models to obtain DJND. Experimental results demonstrate that the proposed method successfully improves both image quality and visual comfort in viewing S3D videos without increasing the bit-rate.     

Parallel implementation and optimization of high definition video real-time dehazing

In some warning applications, such as aircraft taking-off and landing, ship sailing, and traffic guidance in foggy weather, the high definition (HD) and rapid dehazing of images and videos is increasingly necessary. Existing technologies for the dehazing of videos or images have not completely exploited the parallel computing capacity of modern multi-core CPU and GPU, and leads to the long dehazing time or the low frame rate of video dehazing which cannot meet the real-time requirement. In this paper, we propose a parallel implementation and optimization method for the real-time dehazing of the high definition videos based on a single image haze removal algorithm. Our optimization takes full advantage of the modern CPU+GPU architecture, which increases the parallelism of the algorithm, and greatly reduces the computational complexity and the execution time. The optimized OpenCL parallel implementation is integrate into FFmpeg as an independent module. The experimental results show that for a single image, the performance of the optimized OpenCL algorithm is improved approximately 500% compared with the existing algorithm, and approximately 153% over the basic OpenCL algorithm. The 1080p (1920?×?1080) high definition hazy video can also processed at a real-time rate (more than 41 frames per second).