基于深度学习的3D视频编码研究

针对当前网络系统对3D视频系统的需求,提出了一种基于深度学习的3D视频编码系统。首先,针对当前网络系统终端多样化问题,深入研究基于深度学习的鲁棒性 3D 视频编码;其次,针对当前网络系统中的设备不能处理高复杂度的问题,进一步研究基于深度学习的低复杂度3D视频编码;然后,针对当前网络系统中视频信息庞大问题,深入研究基于深度学习的高效3D视频编码;最后,针对人类是视频信息的最终接收体,深入研究基于深度学习的满足人类视觉特性的3D视频编码。实验结果表明,所提方法实现了基于深度学习的鲁棒、低复杂度、高效、符合人类视觉特性的3D视频编码。     

基于深度学习的多视点视频编码方法综述

在当今这个数据爆炸增长的时代,深度学习强大的非线性建模能力进一步提高了多视点视频编码的率失真性能.对此,介绍多视点视频的特点及应用,重点对深度学习背景下现有的多视点视频编码方法进行介绍和总结,并展望多视点视频编码未来的发展趋势,旨在进一步发挥深度学习的能力,为用户提供更佳的观看体验.     

多视点与深度视频编码技术研究综述

多视点与深度视频(MVD)可以有效表示自由视点视频,减少了需传输视点的个数,该表达形式正受到越来越多的关注,如何对MVD进行高效编码尤为重要.介绍了自由视点视频的发展现状及国内外研究概况,详细讨论了深度图像的高效编码技术及多视点与深度联合编码技术,并对多视点与深度视频编码技术进行了总结及展望.     

结合预处理的深度视频帧内快速编码算法

多视点彩色加深度(MVD)视频是三维(3D)视频的 主流格式。在3D高效视频编码中,深度视频帧内编码 具有较高的编码复杂度;深度估计软件获取的深度视频由于不够准确会使深度图平坦 区域纹理增加, 从而进一步增加帧内编码复杂度。针对以上问题,本文提出了一种联合深度处理的深度视频 帧内低复杂度 编码算法。首先,在编码前对深度视频进行预处理,减少由于深度图不准确而出现的纹理信 息;其次,运 用反向传播神经网络(BPNN,backpropagation neural network)预测最大编码单元 (LCU,la rgest coding unit)的最大划分深度;最后联合深度视频的边缘信 息及对应的彩色LCU最大划分深度进行CU提前终止划分和快速模式选取。实验结果表明, 本文算法在保证 虚拟视点质量的前提下,BDBR下降0.33% ,深度视频编码时间平均节省50.63%。     

基于最大可容忍深度失真模型的低复杂度深度视频编码

在保证虚拟视点绘制质量的前提下,如何降低深 度视频的编码复杂度是一个亟需解决的问题。本文提出了一 种基于最大可容忍深度失真(MTDD,maximum tolerable d epth distortion)模型的低复杂度深度编码算法,将MTDD模型引 入 到率失真(RD)代价函数,通过对编码单元(CU)进行失真度量判决 ,如果对当前CU进 行编码不会导致可察觉的绘制失真,则失真度量只考虑深度编码失真,否则失真度量同时考 虑深度编码失真和视点 合成失真(VSD),从而降低编码复杂度。实验结果表明,所 提出的算法在不 降低虚拟视点绘制质量和不增加编码码率的情况下,能显著降低深度视频的编码复杂度。     

基于纹理相似性的高效视频编码帧间预测优化算法

为了提高高效率视频编码(HEVC)的编码效率,该文对帧间预测算法进行优化,提出一种基于纹理相似性的快速深度判决算法。随着视频分辨率的提高,视频序列中的空域冗余也随之增加,HEVC通过增加编码块尺寸来提高预测效率,代价就是编码复杂度的急剧增加。通过对视频序列分析可知,图像中的平滑区域与细节区域在相邻帧中存在很大的相关性。该文利用相邻已编码帧的相邻编码块的深度信息,来快速判决当前待编码块的深度信息。对于平滑区域,快速判决待编码最大编码单元的最大深度,以减少小块编码单元的模式判决;对于细节区域,快速判决待编码最大编码单元的最小深度,以减少大块编码单元的模式判决。实验结果表明,与原始的HEVC算法相比,该文所提算法编码比特率平均增加约0.13%以内,PSNR的平均降幅为0.09 dB,算法运行时间平均减少了约50%。     

3D-HEVC深度视频编码MERGE模式快速选择

针对3D-HEVC中多视点深度视频编码进行研究,提出了一种对深度视频参考视点的MERGE模式快速选择算法。考虑到多视点深度视频相邻视点间相关性和MVD格式中深度视频与彩色视频间相关性,在两个方向上的参考CU采用相同编码深度时,借鉴深度视频主视点PU模式信息以加快当前CU帧间模式选择速度。在深度主视点采用MERGE模式时,当前视点跳过其他的预测模式而直接采用MERGE模式。实验结果表明,在码率和图像质量基本不变的情况下,提出的算法可以有效地提高帧间模式选择速度。     

未来视频编码器的主流——软编码

首先介绍了高级视频编码器的市场需求,然后介绍了实时视频编码器的硬编码、软编码定义,并且结合当前的需求对常见的软编码器方案、硬件架构和软件框架都进行了分析,并对各方案的实现原理与特点做了介绍。随后,根据上述介绍对各个方案进行了比较。最后,对全文进行了总结,指出实时软件编码器将是未来的主流。     

基于深层特征学习的高效率视频编码中帧内快速预测算法

高效视频编码(HEVC)标准相对于H.264/AVC标准提升了压缩效率,但由于引入的编码单元四叉树划分结构也使得编码复杂度大幅度提升.对此,该文提出一种针对HEVC帧内编码模式下编码单元(CU)划分表征矢量预测的多层特征传递卷积神经网络(MLFT-CNN),大幅度降低了视频编码复杂度.首先,提出融合CU划分结构信息的降...     

一种基于深度度量学习的视频分类方法

针对视频分类中普遍面临的类内离散度和类间相似性较大而制约分类性能的问题,该文提出一种基于深度度量学习的视频分类方法。该方法设计了一种深度网络,网络包含特征学习、基于深度度量学习的相似性度量,以及分类3个部分。其中相似性度量的工作原理为：首先,计算特征间的欧式距离作为样本之间的语义距离;其次,设计一个间隔分配函数,根据语义距离动态分配语义间隔;最后,根据样本语义间隔计算误差并反向传播,使网络能够学习到样本间语义距离的差异,自动聚焦于难分样本,以充分学习难分样本的特征。该网络在训练过程中采用多任务学习的方法,同时学习相似性度量和分类任务,以达到整体最优。在UCF101和HMDB51上的实验结果表明,与已有方法相比,提出的方法能有效提高视频分类精度。     

分布式多视点视频编码中的立体边信息生成

新兴的分布式多视点视频编码通过在解码端使用立体边信息可充分挖掘传统单视点的时间相关性和多视点特有的视间相关性.研究了一种多视点运动预测的立体边信息生成算法,提出了近似视差估计和编码端掩模融合算法.实验证明,解码端采用近似的视差矢量,编码端传递某些先验信息,都能有效提高立体边信息精度,降低计算复杂度.     

六角变换方法在视频编码中的应用

介绍了一些有关DCT及其快速算法的关键技术,提出了六角变换方法及其应用于视频编码的近似整数实现.实验结果表明,六角变换方法不仅具有相比浮点DCT实现复杂度低、解码端无误差累积的优点,而且能提供相比其他整数近似变换更高的视频编码效率.     

基于感兴趣区域的高性能视频编码帧内预测优化算法

针对高性能视频编码(HEVC)帧内预测编码算法复杂度较高的问题,该文提出一种基于感兴趣区域的高性能视频编码帧内预测优化算法。首先,根据图像显著性划分当前帧的感兴趣区域(ROI)和非感兴趣区域(NROI);然后,对ROI基于空域相关性采用提出的快速编码单元(CU)划分算法决定当前编码单元的最终划分深度,跳过不必要的CU划分过程;最后,基于ROI采用提出的预测单元(PU)模式快速选择算法计算当前PU的能量和方向,根据能量和方向确定当前PU的预测模式,减少率失真代价的相关计算,达到降低编码复杂度和节省编码时间的目的。实验结果表明,在峰值信噪比(PSNR)损失仅为0.0390 dB的情况下,所提算法可以平均降低47.37%的编码时间。     

基于多假设运动补偿去噪的迭代边信息改进算法

在分布式视频压缩系统中,边信息的质量对编码效率有至关重要的作用。利用已解码图像信息提高边信息质量是近年来研究的热点之一。根据边信息和已解码信息与原始信息之间的噪声关系,该文提出了一种基于多假设运动补偿去噪的迭代边信息改进算法。首先对原始边信息进行多假设运动补偿去噪,生成质量更好而不仅是相似的补偿图像,然后利用每个码平面的解码信息对边信息进行迭代改进。实验结果表明,该算法能减少码流,显著提高Wyner-Ziv (WZ)帧质量,从而有效的改善分布式视频压缩的率失真性能。     

一种基于时域相关性的高性能视频编码快速帧间预测单元模式判决算法

为了降低高性能视频编码(HEVC)的编码计算复杂度,根据视频时域上高度相关性的特点,该文提出一种快速高性能视频编码(HEVC)帧间预测单元(PU)模式判决算法。分析了时域上相邻帧两帧相同位置编码单元(CU)的PU模式之间的相关性;同时,针对视频中可能存在对象运动,还分析了前一帧对应位置CU的周边CU与当前帧中当前CU间PU模式的相关性。根据分析的时域相关性,跳过当前CU中冗余的PU模式,从而降低编码复杂度。实验结果表明,在编码效率和峰值信噪比(PSNR)损失很小的情况下,在目前已有的HEVC快速帧间预测算法的基础上,进一步降低了31.30%的编码时间。     

一种改进的多视点视频编码预测结构

多视点视频编码(Muti-view Video Coding,MVC)标准采用预测关系固定的编码结构,不能根据视频序列调整预测关系,导致无法获得更好的编码效率.本文针对这一缺陷提出一种确定预测结构的方法,首先对图像进行下采样获得粗粒度图像,然后利用粗粒度图像间的灰度方差获得灰度相近的视点,最后对所选取的灰度相近的视点运用全局视差确定I-视点.经实验验证,本文的方法可以提高编码效率并减少编码中的缓存容量.     

基于层修复技术的DVC鲁棒传输框架

针对分布式视频编码(DVC)系统鲁棒传输问题,设计了一种基于层修复的DVC系统传输框架。该传输框架首先对关键帧(K帧)同时采用高效视频编码(HEVC)帧内编码和Wyner-Ziv编码,并将校验信息(Wyner-Ziv码流)作为修复层码流存入缓存中。若当前关键帧有丢失,则向编码端请求该帧对应的层修复码流,在解码端对错误块进行修复,获得关键帧解码质量的提升。同时,研究了层修复码率估计算法,利用已成功解码的位平面辅助完成算法重建。实验结果表明,该传输框架利用关键帧的层修复码流对关键帧失真部分进行了修复,提高了关键帧质量,改善了边信息质量,实现了DVC的鲁棒传输。     

基于H.263的实时视频编码技术研究

为了提高H．263编码技术现有算法的执行效率，本文提出了一种基于时域预测的预判零方法，该方法在保证一定图像质量的条件下具有较高的判别效率，能节约大量的编码时间：并在此基础上结合“钻石”运动搜索算法、MMX优化技术，实现了利用软件进行实时视频编码。