基于视点图像与EPI特征融合的光场超分辨率

光场（Light Field, LF）成像能同时捕获场景中光线的空间信息和角度信息,应用广泛。然而,它的分辨率受到成像设备硬件以及空间和角度分辨率之间制衡的限制。过低的空间分辨率严重影响了光场图像的质量及其应用。因此,本文充分利用光场特性增强图像细节,提出一种基于视点图像（Viewpoint Image, VI）和极平面图像（Epipolar Plane Image, EPI）特征融合的端到端光场超分辨率方法,能够同时超分辨率所有视点图像。本方法将低分辨率光场图像按照水平和垂直EPI方向堆叠排列,利用三维视点图像堆栈中包含EPI信息的特点,采用双分支结构的3D递减卷积网络处理输入的四维光场数据。这样能够同时对视点图像和EPI信息进行特征提取和融合,充分探索光场的纹理信息及几何一致性。在真实和合成光场数据集上的实验结果均表明,该方法相比现有主流方法不仅在客观指标上具有更好的表现,主观质量上也能保持更好的几何一致性,同时还具有更少的模型参数和更快的执行速度。      

基于多尺度特征提取的编码预处理算法

随着视频数据的爆炸式增长,视频的存储、传输压力不断加剧。为了进一步提高视频的压缩效率,设计了基于多尺度特征提取的编码预处理算法。该算法可以直接嵌入任何编码器之前,实现即插即用。该算法利用两阶段法,有效衡量了编码器的特点。同时,通过设计多尺度特征提取模块、通道注意力模块,有效提高了视频的压缩效率。实验结果表明,相较于H.266/VVC参考软件VTM10.0,提出的算法以峰值信噪比（PSNR）平均降低0.19 d B为代价,视频压缩效率平均提高19%。     

基于HEVC的三维视频编码关键技术述评

综述了基于高效率视频编码HEVC（high efficiency video coding）标准的两种扩展,即MV-HEVC （high efficiency video coding based multiview）和3D-HEVC（high efficiency video coding based 3D video coding）的工作原理及其编码工具,分析了3D-HEVC 模型的特点、编码模块与方法,并将3D-HEVC与MV-HEVC进行了性能对比。总结发现,由于3D-HEVC 采用纹理视频加深度格式来合成虚拟视点,从而降低了大量的编码码率,可方便应用于3D电视、自由立体视点电视和3D数字电影等多种三维体验中。随着智能移动设备的发展,手持终端采用3D-HEVC支持多视点3D视频将会成为未来的研究趋势。