沉浸式视频编码技术综述

随着虚拟现实、增强现实等沉浸式媒体技术的发展,沉浸式视频的表示、存储、传输和显示等各个环节都受到了科研及产业界的广泛关注。沉浸式视频更复杂的视频特性和庞大的数据量,对传统视频编码技术提出了挑战,新的编码技术应运而生。该文从视频自由度(DoF)出发,分别从3DoF和6DoF两个方面介绍沉浸式视频编码技术的最新成果。3DoF视频相关编码技术包括投影模型、运动估计模型和3DoF视频编码标准。6DoF视频相关编码技术包括视频表示形式、虚拟视点合成技术、6DoF视频编码技术及运动图像专家组沉浸式视频(MPEG, MIV)编码标准。最后,对沉浸式视频及其编码技术的发展进行总结和展望。     

基于多视点伪序列的光场图像压缩

近年来，作为一种能够提供更富有沉浸感的多媒体媒质，光场图像（Light Field Image，LFI）引起广泛的关注。针对光场图像数据量巨大的问题，本文提出了一种基于多视点伪序列的光场图像高效压缩方案。在编码端，所提方法首先将光场相机捕获得到的原始光场图像根据相机的微透镜阵列分解成子孔径图像。接着根据子孔径图像存在较强视点内和视点间相关性，选取部分子孔径图像进行多视点伪序列构建，基于MV-HEVC设计适用于多视点伪序列的预测编码结构进行编码。在解码端，所提方法基于已解码多视点伪序列通过视频帧插值方法重建出未编码传输的子孔径视图，从而重建出全部光场图像。实验结果表明本文所提算法优于现有基于视差引导稀疏编码的光场图像压缩方法，BD-rate平均节约18.5%，BD-PSNR平均提高1.28dB。      

利用边缘相似度的光场图像质量评价

近年来，随着虚拟现实（Virtual Reality，VR）和增强现实（Augment Reality，AR）技术发展和普及，光场图像引起了学术界和工业界的广泛关注。然而，在光场采集和图像压缩、存储、传输和渲染的过程中，不可避免会引入各类失真从而导致光场图像质量出现劣化。因此，如何根据人眼视觉特性来准确高效地评价光场图像质量成为急需解决的问题。考虑到光场图像复杂的结构特性，本文意在利用边缘相似度来构建适用于光场图像质量客观评估的数学模型。首先, 利用梯度和Gabor滤波器分别提取光场图像的空域和频域相似度，进而进行融合得到边缘相似度图，接着对边缘相似度图采用基于频域边缘强度的池化策略进行权重计算得到最终的客观评估分数。实验结果显示，与现有的图像质量评价方法相比，本文所提算法能够更好地反映出人类视觉系统对光场图像的主观感知特性。      

采用联合特征的H.266/VVC屏幕内容快速模式选择算法

新一代视频编码标准H.266/VCC针对屏幕内容编码引入帧内块复制、调色板等预测模式,在提高编码效率的同时也带来了巨大的计算复杂度。本文采用角点、水平/垂直活动度和平均颜色亮度差联合特征对屏幕内容视频帧和当前编码单元（Coding Unit, CU）进行分类,将视频帧分为低对比度屏幕视频帧和高对比度屏幕视频帧,将CU细分为自然内容背景CU、屏幕内容背景CU和屏幕内容前景CU,进而对CU模式进行选择性跳过,减少模式选择代价。实验结果显示,在全帧内的条件下,该算法与开启IBC和PLT的H.266/VVC VTM-7.3标准相比,在码率仅增加1.21%的情况下节省了26.41%的编码时间,降低了编码复杂度。      

面向目标再辨识的空间和通道双重显著性挖掘算法

现有的目标再辨识方法常用全局特征池化层来聚合深度骨干网络所提取的特征映射以得到最终的图像特征。但是,全局特征池化层忽视了特征映射在空间和通道上的显著性,会限制所得图像特征的鉴别能力。为此,本文设计一个新颖的空间和通道双重显著性挖掘（Spatial Channel Dual Significance Mining, SC-DSM）模块,用于同时从空间和通道两个维度上充分挖掘特征映射的显著性,从而改善所得图像特征的鉴别能力,以提升目标再辨识的准确性。SC-DSM模块包含空间显著性挖掘子模块和通道显著性挖掘子模块。其中,空间显著性挖掘子模块在特征映射上构建空间图,聚合空间维度上的邻居节点特征并学习权重,实现空间显著性挖掘;通道显著性挖掘子模块在特征映射建立通道图聚合通道维度上的邻居节点并学习权重,实现通道显著性挖掘。实验结果表明,在目前最流行的车辆再辨识数据库VeRi776和行人再辨识数据库Market-1501上,所提出的方法能够优于现有的目标再辨识方法。      

沉浸式视频质量评价综述

近年来,随着计算机视觉处理技术的深入研究和虚拟现实设备的不断普及,沉浸式媒体技术飞速发展并在各个领域得到初步应用。考虑到沉浸式视频产生的质量损耗会影响用户身临其境的沉浸式视觉感受,基于沉浸式视频的质量评价研究成为视频处理领域的研究重点并逐渐引起研究者们的重视。如何量化沉浸式视频的质量损耗并进行质量评价,设计符合人眼视觉感知的算法,用以准确高效地评估视频质量,对于沉浸式视频处理研究领域的发展具有学术研究意义和实际应用价值。本文首先回顾了沉浸式视频主观质量评价数据库和客观质量评价方法的研究,然后介绍了近期涉及沉浸式视频质量评价的主要技术,即深度信息和虚拟视图合成,最后对沉浸式视频质量评价研究工作进行总结和展望。      

基于随机遮挡辅助深度表征学习的车辆再辨识

在车辆再辨识中,如何通过车辆外观学习到具有强区分度和鲁棒性的表示特征是至关重要的.为此,本文提出一种基于随机遮挡辅助深度表征学习的车辆再辨识算法以提高车辆再辨识的准确率.首先,本文所提算法通过引进随机遮挡对原始训练图片在局部区域进行随机遮挡,一定程度上模拟了现实中的一些遮挡情况,不仅增加了训练样本的数量,而且新增遮挡样本对于网络模型来说属于困难样本,能够防止网络模型过拟合,使得网络模型具有更强的鲁棒性;其次,本文所提算法通过构建孪生网络对原始图片和随机遮挡图片进行分类和验证联合优化学习.实验结果表明,在VeRi和VehicleID这两个数据库上,所提算法优于现有多种车辆再辨识方法.