基于三维感知的立体虚拟视点图像质量评价方法

为了评价立体虚拟视点图像的质量,提出了一种基 于三维感知的客观评价方法。综合考虑了立体虚拟视点图像两大最主要失真类型:单视点绘 制失真和立体视点不匹配失真。针对单视点绘制失真,先提取 当前视点失真图与无失真图的差异性区域,再针对该差异性区域计算平均结构相似度(MSSIM ),最后将左 右视点平均池化作为单目纹理特征值;针对立体视点不匹配失真,先对左右视点失真图分别 进行视差映射, 再提取映射图与该视点失真图的差异区域作为双目不匹配区域,然后针对不匹配区域计算MS SIM 值,最 后将左右视点平均池化作为双目竞争特征值;最终将两个特征值幂次融合,作为最终的立体 虚拟视点图像 质量评价客观指标。实验结果表明本方法有效匹配主观打分的DMOS值,皮尔森线性相关系数 和斯皮尔曼 秩相关系数分别为0.911和0.900,正确反映了 立体虚拟视点图像质量。     

基于卷积神经网络的虚拟视点空洞填补

为了提高虚拟视点绘制中空洞填补的质量,本文提 出一种基于卷积神经网络的虚拟视点空洞填补算 法,包括图像预处理、特征提取和空洞填补三部分。首先,对双视点虚拟视点图像进行预处 理,即利用深 度图像绘制(Depth Image Based Rendering,DIBR)技术得到空洞填补前的图像和空洞掩膜 ;然后,通过卷积 神经网络对虚拟视点图像提取多维特征,针对空洞区域,使用结构相似性损失函数优化网络 ;最后,利用 提取的特征填补虚拟视点中的空洞。实验结果表明,本文算法能较好地保持虚拟视点图像前 景和背景的锐 利边缘,主观视觉感知效果佳,同时,对不同场景测试序列的客观评价指标PS NR和SSIM都能取得满意结果,该方法能有效地填补虚拟视点中的空洞。