一种基于人眼视觉特性的立体图像质量客观评价方法

通过模拟人眼视觉特性中的对比度敏感函数、多通道效应以及立体感知特性,提出了一种基于人眼视觉特性的立体图像质量客观评价方法.在评价左右图像质量时,利用小波变换模拟人眼视觉特性中的多通道效应,不同空间频带的小波系数按对比度敏感函数进行加权,左右图像质量度量采用Canberra $巨离.在评价立体感知时,则通过计算原始与测试...     

结构相似度的立体视频错误隐藏

针对立体视频传输中右视点整帧丢失,提出了一种基于结构相似度(Structural Similarity,SSIM)的立体视频右视点整帧丢失错误隐藏算法。首先,提出了时域SSIM和视间SSIM的概念。然后,根据视频序列的时域相关性,将前一时刻右视点图像宏块的预测方式作为丢失图像宏块的预测方式。接着,将前一时刻右视点图像以宏块为单位进行时域和视间匹配,求取其以像素为单位的时域SSIM映射图和视间SSIM映射图。最后,计算并比较前一时刻右视点图像每个宏块的时域SSIM和视间SSIM值,得到每个宏块的预测方式,将其预测方式作为丢失帧中宏块的预测方式,从而使用运动补偿预测或者视差补偿预测的方法进行恢复。实验结果表明,与传统的算法和Pang的算法相比,PSNR值分别提高了2.76 dB和3.43 dB,且本文算法主观效果较好。     

面向HEVC的深度视频预处理

通过深度相机或者深度估计软件获取的深度视频准确性差,影响深度视频的编码压缩性能。因此,本文提出了一种面向HEVC的深度视频预处理算法。首先提取深度视频的边缘获取边缘掩膜;其次根据边缘掩膜对深度序列分类进行空域平滑;再次将彩色和空域平滑后的深度视频进行时空转换,并以转换后的彩色视频为辅助对转换后的深度视频进行时域平滑,以增强深度视频的时间相关性;最后对时域平滑处理完的深度视频进行逆时空转换,获取最终的预处理深度视频。实验结果表明,提出的处理方法既可以保证虚拟视点质量基本不变,又能够节省7.00%～23.78%的码率。     

基于纹理方向和空域相关的HEVC帧内快速编码算法

为了降低高效视频编码(HEVC)的复杂度,提出了一种基于纹理方向和空域相关性的帧内快速编码算法。一方面,利用相邻编码单元(CU,coding unit)的最佳分割尺寸确定相关性的权重,并根据已编码CU的率失真代价值定义了CU分割尺寸的相关性因子,通过比较该因子提前终止CU分割;另一方面,利用Sobel算子求取预测单元(PU,prediction unit)子块的纹理方向,通过判定其纹理方向显著性确定相应的候选模式集,然后根据PU大小对所得的预测模式修正处理,最后遍历这些候选模式选取最优模式。实验结果表明:本文算法相对于原始HEVC编码方法,在全I帧模式下编码时间平均减少36.84%,BDBR(Bjntegaard delta bit rate)上升约0.81%,BDPSNR(Bjntegaard delta peak signal-to-noise rate)降低了0.047dB。     

基于图像边缘特征的深度上采样算法

针对低分辨率深度图像上采样容易导致边缘模糊问 题,提出了一种基 于图像边缘特征的深度上采样算法。一方面,利用相同低分辨率深度和彩色图像的相关性系 数,自适应调 节深度图像边缘上采样过程中深度和彩色的权重;另一方面,结合上采样值和低分辨率深度 图像中邻近像 素值,对低分辨率深度图像的不连续区域进行求精操作以进一步减少边缘模糊现象。实验结 果表明,本文算法 的性能优于近年文献中提出的算法。本算法上采样深度图像的平均坏点率(B PR)为2.07%,均方根误差(RMSE )为3.46,峰值信噪比(PSNR)为38.58dB,绘制 虚拟视点的平均PSNR为39.58dB。     

基于结构相似度的自适应图像质量评价

考虑到在结构相似度(SSIM,structural similarity)模型中,亮度、对比度和结构度3个评价因子对不同失真类型图像质量评价(QA)的贡献程度不同,本文提出了根据图像失真类型分析的自适应SSIM(ASSIM)的IQA方法。首先,分析失真图像和参考图像的小波子带能量、傅里叶功率谱和幅度谱的数据特点,据此判定图像失真类型,包括高斯白噪声(WN)、JPEG压缩(JPEM)、高斯模糊(Gblur)及类JP2K4类失真;接着,通过优化算法确定SSIM在评价不同失真类型图像时最佳的评价因子权重;最后,将图像的失真类型判别和评价因子的调整相结合,实现对图像的自适应评价。实验结果表明,由于失真类型的判断和评价因子权值的优化,ASSIM对各类失真图像的评价效果都要优于SSIM,特别是对Gblur失真的图像进行评价时,Pearson系数(CC)值提高了0.05,Spearman等级相关系数(SROCC)值的提高超过0.039。     

结合JND模型的交叉验证深度图质量评价方法

针对在3D视频(3DV)和自由视点视频(FVV)中传统的 图像质量评价方法不适用于深度图的问题,本文从人类视觉感知特性出发,提出一 种新的深度图 质量评估算法。首先进行交叉验证,得到待评价深度图的差值图;然后提取遮挡掩膜,去除 被遮挡的像素 点;再根据人类视觉特性,考虑背景亮度掩蔽、纹理掩蔽和边缘敏感性等因素,应用恰可察 觉失真(JND)模 型得到每个像素点的误差可视阈值;最后计算错误像素率作为度量指标评价深度图的质量 。实验结果表 明,本文提出的算法能够准确地检测错误像素,所提出的度量指标与全参考度量指标的相关 系数的平均值 为0.833,最高达到0.933,与合成虚拟视点均 方误差的相关系数的平均值为0.857,最高达 到0.928。     

基于超像素分割的深度图像修复算法

为了提高Kinect相机获取的深度图质量,提出了一种基于超像素分割的图像修复算法。 首先对深度图和彩色图分别 进行双边滤波和超像素分割;其次,结合深度图像和彩色图像相似性,记录彩色分割块的位 置,并对应于 深度图中;最后,在每个分割块对应深度区域中,根据丢失像素点在分割块中所占比例,划 分为无空洞区 域、小空洞区域、大空洞区域和全空洞区域4类。采用快速行进算法对小空洞区域进行 修复,利用中 值填补算法进行大空洞区域修复,对全空洞区域利用邻域区间对应彩色图像相似性进行填充 。4种类型中 的无空洞区域无需修复。实验结果表明,本文方法与FMM、Shen和Scheming的方法相比, 平均均方根误差(RMSE) 分别降低了2.958、0.822和0.078,修复 的主观质量也有所提高。     

基于中心凹恰可觉察失真模型的多视点深度视频编码方法

针对深度视频压缩中存在的大量视觉冗余,提出了一种基于中心凹恰可觉察失真(FJND)模型的深度视频编码方法。首先通过左右通道的彩色和深度视频绘制虚拟视点图像,并利用FJND模型得到虚拟视点图像的FJND,然后根据深度视频中几何偏移和深度值失真之间的关系确定深度视频左通道的可允许失真,将深度视频左通道分区域采用自适应量化参数进行编码,并对右通道的深度视频根据与左通道量化参数的关系进行编码。实验结果表明,本文方法在相同码率下,虚拟视点图像质量平均提高0.48dB;在相同虚拟视点图像的绘制质量下,深度视频编码码率平均减少26%。     

基于显著特征的HEVC帧内率失真优化

引入感知因素的RDO算法和感知编码可以提高编码视频主观质量,但也产生了明显的率失真性能损失。针对上述问题,提出了一种基于显著特征的 RDO 方法。首先探索了 HEVC 编码树单元的码率分布和显著特征之间的相关性,提出显著码率先验模型并确定了模型的初始参数;然后建立了码率差异最小化的率失真代价模型,并根据该模型推导得到自适应拉格朗日乘子计算方法;最后设计了模型参数更新规则。实验结果表明,算法在率失真性能基本不变的情况下,提高了视频的主观质量。