用户多维感知的3D图像体验质量评价

目的 符合用户视觉特性的3维图像体验质量评价方法有助于准确、客观地体现用户观看3D图像或视频时的视觉感知体验,从而给优化3维内容提供一定的思路。现有的评价方法仅从图像失真、深度感知和视觉舒适度中的一个维度或两个维度出发对立体图像进行评价,评价结果的准确性有待进一步提升。为了更加全面和准确地评价3D图像的视觉感知体验,提出了一种用户多维感知的3D图像体验质量评价算法。方法 首先对左右图像的差异图像和融合图像提取自然场景统计参数表示失真特征;然后对深度图像提取敏感区域,对敏感区域绘制失真前后深度变换直方图,统计深度变化情况以及利用尺度不变特征变换（SIFT）关键点匹配算法计算匹配点数目,两者共同表示深度感知特征;接下来对视觉显著区域提取视差均值、幅值表示舒适度特征;最后综合考虑图像失真、深度感知和视觉舒适度3个维度特征,将3个维度特征归一化后联合成体验质量特征向量,采用支持向量回归（SVR）训练评价模型,并得到最终的体验质量得分。结果 在LIVE和Waterloo IVC数据库上的实验结果表明,所提出的方法与人们的主观感知的相关性达到了0.942和0.858。结论 该方法充分利用了立体图像的特性,评价结果优于比较的几种经典算法,所构建模型的评价结果与用户的主观体验有更好的一致性。     

面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

相位一致性指导的全参考全景图像质量评价

目的 全景图像的质量评价和传输、处理过程并不是在同一个空间进行的,传统的评价算法无法准确地反映用户在观察球面场景时产生的真实感受,针对观察空间与处理空间不一致的问题,本文提出一种基于相位一致性的全参考全景图像质量评价模型。方法 将平面图像进行全景加权,使得平面上的特征能准确反映球面空间质量畸变。采用相位一致性互信息的相似度获取参考图像和失真图像的结构相似度。接着,利用相位一致性局部熵的相似度反映参考图像和失真图像的纹理相似度。将两部分相似度融合可得全景图像的客观质量分数。结果 实验在全景质量评价数据集OIQA（omnidirectional image quality assessment）上进行,在原始图像中引入4种不同类型的失真,将提出的算法与6种主流算法进行性能对比,比较了基于相位信息的一致性互信息和一致性局部熵,以及评价标准依据4项指标。实验结果表明,相比于现有的6种全景图像质量评估算法,该算法在PLCC（Pearson linear correlation coefficient）和SRCC（Spearman rank order correlation coefficient）指标上比WS-SSIM（weighted-to-spherically-uniform structural similarity）算法高出0.4左右,并且在RMSE（root of mean square error）上低0.9左右,4项指标最优,能够获得更好的拟合效果。结论 本文算法解决了观察空间和映射空间不一致的问题,并且融合了基于人眼感知的多尺度互信息相似度和局部熵相似度,获得与人眼感知更为一致的客观分数,评价效果更为准确,更加符合人眼视觉特征。     

融合视觉感知特性的HEVC率失真优化

目的 高效视频编码(HEVC)采用率失真优化技术选择最佳的编码参数,实现编码比特率和视频图像失真之间的平衡。失真度量通常采用均方误差和绝对误差和,这些方法并没有考虑人眼的主观感受。为了提高视频编码的主观感知质量,提出一个融合视觉感知特性的率失真优化算法,并应用于帧间率失真优化过程中。方法 首先定义了一个视觉感知因子,该因子考虑了人类视觉系统对视频图像的空域活动性区域、纹理区域、时域运动性区域和亮度的感知特性,然后以编码树单元为单位对拉格朗日乘子进行自适应调整,最后根据拉格朗日乘子与量化参数之间的关系,对量化参数做进一步的修正。结果 与HEVC参考软件相比,本文算法明显提高了率失真性能,对于相同的结构相似度(SSIM)分值,本文算法在随机访问和低延时配置下平均分别节省3.1%,4.9%的码率,最高能节省9.0%的码率。与代表性文献算法相比,对于相同的SSIM,本文算法在随机访问和低延时配置下平均分别增加了0.7%,2.2%的码率节省。结论 本文率失真优化策略能够根据图像不同的视觉特性自适应的调整率失真优化过程中的拉格朗日乘子,在保持编码质量基本不变的情况下,节省了码率,提高了HEVC的编码性能。     

双流网络的水下视频客观质量评价模型

水下拍摄的视频存在质量退化效应。一方面,光线在水中传播时呈指数衰减导致水下视频质量损失;另一方面,水下复杂拍摄环境（例如水流等）造成视频的不稳定性。为此,综合考虑水下视频时空特征和运动特征对视频质量的影响,提出一种针对水下场景的客观无参考视频质量评价模型（TS-UVQA）。TS-UVQA采用双流网络结构：设计了由三维卷积、自适应正则化和慢融合策略组成的时空特征提取网络（Spatial-temporal Net）,从视频原始帧中学习时空特征;设计了由二维卷积层和自适应正则化堆叠的运动特征提取网络（Motion Net）,从光流场块中学习水下视频的相关运动特征;使用决策级融合实现高精度的水下视频质量评价。以模型的视频质量评价结果与主观质量分数的皮尔森线性相关系数（PLCC）和斯皮尔曼秩序相关系数（SROCC）为指标,通过实验验证了TS-UVQA中运动网络对于水下视频质量评价的性能提升效果,同时与13种图像和视频客观质量评价方法相比,在水下视频数据集上取得最佳性能。此外,TS-UVQA在3个自然场景视频数据集（ECVQ、EVVQ、LIVE）也取得了与最先进方法接近的相关系数,表明方法具有良好...     

边缘加强的超高清视频质量评估

目的 随着网络和电视技术的飞速发展,观看4 K(3840×2160像素)超高清视频成为趋势。然而,由于超高清视频分辨率高、边缘与细节信息丰富、数据量巨大,在采集、压缩、传输和存储的过程中更容易引入失真。因此,超高清视频质量评估成为当今广播电视技术的重要研究内容。本文提出了一种边缘加强的超高清视频质量评估方法。方法 对输入视频的每一帧进行拆分处理,利用边缘检测算子对R、G、B三通道的图像分别进行边缘检测,合并R、G、B三通道的边缘信息得到视频帧的边缘图像。设计边缘掩蔽、内容依赖和时域记忆3个网络模块分别提取相应的特征,将特征输入到全连接层中进行降维处理后获得质量特征,基于质量特征计算输入视频的视频质量分数。由于超高清视频具有丰富的边缘,边缘细节清晰度极高,因此在边缘处引入的失真通常较为明显,而本文提出的边缘加强方法特别适用超高清视频的质量评估。同时由于提出的方法引入了内容依赖和时域迟滞特性,因此也同时适用其他野生视频的质量评估。结果 实验在包括超高清在内的4个视频质量评估数据集上进行,与5种主流方法进行比较,结果表明提出的方法性能优越。在KoNViD-1K、DVL2021、LIVE-Qualcomm、LSVQ据集上,与当前性能最好的方法相比,SROCC(Spearman rank-order correlation coefficient)指标分别提升了3.9%、4.2%、10.0%和0.6%,PLCC(Pearson’s linear correlation coefficient)指标分别提升了3.9%、2.2%、10.1%和0.1%。结论 本文方法结合超高清视频的特点,更好地拟合了人眼视觉特性,获得了当前最好的性能;同时由于未使用光流方法,大幅减少了计算量,获得了很好的泛化能力。     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

结合恰可察觉编码失真模型的HEVC大容量信息隐藏方法

目的 数字视频通常经过压缩后传输,结合视频编码标准嵌入秘密信息是视频信息隐藏的主流技术。然而,现有基于HEVC（high-efficiency video coding）的视频信息隐藏技术存在码率增长过快、视频质量下降等问题。针对以上问题,提出结合恰可察觉编码失真模型（JNCD）的HEVC大容量信息隐藏方法。方法 JNCD模型是一种面向HEVC视频编码的视觉感知模型。该模型充分考虑编码过程的模糊和块效应,有效去除视频感知冗余,在相同码率下可获得更高的主观感知质量。结合JNCD模型,调节I帧中编码单元（CU）的最优量化参数（QP）值,并利用基于方向调整（EMD）算法嵌入秘密信息,进一步增加信息隐藏容量。为了提高信息的安全性,用密钥对秘密信息进行置乱加密处理,在解码端只有持有该密钥的用户才能正确解密,获得秘密信息。结果 实验使用HEVC参考软件HM16.0,选取分辨率不同的序列进行测试。结果表明,秘密信息嵌入后,视频测试序列的PSNR平均值为41.16 dB,与现有的信息隐藏方法相比,不仅保持较好的主观和客观视频质量,而且信息隐藏容量平均提升2倍左右。结论 采用本方法在保证原视频图像的质量的情况下,能够有效增加信息隐藏的容量,并能够一定程度阻止码率增长,符合信息隐藏的不可见性、安全性和实时性要求。     

基于纹理和亮度感知特性的率失真优化策略

率失真优化(RDO)策略在视频编码体系中对编码效率有着重要影响。当前主流的率失真优化策略以MSE或类似的方法描述失真,不能很好反映人眼的主观感受。为了提高视频编码的主观感知质量,首先建立一种新的感知失真模型。该模型利用人眼对纹理和亮度的敏感特性,使评价结果能够更好地反映主观质量。在此基础上,提出一种基于纹理和亮度感知特性的率失真优化策略,简称TL-RDO(texture and luminance based RDO)策略。该策略对不同的区域自适应地调整拉格朗日乘子,使得编码结果更好地符合人眼的观察特性。实验结果表明,TL-RDO相比现有最常用的QP-RDO方法,编码效率显著提高;与一些典型的基于感知失真特性的率失真优化策略相比,TL-RDO策略计算复杂度较低,适合于实时编码系统。     

一种基于人眼视觉特性的视频质量评价算法

为了更好地提高视频编码效率与视频处理的性能,考虑人眼对不同内容的感知特性和掩蔽效应,以及时域人眼视觉特性,提出一种基于人眼视觉特性的视频客观质量评价算法.首先利用三维Sobel矩阵提取时空特性划分区域,并结合恰可察觉失真视觉阈值与绝对差值图来提取感兴趣区域;然后对感兴趣区域进行感知加权,并利用线性加权进行空间域融合;最后结合时域人眼视觉特性,利用低通函数模拟人眼的不对称感知,并通过最差情况加权策略得到视频序列客观质量评价值.在LIVE视频质量数据库上的实验结果表明,该质量评价算法具有较好的评价性能,更接近于主观测试结果.     

视频质量客观评估方法分析

文章简单介绍了视频监控系统的应用,指出了视频质量主观评估的缺点,并按不同的分类分析了常用的视频质量客观评估方法,在此基础上探索了一种视频质量无参评客观估方法的思路。     

采用内容划分方法的视频质量评价

目前基于结构相似性的图像质量评价算法均是对图像进行整体质量分析,但图像中不同的区域存在着不同的结构特性和视觉感知特性,而对图像进行整体质量分析无法有效反应出这些差异。鉴于此,提出了一种基于内容划分的结构相似性图像质量评价算法,根据图像不同区域的变化率将图像分为4个部分,分别进行质量评价。采用运动估计的帧加权的方式将该方法扩展到视频质量评价中。实验证明了该算法与目前比较流行的几个算法相比具有较高的评价准确性。     

视频大数据研究综述

科学技术与生产力的发展带来了数据量的高速增长,其中视频图像等多媒体数据占了很大的比重。如何高效处理这些海量数据并从中快速挖掘有价值的信息是当前的研究热点。通常大数据具有四个特点,即数据量大、需要快速响应、数据类型多样和价值密度低。视频大数据同样具有以上特点,但其特殊性在于数据冗余更大,需要进行高效的压缩编码与分析处理。总的来说,视频大数据的研究内容包括了视频数据表示、智能视频分析、视频压缩与传输、视频显示与评价等方面。在发展趋势上,视频数据的表示将向真实感与智能化两个方向发展;智能视频分析技术将会借助深度神经网络获得更准确的识别分类结果;视频压缩技术在提升压缩效率的同时也会探索降低编码复杂度的方法,并通过结合人眼视觉感知特性的编码算法来减少视频大数据的视觉冗余;视频显示设备将伴随着视频数据表示形式的改变而进行相应的升级换代;视频质量的评价准则将由单一的图像质量评价向更加综合全面的用户体验质量评价发展。     

一种视频质量智能检测系统的研究

目前的视频监控系统对于摄像头的维护还是主要依靠人工巡查的方式检测摄像头画面质量,工作量大,工作效率低。本文提出了一种视频质量智能检测系统,对视频图像出现的雪花、滚屏、模糊、偏色、画面冻结、增益失衡、云台失控、视频信号丢失等等多种摄像头故障、视频信号干扰、视频质量下降进行准确分析、判断和报警。     

基于内容划分和运动补偿的视频质量评价

目前基于结构相似性的图像质量评价算法均是对图像进行整体质量分析,但人类视觉系统对图像中不同部分的敏感程度不同,而对图像进行整体质量分析无法有效反映出这些差异。鉴于此,提出了一种基于内容划分的图像质量评价算法,根据图像不同区域的梯度将图像分为四个部分,分别进行质量评价。之后,采用基于运动补偿的帧加权方式将上述方法扩展为视频质量评价。实验证明,所述算法与目前比较流行的几个算法相比具有较高的评价准确性。     

Perceptual quality assessment of nighttime video

The quality of nighttime videos is important for consumer photography and monitoring of video clearness. However, little work has been done on the study of nighttime video quality assessment. In this paper, to the best of our knowledge, we explore the study on the nighttime video quality assessment for the first time. First, we build a real-world nighttime video quality assessment database (NVQA) containing 200 videos with abundant content and diverse distortion. Additionally, we carry out subjective tests to rate all nighttime videos in the NVQA database. Thereafter, we proposed a blind nighttime video quality assessment model based on feature fusion and conducted experiments to evaluate the performance and efficiency of our proposed model. The experiment results demonstrate that our model outperforms most traditional methods.     

三网融合下基于压缩感知的半参考视频质量评估方法研究

针对三网融合条件下的视频质量模型、评估体系和设计方案, 提出了一种基于压缩感知的半参考视频质量评估方法。该算法首先建立视频质量模型, 并通过压缩感知算法获取视频图像的感知系数; 然后利用视频图像的稀疏边缘分布去表征不同图像失真模型的相关性; 最后利用一个信息距离测度测量这些概率分布并进行量化。在标准测试图像库上的实验验证了该算法的有效性和对于不同失真模型的适应性, 特别是更适合于运营商在多屏、多制式、多终端、多分工界面等特点的三网融合复杂环境下的应用。     

基于Agent技术的个性化网络视频选择模型

随着数字视频压缩技术的迅速发展,互联网视频资源日益丰富,图象质量也千差万别,从视频质量的角度,选择最适合客户的资源,是我们关心的问题。Agent是一种新的分布式计算方式,是分布式人工智能中的重要技术。文章将Agent与视频质量评估结合,提出基于Agent技术的个性化网络视频选择模型。     

基于视觉感兴趣区的视频质量评价方法

针对基于边缘结构失真的图像质量测量方法不能很好地应用在视频领域和对HVS考虑不充分的缺陷,提出一种基于视觉感兴趣区的视频质量评价方法,包括考虑HVS特性、场景结构信息和运动信息。实验结果证明,该方法在压缩、模糊方面明显好于PSNR,MSSIM和ESSIM的评价方法。     

VR全景视频传输研究进展

VR全景视频作为一种沉浸式虚拟现实技术,其高分辨率及低延迟的严格要求为视频传输带来了严峻挑战。全景视频传输在全景视频的系统构建中起到了关键作用,并与其他重要技术紧密衔接。为了分析全景视频传输的研究现状和发展趋势,首先对映射格式、视频编码、质量评估等全景视频传输相关技术进行阐述,从不同视角对相关研究领域和方法进行分类归纳。而后详细探讨了全景视频传输技术的传输协议、三类主要传输方法及视口预测,并对各部分梳理了一些比较具有代表性的研究方法。最后就关键性技术对全景视频传输的未来研究进行展望,旨在为研究人员快速全面了解该领域提供帮助。