一种基于人眼视觉特性的高效视频编码优化方法

基于HEVC(High Efficiency Video Coding)新的编码结构,本文提出了一种基于视觉特性的率失真优化方法。首先基于分歧归一化与量化之间的关系,提出了一种适合HEVC编码结构的视觉因子的计算方法,并提出使用非线性模型对视觉因子进行缩放,进而用于对量化参数的调整。其次,基于视觉因子和HEVC的四叉树结构,提出一种基于视觉特性的率失真代价模型用于模式决策,以提升视频编码的主观性能。实验结果表明,本文算法可以有效提升重构视频的主观质量,在RA和LDP配置下,平均主观性能提升为7.21%和11.46%。     

一种基于人眼视觉特性的视频质量评价算法

为了更好地提高视频编码效率与视频处理的性能,考虑人眼对不同内容的感知特性和掩蔽效应,以及时域人眼视觉特性,提出一种基于人眼视觉特性的视频客观质量评价算法.首先利用三维Sobel矩阵提取时空特性划分区域,并结合恰可察觉失真视觉阈值与绝对差值图来提取感兴趣区域;然后对感兴趣区域进行感知加权,并利用线性加权进行空间域融合;最后结合时域人眼视觉特性,利用低通函数模拟人眼的不对称感知,并通过最差情况加权策略得到视频序列客观质量评价值.在LIVE视频质量数据库上的实验结果表明,该质量评价算法具有较好的评价性能,更接近于主观测试结果.     

基于视觉注意力变化的网络丢包视频质量评估

针对网络中受丢包损伤的视频提出了一种基于视觉注意力变化的全参考客观质量评估方法.该方法基于视觉显著性检测在视频数据上的应用,考察受网络丢包失真影响的视频数据与标准参考数据在空间和时间上引起的视觉注意力变化,并根据此变化相应的视觉显著性在空间和时间上的差异,提出了一组客观质量评估方法.文中采用17个受丢包损伤的视频数据进行测试,并实施了主观评价实验作为评价标准.与传统的没有考虑人眼视觉显著特性的质量评估方法,以及目前主流的基于视觉显著区域/感兴趣区域对失真像素进行加权的方法进行对比,实验结果表明, 基于视觉注意力变化的方法较后两者与主观质量评估结果有更好的相关性, 能够更有效地评估丢包损伤视频的质量.     

基于3D卷积神经网络的无参考视频质量评价

无参考视频质量评价（NR-VQA)在无法获得原始高质量视频参照的前提下,对失真视频的视觉质量进行定量度量.常规NR-VQA方法通常针对特定失真类型设计,或者与人的主观感受存在偏差.首次将3D深度卷积神经网络（3D-CNN)引入到了视频质量评价中,提出了一种基于3D-CNN的无参考视频质量评价方法,可以适用于非特定失真类型的NR-VQA.首先,通过3D块来有效学习和表征视频内容的时空特征.其次,对常规的3D卷积网络模型进行改进,使其适用于视频质量评价的任务.实验结果表明,所提出的方法在多种失真类型和多个测试指标上,与人的主观感知一致性较高.作为无参考视频质量评价方法,其性能与许多全参考评价方法具有可比性,同时比主流的NR-VQA方法具有更快的运行速度,这使得所提模型在实际中具有更好的应用前景.     

改进的低比特率压缩视频的块失真检测算法

在多媒体通信系统的研究中,实时的视频质量检测在信道估计和编解码器优化中起着重要作用.然而大多数被提议的视频质量评估方法需要参考序列,在实时多媒体通信中往往是不可能实现的.为实现实时性测量,提出了低比特率压缩视频的块失真检测方法.结合人类视觉系统(HVS)特点,算法简单,不需要原始参考视频,并且可有效避免解码器解码时,后滤波对失真检测带来的影响.通过对标准视频序列的仿真实验,证明算法可有效检测不同压缩视频的块失真状况,并且更接近人类主观感受,可以用来进行无参考的视频质量评估和监测各种视频系统传输信道的实时性能.     

基于增强对象的监控视频编码算法

针对视频监控系统中的视频压缩问题,提出一种基于对象的监控视频编码算法,采用主观视觉质量而不是传统的峰值信噪比作为重建图像评价指标以满足监控视频的特定要求,对监控区域进行可控增强以提高视觉效果。实验结果表明,与H.264相比,该算法能以较低的复杂度实现重建视频中监控对象更高的主观质量,同时具有较高的压缩效率。     

基于深度的3D视频质量评价

针对3D视频质量评价,基于人眼视觉系统HVS提出了一种新的加权SSIM评测方法.利用MVD深度视图空间和时间上的特性,提取主观权值映射,基于SSIM利用权值映射使得到了基于深度的SSIM加权算法DSSIM.实验结果表明,DSSIM比PSNR更趋近于HVS,比SSIM更充分地考虑了3D结构信息,得到更准确的3D视频质量评价.     

基于改进四元傅里叶变换的显著性检测及其视频编码应用

针对基于感兴趣区域的有损视频压缩在低码率编码条件下容易产生明显的编码人工痕迹,提出一种基于注意力权重矩阵的四元傅里叶变换的视觉显著性视频编码模型。该方法引入人眼视觉注意力权重矩阵对不同区域图像四元数予以加权,该四元数由图像的亮度、色度和运动特征组成。图像视觉显著图可由其四元数特征的四元傅里叶相位谱获取。结合中心凹恰可觉察失真(FJND)模型将其应用于基于感兴趣区域视频编码,可提高视频编码质量。与五种流行的显著性检测算法在两个大型眼动跟踪数据库上进行对比实验,结果表明提出的算法显著性检测精度明显高于对比算法。此外,与最新的基于显著性视频编码方法在10段标准视频上进行编码视频的主观质量对比,该方法能提高低码率编码视频的主观视觉质量,且优于对比算法。     

基于纹理合成和视觉显著度的视频编码方法

针对现有基于纹理分析合成的视频编码方法难以对纹理实现自动分割的问题,提出基于纹理合成和视觉显著度的视频编码方法,将编码可移除的纹理宏块定义为宏块内图像信息包含在周围宏块中的宏块,被移除宏块移除后,能够使用周围宏块信息进行重建,同时,为了保证重建图像的主观质量,对视觉显著的图像区域,强制地不被标记为纹理移除块。在解码端,采用了全局运动补偿和纹理优化的组合方式对纹理移除宏块进行重建,以确保连续帧之间的纹理时空一致性。与H.264/AVC编码方法相比,在相同主观质量的情况下,本编码方法能够降低码率5%到20%,与Njiki-Nya Patrick等人提出的基于纹理分析合成的编码方法相比,本编码方法不但能够实现自动的纹理提取,在低码率端,编码效率提高一倍以上。     

显著度和运动特性加权的视频质量评价方法

进行客观视频质量评价时,为了与主观评价结果尽可能一致,需要考虑视频的动态特性和人眼观看的视觉特性,因此本文提出一种基于显著区域和运动特性加权的视频质量评价方法。该评价指标基于传统的结构相似性指数(Structural similarity index measurement, SSIM)方法并在此基础上作了改进。首先通过频谱分析得到空域显著度,通过视觉注意模型并结合运动特性获取时域显著度,并根据时、空显著度动态融合得到帧级显著度。以帧级显著度加权SSIM指数,便可得到整个视频帧的质量评价指标。在LIVE VQA标准数据集上的实验结果表明,该评价指标更加接近于人眼对视频质量的主观评价值。     

虚拟实景空间系统HVS的研究与实现

虚拟实景空间系统HVS由计算机自动拼接、变形与组织许多幅离散的实景图象或连续的视频,生成虚拟空间。这种虚拟空间具有照片质量的视觉效果,称为虚拟实景空间。虚拟实景空间能为用户提供前进、后退、仰视、俯视、360度环境、近看、远看等漫游能力,可运行于PC平台。HVS是虚拟实景空间的生成与漫游平台。将介绍它的模型、组成与实现。     

基于熵模型的高透明性自适应视频水印算法

提出一种基于视频运动估计熵模型的自适应视频水印算法.该算法将人类视觉系统(human visual system,简称HVS)与视频分块运动估计(block motion estimation of video)相结合,获取视频序列帧中与运动相关的视频运动信息,然后利用熵模型对视频序列帧中的运动信息进行统计,从而得到一组基于视频序列帧间运动信息与人类视觉屏蔽特性相结合的非线性计算公式.利用该组计算公式,可以根据视频帧的内容自适应地计算每个方块的水印最大嵌入强度.实验结果表明,熵模型与非线性公式的引入较大幅度地提高了视频水印的透明性,并且能够有效地抵抗常见的针对视频水印的攻击,具有较高的安全性和鲁棒性.     

基于熵模型的高透明性自适应视频水印算法

提出一种基于视频运动估计熵模型的自适应视频水印算法.该算法将人类视觉系统(human visual system,简称HVS)与视频分块运动估计(block motion estimation of video)相结合,获取视频序列帧中与运动相关的视频运动信息,然后利用熵模型对视频序列帧中的运动信息进行统计,从而得到一组基于视频序列帧间运动信息与人类视觉屏蔽特性相结合的非线性计算公式.利用该组计算公式,可以根据视频帧的内容自适应地计算每个方块的水印最大嵌入强度.实验结果表明,熵模型与非线性公式的引入较大幅度地提高了视频水印的透明性,并且能够有效地抵抗常见的针对视频水印的攻击,具有较高的安全性和鲁棒性.     

基于视觉感兴趣区的视频质量评价方法

针对基于边缘结构失真的图像质量测量方法不能很好地应用在视频领域和对HVS考虑不充分的缺陷,提出一种基于视觉感兴趣区的视频质量评价方法,包括考虑HVS特性、场景结构信息和运动信息。实验结果证明,该方法在压缩、模糊方面明显好于PSNR,MSSIM和ESSIM的评价方法。     

Foveated mean squared error—a novel video quality metric

Efficiency of a video coding process, as well as accuracy of an objective video quality evaluation can be significantly improved by introduction of the human visual system (HVS) characteristics. In this paper we analyze one of these characteristics; namely, visual acuity reduction due to the foveated vision and object movements in a video sequence. We propose a new video quality metric called Foveated Mean Squared Error (FMSE) that takes into account a variable resolution of the HVS across the visual field. The highest visual acuity is at the point of fixation that falls into fovea, an area at retina with the highest density of photoreceptors. Visual acuity decreases rapidly for image regions which are further with respect to the fixation point. FMSE also utilizes the effect of additional spatial acuity reduction due to motion in a video sequence. The quality measures calculated by FMSE have shown a high correlation with experimental results obtained by subjective video quality assessment.     

HVS：一种基于实景图象的虚拟现实系统

大多数的虚拟现实比试在于计算机图形技术,先由多边形构造虚拟场景的三维几何模型,再由计算机根据用户的观察点和观察方向实时绘制出用户所看到的虚拟场景,ＨＶＳ 另一种思路,由计算机自动拉接、变形与组织许多幅度散的实景图象或连续视频,生成虚拟场景,这种虚拟场人有照片质量的视觉效果,被我们称为虚拟实景空间,虚拟实时空间能为用户提供、后退、仰视、俯视、３６０度环境、近看、远看等漫游能力,运行它不需要高性能的图     

Bottom-up spatiotemporal visual attention model for video analysis

The human visual system (HVS) has the ability to fixate quickly on the most informative (salient) regions of a scene and therefore reducing the inherent visual uncertainty. Computational visual attention (VA) schemes have been proposed to account for this important characteristic of the HVS. A video analysis framework based on a spatiotemporal VA model is presented. A novel scheme has been proposed for generating saliency in video sequences by taking into account both the spatial extent and dynamic evolution of regions. To achieve this goal, a common, image-oriented computational model of saliency-based visual attention is extended to handle spatiotemporal analysis of video in a volumetric framework. The main claim is that attention acts as an efficient preprocessing step to obtain a compact representation of the visual content in the form of salient events/objects. The model has been implemented, and qualitative as well as quantitative examples illustrating its performance are shown.     

Robust HDR video watermarking method based on the HVS model and T-QR

Multimedia Tools and Applications - In order to protect the copyright of the high dynamic range (HDR) video, a robust HDR video watermarking method based on the human visual system (HVS) model and...     

虚拟实景空间系统HVS的研究与实现

虚拟实景空间系统ＨＶＳ由计算机自动拼接,变形与组织许多幅离散的实景图像或连续的视频,生成虚拟空间。这种虚拟空间具有照片质量的视觉效果,称为虚拟实景空间。虑拟实景空间能为用户提供前进,后退,仰视,俯视,３６０度环视,近看,远看等漫游能力,可运行于ＰＣ平台,ＨＶＳ是虚拟实景空间的生成与漫游平台。将介绍它的模型,组成与实现。     

基于3维立体技术的视觉加密

视觉加密是新的加密研究领域,其优点是利用人眼视觉系统的特性直接对被加密的内容进行解码,而不需要用专用软件或硬件进行复杂的解密计算。近年来,由于自动立体显示技术和立体眼镜技术的发展,使得3维显示的应用日趋广泛,而传统的视觉加密方法在3维视频领域内尚无法取得令人满意的效果,因此3维立体视觉加密研究具有重要意义。为了更有效地对3维视频进行加密,利用3维显示的原理和特点,将其与视觉加密的优点相结合,提出了一种3维立体视觉加密新方法,该方法利用人眼视觉特性中的视差特性将隐藏信息巧妙地隐藏在右视图中,实验结果表明,该方法是有效的。