基于改进四元傅里叶变换的显著性检测及其视频编码应用

针对基于感兴趣区域的有损视频压缩在低码率编码条件下容易产生明显的编码人工痕迹,提出一种基于注意力权重矩阵的四元傅里叶变换的视觉显著性视频编码模型。该方法引入人眼视觉注意力权重矩阵对不同区域图像四元数予以加权,该四元数由图像的亮度、色度和运动特征组成。图像视觉显著图可由其四元数特征的四元傅里叶相位谱获取。结合中心凹恰可觉察失真(FJND)模型将其应用于基于感兴趣区域视频编码,可提高视频编码质量。与五种流行的显著性检测算法在两个大型眼动跟踪数据库上进行对比实验,结果表明提出的算法显著性检测精度明显高于对比算法。此外,与最新的基于显著性视频编码方法在10段标准视频上进行编码视频的主观质量对比,该方法能提高低码率编码视频的主观视觉质量,且优于对比算法。     

基于线性回归分析的部分参考视频质量评估方法*

提出了一种基于线性回归分析的部分参考视频序列质量评估算法。该算法主要以原始视频的帧间差异作为参考信息,通过分析编码前后视频时域活动性的变化和单帧比特数的变化关系来客观评价视频序列的编码质量。该方法只需少量原始参考信息,算法简单。通过对标准视频序列的仿真实验,该算法可有效评价不同视频的编码质量,使用该质量评估方法测得的失真视频客观质量评分与其主观质量评分有较好的一致性。     

一种运动矢量和DCT 融合的无参考视频质量评价模型

网络丢包引发的视频失真是网络视频流媒体服务质量评价的研究重点。 网络丢包引发的人眼视觉感受与丢包所在帧类型、视频帧的运动剧烈状态和纹理丰富程度有 着显著关联,提出了一种运动矢量和DCT 融合的无参考视频质量评价模型,以发生丢包的 宏块为基本研究对象,以运动矢量表征其运动剧烈程度,以DCT 直流系数刻画其纹理丰富 程度,无需获取原始视频任何信息,无需完全解码,关联运动矢量和DCT 完成视频质量的 客观评价。实验结果表明,该模型的评价结果与主观评价结果有较好的一致性。     

基于深度学习的视频质量评价研究综述

视频质量评价(VQA)是以人眼的主观质量评估结果为依据,使用算法模型对失真视频进行评估.传统的评估方法难以做到主观评价结果与客观评价结果相一致.基于深度学习的视频质量评价方法无需加入手工特征,通过模型自主学习即可进行评估,对视频质量的监控和评价有重要意义,已成为计算机视觉领域的研究热点之一.首先对视频质量评价的研究背景...     

一种基于人眼视觉特性的视频质量评价算法

为了更好地提高视频编码效率与视频处理的性能,考虑人眼对不同内容的感知特性和掩蔽效应,以及时域人眼视觉特性,提出一种基于人眼视觉特性的视频客观质量评价算法.首先利用三维Sobel矩阵提取时空特性划分区域,并结合恰可察觉失真视觉阈值与绝对差值图来提取感兴趣区域;然后对感兴趣区域进行感知加权,并利用线性加权进行空间域融合;最后结合时域人眼视觉特性,利用低通函数模拟人眼的不对称感知,并通过最差情况加权策略得到视频序列客观质量评价值.在LIVE视频质量数据库上的实验结果表明,该质量评价算法具有较好的评价性能,更接近于主观测试结果.     

基于视觉显著性的多视点纹理视频编码算法

针对多视点视频的压缩问题,提出一种基于视觉显著性分析的编码算法。该算法根据人眼对显著性区域的失真更加敏感这一特性,通过控制显著性区域与非显著性区域的编码质量来有效提高多视点视频编码的效率。首先,利用融合颜色与运动信息的视频显著性滤波器提取出多视点视频图像像素级精度的视觉显著性图;然后,将所有视点视频的视觉显著性图转换为编码宏块的显著性表示;最后,利用感知视频编码的原理实现基于显著性的宏块质量自适应控制。实验结果表明,该算法有效地提高了多视点视频编码的率失真效率及主观视频质量。     

基于几何结构失真模型的图像质量评价研究

客观图像质量评价研究的目的是设计一种和视觉感知保持一致,且适用于各种失真模型的质量评价方法. 传统的结构相似度量质量评价方法忽视了自然图像本身的特点,不能很好地评判某些失真类型图像. 本文根据人眼视觉系统(Human visual system, HVS)在感知图像质量过程中的特点,探索自然图像的本征几何结构特征, 考虑像素点的方向失真、幅度失真和方差失真,提出了一种新型的基于图像几何结构失真模型的完全参考质量评价方法. 在标准数据库上的实验结果表明,本文方法适用于所有失真模型图像数据的质量评价, 计算复杂度相对较低,得到的图像客观评价结果和主观评价方法具有更好的一致性, 能够很好地反映人眼对图像质量的主观感受.     

基于网络丢包的网络视频质量评估

针对传统的视频质量评估模型对于在包交换网络中传输的压缩视频（网络视频）进行质量评估的局限性,如对视频质量进行评估时实时性差、没考虑人眼的视觉感知等问题,提出了一种基于网络丢包的网络视频质量评估模型。该模型采用了统计学理论,它可根据视频编码、封装传输的特点,通过可量化的评价指标来评定视频质量受网络丢包的影响程度,以评估网络视频质量。利用该模型进行网络视频质量评估,不仅资源开销小、实时性好,而且特别适合对实时传输的视频流进行视频质量评估。为了验证该模型的正确性与可靠性,采用它与MPQM模型分别对受系列丢包率影响的视频序列进行了评估实验。实验结果表明,该模型的评价结果能较好地吻合MPQM模型的评价结果,且符合人眼的视觉效果。     

改进的低比特率压缩视频的块失真检测算法

在多媒体通信系统的研究中,实时的视频质量检测在信道估计和编解码器优化中起着重要作用.然而大多数被提议的视频质量评估方法需要参考序列,在实时多媒体通信中往往是不可能实现的.为实现实时性测量,提出了低比特率压缩视频的块失真检测方法.结合人类视觉系统(HVS)特点,算法简单,不需要原始参考视频,并且可有效避免解码器解码时,后滤波对失真检测带来的影响.通过对标准视频序列的仿真实验,证明算法可有效检测不同压缩视频的块失真状况,并且更接近人类主观感受,可以用来进行无参考的视频质量评估和监测各种视频系统传输信道的实时性能.     

视频质量评价方法综述

论述了视频质量的主观和客观评价方法,重点阐述了视频质量的客观评价方法.对目前常用的视频质量客观评价指标峰值信噪比和均方误差进行了分析,并指出其存在的问题;将客观评价方法归结为基于人眼视觉系统生理特征和基于结构失真的两大类,并结合仿真实验予以评述;最后对视频质量评价技术的发展进行了预测和展望.     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

尺度自适应的SAR图像显著性检测方法

人类视觉系统能够通过对场景中感兴趣的不同事物进行显著性检测,有效地配置处理资源。基于视觉注意机制的显著性检测方法能够简化遥感影像场景分析、目标解译的复杂程度,节省处理资源。以视觉注意机制为基础,提出了一种尺度自适应的SAR图像显著性检测方法,通过不同尺度下的局部复杂度和自差异性来度量图像的显著性测度,设计显著性尺度确定算法以及融合显著性尺度和显著性测度以生成显著图,完成显著性检测的流程。实验结果表明该方法能够有效应用于SAR图像显著性检测,较之其他主流显著区域检测算法更适用于SAR图像场景分析。     

Video image assessment with a distortion-weighing spatiotemporal visual attention model

For the purpose of extracting attention regions from distorted videos, a distortion-weighing spatiotemporal visual attention model is proposed. On the impact of spatial and temporal saliency maps, visual attention regions are acquired directed in a bottom-up manner. Meanwhile, the blocking artifact saliency map is detected according to intensity gradient features. An attention selection is applied to identify one of visual attention regions with more relatively serious blocking artifact as the Focus of Attention (FOA) directed in a top-down manner. Experimental results show that the proposed model can not only accurately analyze the spatiotemporal saliency based on the intensity, the texture, and the motion features, but also able to estimate the blocking artifact of distortions in comparing with Walther’s and You’s models.     

Attention-based high dynamic range imaging

Many tone mapping algorithms have been proposed based on the studies in Human Visual System; however, they rarely addressed the effects of attention to contrast response. As attention plays an important role in human visual system, we proposed a local tone mapping method that respects both attention and adaptation effects. We adopt the High Dynamic Range (HDR) saliency map to compute an attention map, which predicts the attentive regions and nonattentative regions in an HDR image. The attention map is then used to locally adjust the contrast of the HDR image according to attention and adaptation models found in psychophysics. We applied our tone mapping approach to HDR images and videos and compared with the results generated by three state-of-the-art tone mapping algorithms. Our experiments show that our approach produces results with better image quality in terms of preserving details and chromaticity of visual saliency.     

多特征融合的图像质量评价方法

为了规避图像质量评价中的视觉特征和池化策略难以选取和解释的问题,在提取参考图像和失真图像的多种底层特征的基础上,采用机器学习的方法自动预测真实图像质量,提出多特征融合的图像质量评价方法.针对参考图像和失真图像分别提取相位一致性、梯度、视觉显著性、对比度特征,计算4种特征的相似度图,提取相似度图的均值和方差特征,最后采用支持向量回归评价文中方法.在LIVE、CSIQ、TID2008和TID2013图像库上的实验表明,文中方法的主客观一致性较好.     

Salient objects detection in dynamic scenes using color and texture features

Visual saliency is an important research topic in the field of computer vision due to its numerous possible applications. It helps to focus on regions of interest instead of processing the whole image or video data. Detecting visual saliency in still images has been widely addressed in literature with several formulations. However, visual saliency detection in videos has attracted little attention, and is a more challenging task due to additional temporal information. A common approach for obtaining a spatio-temporal saliency map is to combine a static saliency map and a dynamic saliency map. In our work, we model the dynamic textures in a dynamic scene with local binary patterns to compute the dynamic saliency map, and we use color features to compute the static saliency map. Both saliency maps are computed using a bio-inspired mechanism of human visual system with a discriminant formulation known as center surround saliency, and are fused in a proper way. The proposed model has been extensively evaluated with diverse publicly available datasets which contain several videos of dynamic scenes, and comparison with state-of-the art methods shows that it achieves competitive results.     

基于视觉运动特性的视频时空显著性区域提取方法

为了更准确有效地提取人眼观察视频的显著性区域,提出一种基于视觉运动特性的视频时空显著性区域提取方法。该方法首先通过分析视频每帧的频域对数谱得到空域显著图,利用全局运动估计和块匹配得到时域显著图,再结合人眼观察视频时的视觉特性,根据对不同运动特性视频的主观感知,动态融合时空显著图。实验分析从主客观两个方面衡量。视觉观测和量化指标均表明, 与其他经典方法相比,所提方法提取的显著性区域能够更准确地反映人眼的视觉注视区域。     

Integrating bottom-up and top-down visual stimulus for saliency detection in news video

This paper presents a new attention model for detecting visual saliency in news video. In the proposed model, bottom-up (low level) features and top-down (high level) factors are used to compute bottom-up saliency and top-down saliency respectively. Then, the two saliency maps are fused after a normalization operation. In the bottom-up attention model, we use quaternion discrete cosine transform in multi-scale and multiple color spaces to detect static saliency. Meanwhile, multi-scale local motion and global motion conspicuity maps are computed and integrated into motion saliency map. To effectively suppress the background motion noise, a simple histogram of average optical flow is adopted to calculate motion contrast. Then, the bottom-up saliency map is obtained by combining the static and motion saliency maps. In the top-down attention model, we utilize high level stimulus in news video, such as face, person, car, speaker, and flash, to generate the top-down saliency map. The proposed method has been extensively tested by using three popular evaluation metrics over two widely used eye-tracking datasets. Experimental results demonstrate the effectiveness of our method in saliency detection of news videos compared to several state-of-the-art methods.