一种基于人眼视觉特性的立体图像质量客观评价方法

通过模拟人眼视觉特性中的对比度敏感函数、多通道效应以及立体感知特性,提出了一种基于人眼视觉特性的立体图像质量客观评价方法.在评价左右图像质量时,利用小波变换模拟人眼视觉特性中的多通道效应,不同空间频带的小波系数按对比度敏感函数进行加权,左右图像质量度量采用Canberra $巨离.在评价立体感知时,则通过计算原始与测试...     

Color correction and geometric calibration for multi-view images with feature correspondence

Color and geometry inconsistency between different views is an urgent problem in multi-view imaging applications. In this paper, we present a color correction and geometric calibration method for multi-view images on the basis of feature correspondences between views. First, keypoints in views are detected by using scale invariant feature transform, and accurately matched by bi-directional feature matching between difference views. Then multiplicative and additive errors between matching keypoints are calculated to achieve color correction. In addition, an affine transformation between minimum cost matching keypoints is established to achieve geometric calibration. The experimental results verify the effectiveness of the proposed method in color correction and geometric calibration, and a higher coding efficiency is obtained.     

基于路面标记的车辆检测和计数

交通监视系统通过采集实时交通流量数据，为智能化交通运输服务和控制管理提供依据，在智能交通系统中有着极其重要的作用。在基于视频图像的交通监视系统中，由路边建筑、树木等物体引起的静态阴影和由运动物体如车辆引起的运动阴影，是导致车辆检测错误的一大主要因素。提出了一种基于路面标记的自动车辆检测算法，用于检测车辆并排除阴影干扰，进而实现对过往车辆进行正确计数，能更可靠地收集各车道的实时车流信息。     

采用精简卷积神经网络的快速视频超分辨率重建

超分辨率重建在视频的传输和显示中起着重要的 作用。为了既保证重建视频的清晰度,又面向用户 实时显示,提出了一种采用精简卷积神经网络的快速视频超分辨率重建方法。所提的精简卷 积神经网络体 现在以下三点:首先,考虑到输入的尺寸大小会直接影响网络的运算速度,所提网络省去传 统方法的预插 值过程,直接对多个低分辨率输入视频帧提取特征,并进行多维特征通道融合。接着,为了 避免网络中产 生零梯度而丢失视频的重要信息,采用参数线性纠正单元(Parametric Rectified Linear Unit,PReLU)作为激 活函数,并采用尺寸更小的滤波器调整网络结构以进行多层映射。最后,在网络末端添加反 卷积层上采样 得到重建视频。实验结果显示,所提方法相比有代表性的方法在PSNR和SSIM指 标上分别平均 提升了0.32dB和0.016,同时在 GPU下达到平均41帧/秒的重建速度。结果表明所提方法可快速重建质 量更优的视频。     

虚拟现实中视觉诱发晕动症时空多特征评价

沉浸式的虚拟现实体验中视觉诱发晕动症（Visually Induced Motion Sickness, VIMS）是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面,对运动信息的提取较为简单,且少有考虑时域上的突变对晕动症的影响。针对上述问题,提出了虚拟现实中视觉诱发晕动症时空多特征评价模型;基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型,采用更符合人眼感知的加权运动特征,并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明,该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能,验证了所提出特征提取模块的有效性。     

基于支持向量回归的立体图像客观质量评价模型

立体图像质量评价是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效评价是目前的研究难点。该文根据图像奇异值有较强稳定性的特点,结合立体图像的主观视觉特性,提出了一种基于支持向量回归(Support Vector Regression, SVR)的立体图像客观质量评价模型。该模型通过分析立体图像的视觉特性,提取左右图像的奇异值作为立体图像的特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过SVR预测得到立体图像质量的客观评价值。实验结果表明,采用该文提出的客观评价模型对立体数据测试库进行评价,Pearson线性相关系数值在0.93以上,Spearman等级相关系数值在0.94以上,均方根误差值接近6,异常值比率值为0.00%,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

高动态范围图像客观质量评价方法

针对当前高动态范围（HDR）图像质量评价方法未考虑图像色度和结构信息的问题,提出了一种新的HDR图像客观质量评价方法。首先,利用HDR-VDP-2.2中的基于视觉感知的模型得到关于亮度与对比度的视觉保真度特征;然后,将HDR图像转换到YIQ彩色空间,对彩色空间中的Y、I、Q通道分别进行处理,求得色度相似度和结构相关度特征;最后,利用支持向量回归（SVR）的方法对特征进行融合,预测得到高动态范围图像质量的客观评价值。实验结果表明,与HDR-VDP-2.2相比,该方法的Pearson相关系数和Spearman等级相关系数分别提升了23.09%和25.34%;均方根误差（RMSE）降低了38.01%。所提出的方法与主观视觉感知具有更高的一致性。     

基于非负矩阵分解的彩色图像质量评价方法

针对稀疏表示的图像质量评价模型都基于灰度图像,缺少颜色信息,该文提出一种基于非负矩阵分解(NMF)的全参考彩色图像质量评价方法。首先,从自然彩色图像中随机采样,得到训练样本,利用非负矩阵分解,训练得到特征基矩阵,并经过Schmidt正交化,构建特征提取矩阵;其次,根据视觉显著性模型,利用最大视觉显著性和显著性差值两步骤选取视觉重要区域;最后,利用特征提取矩阵,得到低维的特征向量,并最终得到彩色图像质量评价值。实验结果表明,该文方法在LIVE, CSIQ和TID2008 3个图像质量评价库上有很好的表现。3个图像库的平均结果显示,该文方法的综合表现优于所有对比方法。这表明该文方法与主观感知有更好的关联度。     

基于中心凹恰可觉察失真模型的多视点深度视频编码方法

针对深度视频压缩中存在的大量视觉冗余,提出了一种基于中心凹恰可觉察失真(FJND)模型的深度视频编码方法。首先通过左右通道的彩色和深度视频绘制虚拟视点图像,并利用FJND模型得到虚拟视点图像的FJND,然后根据深度视频中几何偏移和深度值失真之间的关系确定深度视频左通道的可允许失真,将深度视频左通道分区域采用自适应量化参数进行编码,并对右通道的深度视频根据与左通道量化参数的关系进行编码。实验结果表明,本文方法在相同码率下,虚拟视点图像质量平均提高0.48dB;在相同虚拟视点图像的绘制质量下,深度视频编码码率平均减少26%。     

基于感知的视频编码方法综述

基于感知的视频编码方法是目前视频编码的研究热点.该文综合论述了基于感知的视频编码方法,重点阐述了基于感知的3维视频编码方法.首先,对目前利用人类视觉系统中的亮度、对比敏感度、中心凹等视觉感知特性的单视点视频编码方法进行分析并指出其存在的问题.然后,对基于立体感兴趣区域和双目敏感度特性的3维视频感知编码方法进行了分析和论述.最后,就基于感知的视频编码方法的进一步发展提出了若干技术与研究方向的展望.