基于三维感知的立体虚拟视点图像质量评价方法

为了评价立体虚拟视点图像的质量,提出了一种基 于三维感知的客观评价方法。综合考虑了立体虚拟视点图像两大最主要失真类型:单视点绘 制失真和立体视点不匹配失真。针对单视点绘制失真,先提取 当前视点失真图与无失真图的差异性区域,再针对该差异性区域计算平均结构相似度(MSSIM ),最后将左 右视点平均池化作为单目纹理特征值;针对立体视点不匹配失真,先对左右视点失真图分别 进行视差映射, 再提取映射图与该视点失真图的差异区域作为双目不匹配区域,然后针对不匹配区域计算MS SIM 值,最 后将左右视点平均池化作为双目竞争特征值;最终将两个特征值幂次融合,作为最终的立体 虚拟视点图像 质量评价客观指标。实验结果表明本方法有效匹配主观打分的DMOS值,皮尔森线性相关系数 和斯皮尔曼 秩相关系数分别为0.911和0.900,正确反映了 立体虚拟视点图像质量。     

调整量最小的多视图像校正算法

在多视自由视点电视（FTV）系统中,摄像机阵列拍摄的多视视频存在垂直视差、且水平视差分布不均等问题,严重影响合成视频的质量效果。现有的多视图像校正方法虽然消除了垂直视差,但是校正图像过程中引入的旋转和平移失真较大,使人眼产生不舒适感。为此,本文提出一种适于平行摄像机阵列的多视图像校正算法,首先建立理想的摄像机安放位置,然后计算多视图像校正变换,将实拍图像映射到理想摄像机位置处,得到校正后图像。在设计理想的摄像机安放位置时,考虑人眼视觉特性,确保坐标轴旋转和平移调整量最小化,实现多视图像校正变换引入图像失真总量最小。实验表明,该算法不仅可以消除垂直视差,而且图像校正过程中引入的失真小,符合人眼视觉习惯,能有效改善合成视的图像质量,提高人眼观看舒适程度。      

一种多扭曲失真图像的质量评价方法

针对现有评价方法不适合于多扭曲失真图像这一问题,本文展开了对多扭曲失真图像评价方法的研究。在分析图像的边缘信息和奇异值向量对视觉特征的表征能力的基础上,提出一种基于边缘信息奇异值分解的图像质量评价算法。首先,利用Sobel算子提取参考图像及失真图像视觉敏感的边缘信息,再对两图像的边缘信息进行奇异值分解,利用奇异值向量之间的夹角来描述失真图像的畸变程度。最后,采用LIVE数据库中的450张多扭曲的失真图像验证该文算法,并与MSE、PSNR、SSIM、CSSIM等算法进行了对比。实验结果表明,该文算法对多扭曲失真图像的质量评价具有更高的稳定性,主客观评价的一致性较传统评价方法更好。通过对比时间效率,该方法基本上满足实际需求,具有更高的适用性。     

基于改进SSIM的HEVC率失真优化

HEVC继承了传统的客观率失真模型,主要采用均方误差、平方误差和或绝对误差和等客观评价方法作为失真测度.然而,这些方法并不能得到很好的主观视觉感知质量.为了进一步解决HEVC的计算复杂度,提出了将结构相似度(Structural Similarity,SSIM)引入到HEVC的率失真代价函数中.该方法使用失真测度均方误差对SSIM进行改进,将改进后的SSIM对率失真代价函数进行优化,求解出拉格朗日乘子,从而实现率失真性能的提升.实验结果表明,该方法与HEVC参考测试模型相比,在全Ⅰ帧(All Intra,AI)配置下,率失真性能平均提高了2.6％,同时可以获得很好的编码质量,以及可忽略的编码时间增长.     

基于结构相似度的自适应图像质量评价

考虑到在结构相似度(SSIM,structural similarity)模型中,亮度、对比度和结构度3个评价因子对不同失真类型图像质量评价(QA)的贡献程度不同,本文提出了根据图像失真类型分析的自适应SSIM(ASSIM)的IQA方法。首先,分析失真图像和参考图像的小波子带能量、傅里叶功率谱和幅度谱的数据特点,据此判定图像失真类型,包括高斯白噪声(WN)、JPEG压缩(JPEM)、高斯模糊(Gblur)及类JP2K4类失真;接着,通过优化算法确定SSIM在评价不同失真类型图像时最佳的评价因子权重;最后,将图像的失真类型判别和评价因子的调整相结合,实现对图像的自适应评价。实验结果表明,由于失真类型的判断和评价因子权值的优化,ASSIM对各类失真图像的评价效果都要优于SSIM,特别是对Gblur失真的图像进行评价时,Pearson系数(CC)值提高了0.05,Spearman等级相关系数(SROCC)值的提高超过0.039。     

基于视差和条纹调制度分析的多物体场景分割

噪声是影响图像分割的重要因素,文中提出了一种能够在含噪声的真实场景中准确提取出多个物体区域的分割方案。利用基于正弦条纹投影的双目结构光系统,得到包含目标物体的相位图和视差图。将视差图映射到U-视差图中,利用物体和噪声区域在该视差空间的不同形态特征,采用闭合区域检测算法初步得到各个物体的分割区域,并结合条纹调制度阈值分析法进一步去除阴影区域的噪声,最终得到精确的分割结果。客观评价的数据分析表明,文中提出的分割算法,不仅对噪声的鲁棒性较好,还可以有效地将物体与水平支撑面分割开,在不同场景下具有计算复杂度低,抗干扰能力强的优势,分割准确率均在90%以上,最高可达到99.2%,平均运行时间为27 ms。     

图像多通道边缘信息辅助的快速立体匹配算法

提出一种基于图像边缘及色彩信息辅助的立体匹配算法.首先给出一种彩色边缘侦测算子来获取彩色图像边缘信息,利用基于归一化相关系数的极线立体匹配得到视差图像边缘像素的视差信息.然后利用已获取彩色图像对的边缘信息对双步骤动态规划匹配策略进行匹配指导,获取稠密视差图并进一步优化.实验表明,提出的算法能很好地降低图像对中强度接近物体的误匹配概率的同时,有效提高匹配算法的运行效率.     

基于像素失真耦合边缘特征融合的无参考质量评价

为了适应多种类型的模糊图像进行质量评价,提高评价模型对图像模糊和振铃的洞察能力,提出了一种像素失真与边缘特征融合的无参考质量评价算法.首先,根据像素失真理论,计算图像像素的标准差和绝对差分值,提取图像的像素特征;然后,计算图像水平和垂直方向的过零率,并利用边缘保持滤波器对图像边缘信息进行测量,精确提取图像的边缘特征;最后,利用提取的像素特征和边缘特征,定义特征融合函数,并引入粒子群优化(PSO)对融合函数参数进行优化,提高对图像模糊和振铃的洞察能力,根据融合特征构建图像质量评价模型.与当前无参考质量评价算法比较,所提算法能够有效地对JPEG(Joint Photographic Experts Group)、JPEG2000(Joint Photographic Experts Group 2000)、模糊等失真图像进行质量评价,评价指标CC(Correlation Coefficient)与SROCC(Spearman Rank-order Correlation Coefficient)达0.9477和0.9153.该算法与主观评价方法具有较好的一致性,能够较好地适用于多种类型的失真图像评价.     

基于视觉感知和零水印的部分参考立体图像质量评价模型

通过分析人类视觉系统的纹理方向特性和立体感知特性,并结合数字水印的半脆弱性和支持向量回归(Support Vector Regression, SVR)的泛化学习能力,该文提出一种基于视觉感知和零水印的部分参考立体图像质量客观评价模型。该模型利用立体图像左右视点经小波分解后在同一空间频率的水平和垂直方向子带系数关系构造反映图像纹理方向特征的视点零水印,同时,利用左右视点视差值与自适应阈值的大小关系构造反映立体感质量的视差零水印,然后利用SVR来学习两类零水印恢复率(视觉加权视点零水印恢复率和视差零水印恢复率)与主观评价值的关系,最后用训练好的SVR完成立体图像质量预测。实验结果表明该模型符合人眼视觉特性,所得到的客观评价值与主观评价值具有较好的一致性。     

基于Riesz变换的结构相似度图像质量评价方法

不同的图像处理过程,会对图像引入各种各样的失真,如何对图像的质量进行评价成为一个热点问题。针对传统的基于像素差值统计的峰值信噪比方法及结构相似度方法与人眼主观评价不够符合的情况,本文提出了一种基于Riesz变换的结构相似度图像质量评价方法。该方法先将参考图像和失真图像进行一阶Riesz变换和二阶Riesz变换,并利用得到的5组对应特征图计算出5幅相似度图和5幅权重图,利用平均法进行融合得到最终的相似度图和权重图,然后加入原参考图像和失真图像的亮度比较项,得到最终的图像质量评价指标。在LIVE图像数据库上的实验表明,本文方法对于5种失真的质量预测准确性和一致性都很高,在交叉失真实验中,本文方法也优于结构相似度方法,PLCC和SROCC值达到了0.9482和0.9532。与几种公认较好的方法相比,本文方法能够更好地预测图像质量,更加符合人眼的主观感知。     

基于无监督学习的单样本红外图像生成方法

针对当前可见光-红外图像数据集匮乏导致的模型特征学习能力不够以及生成图像质量低下等问题,提出了单样本的无监督学习方法来训练红外图像生成模型。首先,在数据集难以获取、匮乏的情况下,仅采用一对可见光-红外图像作为模型训练的数据,降低了数据获取的难度,解决了数据匮乏的问题。其次,为了在训练模型时充分提取图像特征,改进了网络结构。实验数据表明,本文方法能够在单样本图像生成中取得较好的效果。在艾睿光电数据集中,本文方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)与结构相似性(Structural Similarity, SSIM)指标分别达到了26.5588 dB和0.8846;在俄亥俄州立大学(Ohio State University, OSU)数据集上的PSNR和SSIM分别达到了30.3528 dB和0.9182。与基于风格的生成对抗网络(Style-based Generative Adversarial Network, StyleGAN)方法相比,本文方法在艾睿光电数据集上的PSNR和SSIM指标分别提高了16.07%和23.78%;在OSU数据...     

一种基于人眼对比度敏感视觉特性的图像自适应量化方法

为了提高图像的压缩比和压缩质量,结合人眼对比度敏感视觉特性和图像变换域频谱特征,该文提出一种自适应量化表的构建方法。并将该表代替JPEG中的量化表,且按照JPEG的编码算法对3幅不同的彩色图像进行了压缩仿真实验验证,同时与JPEG压缩作对比分析。实验结果表明:与JPEG压缩方法相比,在相同的压缩比下,采用自适应量化压缩后,3幅解压彩色图像的SSIM和PSNR值分别平均提高了1.67%和4.96%。表明该文提出的结合人眼视觉特性的自适应量化是一种较好的、有实用价值的量化方法。     

Content-partitioned structural similarity index for image quality assessment

The assessment of image quality is important in numerous image processing applications. Two prominent examples, the Structural Similarity Image (SSIM) index and Multi-scale Structural Similarity (MS-SSIM) operate under the assumption that human visual perception is highly adapted for extracting structural information from a scene. Results in large human studies have shown that these quality indices perform very well relative to other methods. However, the performance of SSIM and other Image Quality Assessment (IQA) algorithms are less effective when used to rate blurred and noisy images. We address this defect by considering a four-component image model that classifies image local regions according to edge and smoothness properties. In our approach, SSIM scores are weighted by region type, leading to modified versions of (G-)SSIM and MS-(G-)SSIM, called four-component (G-)SSIM (4-(G-)SSIM) and four-component MS-(G-)SSIM (4-MS-(G-)SSIM). Our experimental results show that our new approach provides results that are highly consistent with human subjective judgment of the quality of blurred and noisy images, and also deliver better overall performance than (G-)SSIM and MS-(G-)SSIM on the LIVE Image Quality Assessment Database.     

基于双层次决策规则的红外与可见光图像融合

针对传统可见光和红外图像融合方法存在融合图像中缺失方向性信息和各向异性信息的问题,提出了一种基于双层次决策规则的红外与可见光图像融合方法。该方法将各向异性扩散(Anisotropic Diffusion,AD)和极值规则进行融合,首先通过AD滤波器将每个输入的源图像分解为近似层和细节层。然后将双层次融合决策规则分别应用于细节层和近似层,以保留光谱信息和结构信息,最后使用结构相似性指数(SSIM)、平均梯度(AG)和信息熵(IE)对融合图像的图像质量进行评估。实验结果表明,相比现有其他图像融合方法,所提方法的融合图像中具有更多的信息并有效减少了伪影现象,验证了所提出方法的有效性。     

No-reference quality assessment for DCT-based compressed image

A blind/no-reference (NR) method is proposed in this paper for image quality assessment (IQA) of the images compressed in discrete cosine transform (DCT) domain. When an image is measured by structural similarity (SSIM), two variances, i.e. mean intensity and variance of the image, are used as features. However, the parameters of original copies are actually unavailable in NR applications; hence SSIM is not widely applicable. To extend SSIM in general cases, we apply Gaussian model to fit quantization noise in spatial domain, and directly estimate noise distribution from the compressed version. Benefit from this rearrangement, the revised SSIM does not require original image as the reference. Heavy compression always results in some zero-value DCT coefficients, which need to be compensated for more accurate parameter estimate. By studying the quantization process, a machine-learning based algorithm is proposed to estimate quantization noise taking image content into consideration. Compared with state-of-the-art algorithms, the proposed IQA is more heuristic and efficient. With some experimental results, we verify that the proposed algorithm (provided no reference image) achieves comparable efficacy to some full reference (FR) methods (provided the reference image), such as SSIM.     

基于边缘结构相似性的视频质量客观评价

在视频图像质量客观评价方法中,基于结构相似度(SSIM)模型算法由于具有对像素偏移不敏感、计算简单等特点,应用较为广泛.但SSIM模型的缺点是不能较好地评价严重模糊的受损图像.因此,提出了一种基于边缘结构相似度(ESSIM)的视频图像质量评价方法,将边缘梯度提取作为图像的主要结构信息.实验结果表明,ESSIM模型比SS...     

Image quality assessment based on multi-channel regional mutual information

In this paper, a novel method based on multi-channel regional mutual information (RMI) is proposed to assess image quality. In the proposed method, the wavelet transform is firstly used to decompose the image into different frequency subbands to calculate RMI values. Then multi-channel RMI is obtained by weighted sum of RMI values in the various wavelet frequency subbands. The performance of the proposed algorithm is compared with that of such universal assessment methods as peak of signal-to-noise ratio (PSNR) and structure similarity (SSIM). Experimental results demonstrate that the proposed method is highly effective for evaluating image quality and it outperforms the assessment methods based on PSNR and SSIM.     

Structural similarity image quality reliability: Determining parameters and window size

The need to obtain objective values of the quality of distorted images with respect to the original is fundamental in multimedia and image processing applications. It is generally required that this value correlates well with the human vision system (HVS). In spite of the properties and the general use of the mean square error (MSE) measurement, this has a poor correlation with HSV, which has led to the development of methods such as structural similarity (SSIM). This metric improves the correlation with respect to the classic MSE and PSNR (peak signal to noise ratio). However, its behavior depends on the values assigned to constants and on the windows size selected. These values are usually assigned arbitrarily and there have been no studies on how they affect the SSIM. In this work, we have analyzed empirically the most appropriate values for the different constants used in the SSIM equations. We have also analyzed the importance of window size in the calculation of MSSIM, and propose a method for determining the window size based on image complexity. Using the values selected and the window size defined, the correlation between SSIM and DMOS (differential mean opinion score) is significantly improved by around 17% with respect to the values commonly used.     

一种基于时间导向的DIBR空洞填补方法

在立体成像系统中,填充新视点合成时图像中产生的空洞是虚拟视点合成技术的重要环节,已有方法是对空洞区域周围的像素进行水平的推测运算来得到填洞像素,其正确率不高而且容易造成图像边缘失真。提出一种基于时间导向的DIBR空洞填补方法,首先通过结构相似帧的方法得到与关键帧拥有相同背景的前后帧图像,然后比较空洞位置对应的前后帧图像的深度值,利用背景信息对空洞区域进行填补。实验结果表明,新方法得到的填补后的图像效果可以较为真实地还原特定的场景,与原始视点的结构相似性可达到91.36%,比传统方法提高了8.38%。     

基于梯度信息的图像质量评判方法的研究

图像质量客观评判标准广泛应用于图像处理中,基于人眼视觉系统的客观评判方法一直是图像处理领域的研究热点.最近,Zhou Wang等人提出了基于结构信息的评判方法—结构相似度(SSIM),它的理论基础是人眼视觉系统能高度自适应地提取场景中的结构信息.SSIM方法简单、评判性能优于PSNR(或MSE).但随着研究的深入,我们发现SSIM算法存在着一些问题,特别是不能很好地评判模糊失真类的图像.本文提出两种基于梯度信息的图像质量评判方法—基于梯度的结构相似度(GSSIM)和基于边缘的结构相似度(ESSIM).实验结果表明,GSSIM能更好地符合人眼视觉系统特性,而ESSIM对于模糊图像则取得了最好的评判效果.