自然图像颜色空间统计规律性研究

自然图像统计模型(NSS)在无参考图像质量评价中得到了广泛应用,但目前绝大部分的图像质量评价方法都是针对灰度图像的,没有有效地利用彩色空间的信息。对RGB、HSV、LAB、YCBCR、YIQ 5种颜色空间的规律性进行分析,对归一化的系数值使用高斯分布、对数正态分布、极值分布和T分布进行拟合,对拟合结果进行分析和比较,从中找出最适合各个色彩空间的模型。然后使用拟合成高斯模型的参数作为特征对LIVE库的失真图像进行分类。实验结果表明,某些色彩分量分类效果要优于灰度空间。     

互信息域中的无参考图像质量评价

目的无参考图像质量评价是近几年来的研究热点,具有深远的现实意义和广泛的应用价值,提出一种基于互信息的无参考图像质量评价方法。方法该方法使用原始自然图像及其对应的规范化亮度图像和局部标准差图像作为输入,利用自相关互信息对输入图像邻近像素间的相关性进行量化,并引入多尺度分析得到图像在两个尺度上的互信息特征,最后使用支持向量机(SVM)在LIVE图像数据库上训练学习,从而对多类失真图像进行客观质量评价。结果在LIVE图像数据库中对本文算法进行性能测试,实验结果显示该算法得到的评价结果与人眼主观评价结果之间的平均相关系数高达0.93,总体分类准确率达到79%,性能足以与当前主流的全参考、无参考方法相竞争。结论本文方法有别于传统的基于变换的无参考图像质量评价方法,将着眼点放于自然图像邻近像素之间的固有联系上,并取得了较好的实验效果。由于没有使用图像变换并从全局域进行考虑,本文方法具有较低的时间复杂度。     

基于DCT系数误差的图像质量评价模型

根据人眼对图像高低频失真的敏感度不同,提出一种图像质量评价模型。将图像离散余弦变换后的频率分量分为低频和高频分量,利用低频系数变化量的绝对平方和表示低频失真量、高频系数变化量相对平方和表示高频失真量,通过2个失真量相乘得到客观评价值。实验结果表明,该模型与LIVE图库上差异主观评价分的线性相关性优于峰值信噪比和结构相似度模型。     

彩色图像统计正交分析方法

彩色图像含有比灰度图像更丰富的信息,因此在图像识别中扮演重要的角色。RGB彩色空间是使用最为广泛的彩色空间。通常R、G、B三分量间存在相关性。彩色图像识别技术的关键是如何有效使用分量间的补信息、消除冗余,并且提取有效的鉴别特征。文中提出了一种新的彩色图像特征提取方法,即彩色图像统计正交分析（CISOA）。该方法按照R、G、B的顺序依次提取三分量的鉴别特征,并保证各分量所提取的特征满足统计正交约束。在彩色人脸和掌纹图像数据库的实验结果表明此方法具有较好的识别效果。     

基于双目融合的无参考立体图像质量评价

针对对称失真和非对称失真图像的评价问题,提出了一种基于双目融合的无参考立体图像质量评价方法。首先,分别将立体图像的左、右视点图像分解成拉普拉斯金字塔序列,利用图像平均梯度和区域能量确定各层融合系数,在双目加权模型的基础上逐层融合两序列并重构合成图像。然后,提取左、右视点图像、合成图像的多尺度多方向频域变换特征和对比度、熵、能量、逆差分矩特征。最后,将特征参数作为支持向量回归模型的输入进行训练并预测图像质量。在LIVE 3D phaseⅠ和LIVE 3D phaseⅡ图像库上作相关性分析,其Pearson线性相关系数和Spearman等级相关系数均分别达到0.96和0.95以上。结果表明,本文方法对立体图像质量的预测结果与主观评价值具有较高的一致性。     

基于尺度不变性的无参考图像质量评价

现有的通用型无参考图像质量评价方法大多是利用失真图像及其主观值来训练回归模型预测图像质量指标,然而这种方法需要消耗大量的时间进行训练,并且评价效果依赖于训练图像库中的失真类型,通用性较差,很难应用到实际场合中。为了解决数据库依赖问题,提出一种归一化的基于图像尺度不变性的无参考图像质量评价方法。该方法不依赖外部数据,将图像的统计特性及边缘结构特性作为图像质量评价的有效特征,利用图像多尺度不变性计算多尺度间的整体特征差异,从而预测图像质量。实验结果表明,所提方法对混合失真图像质量评价效果好,运行效率高,与目前现有的无参考图像质量评估方法相比具有较好的综合性能,具有较好的应用价值。     

基于兴趣区域的无参考图像质量评价方法

为了评价不同失真类型图像的质量,提出了一种基于兴趣区域和自然图像统计特性的无参考图像质量评价方法。该方法对Itti模型进行改进,并利用改进的Itti模型提取失真图像的感兴趣区域和非感兴趣区域,在非下采样Contourlet域提取图像的统计特性,通过计算失真图像的不同区域与自然图像统计特性的差异来获得图像的质量分数。在LIVE数据集上与已有方法进行对比,实验结果表明,提出的方法和主观感知具有较好的一致性。     

基于变差函数全局纹理增强的结构相似度图像质量评价

为解决结构相似度算法的图像质量评价缺陷,提出了一种基于变差函数全局纹理增强的结构相似度图像质量评价。该方法首先利用改进的对数变差函数模型提取原图像和失真图像在水平0°、垂直90°和对角45°、135°四个方向的纹理信息特征,然后分别求出对应的纹理增强图像,最后改进SSIM中的结构信息来确定纹理区域的明显失真,计算得到整幅图像的VSSIM值。目前大多数的全参考评价方法不能对数据库中的所有失真类型进行评价,只能对某一类固定的失真类型来评价。本方法对LIVE数据库中的五种失真类型都适用,仿真实验表明,该算法对五种不同失真类型的评价结果具有一定的合理性,并且与主观评价数据库较为一致,其性能也优于其他质量评价模型。     

结合感知特征和自然场景统计的无参考图像质量评价

为了更有效的评价各种失真类型的图像,本文提出了一种新颖的通用型无参考图像质量评价方法,它采取学习感知特征和空域自然统计特征相结合的方法来构建图像质量评价模型。方法是在提取显著分块的36个空域自然统计特征的基础上,增加基于相位一致性熵、基于相位一致性均值、梯度均值以及失真图像的熵四个感知特征,采用支持向量机回归的学习方式来构建图像特征与人的主观分数的映射关系,进而根据所提取特征预测图像质量。在LIVE图像库上的实验表明,文中算法预测质量分数与人的主观分数具有较高的一致性,基本呈线性关系,鲁棒性较好,运行时间较短,综合性能较好。     

图像质量评价研究综述——从失真的角度

随着多媒体技术的快速发展及广泛应用,图像质量评价因其在多媒体处理中的重要作用得到越来越多的关注,其作用包括图像数据筛选、算法参数选择与优化等。根据图像质量评价应用时是否需要参考信息,它可分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价,前两类分别需要全部参考信息和部分参考信息,而第3类不需要参考信息。无论是全参考、半参考还是无参考图像质量评价,图像失真对图像质量评价的影响均较大,主要体现在图像质量评价数据库构建和图像质量评价模型设计两方面。本文从图像失真的角度,主要概述2011—2021年国内外公开发表的图像质量评价模型,涵盖全参考、半参考和无参考模型。根据图像的失真类型,将图像质量评价模型分为针对合成失真的图像质量评价模型、针对真实失真的图像质量评价模型和针对算法相关失真的图像质量评价模型。其中,合成失真是指人工添加噪声,如高斯噪声和模糊失真,通常呈现均匀分布;真实失真是指在图像的获取中,由于环境、拍摄设备或拍摄操作不当等因素所引入的失真类型。相对合成失真,真实失真更为复杂,可能包括一种或多种失真,数据收集难度更大;算法相关失真是指图像处理算法或计算机视觉算法在处理图像时,由于算法本身的缺陷或性能不足等原因而出现在结果图像中的降质,相对合成失真和真实失真,算法相关失真的显著特点是该类型失真呈现非均匀分布。本文介绍现有的图像质量评价数据库,包括图像数据来源和数据库构建细节等;然后重点介绍图像质量评价模型的设计思想。最后总结了介绍的图像质量评价模型,并指出未来可能的发展方向。     

基于散度差的彩色人脸图像统计正交分析方法

由于彩色人脸图像比灰度人脸图像包含了更多的信息,彩色人脸图像识别方法越来越受到学者的重视。而对于研究最多的RGB彩色空间,通常R（红）、G（绿）、B（蓝）三分量间存在很大的相关性。为了最大程度的去除各个分量之间的相关性从而提高识别效果,有学者提出了基于统计正交投影变换（SOA）的彩色人脸图像识别方法。然而,该方法在特征提取的过程中不可避免的存在奇异性问题。为了解决这个问题,本文提出了一种基于散度差的彩色人脸图像统计正交分析方法ScatterDifference based Color Face Image Statistically Orthogonal Analysis Approach （SDFSOA）。此外,我们对所涉及的参数进行了合理的设置。实验表明所提方法能取得更好的识别效果。     

颜色传输算法的研究

研究了一种彩色图像颜色传输算法,对于给定两幅彩色图像,首先把计算机表示的RGB颜色空间转换为LMS空间,并通过线性变换把LMS基变换到一组正交基来消除空间内各个分量之间的强相关性,从而把RGB颜色空间转换到一个正交空间,然后利用统计学方法进行局部和整体相结合的自适应采样分析,提取一幅图像的颜色信息和另一幅图像的形状信息,合成一幅崭新的图像,实现颜色样本图像到目标图像的颜色传输过程。实验结果表明,取得了较好的效果。     

基于矢量失真测度和自适应四叉树分割的彩色图象分形压缩方法

在Ｊａｃｑｕｉｎ分块分形图象压缩方法的基础上,提出了一种基于矢量失真测度的自适应四叉树分割彩色图象分形压缩方法。该方法充分利用ＲＧＢ彩色空间２４位真彩图象的三彩色分量间相关性,实验表明该方法比分别对三彩色分量使用分块分形压缩方法在 重构图象质量方面有很大的改善。     

基于主动轮廓探索的多源色彩迁移

传统的多源色彩迁移算法常常利用欧氏色彩距离来分割目标图像,由于色彩序列的模糊性与不确定性,使得这种分割极易出现色彩扭曲现象. 针对这个问题,提出一种基于主动轮廓探索的多源色彩迁移算法. 首先,为将目标图像的主体与背景分离开,利用一种主动进化的方法生成虚拟轮廓线,并采用能量函数评价机制迫使虚拟轮廓线逐渐逼近实际轮廓线. 其次,合理利用源图像与目标图像在RGB、Gray和LMS等不同色彩空间的表示、分割、转换,实现其在lαβ空间的多源色彩迁移. 最后,将在lαβ空间迁移得到的目标图像逆向操作后恢复为RGB显示. 单源与多源色彩迁移的对比、灰度化色彩通道的选择以及各色彩空间不同色彩通道间的干涉性对比等实验验证了所提算法的合理性与有效性.     

New feature selection algorithms for no-reference image quality assessment

No reference image quality assessment (NR-IQA) is a challenging task since reference images are usually unavailable in real world scenarios. The performance of NR-IQA techniques is vastly dependent on the features utilized to predict the image quality. Many NR-IQA techniques have been proposed that extract features in different domains like spatial, discrete cosine transform and wavelet transform. These NR-IQA techniques have the possibility to contain redundant features, which result in degradation of quality score prediction. Recently impact of general purpose feature selection algorithms on NR-IQA techniques has shown promising results. But these feature selection algorithms have the tendency to select irrelevant features and discard relevant features. This paper presents fifteen new feature selection algorithms specifically designed for NR-IQA, which are based on Spearman rank ordered correlation constant (SROCC), linear correlation constant (LCC), Kendall correlation constant (KCC) and root mean squared error (RMSE). The proposed feature selection algorithms are applied on the extracted features of existing NR-IQA techniques. Support vector regression (SVR) is then applied to selected features to predict the image quality score. The fifteen newly proposed feature selection algorithms are evaluated using eight different NR-IQA techniques over three commonly used image quality assessment databases. Experimental results show that the proposed feature selection algorithms not only reduce the number of features but also improve the performance of NR-IQA techniques. Moreover, features selection algorithms based on SROCC and its combination with LCC, KCC and RMSE perform better in comparison to other proposed algorithms.     

一种新的RGB空间的彩色图像编码方法

为了能够较好地去除彩色图像色彩分量的相关性, 并能获得较好的恢复图像, 基于图像色彩信息, 提出了一种基于RGB空间的彩色图像压缩编码算法, 高效地去除了彩色图像各分量间的相关性。算法对其中一个分量进行完整DCT变换,对其他两个分量只求少数几个非零系数。采用查表法来进行DCT变换,使查表法的优越性得到更好的体现。通过对新色彩空间编码性能进行的实验分析结果表明, 该方法较好地去除了彩色图像色彩分量的相关性, 且算法实现简单, 具有较好的信噪比, 不仅恢复图像视觉效果良好, 并且易于与其他的压缩、编码方法结合     

Multiply distorted image quality assessment based on feature level fusion and optimal feature selection

No reference image quality assessment (NR-IQA) has received considerable importance in the last decade due to a rise in the use of multimedia content in our daily lives. Due to limitations in technology, multiple distortions may be introduced in the images that need to be assessed. Recently feature selection has shown promising results for single distorted NR-IQA and their effectiveness on multiple distorted images still need to be addressed. In this paper, impact of feature level fusion and feature selection on multiple distorted image quality assessment is presented. To this end features are extracted from multiple distorted images using six NR-IQA techniques (BLIINDS-II, BRISQUE, CurveletQA, DIIVINE, GM-LOG, SSEQ) that extract features in different (discrete cosine transform, spatial, curvelet transform, wavelet transform, spatial and gradient, spatial and spectral) domains. The extracted features from different domains are fused to generate a single feature vector. All combinations of feature-level fusion from six different techniques have been evaluated. Three different feature selection algorithms (genetic search, linear forward search, particle swarm optimization) are then applied to select optimum features for NR-IQA. The selected features are then used by the support vector regression model to predict the quality score. The performance of the proposed methodology is evaluated for two multiple distorted IQA databases (LIVE multiple distorted image dataset (LIVEMD), multiply distorted image database (MDID2017)), two singly synthetically distorted IQA databases (Tampere image database (TID2013), Computational and subjective image quality database (CSIQ)), and one screen content IQA database (Screen content image quality database (SIQAD)). Experimental results show that the fusion of features from different domains gives better performance in comparison to existing multiple-distorted NR-IQA techniques with SROCC scores of 0.9555, 0.9587, 0.6892, 0.9452, and 0.7682 on the LIVEMD, MDID, TID2013, CSIQ, and SIQAD databases respectively. Moreover, the performance is further improved when the genetic search feature selection algorithm is applied to fused features to remove the redundant and irrelevant features. The SROCC scores are improved to 0.9691, 0.9723, and 0.6897 for LIVEMD, MDID, and TID2013 databases respectively.

     

Saliency-based deep convolutional neural network for no-reference image quality assessment

In this paper, we proposed a novel method for No-Reference Image Quality Assessment (NR-IQA) by combining deep Convolutional Neural Network (CNN) with saliency map. We first investigate the effect of depth of CNNs for NR-IQA by comparing our proposed ten-layer Deep CNN (DCNN) for NR-IQA with the state-of-the-art CNN architecture proposed by Kang et al. (2014). Our results show that the DCNN architecture can deliver a higher accuracy on the LIVE dataset. To mimic human vision, we introduce saliency maps combining with CNN to propose a Saliency-based DCNN (SDCNN) framework for NR-IQA. We compute a saliency map for each image and both the map and the image are split into small patches. Each image patch is assigned with a patch importance value based on its saliency patch. A set of Salient Image Patches (SIPs) are selected according to their saliency and we only apply the model on those SIPs to predict the quality score for the whole image. Our experimental results show that the SDCNN framework is superior to other state-of-the-art approaches on the widely used LIVE dataset. The TID2008 and the CISQ image quality datasets are utilised to report cross-dataset results. The results indicate that our proposed SDCNN can generalise well on other datasets.