基于非负矩阵分解的彩色图像质量评价方法

针对稀疏表示的图像质量评价模型都基于灰度图像,缺少颜色信息,该文提出一种基于非负矩阵分解(NMF)的全参考彩色图像质量评价方法。首先,从自然彩色图像中随机采样,得到训练样本,利用非负矩阵分解,训练得到特征基矩阵,并经过Schmidt正交化,构建特征提取矩阵;其次,根据视觉显著性模型,利用最大视觉显著性和显著性差值两步骤选取视觉重要区域;最后,利用特征提取矩阵,得到低维的特征向量,并最终得到彩色图像质量评价值。实验结果表明,该文方法在LIVE, CSIQ和TID2008 3个图像质量评价库上有很好的表现。3个图像库的平均结果显示,该文方法的综合表现优于所有对比方法。这表明该文方法与主观感知有更好的关联度。     

基于B样条概率密度估计的纹理图像分类

通过模拟人脑视觉神经接收视觉信息形成表面感知 的处理机制,提出一种基于大脑层状皮质模型的全参考立体图像的图像质量评价(IQA)方法 。首先, 分析大脑形成表面感知的过程,提出可运用于立体图像的IQA的层状皮质模型;然后依据 模型得到各层的响应输出,构建感知特征向量;最后利用机器学 习算法,建立 特征和质量的关系模型,预测立体图像质量。实验结果表明,本文方法在对称立体图像库上 的Pearson线 性相关系数(PLCC)和Spearman等级系数(S ROCC)高于 0.91,在非对称库上高于0.93。与现有的相关方法相比 ,本文方法与主观评价更加吻合,更适合立体图像的评价和优化。     

基于深度学习网络的可见光图像重构质量评价研究

可见光图像重构质量评价一直是一个难点,因此,设计了基于深度学习网络的可见光图像重构质量评价方法.通过卷积神经网络(CNN)与图像质量评价方法(IQA)相结合,构成IQA-CNN模型,引入信息熵构建改进IQA-CNN模型,向该模型内输入重构可见光图像,归一化预处理后划分成数个分块,经有监督学习法训练该模型后,获取到该模型...     

基于增强型超分辨率生成对抗网络的文物图像色彩重建

针对书画文物的褪色和画面暗旧等问题,提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color Reconstruction of Cultural Relic Images Based on Enhanced Super-Resolution Generative Adversarial Network, CR-ESRGAN)模型。该模型针对缺少成对图像的数据集问题,在双3次下采样的基础上提出了利用颜色迁移算法来生成逼真的暗旧、褪色的文物图像。同时改进了ESRGAN网络,在其生成网络中引入自注意力机制,以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比(Peak Signal to Noise Ratio, PSNR)/结构相似性(Structural Sililarity Index, SSIM)的基础上引入颜色评价指标CIEDE2000,以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比,视觉效果和图像质量有较高的提升。     

基于改进颜色传递策略与NSCT的红外与可见光图像伪彩色融合

提出一种基于改进颜色传递策略与非下采样Contourlet变换(NSCT)的红外与可见光图像伪彩色融合算法。首先,利用NSCT与基于清晰区域的Canny边缘检测算法获得灰度融合图。其次,将融合灰度图像插入Y通道,源图像与融合灰度图像之间的残差图像分别插入Cb、Cr通道以生成YCbCr源彩色图像。最后,利用本文设计的颜色传递模型对源彩色图像和目标图像进行色彩颜色统计匹配,同时,通过自适应颜色传递参数模型调整颜色传递参数。实验结果表明,本文提出的融合算法使得伪彩色融合图像不仅对比度高、传递色彩自然、可以较好地抑制色彩渗入图像目标,而且对目标图像质量要求不严格。     

基于ViT和多任务自监督学习的图像质量评价

针对现有的基于深度学习的图像质量评价方法,因为标注数据不足而存在的过拟合与泛化性能不足的问题,提出了一种基于多任务自监督学习的图像质量评价方法。首先,通过算法合成17种失真类型图像,并以全参考MDSI(mean deviation similarity index)得分和失真类型作为合成失真图像的2个标签;随后,在ViT(vision transformer)上进行预测MDSI得分和失真类型的多任务自监督学习;最后,将训练得到的模型在下游任务上进行微调,将上游任务学习到的语义特征迁移到下游任务。将本文方法与主流无参考图像质量评价(no reference image quality assessment,NR-IQA) 方法在多个公开的图像质量评价数据集上进行了充分比较,在LIVE、CSIQ、TID2013以及CID2013等数据集上的测试 结果相比于表现最好的算法均提升了1—2个百分点,这表明提出的算法优于大多数主流的NR-IQA算法。     

基于非局部梯度的图像质量评价算法

图像质量评价研究的目标在于模拟人类视觉系统对图像质量的感知过程,构建与主观评价结果尽可能一致的客观评价算法。现有的很多算法都是基于局部结构相似设计的,但人对图像的主观感知是高级的、语义的过程,而语义信息本质上是非局部的,因此图像质量评价应该考虑图像的非局部信息。该文突破了经典的基于局部信息的算法框架,提出一种基于非局部信息的框架,并在此框架内构建了一种基于非局部梯度的图像质量评价算法,该算法通过度量参考图像与失真图像的非局部梯度之间的相似性来预测图像质量。在公开测试数据库TID2008, LIVE, CSIQ上的数值实验结果表明,该算法能获得较好的评价效果。     

基于SEM的彩色融合图像质量主观评价方法北大核心CSCD

作为客观评价的研究基础,人眼主观评价是比较不同融合算法图像优劣的最直接有效的方法。通过开展主观评价实验,基于单因变量模型分析清晰度、颜色协调性等影响因素对彩色融合图像质量的影响程度,进而预测视觉任务下的融合图像总体质量,是目前流行的彩色融合图像质量主观评价研究方法。针对基于单因变量模型的研究方法易割裂“探测”与“感知”在探测识别过程中的联系的问题,本文以村庄环境下的探测识别视觉任务为例,选取“感知”和“探测”2个指标共同作为彩色融合图像质量的表现指标,组织15人对由8个场景、8种典型融合算法生成的42幅彩色融合图像的质量进行了主观评价。采用双因变量的结构方程模型(Structural Equation Model,SEM)分析了筛选后的评价结果,建立了彩色融合图像质量的预测模型并验证了模型的正确性。结果表明,当同时表现“感知”和“探测”2种性能时,村庄环境、探测识别视觉任务下,彩色融合图像的质量可由“目标背景差异”、“场景清晰度”和“颜色协调性”3个因素预测,且“感知”和“探测”2种性能是均衡的。     

基于傅里叶变换的彩色滤波阵列插值新算法与实验验证

在数码摄像系统中,CCD彩色滤波阵列(CFA,color filter array)被用于对颜色信息进行采样,然而每个像素只能对一种颜色进行采样,为了得到全彩色图像,必须对采样数据进行处理以估计其它颜色的像素值,这个过程通常利用插值来完成。CCD彩色滤波阵列插值算法是决定全彩色图像质量的最重要的因素之一,如果插值算法不够完善,图像的色彩就会出现失真。目前已有多种插值算法被提出,针对双线性插值图像在高频处失真严重及Gunturk自适应投影迭代法计算代价较高等问题,本文从傅里叶变换域分析彩色滤波阵列采样图像,根据采样图像在频率域上可以分为处于基带的亮度信息和高频段的色差信息的特点,提出一种色差调制插值算法。通过多组实验结果对比,本文插值算法在CPSNR(color peak-signal-to-noise ratio)值与ΔEs(S-CIELABdelta E)值以及还原图像的视觉效果上均要优于一般的插值算法。     

基于对抗和梯度的无参考图像质量评价算法

由于现有的生成对抗网络（GAN）很难完全获取细节上的失真,生成高质量图像仍旧比较困难。为了提高基于GAN的无参考图像质量评价（NR-IQA）方法的性能,提出一种基于对抗和梯度的NR-IQA方法。通过改进网络模型结构和引入基于梯度和色度相似性的平均偏差相似指数（MDSI）来提升模型的整体性能,整个模型由GAN和质量预测网络组成。首先,为了增强对抗训练,设计了双判别器的GAN,将失真图像和参考图像分别输入到网络中,利用WED数据集对GAN进行训练;其次,利用GAN生成相应失真图像的虚拟图像,并分析两者之间的差异,得到失真差异图和MDSI图;最后,为了从多个方面测量图像的感知质量,设计了多流质量预测网络,将失真图像、虚拟图像、失真差异图、MDSI图分别输入到网络中,输出图像质量预测分数。在LIVE、CISQ、TID2013数据集上进行训练和测试,所提算法在三个数据集上都表现出较好的性能,尤其在TID2013上。实验结果表明,该算法与人的主观评价具有较高的一致性。     

融合深度学习与多尺度Retinex的水下图像增强方法

针对水下图像纹理模糊和色偏严重等问题,提出了一种融合深度学习与多尺度导向滤波Retinex的水下图像增强方法。首先,将陆上图像采用纹理和直方图匹配法进行退化,构建退化水下图像失真的数据集并训练端到端卷积神经网络(convolutional neural network,CNN) 模型,利用该模型对原始水下图像进行颜色校正,得到色彩复原后的水下图像;然后,对色彩复原图像的亮度通道,采用多尺度Retinex(multi-scale Retinex,MSR) 方法得到纹理增强图像;最后,融合色彩复原图像中的颜色分量和纹理增强图像得到最终水下增强图像。本文利用仿真水下图像数据集和真实水下图像对提出方法进行性能测试。实验结果表明,所提方法的均方根误差、峰值信噪比、CIEDE2000和水下图像质量评价指标分别为0.302 0、17.239 2 dB、16.878 4和4.960 0,优于5种对比方法,增强后的水下图像更加真实自然。本文方法在校正水下图像颜色失真的同时,能有效提升纹理清晰度和对比度。     

一种基于颜色特征的图像质量评价算法

颜色作为描述图像最直接有效的特征,是目前图像质量评价中备受关注的评价参数之一。提出一种基于颜色特征的全参考图像质量评价系统,该系统在结构相似性SSIM(Structural Similarity)理论的基础上,充分考虑色度信息对人眼视觉感知的影响,利用分块颜色矩,建立了一种新的相似度度量模型。实验结果表明,该模型获得的客观评价结果与主观评价值具有很高的一致性。     

基于QDCT和贝叶斯谱熵的盲彩色图像质量评价

图像质量评价算法在评价彩色图像质量时,往往会因损失色彩信息或者破坏彩色图像结构的整体性,而使得评价结果与人眼观测结果不一致.由于图像越模糊其频谱的高频分量分布越不均匀,基于四元数离散余弦变换(QDCT)和贝叶斯谱熵,提出了一种无参考模糊彩色图像质量评价算法.首先,利用四元数矩阵对彩色图像进行表示并分解成不重叠的8×8 ...     

基于支持向量回归的无参考模糊和噪声图像质量评价方法

基于支持向量回归(SVR)和图像奇异值分解,提出了一种新的无参考(NR,no-reference)模糊和噪声图像质量评价(IQA)方法。首先通过对待评价图像进行高斯低通滤波生成再模糊图像,然后分别对它们进行奇异值分解并计算奇异值的改变量,最后使用奇异值的改变量作为SVR的输入,训练预并测得到图像的质量评分。在3个公开的模糊和噪声数据库上的实验结果表明,新方法预测得分与主观得分有较好的一致性,获得了较好的评价指标;对于模糊失真类型和噪声失真类型,在LIVE2数据库上的性能评价指标斯皮尔曼等级相关系数(SROCC)分别达到0.961 3和0.965 9。     

基于场景理解的双波段彩色融合图像质量评价

图像质量评价是双波段彩色融合处理算法及系统评价的基础,文中研究了一种可见光与红外彩色融合图像质量评价方法。提出了基于场景理解的图像感知质量PQSU 综合评价指标,选择三类典型场景彩色融合图像进行了主观视觉评价实验; 通过对已有评价指标与PQSU 综合指标的主观评价实验结果进行多元线性回归分析,建立了PQSU 的预测模型。结果表明:融合图像的场景颜色协调性与自然感高度相关;利用图像清晰度和颜色协调性可以有效地预测PQSU;针对不同场景类型,已有评价指标在PQSU 的预测模型中所占的权重有所不同,但预测模型的基本形式保持不变。文中提出的PQSU 及其预测模型为进一步发展融合图像质量客观评价模型奠定了基础。     

生成式双波段彩色融合图像质量评价

为了解决融合图像数据量有限的问题,提出了一种生成式双波段彩色融合图像质量评价方法。该方法基于对抗生成网络生成伪彩色融合图像,在训练过程中考虑了结构的不相似性,为伪彩色融合图像加入不同程度的无序变量生成新的数据集。使用孪生网络在伪彩色融合图像数据集中进行预训练,在真彩色融合图像数据集中进行微调,对彩色融合图像质量进行评价。实验结果表明,生成式双波段彩色融合图像质量评价方法的计算结果与人眼主观感受具有较高的一致性,可以有效地对彩色融合图像进行客观评价。     

典型场景彩色融合图像颜色协调性的主观评价

彩色夜视技术是当前夜视技术发展的前沿,但如何实现对彩色夜视图像质量的客观评价仍然是当前困扰人们的问题.针对北京理工大学高绍姝提出的颜色协调性模型主观评价实验人数不足的问题,按照国际视觉实验标准重新设计并进行了颜色协调性的主观视觉评价实验,主观评价测试的彩色融合图像分成绿色植物、海天和城镇建筑物三类典型场景,主观实验人数提高到52人;对主观评价实验结果的回归分析结果表明:高绍姝提出的颜色协调性评价模型在三类场景与主观评价结果均具有较好的一致性,明显优于其他评价模型,可以有效地对不同场景彩色融合图像的颜色协调性进行客观评价.     

针对对比度变化的图像质量评价方法

由于对比度变化容易引入图像亮度和色彩等失真,本文提出了一种面向对比度变化的图像质量评价方法CCIQA。所提方法先将图像进行亮度和色度分离,再分别根据亮度强度变化和明暗对比度变化提取亮度失真因子和根据色度相似性提取色度失真因子,接着依照基于亮度强度的权重图进行融合并计算得到最终图像质量评价分数。所提CCIQA方法在4个常用的数据库,TID2008,TID2013,CID2013和CCID2014进行广泛测试。实验结果表明所提CCIQA算法符合人眼视觉对对比度变化的主观感知,且算法性能优于多个最新图像质量评价方法。      

融合全局-局部特征的双通道无参考图像质量评价算法研究

针对目前大多数图像质量评价（Image Quality Assessment,IQA）算法在对非均匀失真图像进行质量评估时效果不佳的问题,提出一种结合全局-局部特征的双通道无参考图像质量评价（No-Reference Image Quality Assessment,NR-IQA）算法。首先,考虑输入图像尺寸的不同,利用局部失真重组算法对输入图像进行预处理。其次,利用基于Swin Transformer模块的双通道神经网络提取图像的全局特征和局部特征。最后,通过质量回归预测网络完成全局-局部特征到图像质量分数的映射。实验结果表明,该算法在两个数据集上分别取得0.823和0.871的斯皮尔曼等级相关系数（Spearman Rank Order Correlation Coefficient,SROCC）指标值,表明所提出算法与人的主观感知较为吻合。     

基于特征符号化和Transformer的无参考图像质量评价方法

基于深度学习的无参考图像质量评价方法目前存在语义关联性不足或模型训练要求高的问题，为此，本文提出了一种基于语义特征符号化和Transformer的无参考图像质量评价方法。首先使用深层卷积神经网络提取图像的高层语义特征；然后将语义特征映射成视觉特征符号，并基于Transformer自注意力机制对视觉特征符号之间的关系进行建模，提取图像的全局特征，同时使用浅层神经网络提取底层局部图像特征，捕捉图像低级失真信息；最后结合全局图像信息与局部图像信息，对图像质量进行预测。为了验证模型的精度和鲁棒性，以相关系数PLCC和SROCC作为评价指标，在5个主流的图像质量评价数据集和1个水下图像质量评价数据集上进行了实验，并将本文提出的方法与15种传统和基于深度学习的无参考图像质量评价方法进行了对比。实验结果表明，本文方法以较少的参数量（大约1.56 MB）在各类数据集上均取得了优越的性能，尤其在多重失真数据集LIVE-MD上将SROCC提升到了0.958，证明在复杂的失真情况下仍能准确评估图像质量，本文网络结构能满足实际应用场景。