基于特征符号化和Transformer的无参考图像质量评价方法

基于深度学习的无参考图像质量评价方法目前存在语义关联性不足或模型训练要求高的问题,为此,本文提出了一种基于语义特征符号化和Transformer的无参考图像质量评价方法。首先使用深层卷积神经网络提取图像的高层语义特征;然后将语义特征映射成视觉特征符号,并基于Transformer自注意力机制对视觉特征符号之间的关系进行建模,提取图像的全局特征,同时使用浅层神经网络提取底层局部图像特征,捕捉图像低级失真信息;最后结合全局图像信息与局部图像信息,对图像质量进行预测。为了验证模型的精度和鲁棒性,以相关系数PLCC和SROCC作为评价指标,在5个主流的图像质量评价数据集和1个水下图像质量评价数据集上进行了实验,并将本文提出的方法与15种传统和基于深度学习的无参考图像质量评价方法进行了对比。实验结果表明,本文方法以较少的参数量（大约1.56MB）在各类数据集上均取得了优越的性能,尤其在多重失真数据集LIVE-MD上将SROCC提升到了0.958,证明在复杂的失真情况下仍能准确评估图像质量,本文网络结构能满足实际应用场景。