图像质量评价研究综述——从失真的角度

随着多媒体技术的快速发展及广泛应用,图像质量评价因其在多媒体处理中的重要作用得到越来越多的关注,其作用包括图像数据筛选、算法参数选择与优化等。根据图像质量评价应用时是否需要参考信息,它可分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价,前两类分别需要全部参考信息和部分参考信息,而第3类不需要参考信息。无论是全参考、半参考还是无参考图像质量评价,图像失真对图像质量评价的影响均较大,主要体现在图像质量评价数据库构建和图像质量评价模型设计两方面。本文从图像失真的角度,主要概述2011—2021年国内外公开发表的图像质量评价模型,涵盖全参考、半参考和无参考模型。根据图像的失真类型,将图像质量评价模型分为针对合成失真的图像质量评价模型、针对真实失真的图像质量评价模型和针对算法相关失真的图像质量评价模型。其中,合成失真是指人工添加噪声,如高斯噪声和模糊失真,通常呈现均匀分布;真实失真是指在图像的获取中,由于环境、拍摄设备或拍摄操作不当等因素所引入的失真类型。相对合成失真,真实失真更为复杂,可能包括一种或多种失真,数据收集难度更大;算法相关失真是指图像处理算法或计算机视觉算法在处理图像...     

基于生成感知差异的无参考图像质量评价模型

人眼视觉系统中的视觉感知差异是图像质量评价过程中的重要组成部分,通过感知失真图像与原始图像之间的视觉差异,可对图像的失真程度进行判断,然而在无参考图像质量评价中无法获取原始未失真的图像,且缺乏对失真图像的视觉感知差异.通过对深度学习中的生成对抗网络进行分析,提出一种基于生成视觉感知差异的无参考图像质量评价模型.利用生成...     

基于非下采样轮廓波变换和多核学习的盲图像质量评价

非下采样轮廓波(Contourlet)变换具有多尺度、多方向特性,能够对图像纹理和结构信息进行精确提取,可以很好地模拟人类视觉系统的多分辨率特性,基于此提出一种基于非下采样Contourlet变换的通用型盲(无参考)图像质量评价算法。首先在空间域上对图像进行非下采样Contourlet变换;然后在各方向带中分别提取能有效反映人类视觉失真程度的特征:高频幅值、平均梯度、信息熵作为图像的特征;最后将其输入到高效的分层多核学习机中学习,预测图像的质量得分。在混合失真型数据库和3个单失真型数据库上的交叉实验结果表明,该算法性能优越,能很好地预测失真图像质量,具有很好的主客观一致性。     

多尺度遥感语义分割网络

高分辨率遥感图像语义分割在国土规划、地理监测、智慧城市等领域有着广泛的应用价值,但是现阶段研究中存在相似地物和精细地物分割不准确问题。为解决这一问题,提出了一种新型的多尺度语义分割网络MSSNet。它由编码层、解码层和输出层组成。为解决相似地物的分割问题,编码层使用深层网络ResNet101充分提取地物特征,并在解码层的解码器中加入残差块,提高基于像素点的分类能力。为解决精细结构地物的分割问题,解码层中的解码器加入了空洞空间金字塔池化结构提取多尺度地物特征,以便精确分割不同尺度的地物。为了强化语义分割能力,输出层合并了多个解码器的输出,为最终的预测提供了更多的信息。在两个公开数据集Vaihingen和Potsdam上进行了实验,分别取得了87%和87.3%的全局精确度,超过了大多数已发表的方法。实验结果表明,提出的MSSNet能够精确地分割相似地物和精细地物,并且具有训练过程简单和易于使用的优点,非常适合进行高分辨率遥感图像语义分割。     

结合感知特征和自然场景统计的无参考图像质量评价

为了更有效的评价各种失真类型的图像,本文提出了一种新颖的通用型无参考图像质量评价方法,它采取学习感知特征和空域自然统计特征相结合的方法来构建图像质量评价模型。方法是在提取显著分块的36个空域自然统计特征的基础上,增加基于相位一致性熵、基于相位一致性均值、梯度均值以及失真图像的熵四个感知特征,采用支持向量机回归的学习方式来构建图像特征与人的主观分数的映射关系,进而根据所提取特征预测图像质量。在LIVE图像库上的实验表明,文中算法预测质量分数与人的主观分数具有较高的一致性,基本呈线性关系,鲁棒性较好,运行时间较短,综合性能较好。     

深度指导的无监督领域自适应语义分割

为了提高语义分割精度,解决模型在不同数据域上泛化性差的问题,提出基于深度信息的无监督领域自适应语义分割方法.首先,深度感知自适应框架通过捕捉深度信息和语义信息的内在联系,减小不同域之间的差异;然后,设计了一个轻量级深度估计网络来提供深度信息,通过跨任务交互策略融合深度和语义信息,并在深度感知空间对齐源域和目标域的分布差距;最后,提出基于深度信息的域内自适应策略弥合目标域内部的分布差异,将目标域分为子源域和子目标域,并缩小子源域和子目标域分布差距.实验结果表明,所提方法在SYNTHIA-2-Cityscapes和SYNTHIA-2-Mapillary跨域任务上的平均交并比分别为46.7%和73.3%,与同类方法相比,该方法在语义分割和深度估计精度上均有显著提升.     

无参考图像质量评价研究进展

图像质量评价一直是图像处理和计算机视觉领域的一个基础问题,图像质量评价模型也广泛应用于图像/视频编码、超分辨率重建和图像/视频视觉质量增强等相关领域。图像质量评价主要包括全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。全参考图像质量评价和半参考图像质量评价分别指预测图像质量时参考信息完全可用和部分可用,而无参考图像质量评价是指预测图像质量时参考信息不可用。虽然全参考和半参考图像质量评价模型较为可靠,但在计算过程中必须依赖参考信息,使得应用场景极为受限。无参考图像质量评价模型因不需要依赖参考信息而有较强的适用性,一直都是图像质量评价领域研究的热点。本文主要概述2012—2020年国内外公开发表的无参考图像质量评价模型,根据模型训练过程中是否需要用到主观分数,将无参考图像质量评价模型分为有监督学习和无监督学习的无参考图像质量评价模型。同时,每类模型分成基于传统机器学习算法的模型和基于深度学习算法的模型。对基于传统机器学习算法的模型,重点介绍相应的特征提取策略及思想;对基于深度学习算法的模型,重点介绍设计思路。此外,本文介绍了图像质量评价在新媒体数据中的研究工作及图像质量评价的应用。最后对介绍的无参考图像质量评价模型进行总结,并指出未来可能的发展方向。     

基于人眼色彩差异化感知的图像质量评价研究

针对显著性图像质量评价问题,参考人眼视觉对图像色彩的差异化感知,提出一种基于孪生神经网络对图像色彩对比显著区域进行质量评价的算法。首先,根据图像中的色彩对比和语义信息分别提取原始图像和失真图像中的色彩对比显著区域;然后,将原始图像和失真图像中对应的色彩区域作为子图像,以样本对的形式输入孪生神经网络;最后,计算主客观图像质量评估值的相关性。实验采用残差结构的Inception-ResNet-V2网络作为基础模型,同时增加EMD损失函数优化对图像质量的距离损失,经过Softmax层后输出图像质量评估值,并在TID2013数据集上进行了测试。结果表明,提出的算法在该数据集上性能良好。     

基于深度学习的无参考图像质量评价综述

图像质量评价是图像处理、图像/视频编码等领域的基础性问题,用于评估图像的失真程度,被广泛应用于算法设计与分析、系统性能评估等方面.无参考图像质量评价(又称为盲图像质量评价)是一种重要的客观质量评价方法.因为无须原始的参考图像,因此具有广泛的应用前景.近年来,随着深度学习技术的不断发展,人们提出了多种基于深度学习的无参考...     

深度学习背景下的图像语义分割方法综述

语义分割任务是很多计算机视觉任务的前提与基础,在虚拟现实、无人驾驶等领域具有重要的应用价值。随着深度学习技术的快速发展,尤其是卷积神经网络（convolutional neural network,CNN）的出现,使得图像语义分割取得了长足的进步。首先,本文介绍了语义分割概念、相关背景和语义分割基本处理流程。然后,总结开源的2D、2.5D、3D数据集和其相适应的分割方法,详细描述了不同网络的分割特点、优缺点及分割精确度,得出监督学习是有效的训练方式。同时,介绍了权威的算法性能评价指标,根据不同方法的侧重点,对各个分割方法的相关实验进行了对比分析,指出了目前实验方面整体存在的问题,其中,DeepLab-V3+网络在分割精确度和速度方面都具有良好的性能,应用价值较高。在此基础上,本文针对国内外的研究现状,提出了当前面临的几点挑战和未来可能的研究方向。通过总结与分析,能够为相关研究人员进行图像语义分割相关研究提供参考。     

Saliency-based deep convolutional neural network for no-reference image quality assessment

In this paper, we proposed a novel method for No-Reference Image Quality Assessment (NR-IQA) by combining deep Convolutional Neural Network (CNN) with saliency map. We first investigate the effect of depth of CNNs for NR-IQA by comparing our proposed ten-layer Deep CNN (DCNN) for NR-IQA with the state-of-the-art CNN architecture proposed by Kang et al. (2014). Our results show that the DCNN architecture can deliver a higher accuracy on the LIVE dataset. To mimic human vision, we introduce saliency maps combining with CNN to propose a Saliency-based DCNN (SDCNN) framework for NR-IQA. We compute a saliency map for each image and both the map and the image are split into small patches. Each image patch is assigned with a patch importance value based on its saliency patch. A set of Salient Image Patches (SIPs) are selected according to their saliency and we only apply the model on those SIPs to predict the quality score for the whole image. Our experimental results show that the SDCNN framework is superior to other state-of-the-art approaches on the widely used LIVE dataset. The TID2008 and the CISQ image quality datasets are utilised to report cross-dataset results. The results indicate that our proposed SDCNN can generalise well on other datasets.     

一种盲复原图像振铃效应的后处理与质量评价方法

由于图像盲复原过程中先验信息的不足,往往造成复原图像质量不尽如人意,振铃效应就是影响复原图像质量的重要因素之一。振铃效应的存在使得对复原图像的后续处理难于进行,并使得一些图像质量的评价方法失效。针对图像盲复原的特点,提出了一种振铃效应的后处理方法,并基于将振铃与清晰度分别评价的思想,提出了一种复原图像的无参考评价方案。实验证明该去振铃方法简单有效,该复原图像的评价方案也很好地反映了人类的视觉特性。     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

面向图像语义分割的生成对抗网络模型

图像语义分割一直是计算机视觉中具有挑战性的任务之一。目前多数基于卷积神经网络的语义分割算法存在分割结果不精确,不连续等问题。为了提高图像分割效果,提出了基于生成对抗学习的图像语义分割网络模型。该模型由生成网络和判别网络两部分组成。生成网络含有五个模块,主要作用是生成语义分割图,判别网络与生成网络进行对抗训练,优化生成网络以使生成图像更加接近于Ground Truth。通过在Pascal VOC 2012数据集上对图像进行语义分割的分析,验证了该算法可以有效提高图像语义分割的精度。     

Blind visual quality assessment for image super-resolution by convolutional neural network

Multimedia Tools and Applications - Image super-resolution aims to increase the resolution of images with good visual experience. Over the past decades, there have been many image super-resolution...     

物体显著性排名感知网络用于高效图像检索

针对目前图像检索领域主要依靠语义相似性检索图片而忽略了场景中物体重要性关系问题,提出了一种基于场景感知的物体显著性排名算法SASR,使图像检索更关注场景中物体的相互关系。SASR分为两个阶段,在第一阶段,提出了基于视点数据的“组合阈值”物体级显著性排名真值标签标注方法,该方法简化了排名标签的标注;在第二阶段,提出了基于图卷积网络的物体级显著性排序网络,该网络解决了多个在物体级排序问题中存在的特异性难点。该算法改善了目前显著性排名标签生成方式并进行了大量对比实验,在现有SALICON数据集上的实验结果表明,其提升了显著性排名的性能,在NUS-WIDE数据集上的实验结果表明在该算法的支撑下,图像检索性能平均提升了2%,证明了其有效性。     

No-reference synthetic image quality assessment with convolutional neural network and local image saliency

Depth-image-based rendering (DIBR) is widely used in 3DTV, free-viewpoint video, and interactive 3D graphics applications. Typically, synthetic images generated by DIBR-based systems incorporate various distortions, particularly geometric distortions induced by object dis-occlusion. Ensuring the quality of synthetic images is critical to maintaining adequate system service. However, traditional 2D image quality metrics are ineffective for evaluating synthetic images as they are not sensitive to geometric distortion. In this paper, we propose a novel no-reference image quality assessment method for synthetic images based on convolutional neural networks, introducing local image saliency as prediction weights. Due to the lack of existing training data, we construct a new DIBR synthetic image dataset as part of our contribution. Experiments were conducted on both the public benchmark IRCCyN/IVC DIBR image dataset and our own dataset. Results demonstrate that our proposed metric outperforms traditional 2D image quality metrics and state-of-the-art DIBR-related metrics.

     

结合相关反馈日志与语义网络的图像标注

连接高层语义和低层视觉特征的图像语义标注技术能够很好地表示图像的语义,提出并实现了一种结合相关反馈日志与语义网络的图像标注方法。该方法以收集的用户相关反馈日志为基础获得图像的语义信息,通过计算图像间的语义相似度进行语义聚类并采用语义传播的方式实现图像的语义标注。实验结果表明,随着相关反馈日志库的不断扩充,图像库中越来越多的图像会在反馈的过程中得到标注且标注的准确率会随着反馈次数的增加而趋于稳定。     

Impact of visual saliency on multi-distorted blind image quality assessment using deep neural architecture

Multimedia Tools and Applications - No-referenceimage quality assessment (NR-IQA) techniques try to assess the quality of images without anyinformation regarding the pristine version of the image....