基于梯度及HVS特性的离焦模糊图像质量评价*

在当前人眼视觉系统（HVS）特性研究的基础上提出基于梯度及HVS特性的离焦模糊图像质量评价模型（GVSSIM）。该模型利用Sobel边缘梯度算子提取图像的梯度信息,并根据人眼视觉特性进行视觉加权,得到新的结构相似性评价指标,进而获得图像质量评价指标。该方法与SSIM(图像结构相似度)评价模型相比,具有计算简单的特点,对离焦模糊图像的评价结果能更好地反映人眼视觉感受。     

医学图像质量评价中的梯度加权SSIM

Zhou Wang等人提出了著名的图像客观质量评价方法：结构相似度（SSIM）,其理论基础是人眼视觉系统能高度自适应地提取场景中的结构信息,大量实验证明SSIM的评价性能多优于PSNR（或MSE）。然而,由于视觉掩盖效应的影响,且SSIM规避了HVS底层视觉特性,直接导致SSIM的评价常与主观评价不符。在深入研究SSIM算法的基础上,根据人眼视觉的掩盖效应之特性,提出图像中不同区域的失真程度引导的权值设计方案：基于梯度加权的SSIM图像质量评价方法（GWSSIM）。实验结果表明,GWSSIM的图像质量评价准确性高于PSNR和SSIM,尤其适用于医学图像。     

基于边缘的结构相似度模糊图像质量评价

结构相似性理论是一种关于图像质量评价的新思想,它很好地模拟了人眼视觉特性的整体功能。本文首先介绍了传统图像质量评价方法的不足,分析了基于视觉特性的结构相似度理论。作为结构相似性理论的一个实现,结构相似度模型(SSIM)简单且评价性能优于峰值信噪比(PSNR)或均方误差(MSE),但SSIM模型不能较好地评价严重模糊的降质图像。基于此,在SSIM基础上,本文提出了一种新颖的、基于边缘的图像质量评价模型(ESSIM)。该模型充分考虑了图像的边缘信息和人类视觉系统的关系。实验结果表明,ESSIM是一种有效的图像质量评价方法,尤其在对模糊图像的质量评价上优于结构相似度的评价方法SSIM。     

一种改进的基于结构相似度的图像质量评价方法

基于结构相似度（SSIM）的图像质量评价方法简单高效,准确性较高,评价性能优于峰值信噪比（PNSR）和均方误差（ MSE）,但SSIM模型不能较好地评价严重失真和交叉失真类型的图像。文中提出了一种改进的基于结构相似度的图像质量评价方法（ HSSIM）,该方法将直方图信息作为图像的主要结构信息,根据人眼视觉特性,利用直方图集中度来表示图像模糊度,最终计算得到图像的结构相似度值。实验结果表明,HSSIM比SSIM模型更符合人眼视觉系统特性,能更好地评价失真图像的质量。     

基于结构方向信息的图像质量评价方法

结构相似度(SSIM)方法通过度量原图像和失真图像之间的结构相似程度,达到了比传统PSNR方法更好的图像质量评价效果。但SSIM算法本身并没有充分利用图像的结构信息,在SSIM算法的基础上进一步挖掘图像结构中包含的方向信息,提出了局部结构方向相似度(LSOS),将LSOS方法和现有的SIExt算法相结合,提出基于结构方向信息的图像质量评价算法(SOI)。实验表明,该方法能够达到比SIExt和SSIM方法更好的图像质量评价结果。     

基于梯度幅度值的结构相似度的图像质量评价方法

说明传统图像质量评价方法的不足之处.在SSIM模型不能很好地评价严重模糊的降质图像的基础上,从图像梯度幅度值和图像边缘的关系出发,分析了基于梯度幅度值的结构相似度(GSIM)的图像质量评价方法.实验结果表明,该模型比SSIM模型更符合人眼的视觉特性.     

信息量加权的梯度显著度图像质量评价

目的：针对信息量加权结构化图像质量评价算法(Information Content Weighted SSIM, IW-SSIM)对图像局部失真度量能力的不足,提出了一种被称为信息量加权的梯度显著度图像质量评价改进算法(Information Content Weighted Gradient Salience SSIM, IW-GS-SSIM)。方法：该算法首先根据人眼视觉系统响应亮度刺激的韦伯定律,仅在空域内利用一次滤波快速计算出当前像素点与背景之间的对比度并将其非线性映射为该像素点的视觉显著度。然后,将视觉显著度与梯度特征结合后获得了一种新的被称为梯度显著度局部失真度量(GS-SSIM)并将其替换IW-SSIM算法中的SSIM局部结构化度量。结果：在六大公开基准数据库上完成的大量对比实验表明：对于图像的各种噪声和模糊等类型失真,GS-SSIM较SSIM局部失真度量具有更高的评价准确率。与IW-SSIM算法和其它被广泛引用的图像质量评价算法相比,改进算法评价结果总体上与主观评价结果具有更高的一致性。结论：视觉显著度与梯度特征相结合后所构成的结构化度量能够有效提高经典SSIM结构化度量对图像局部失真度量的准确性,未来可以考虑将人类视觉系统(HVS)的其它特性融入到图像质量评价算法中,以进一步提高算法的准确性。     

基于结构信息的图像质量评价模型

针对客观数字图像质量评价方法结构相似度（SSIM）算法对严重失真类型的评价值与主观评价（MOS）值之间存在着明显差异的问题,对几种将SSIM算法与人眼视觉系统（HVS）特性相结合的算法基于图像边缘的ESSIM算法、基于空间域频域敏感的HSSIM算法,以及基于信息内容权值的IWSSIM算法进行了比较。从实验数据可知,ESSIM,HSSIM算法的准确性有不同程度的提高,而IWSSIM模型在比较主客观值相关的单调性方面更为稳定。实验结果为今后结构相似度算法的改进提供了依据,指明研究方向。     

改进的结构相似医学图像质量评价方法

医学图像质量评价从基本方法上和普通图像评价是相同的。基于人眼视觉系统的图像质量客观评价一直是图像处理领域的研究热点。Zhou Wang等人提出了著名的客观质量评价方法：结构相似度（SSIM）,它的理论基础是人眼视觉系统能高度自适应地提取场景中的结构信息。其评价性能优于PSNR（或MSE）。但是SSIM评价模糊失真类的图像准确性较低。在深入研究SSIM算法的基础上,提出一种改进SSIM算法：基于梯度方向信息的图像质量评价方法（GDSSIM）。实验结果表明,GDSSIM评价高斯模糊（GBlur）图像库时准确性明显高于PSNR和SSIM,评价Fast Fading图像库时准确性也有明显优势。最后,初步探讨了以上图像质量评价算法在医学图像上的应用。     

快速提升的结构相似度IQA算法

客观图像质量评价(IQA)的目的是设计与主观评价算法尽可能一致的数学模型来度量图像的质量.针对结构相似度(SSIM)和其他一些算法的局限性,考虑到梯度可以反映图像的边缘纹理等结构信息,提出一种快速的全参考型IQA算法,即提升的梯度加权结构相似度(GWL-SSIM)算法.首先定义图像局部块的广义梯度;然后利用其相似性及图像对比度相似性和结构相似性得到局部质量的特征映射图;最后采用广义梯度加权的池化策略得到IQA模型,广义梯度能很好地刻画视觉感知系统的非线性属性,而加权策略模拟了其对图像不同成分感知的差异性.在6个公开数据库中进行数值实验的结果表明,GWL-SSIM算法计算效率高,并取得了与目前流行算法相当的评价效果.     

双波段彩色融合图像色彩和谐性客观评价

针对现有的图像质量评价方法较少利用人眼视网膜和视觉皮层的颜色编码机制,并且未能充分考虑图像色彩信息对图像质量的影响,提出了一种基于多视觉特征的可见光(微光)与红外彩色融合图像色彩和谐性客观评价模型.该模型在图像质量评估中融入了更多的颜色信息,综合考虑多种人眼视觉特征包括视觉对立色彩特征、色彩信息波动特征和高级视觉内容特征,经过特征融合和支持向量回归训练,实现彩色融合图像的色彩和谐性客观评价.采用3种典型场景融合图像数据库进行实验比较与分析.实验结果表明,与现有的8种图像质量客观评价方法相比,所提出的方法与人眼主观感受更加一致,具有较高的预测准确度.     

Image fusion based on generative adversarial network consistent with perception

Deep learning is a rapidly developing approach in the field of infrared and visible image fusion. In this context, the use of dense blocks in deep networks significantly improves the utilization of shallow information, and the combination of the Generative Adversarial Network (GAN) also improves the fusion performance of two source images. We propose a new method based on dense blocks and GANs , and we directly insert the input image-visible light image in each layer of the entire network. We use structural similarity and gradient loss functions that are more consistent with perception instead of mean square error loss. After the adversarial training between the generator and the discriminator, we show that a trained end-to-end fusion network – the generator network – is finally obtained. Our experiments show that the fused images obtained by our approach achieve good score based on multiple evaluation indicators. Further, our fused images have better visual effects in multiple sets of contrasts, which are more satisfying to human visual perception.     

基于非下采样轮廓波变换和多核学习的盲图像质量评价

非下采样轮廓波(Contourlet)变换具有多尺度、多方向特性,能够对图像纹理和结构信息进行精确提取,可以很好地模拟人类视觉系统的多分辨率特性,基于此提出一种基于非下采样Contourlet变换的通用型盲(无参考)图像质量评价算法。首先在空间域上对图像进行非下采样Contourlet变换;然后在各方向带中分别提取能有效反映人类视觉失真程度的特征:高频幅值、平均梯度、信息熵作为图像的特征;最后将其输入到高效的分层多核学习机中学习,预测图像的质量得分。在混合失真型数据库和3个单失真型数据库上的交叉实验结果表明,该算法性能优越,能很好地预测失真图像质量,具有很好的主客观一致性。     

A two-step approach to see-through bad weather for surveillance video quality enhancement

Adverse weather conditions such as snow, fog or heavy rain greatly reduce the visual quality of outdoor surveillance videos. Video quality enhancement can improve the visual quality of surveillance videos providing clearer images with more details to better meet human perception needs and also improve video analytics performance. Existing work in this area mainly focuses on the quality enhancement for high-resolution videos or still images, but few algorithms are developed for enhancing surveillance videos, which normally have low resolution, high noises and compression artifacts. In addition, for snow or rain conditions, the image quality of near-field view is degraded by the obscuration of apparent snowflakes or raindrops, while the quality of far-field view is degraded by the obscuration of fog-like snowflakes or raindrops. Very few video quality enhancement algorithms have been developed to handle both problems. In this paper, we propose a novel video quality enhancement algorithm for see-through snow, fog or heavy rain. Our algorithm not only improves human visual perception experiences for video surveillance, but also reveal more video contents for better video content analyses. The proposed algorithm handles both near-field and far-field snow/rain effects by proposed a two-step approach: (1) the near-field enhancement algorithm identifies obscuration pixels by snow or rain in the near-field view and removes these pixels as snowflakes or raindrops; different from state-of-the-art methods, our proposed algorithm in this step can detect snowflakes on foreground objects or background, and apply different methods to fill in the removed regions. (2) The far-field enhancement algorithm restores the image’s contrast information not only to reveal more details in the far-field view, but also to enhance the overall image’s quality; in this step, the proposed algorithm adaptively enhances the global and local contrast, which is inspired on the human visual system, and accounts for the perceptual sensitivity to noises, compression artifacts, and the texture of image content. From our extensive testing, the proposed approach significantly improves the visual quality of surveillance videos by removing snow/fog/rain effects.     

基于TV-L1结构纹理分解的图像融合质量评价算法

为对图像融合算法进行客观准确的综合评价,提出一种基于总变差正则化（TV-L¹）结构纹理分解的评价算法。根据对人类视觉系统的研究,可知人们对图像质量的感知主要来自图像底层视觉特征,而结构特征以及纹理特征是最重要的图像底层视觉特征,但目前的图像融合质量评价算法并没有利用这两种特征来进行评价。鉴于此,将图像进行二级结构和纹理分解,根据结构和纹理图像蕴含图像特征的不同,从结构图像和纹理图像两方面分别进行相似度评价,综合各级得分得到最终的评价总得分。基于30幅图像的数据集和8种主流融合算法,参照已有的11种客观评价指标,用波达计数法和肯德尔系数检验了该评价指标的一致性,另外在主观评价图像集上验证了该客观评价指标与主观评价的一致性。     

沙尘图像色彩恢复及增强卷积神经网络

目的 在沙尘天气条件下,由于大气中悬浮微粒对入射光线的吸收和散射,户外计算机视觉系统所采集图像通常存在颜色偏黄失真和低对比度等问题,严重影响户外计算机视觉系统的性能。为此,提出一种带色彩恢复的沙尘图像卷积神经网络增强方法,由一个色彩恢复子网和一个去尘增强子网组成。方法 采用提出的色彩恢复子网(sand dust color correction, SDCC)校正沙尘图像的偏色,将颜色校正后的图像作为条件,输入到由自适应实例归一化残差块组成的去尘增强子网中,对沙尘图像进行增强处理。本文还提出一种基于物理光学模型的沙尘图像合成方法,并采用该方法构建了大规模的配对沙尘图像数据集。结果 对大量沙尘图像的实验结果表明,所提出的沙尘图像增强方法能很好地去除图像中的偏色和沙尘,获得正常的视觉颜色和细节清晰的图像。进一步的对比实验表明,该方法能取得优于对比方法的增强图像。结论 本文所提出的沙尘图像增强方法能很好地消除整体的黄色色调和尘霾现象,获得正常的视觉色彩和细节清晰的图像。     

人类深度感知立体图像质量评价方法

立体图像质量评价是感知与显示的基础,也是立体视频系统设计的依据。由于图像的最终接受者是人,所以评价图像质量的关键在于其是否符合人类的视觉系统特性。通过对视觉非线性、对比敏感度、多通道结构和掩蔽效应等人类视觉特性的分析,提出一种符合人类主观感知的立体图像质量评价方法。该方法首先对图像进行5级小波分解,将图像的空间频率按视觉系统的掩盖效应特点分成6个频带分别进行滤波,以改变原始图像的空间频率,然后对每个频带进行相似度度量。根据对比敏感度特性对各个频带的质量评价结果进行加权平均,得到最终的质量评价尺度。实验结果表明,本文方法优于传统的客观质量评价方法,与人的主观感受有更好的一致性,能够反映图像的质量以及立体感。     

基于大位移视点图像的单帧图像修复

提出一种基于大位移视点图像的单帧图像修复算法,利用大位移视点图像中的可见信息修补目标图像中的被遮挡或信息丢失区域.算法的关键在于如何转化大位移视点图像的可见信息为可用信息,以及如何利用得到的可用信息来有效地修补目标图像.在交互指定待修复的目标区域后,算法首先将所有图像分割为不同的平面场景区域,并基于图像匹配将大位移视点图像中的平面场景区域变换到当前视点.因此,其中的可见信息就可被直接使用.进而通过定义合适的修复和融合优先级函数,提出基于纹理合成和图像融合的图像修复算法,利用获得的可用信息来修补目标区域.修复区域和目标图像之间的鬼影现象使用Poisson图像融合算法来消除,以达到无缝的修复结果.实验结果表明,该算法能够修复较大的丢失信息区域中的结构和纹理信息,具有一定的实用价值.