夜视融合图像质量主观评价方法

为建立通用、客观的融合图像质量评价方法,在分析图像质量主观评价方法基础上,研究了融合图像质量主观评价对象、评价条件、评价指标和数据处理等关键环节,结合目标探测识别与场景理解两个典型的视觉任务,提出了目标可探测性和细节可分辨性两个主观评价指标,并研究了图像整体感知质量与这两个指标的相关性。对3种不同场景的微光与红外融合图像,采用9种融合方法获得的189幅融合图像的统计分析结果显示,细节可分辨性和图像整体感知质量相关性好,而目标可探测性虽然和图像整体感知质量相关性较差,但在基于具体视觉任务的融合图像质量评价过程中,仍可作为有效评价指标之一。     

基于SEM的彩色融合图像质量主观评价方法北大核心CSCD

作为客观评价的研究基础,人眼主观评价是比较不同融合算法图像优劣的最直接有效的方法。通过开展主观评价实验,基于单因变量模型分析清晰度、颜色协调性等影响因素对彩色融合图像质量的影响程度,进而预测视觉任务下的融合图像总体质量,是目前流行的彩色融合图像质量主观评价研究方法。针对基于单因变量模型的研究方法易割裂“探测”与“感知”在探测识别过程中的联系的问题,本文以村庄环境下的探测识别视觉任务为例,选取“感知”和“探测”2个指标共同作为彩色融合图像质量的表现指标,组织15人对由8个场景、8种典型融合算法生成的42幅彩色融合图像的质量进行了主观评价。采用双因变量的结构方程模型(Structural Equation Model,SEM)分析了筛选后的评价结果,建立了彩色融合图像质量的预测模型并验证了模型的正确性。结果表明,当同时表现“感知”和“探测”2种性能时,村庄环境、探测识别视觉任务下,彩色融合图像的质量可由“目标背景差异”、“场景清晰度”和“颜色协调性”3个因素预测,且“感知”和“探测”2种性能是均衡的。     

微光与红外图像融合质量视觉评价实验

图像融合技术是当前夜视技术发展的重要方向之一，彩色夜视技术更是其中的研究重点。然而，有关彩色／灰度融合图像的质量问题尚未形成一致的认识。近年来国外典型的夜视融合图像视觉评价实验表明：融合图像在大多数视觉任务中均优于单波段图像，但融合图像质量不仅与视觉任务相关，也与融合算法和获取图像条件等诸多因素有关。这些实验对于国内开展夜视图像融合技术和系统具有重要的参考意义。     

基于场景理解的双波段彩色融合图像质量评价

图像质量评价是双波段彩色融合处理算法及系统评价的基础,文中研究了一种可见光与红外彩色融合图像质量评价方法。提出了基于场景理解的图像感知质量PQSU 综合评价指标,选择三类典型场景彩色融合图像进行了主观视觉评价实验; 通过对已有评价指标与PQSU 综合指标的主观评价实验结果进行多元线性回归分析,建立了PQSU 的预测模型。结果表明:融合图像的场景颜色协调性与自然感高度相关;利用图像清晰度和颜色协调性可以有效地预测PQSU;针对不同场景类型,已有评价指标在PQSU 的预测模型中所占的权重有所不同,但预测模型的基本形式保持不变。文中提出的PQSU 及其预测模型为进一步发展融合图像质量客观评价模型奠定了基础。     

基于视觉显著失真度的图像质量自适应评价方法

针对结构相似(SSIM)图像质量评价算法没有考虑人眼视觉多通道性和对图像高失真评价的不稳定性,提出一种基于视觉显著失真度的图像质量自适应融合(VSAP)评价方法。该方法首先采用log-Gabor滤波提取图像的高频、中频及低频3层视觉特征,基于log-Gabor变换尺度和方向权重系数计算特征值的相似度;然后基于视觉阈值多分辨性迭加计算出特征值的失真度;最后,根据视觉失真度自适应融合相似度评价与失真度评价获得图像质量的最终客观评价。实验结果表明,VSAP方法不但对图像不同类型失真的客观评价与主观感知具有更高的相关性,而且3个主要指标斯皮尔曼等级相关系数(SROCC)、曲线拟合相关系数(CC)和均方根误差(RMSE)对图像不同水平失真的整体评价性能更稳定,明显优于其它评价方法。     

小波域结构相似度融合图像质量评价方法

针对融合图像质量评价问题,分析了图像质量评价与融合图像质量评价的关系,给出了融合图像质量评价方法的一般表达公式,指出构造实际并不存在的参考图像是解决融合图像质量评价问题的关键。在此基础上,基于空域结构相似度评价方法,对输入源图像和融合图像分别进行小波分解,利用输入源图像小波分解系数构造参考图像小波系数,然后根据人眼视觉敏感度带通特性对参考图像和融合图像的各小波频带进行加权,从而得到整幅图像的小波域结构相似度评价指标,利用目标可探测性、细节可分辨能力和图像整体舒适性构成主观评价指标分别和交互信息量、基于空域的结构相似度比较。实验结果表明,相比于传统的客观评价方法,提出的方法所得结果与主观评价结果的一致性更好。     

夜视抗晕光融合图像自适应分区质量评价

针对夜视晕光场景中,高亮度晕光信息导致现有红外与可见光融合图像评价方法失效的问题,该文提出一种自适应分区的融合图像质量评价方法。该方法根据可见光图像的晕光程度自动确定自适应系数,并通过迭代计算可见光灰度图像的晕光临界灰度值,将融合图像自动分为多个晕光区和非晕光区;在晕光区由设计的晕光消除度指标评价融合图像的晕光消除效果;在非晕光区从融合图像自身特性、对原始图像信息保留程度以及人眼视觉效果3方面评价融合图像纹理色彩等细节信息的增强效果;通过对4种不同抗晕光算法的融合图像进行评价分析,甄选出9种客观评价指标构成夜视抗晕光融合图像质量评价体系。不同夜视晕光场景下的实验结果表明,所提方法能够全面、合理地评价红外与可见光融合的抗晕光图像质量,解决了融合图像晕光消除越彻底客观评价结果反而越差的问题,也适于评判不同抗晕光融合算法的优劣。     

基于灰度变换与两尺度分解的夜视图像融合

为了获得更适合人感知的夜视融合图像,该文提出一种基于灰度变换与两尺度分解的夜视图像融合算法。首先,利用红外像素值作为指数因子对可见光图像进行灰度转换,在达到可见光图像增强的同时还使可见光与红外图像融合任务转换为同类图像融合。其次,通过均值滤波对增强结果与原始可见光图像进行两尺度分解。再次,运用基于视觉权重图的方法融合细节层。最后,综合这些结果重构出融合图像。由于该文方法在可见光波段显示结果,因此融合图像更适合视觉感知。实验结果表明,所提方法在视觉质量和客观评价方面优于其它5种对比方法,融合时间小于0.2 s,满足实时性要求。融合后图像背景细节信息清晰,热目标突出,同时降低处理时间。     

提高夜视融合目标可探测性的颜色对比度增强方法

根据人眼视觉系统特性,分析了场景理解和目标探测对彩色融合的要求,并据此提出了一种通过颜色对比度增强来提高目标可探测性的夜视融合方法.该方法使热目标呈红色,冷目标呈蓝绿色;根据红外图像特征,引入了一种和红外图像各像素亮度与图像平均亮度的偏离相关的颜色对比度增强因子,利用该因子可增强目标与背景的颜色对比度,弥补颜色传递彩色融合方法在颜色对比度上的不足,能有效提高目标可探测性.实验表明该方法既能突出红外目标,又能保持丰富的背景细节,在增强场景理解的同时提高了目标可探测性.     

典型场景彩色融合图像颜色协调性的主观评价

彩色夜视技术是当前夜视技术发展的前沿,但如何实现对彩色夜视图像质量的客观评价仍然是当前困扰人们的问题.针对北京理工大学高绍姝提出的颜色协调性模型主观评价实验人数不足的问题,按照国际视觉实验标准重新设计并进行了颜色协调性的主观视觉评价实验,主观评价测试的彩色融合图像分成绿色植物、海天和城镇建筑物三类典型场景,主观实验人数提高到52人;对主观评价实验结果的回归分析结果表明:高绍姝提出的颜色协调性评价模型在三类场景与主观评价结果均具有较好的一致性,明显优于其他评价模型,可以有效地对不同场景彩色融合图像的颜色协调性进行客观评价.     

灰度融合图像目标与背景感知对比度客观评价模型

目标与背景感知对比度是影响可见光与红外灰度融合图像质量的主要因素之一。现有的对比度评价模型未能充分考虑人眼视觉特性。因此,基于韦伯对比度模型的形式,结合人眼亮度掩盖特性,提出了一种简单有效的融合图像目标与背景感知对比度评价模型。利用模拟图像和现实场景灰度融合图像的主观评价分数来检验客观评价模型。结果表明,与现有的5种图像对比度评价模型相比,所提出的目标与背景感知对比度客观评价模型能够给出更接近人眼主观感受的评价结果,有效地实现灰度融合图像目标与背景感知对比度的客观评价。     

Perceptual quality assessment for multimodal medical image fusion

Recent years have witnessed that the multimodal medical image fusion (MMIF) plays critical roles in clinical diagnostics and treatment. Many MMIF algorithms have been proposed to improve the MMIF images quality. The quality of multimodal medical fused images will significantly affect the results of the clinical diagnosis. However, little work has been designed to evaluate the effectiveness of MMIF algorithms and the quality of MMIF images. To this end, this paper presents a perceptual quality assessment method for MMIF. A MMIF image database (MMIFID) is first built to employ the classical MMIF algorithms, and the subjective experiment is conducted to assess the quality of each fused image. Then, a no-reference objective method is proposed for the perceptual quality evaluation of MMIF images,which uses Pulse Coupled Neural Network (PCNN) in Non-subsampled Contourlet Transform (NSCT). A fused image is decomposed by NSCT into low frequency sub-band (LFS) and high frequency sub-band (HFS). It is used to motivate the PCNN processing, and large firing times are employed to measure LFS and HFS. Finally, two components evaluation results are combined to obtain the overall objective quality score. Experimental results based on the MMIFID indicate that our presented method outperforms the existing image fusion quality evaluation metrics, and it provides a satisfactory correlation with subjective scores, which shows effectiveness in the quality assessment of medical fused images.     

颜色对比度增强的红外与可见光图像融合方法

针对红外与可见光彩色融合图像中目标与背景间的低对比度的问题,提出一种基于HSI空间颜色对比度增强的红外和可见光图像融合方法.首先对输入的可见光与红外图像进行直方图均衡和中值滤波加强处理,然后对加强的红外图像模糊阈值分割得到红外目标,最后把分割的红外目标图像和加强的可见光和红外图像在HSI空间的三通道线性融合和色彩传递,为了增强目标与背景间的颜色对比度,在色彩传递阶段, H通道的色彩传递方程中引入一个比例因子.实验结果表明:与其他算法相比,该方法得到的彩色融合图像热目标和低温物体与背景间的颜色对比度明显加强,同时背景的细节信息呈现白天类似的自然彩色,更加符合人眼视觉感知.     

基于多级引导滤波器的图像区域融合算法

为了提高多光谱图像与全色图像的融合质量,研究了多种滤波器和融合算法,提出了基于多级引导滤波器的区域融合方法。采用该方法对多光谱图像进行插值,利用改进的分水岭算法对全色图像进行区域划分,并将划分结果映射至每个多光谱图像,然后将多光谱图像与全色图像利用多级引导滤波器分别进行滤波,得到各自的细节信息,最后根据每个区域中全色图像和多光谱图像的关系指标局部相关系数与4阶相关系数的大小,对细节信息进行区域融合,得到融合后的多光谱图像。结果表明,该算法充分保留了多光谱图像的光谱信息,并尽可能多地注入了全色图像的细节信息,成功地提高了多光谱图像的融合效果。     

红外与可见光图像融合质量评价方法综述

图像融合质量评价标准是目前图像融合中急需解决的问题之一。在不同的应用场景中,选择适当的融合算法对现有融合算法进行改进以及研究新的融合算法都是至关重要的。综述了无参考图像的客观质量评价方法,重点介绍了基于结构信息的图像融合质量评价方法,最后探讨了图像融合质量评价方法的发展趋势。     

可见光与红外融合的汽车抗晕光图像评价方法

为了解决汽车抗晕光场景中,融合图像质量的客观评价与人眼视觉效果不一致的问题,提出了一种新的可见光与红外融合图像质量评价方法,该方法通过设计自适应迭代阈值法自动确定融合图像的晕光临界灰度值,并将融合图像自动分为晕光区和非晕光区。针对晕光区,设计晕光消除度指标评价晕光消除的效果;针对非晕光区,从多方面评价色彩、细节信息的增强效果,并甄选出合适的指标构成完整的图像质量评价体系。为验证该方法的合理性,对采用4种不同算法的融合图像进行评价,实验分析表明,该方法的主客观评价结果一致,适于评判不同可见光与红外融合的抗晕光图像质量及算法的优劣。