面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

面向真实水下图像增强的质量评价数据集

目的 由于光在水中的衰减/散射以及微生物对光的吸收/反射等影响,水下图像通常存在色偏、模糊、光照不均匀以及对比度过低等诸多质量问题。研究人员对此提出了许多不同的水下图像增强算法。为了探究目前已有的水下图像增强算法的性能和图像质量客观评价方法是否适用于评估水下图像,本文开展大规模主观实验来对比不同水下图像增强算法在真实水下图像数据集上的性能,并对现有图像质量评价方法用于评估水下图像的准确性进行测试。方法 构建了一个真实的水下图像数据集,其中包含100幅原始水下图像以及对应的1 000幅由10种主流水下图像增强方法增强后的图像。基于成对比较的策略开展水下图像主观质量评价,进一步对主观评价得到的结果进行分析,包括一致性分析、收敛性分析以及显著性检验。最后将10种现有主流的无参考图像质量评价在本文数据集上进行测试,检验其在真实水下图像数据集上的评价性能。结果 一致性分析中,该数据集包含的主观评分有较高的肯德尔一致性系数,其值为0.41;收敛性分析中,所收集的投票数量与图像数量足够得到稳定的主观评分;表明本文构建的数据集具有良好的有效性与可靠性。此外,目前对比自然图像的无参考图像质量评价方法并不适用于水下图像数据集,验证了水下图像与自然图像的巨大差异。结论 本文构建的真实水下图像数据集为未来水下图像质量客观评价方法以及水下图像增强算法的研究提供了参考与支持。所涉及的图像以及所有收集的用户数据,都在项目主页(https://github.com/yia-yuese/RealUWIQ-dataset)上公开。     

多失真混杂的无人机图像质量盲评价

目的 面向多失真混杂的图像质量盲评价问题目前仍然是计算机视觉领域具有挑战性的工作之一,无人机图像受成像条件影响混杂多类失真,图像质量的准确评价是其效能发挥的关键环节。为此,引入并改进了基于自然场景统计的距离度量评价模型,提出多失真混杂的无人机图像质量盲评价方法。方法 从图像的结构性、信息完整性和颜色性3个不同的角度研究并提取了与无人机图像质量敏感的特征因子集;以实拍标准测绘图像库为原始图像获得MVG特性参数作为度量基准解决了盲评价中缺乏训练集的问题;构建了以实飞图像为样本的无人机图像质量数据库（UAV image set）,为相关问题的研究提供数据集和评价参考。结果 针对所构建的数据库,本文算法在主客观一致性、算法运行时间上与其他算法进行了对比实验。相比较其他经典算法,本文算法的主客观一致性较高,达到了0.8以上,运行时间较快,过到1.2 s。此外本文还给出了块大小对算法影响以及单特征对图像的评价结果,证明算法选择的图像块大小和图像特征符合质量评价的需要。结论 针对无人机图像所包含的多失真构建质量评价综合模型,该模型可满足无人机图像质量需求。     

雾天条件下偏振解析成像质量评价

目的 偏振成像产生的偏振参量图像具有一定的揭示雾天目标相关特性的优势,目前尚无适当的量化评估手段,由于偏振参量图像均由原方向图解析产生,针对解析类图像的质量评价问题利用现有方法无法有效解决,为此,提出一种用于雾天条件下偏振成像质量评价的方法,旨在给出不同雾天条件下偏振参量图像质量及其变化对比情况。方法 从图像质量分析角度验证雾天目标特性表征与主观观测一致性关系。在分析全偏振参量解析过程及雾天对图像质量的影响基础上,提取了与“解析失真”敏感的特征因子：基于空域的自然场景统计特征和图像的结构性特征,同时引入相应Stokes参量形成了偏振解析参量特征,依据马氏距离构建了统一的评价模型。结果 分别选取室内模拟雾天环境成像样本、仿真生成的雾天样本、室外实拍雾天成像样本3类样本。采用3个参数：1）非线性回归后的算法测试分数与DMOS（平均主观评份差值）间的线性相关系数（CC）;2）非线性回归后的算法测试分数与DMOS间;的均方根误差（RMSE）3）斯皮尔曼相关系数（SROCC）。开展了有效性实验及主客观一致性实验。采用本文算法评价的入射光强（I）图CC值和RMS值分别为0.930 2和4.593 2,偏振度（P）图的CC值和RMS值分别为0.877 1和0.995 0,算法准确度高。入射光强（I）图的SROCC值为0.939 0,P图的SROCC值为0.786 1,算法的客观分数与主观分数相一致。算法对不同雾天条件下的偏振解析参量图像的质量演变关系辨识性好,客观评价结果符合主观理论分析。结论 本文针对偏振参量图像提出的综合质量评价模型通过提取特征因子及Stokes参量形成的评价算法能够准确地评价参量图像中的I图和P图,算法准确度高、主客观一致性好,能够反映偏振参量图像的质量及相关关系,较好地解决了雾天条件下偏振成像质量评价问题。     

重要区域保持的图像缩放质量评价方法

目的 图像缩放质量评价是评估图像非等比例缩放优劣的依据,现有主流评价方法不能客观有效地给出定量评价结果,为此提出一种基于重要区域保持的图像非等比例缩放评价方法。方法 首先,结合视觉显著度、图像边缘和超像素分割构造重要区域识别算法;然后,设计描述图像缩放前后重要区域大小和内容保持的面积变化函数和成分变化函数;最后混合两种函数提出缩放质量评价函数。结果 在RetargetMe提供的标准测试集上对本文方法进行实验验证,计算缩放质量值以评价不同缩放方法的优劣,并利用肯德尔系数度量本文方法的评价结果与主观评价的一致性,本文方法的平均肯德尔系数比当前主流客观方法高0.5%~11%。结论 与现有主流客观评价方法相比,本文方法所得到的肯德尔系数值更大,证明该方法能够更准确有效、快速、定量地评价各类图像非等比例缩放结果。     

采用双尺度图像分解的水下彩色图像增强

目的 为解决水下图像的色偏和低对比度等问题,提出一种基于双尺度图像分解的水下彩色图像增强算法。方法 通过基于均值和方差的对比度拉伸方法改善图像的色偏问题,并利用中值滤波降低红通道对比度拉伸后引入的噪声;采用双尺度图像分解绿通道图像补偿红通道图像细节;在处理后的红通道图像中引入原始图像红通道的真实细节与颜色。结果 选取不同水下图像作为实验数据集,将本文方法与暗通道先验的方法、基于融合的方法、自动红通道恢复方法以及一种基于卷积神经网络深度学习的方法相比较,首先从主观视觉效果进行定性分析,然后通过不同评测指标进行定量分析。主观定性分析结果表明,提出的方法相比较其他方法能够更好地解决图像色偏和红色阴影问题;定量分析中,自然图像质量评价（natural image quality evaluation,NIQE）指标和信息熵（information entropy,IE）值较基于融合的方法和深度学习的方法分别提高了1.8%和13.6%,且水下图像质量评价指标（underwater image quality measurement method,UIQM）较其他方法更优。结论 提出的双尺度图像分解方法利用水下图像成像特点解决图像色偏以及低对比度问题,具有良好的适应能力,同时算法复杂度低且鲁棒性较高,普遍适用于复杂的水下彩色图像增强。     

面向彩色增强图像的客观质量评价算法

目的 现有的全参考图像质量评价方法使用“完美”的源信号作为参考,但是增强图像的参考图像通常不是“完美”的.因此,现有的全参考质量评价方法不能用于增强图像的评价,提出了一种新的面向彩色增强图像的质量评价算法.方法 利用图像的梯度、颜色和亮度特征,提出了增强图像的梯度增强图、颜色增强图和亮度增强因子的计算方法,计算增强图像相对于参考图像在梯度、颜色和亮度方面的增强程度;并建立了亮度增强因子和梯度增强图、颜色增强图之间的关系模型;另外,原图像的梯度和颜色特征也被提取用于增强图像的质量评价.结果 使用公开数据库进行的实验结果表明,该算法和现有最优算法相比,皮尔逊线性相关系数(PLCC)和斯皮尔曼相关系数(SROCC)分别提高了2.9%和2.5%,而均方根误差(RMSE)则降低了12.3%,获得了比现有算法更优越的性能.结论 本文算法解决了目前已有的评价算法需要参考图像为“完美”图像,而且增强图像质量无法采用相似性程度进行计算的问题,适用于为了获得更好视觉质量的不含噪增强图像的质量评价.     

针对质量评价的环境星遥感真实图像库构建

目的 随着遥感信息爆炸时代的来临,海量的遥感图像信息不断地从太空中传来。如何有效地利用这些遥感数据成为学者们新的研究热点。遥感图像质量评价不仅能筛选出有价值的图像以供后续的图像处理,如地物分类、目标识别等,还能对卫星设备的运转情况进行检测,而目前还没有公开的针对质量评价的遥感图像库。为此,构建了一个针对质量评价的环境星HJ-1A/1B真实遥感图像专家评分库。方法 遥感图像专家评分库包含70组,每组包含同一地点的5个不同时间点的图像,共350幅真实遥感图像以及每幅图像对应的主观评价质量分数。并通过基于卷积神经网络的图像质量评价算法来验证该遥感图像专家库的可用性。结果 将本文算法和4种效果较好的无参考图像质量评价算法在本文数据库上进行性能检测,并对各算法性能与训练测试集规模的关系进行对比实验。实验结果表明,目前针对仿真图像的无参考图像质量评价算法并不适用于该遥感图像库,验证了遥感真实图像与自然仿真图像的巨大差异,而基于卷积神经网络的算法结果则表明该数据库具有质量评价研究价值。结论 本文构建的基于环境星遥感真实图像库能够为遥感图像质量评价提供验证平台,并且数据规模可以为深度学习在遥感图像处理领域的应用提供支持。     

相位一致性指导的全参考全景图像质量评价

目的 全景图像的质量评价和传输、处理过程并不是在同一个空间进行的,传统的评价算法无法准确地反映用户在观察球面场景时产生的真实感受,针对观察空间与处理空间不一致的问题,本文提出一种基于相位一致性的全参考全景图像质量评价模型。方法 将平面图像进行全景加权,使得平面上的特征能准确反映球面空间质量畸变。采用相位一致性互信息的相似度获取参考图像和失真图像的结构相似度。接着,利用相位一致性局部熵的相似度反映参考图像和失真图像的纹理相似度。将两部分相似度融合可得全景图像的客观质量分数。结果 实验在全景质量评价数据集OIQA（omnidirectional image quality assessment）上进行,在原始图像中引入4种不同类型的失真,将提出的算法与6种主流算法进行性能对比,比较了基于相位信息的一致性互信息和一致性局部熵,以及评价标准依据4项指标。实验结果表明,相比于现有的6种全景图像质量评估算法,该算法在PLCC（Pearson linear correlation coefficient）和SRCC（Spearman rank order correlation coefficient）指标上比WS-SSIM（weighted-to-spherically-uniform structural similarity）算法高出0.4左右,并且在RMSE（root of mean square error）上低0.9左右,4项指标最优,能够获得更好的拟合效果。结论 本文算法解决了观察空间和映射空间不一致的问题,并且融合了基于人眼感知的多尺度互信息相似度和局部熵相似度,获得与人眼感知更为一致的客观分数,评价效果更为准确,更加符合人眼视觉特征。     

掩膜融合下的人脸图像质量评价方法

目的 人脸识别技术已经在众多领域中得到广泛应用,然而现有识别方法对于人脸图像的质量要求普遍较高,低质量图像会严重影响系统的识别性能,产生误判。人脸图像质量评价方法可用于高质量图像的筛选,对改善人脸识别系统的性能有重要作用。不同于传统的图像质量评价,人脸图像质量评价是一种可用性评价,目前对其研究较少。人们在进行人脸识别时往往主要通过眼睛、鼻子、嘴等关键区域;基于此,本文提出了一种基于掩膜的人脸图像质量无参考评价方法,通过挖掘脸部关键区域对人脸识别算法的影响计算人脸图像质量。方法 人脸识别方法通常需要比较输入人脸图像和高质量基准图像之间的特征相似度;本文从另一个角度出发,在输入人脸图像的基础上构造低可用性图像作为伪参考,并通过计算输入人脸图像和伪参考图像间的相似性获得输入人脸图像的质量评价分数。具体地,对一幅输入的人脸图像,首先对其关键区域添加掩膜获得低可用性质量的掩膜人脸图像,然后将输入图像和掩膜图像输入特征提取网络以获得人脸特征,最后计算特征间的距离获得输入人脸图像的质量分数。结果 用AOC(错误拒绝曲线围成的区域面积)作为评估指标,在5个数据集上将本文方法与其他主流的人脸质量评价方法进行了充分比较,在LFW(labeled faces in the wild)数据集中比性能第2的模型提升了14.8%,在CelebA(celebFaces attribute)数据集中提升了0.1%,在DDFace(diversified distortion face)数据集中提升了2.9%,在VGGFace2(Visual Geometry Group Face2)数据集中提升了3.7%,在CASIA-WebFace(Institute of Automation, Chinese Academy of Science-Website Face)数据集中提升了4.9%。结论 本文提出的基于掩膜的人脸图像质量评价方法,充分利用了人脸识别的关键性区域,将人脸识别的特点融入到人脸图像质量评价算法的设计中,能够在不需要参考图像的条件下准确预测出不同失真程度下的人脸图像质量分数,并且性能优于目前的主流方法。     

指纹图像的自适应预处理研究

自动指纹识别系统的性能在很大程度上依赖于其预处理效果的好坏.不同环境、不同手指采集到的指纹图像,在图像质量方面会有很大的差别,而图像质量的好坏往往决定了识别的准确率.自适应预处理方法首先对指纹图像进行质量评估,对于质量过差的图像直接剔除,不进入后续的处理和识别;对于质量较差的图像,则根据其类型的不同,运用数学形态学和图像处理技术进行自适应增强处理.由于该自适应预处理方法的步骤和结构元素的选择充分考虑到各指纹图像在脊谷线连通性方面的差异,所以对不同的低质量指纹图像,均可得到较好的处理效果.     

Recent Advances in Image Dehazing

Images captured in hazy or foggy weather conditions can be seriously degraded by scattering of atmospheric particles, which reduces the contrast, changes the color, and makes the object features difficult to identify by human vision and by some outdoor computer vision systems. Therefore image dehazing is an important issue and has been widely researched in the field of computer vision. The role of image dehazing is to remove the influence of weather factors in order to improve the visual effects of the image and provide benefit to post-processing. This paper reviews the main techniques of image dehazing that have been developed over the past decade. Firstly, we innovatively divide a number of approaches into three categories: image enhancement based methods, image fusion based methods and image restoration based methods. All methods are analyzed and corresponding sub-categories are introduced according to principles and characteristics. Various quality evaluation methods are then described, sorted and discussed in detail. Finally, research progress is summarized and future research directions are suggested.      

水下图像增强和复原方法研究进展

目的 近年来随着水下图像/视频在海洋军事、海洋环境保护和海洋工程等科研和工业领域扮演越来越重要的角色,水下图像增强和复原作为关键技术之一,越来越多地成为研究的热点和难点问题。目前有关水下图像增强和复原方法研究进展的综述论文在国内外相对较少,为使即将进入该研究领域的学者比较全面地了解该领域的研究现状,促进该领域的快速发展,本文对其系统综述。方法 在广泛调研大量文献的基础上,按照是否基于物理模型对已有方法进行分类讨论,对其基本思想、方法特点、实验方法进行归纳和总结,其中对典型的方法进行具体介绍和分析。同时,介绍了水下图像质量的评测体系,针对典型方法的处理结果进行定性和定量的评测。进而,总结该研究领域目前存在的不足,展望未来可能的发展方向。结果 总结了水下图像退化的原因、水下图像增强和复原所采用的主要技术和方法、水下图像质量评测体系的发展历程,给出了亟待解决的问题,展望了未来的发展方向。结论 作为新兴的研究领域,水下图像增强和复原在工业界和学术界都具有广阔的应用前景和研究价值,但针对目前存在的一些局限性还需要进一步深入研究。     

水下光学图像重建方法研究进展

水下光学图像可以提供直观丰富的海洋信息,近年来在海洋资源开发、环境保护和海洋工程等诸多领域发挥越来越重要的作用。但是受恶劣复杂的水下成像环境影响,水下光学图像普遍存在对比度低、图像模糊以及颜色失真等质量退化问题,严重制约水下智能处理系统的性能和应用。如何清晰地重建水下光学图像是国内外广泛关注的、具有挑战性的难点问题。随着深度学习技术的蓬勃发展,利用深度学习来提升水下图像质量成为当前的研究热点。鉴于目前国内在水下光学图像重建方面的研究综述较少,本文全面综述其研究进展。分析了水下图像退化机理,总结了现有水下成像模型以及水下图像重建的挑战;梳理了水下光学图像重建方法的发展历程,根据是否采用深度学习以及是否基于成像模型,将现有方法分为4大类,并按照研究发展顺序,依次介绍4类方法的基本思想,分析其优缺点;归纳了目前公开的水下图像数据集以及常用的水下图像质量评价方法,并对8种典型的水下图像重建方法进行了性能评测和对比分析;总结了该领域目前仍存在的问题,展望了后续研究方向,以便于相关研究人员了解该领域的研究现状,促进该领域的技术发展。     

基于RGB灰度值缩放的彩色图像增强

为保持彩色图像增强时色调不变,提出一种基于RGB灰度值缩放的彩色图像增强算法。采用二次函数增强像素RGB三基色的最大值,获得缩放因子k,利用k值增强相应像素的RGB灰度值。实验结果表明,该算法能增强不同压缩比的彩色图像,综合性能优于现有算法。     

基于Contourlet变换的指纹图像增强

提出通过变换域进行指纹图像增强,对指纹图像进行多尺度多方向的Contourlet变换,通过估计噪声方差水平,对Contourlet变换域系数进行处理,保护边缘特征系数,抑制噪声系数,反变换重建达到去除噪声、增强图像的目的。实验结果表明算法效果良好。     

视频图像增强关键技术研究

随着社会的飞速发展,采集保存视频/图像已经成为人类日常生活的一部分。视频图像的质量高低,对人类识别图像对象起着非常重要的作用。为了改善图像的视觉效果,有目的地强调图像的某些特征,增加图像的可读性与可识别性,提出采取融合增强术来提高视频图像的对比度与清晰度,提高图像增强质量。     

模糊集与非线性增益相结合的自适应图像增强算法*

提出了一种模糊集增强与非线性增益相结合的自适应图像增强算法,使用双正交小波变换对原始图像进行分解,低频子带系数采用改进的模糊集增强算法,以提升图像的整体对比度;对高频子带,先采用贝叶斯萎缩法估计噪声与信号的阈值,再使用一种非线性增益函数增强图像细节并抑制噪声。对算法中影响增强效果的关键参数进行了研究,并提出了一种模糊集增强算子的阈值选取算法,能够实现不同图像自适应参数选择;将信息熵作为非线性增益函数的参数选取准则,并针对算法中排序算法运算量过多导致算法时间过长的情况,提出了一种替代求解方法,极大地提高了算法效率。对算法进行仿真,结果表明：算法能够有效提升对比度、增强图像细节并抑制噪声,可以明显改善图像的视觉效果,具有参数自适应、算法效率高等优点。