超分辨重建图像质量评价算法

超分辨率图像重建技术可以提高图像分辨率,但是通常会给图像带来相应的尺寸变化,如何评价质量提升是个难题。目前常用的图像质量评价算法很少涉及图像的尺寸变化。基于结构相似度（SSIM）和尺度空间理论（SIFT）,提出了一种针对超分辨率重建图像的弱参考质量评价算法,算法将SSIM与SIFT融合,能够适用图像尺寸的变化。通过仿真和实验证明了该算法的有效性。实验结果表明,该算法能够很好地适应图像尺寸的变化,可以客观地评价超分辨重建图像质量的好坏。     

基于SIFT特征的多帧图像超分辨重建

精确的亚像素级图像配准是图像超分辨重建中的关键问题.在图像超分辨重建中广泛使用的基于像素特征的光流法,对于大幅度运动场的计算很难做到精确的亚像素级配准.本文考虑了一种基于SIFT(scale invariant feature transform)特征的鲁棒性多帧图像超分辨重建算法.首先提取输入的低分辨待匹配图像对的SIFT关键点及其特征矢量.随后选取候选匹配关键点对,通过RANSAC(random sample consensus)鲁棒方法去除奇异值,并根据假设的平移性几何约束模型,获得图像对的平移运动配准参数,然后选取视场中心对应的或指定的图像帧为初始参考帧,再使用传统的超分辨重建框架获得最终的重建结果.仿真实验结果表明,提出的基于SIFT特征的图像超分辨重建方案是有效的,超分辨重建的图像质量在主观评价和客观指标上都获得了优于经典算法的效果.     

单幅图像超分辨重建的深度学习方法综述

图像超分辨重建（Super-Resolution,SR）是指利用信号处理和机器学习等方法,从单幅或者多幅低分辨率图像（Low Resolution,LR）中重建对应的高分辨率图像（High Resolution,HR）的技术。由于多幅LR图像之间亚像素位移的不可预知性,单幅图像超分辨重建（Single Image Super-Resolution,SISR）逐渐成为超分辨研究的主要方向。近年来,深度学习方法得到迅速发展,并广泛应用到图像处理领域。因此,针对单幅图像超分辨重建所使用的深度学习相关算法和网络模型进行系统的总结。介绍图像超分辨问题的设置和评价指标;讨论和比较单幅图像超分辨重建的深度学习算法,主要从网络结构设计、损失函数和上采样方式三方面进行论述;介绍常用的标准数据集,并选用基于不同网络模型的几种典型算法进行实验对比分析;展望图像超分辨技术未来的研究趋势和发展方向。     

无参考图像质量评价研究进展

图像质量评价一直是图像处理和计算机视觉领域的一个基础问题,图像质量评价模型也广泛应用于图像/视频编码、超分辨率重建和图像/视频视觉质量增强等相关领域。图像质量评价主要包括全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。全参考图像质量评价和半参考图像质量评价分别指预测图像质量时参考信息完全可用和部分可用,而无参考图像质量评价是指预测图像质量时参考信息不可用。虽然全参考和半参考图像质量评价模型较为可靠,但在计算过程中必须依赖参考信息,使得应用场景极为受限。无参考图像质量评价模型因不需要依赖参考信息而有较强的适用性,一直都是图像质量评价领域研究的热点。本文主要概述2012—2020年国内外公开发表的无参考图像质量评价模型,根据模型训练过程中是否需要用到主观分数,将无参考图像质量评价模型分为有监督学习和无监督学习的无参考图像质量评价模型。同时,每类模型分成基于传统机器学习算法的模型和基于深度学习算法的模型。对基于传统机器学习算法的模型,重点介绍相应的特征提取策略及思想;对基于深度学习算法的模型,重点介绍设计思路。此外,本文介绍了图像质量评价在新媒体数据中的研究工作及图像质量评价的应用。最后对介绍的无参考图像质量评价模型进行总结,并指出未来可能的发展方向。     

图像超分辨重建算法综述

图像超分辨重建是一种提升图像分辨率的图像处理技术,而超分辨问题是一个难解的欠定问题,近些年来研究人员主要采用基于学习的方法,从大量数据中学习图像先验信息,以实现对解空间的约束。本文介绍了近20年来主流的图像超分辨重建算法,主要分为基于传统特征的方法和基于深度学习的方法。对于传统的超分辨重建算法,阐述了基于邻域嵌入的方法、基于稀疏表示的方法以及基于局部线性回归的方法。对于基于深度学习的超分辨重建算法,详细总结了网络模型结构设计、上采样方式、损失函数形式以及复杂条件下的算法设计4个方面。此外,本文简要分析了超分辨重建技术在视频超分辨、遥感图像超分辨以及在视觉高层任务方面的应用。最后,本文展望了图像超分辨重建技术的未来发展方向。     

基于 SVD 的超分辨率重建图像质量无参考评价方法

重建图像质量评价是衡量超分辨率方法优劣的决定性指标,现有的评价方法大都需要借助同一场景具有更高分辨率的图像作为参考图像,但在实际超分辨率重建图像过程中这一需求难以实现.针对上述问题,考虑到人眼对相对亮度变化更为敏感,且边缘清晰度与图像主观评价质量成正比,利用去均值图像、梯度图像以及灰度图像,提出一种仅依靠图像自身信息的、基于SVD的超分辨率重建图像质量无参考客观评价方法.首先将图像分割为相互重叠的局部图像块,然后在各局部图像块中利用SVD分别得到低分辨率图像间及其与超分辨率重建图像间的子评价结果,最后再将这些子评价结果整合为最终的客观评价指标SSQI.实验结果表明,SSQI指标是一种具有较高准确性和鲁棒性的无参考客观评价指标,与人类主观评价结果保持了很好的一致性.     

基于深度学习特征字典的单帧图像超分辨率重建

在基于字典的单帧图像超分辨率重建算法中,依赖人工浅层特征设计的字典表达图像特征能力有限。为此,提出基于深度学习特征字典的超分辨重建方法。该算法首先利用深度网络进行高、低分辨率训练样本图像深层次特征学习;然后,在稀疏字典超分辨框架下联合训练特征字典;最后,输入单帧低分辨率图像并利用该字典实现超分辨率重建。理论分析表明,引入深度网络提取图像深层次特征并用于字典训练,对低分辨率图像的高频信息补充更加有利。实验证明,与双三次插值以及基于一般人工特征字典的超分辨重建算法相比,本文算法的主观视觉和客观评价指标均高于对比算法。     

基于学习的图像超分辨重建方法综述

全面综述了基于学习的单帧图像超分辨重建技术的研究与发展。基于学习的单帧图像超分辨重建借助机器学习技术,通过学习低分辨与高分辨图像之间的映射关系估计低分辨图像中丢失的高频细节,以获得边缘清晰、纹理细节丰富的高质量图像。根据超分辨重建过程中实例样本使用方式和学习算法的不同,已有基于学习的超分辨重建方法可分为五种类型,包括基于[k]近邻学习的方法、基于流形学习的方法、基于字典学习的方法、基于实例多线性回归的方法和基于深度学习的方法。对每类方法的主要思想和具有代表性的方法进行了详细介绍,对六种具有代表性的基于学习的超分辨重建方法的重建结果进行了比较和分析。最后,对基于学习的超分辨重建技术的未来发展趋势进行了展望。     

自适应IQA阈值序列图像NLM超分辨重建方法

序列图像超分辨率（super resolution,SR）算法可以利用多帧低分辨率图像之间的互补信息重建出一张高分辨率结果。传统非局部均值（non-local means,NLM）超分辨率重建方法的迭代次数选取和最佳SR重建结果筛选过程高度依赖使用者经验值和主观评价,这极大地增加了算法复杂度,降低了算法的鲁棒性。为了解决这两个问题,提出一种基于图像质量评价（image quality assessment,IQA）自适应阈值的NLM超分辨重建算法。通过设计一种SR重建结果质量评价指标,将该指标引入到NLM重建算法中：一方面作为阈值,用以确定算法迭代收敛条件;另一方面作为评价标准,用以筛选多个输出结果中重建效果最佳的高分辨率图像。实验结果表明,提出的算法能在有效保证鲁棒性的同时,极大地提升NLM超分辨率重建算法的运算效率。     

全局和局部结构内容自适应正则化的单幅图像超分辨模型

目的 基于正则化的重建是单幅图像超分辨的重要方法之一.其中,如何构造合适的图像先验,增强超分辨重建过程中的边缘和纹理保持能力是该类方法的关键.提出一个全局和局部结构内容自适应正则化的单幅图像超分辨模型.方法 该模型综合了图像梯度的全局非高斯性和局部结构方向自适应回归特性.首先,利用广义高斯分布拟合图像梯度模的重尾特性,由最大后验概率框架构造了图像全局内容感知的lα(0＜α＜1)范数稀疏性度量;然后,利用图像局部内容的各向异性相关性,给出基于Geman-McClure(GM)权函数加权的局部结构方向自适应回归先验;最后利用半二次惩罚和变量分裂法,设计了该优化模型快速求解的超分辨算法.结果 实验结果表明:在客观评价上,本文方法在峰值信噪比与结构相似度两方面优于现有的一些超分辨方法,在主观视觉效果上,能够很好的恢复图像的纹理细节和边缘信息.结论 基于全局和局部结构内容自适应正则化的单幅图像超分辨方法在保持图像边缘和恢复图像纹理细节方面取得较好的重建性能.     

压缩视频的正则化投影超分辨率重建

压缩视频超分辨率（SR）技术利用压缩后的低分辨率（LR）图像序列来重建高分辨率（HR）图像的技术,是当前视频超分辨率技术研究的热点。在正则化理论和凸集投影理论的基础上,利用比特流中的量化信息,提出了一种正则化投影超分辨率重建算法;通过正则化代价函数引入图像序列的时间域和空间域的先验信息,使用迭代梯度下降算法对正则化代价函数求解得到重建图像,最后利用凸集投影算法对求得的估计图像进行DCT域投影重建。仿真实验结果表明,该自适应算法较传统算法,其重建图像的主、客观质量有一定的提高,适合压缩图像的应用。     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。     

No-reference quality assessment for low-light image enhancement: Subjective and objective methods

No-Reference (NR) quality assessment is a crucial approach for evaluating the quality of low-light enhanced images, as it is often difficult to acquire high-quality reference images in applications such as night-time automatic driving. However, current NR evaluation methods for low-light enhanced images often lack consideration of important characteristics such as color, structure, and naturalness. This paper proposes a novel NR quality assessment method for NR low-light enhanced images from both subjective and objective aspects. On the subjective side, we construct the Low-light Enhanced Images Subjective Dataset (LEISD) containing 2040 images with 255 different image contents. Each image was evaluated based on the Single Stimulus (SS) method by 20 subjects. On the objective side, we propose Multi-Features Reconciliation-based Quality Assessment (MFRQA) methods for low-light enhanced images by observing the low-light enhanced images. The MFRQA summarized four key feature perspectives: brightness, color, structure and naturalness, and employed the traditional machine learning model to reconcile the multi-features. Experimental results on the LEISD dataset demonstrate competitive performance and low complexity of our method compared to the representative quality metrics.     

优化的AdaBoost回归图像超分辨方法

实例回归是一种简单但有效的超分辨重建方法。然而,简单线性回归器不仅不能很好地表征低分辨与高分辨图像之间复杂的非线性关系,同时,在字典和回归器规模较大的情况下,存在内存占用过高的现象,限制了该类方法在内存受限情况下的适用性。针对这些问题,提出了一种自适应特征增强的实例回归超分辨率重建优化方法。该方法利用[K]-SVD字典学习算法从训练集中学习一个稀疏字典作为锚点;利用锚点邻域回归通过[T]次自适应增强算法得到一组强回归器;将得到强回归器进行优化编码,得到一组回归基和其相应的编码系数用于超分辨重建。为验证提出算法的有效性,分别与其他主流方法在四个公共标准数据集上进行超分辨对比实验。实验结果表明,提出的方法在客观质量和视觉质量评价两个方面上均取得了较好的重建质量,具有较好的重建性能和较低的内存占用。     

全景图像质量评价方法最新进展

随着虚拟现实技术的快速发展,全景视频图像已成为一种新的媒体展示形式被投入使用。全景图像的质量评价方法对促进虚拟现实技术具有重要的现实意义。研究了近五年来全景图像质量评价新方法。分析了全景图像客观评价指标,包括基于峰值信噪比的改进方法和基于结构相似性的改进方法。归纳总结了基于深度学习的全景图像质量评价方法以及其特有的缝合失真和投影失真的评价方法。搜集整理了常用的全景图像质量评价公共数据集与专有自建数据集。采用皮尔森相关系数、斯皮尔曼秩相关系数与均方根误差作为评价指标,根据客观评分与人眼主观感受的相关程度对现有全景图像质量评价方法进行了对比分析。对全景图像质量评价方法的发展方向进行展望。     

虚拟现实图像客观质量评价研究进展

随着科学技术的发展,虚拟现实(virtual reality,VR)技术逐渐渗透到医疗、教育、军事和娱乐等众多领域,并凭借在各个领域广阔的应用前景而受到广泛关注。鉴于视觉质量是决定VR技术能否成功应用的关键,且图像是VR应用最基础和最重要的视觉信息载体,VR图像质量评价已经成为质量评价领域的重要前沿性研究方向。与传统图像质量评价类似,VR图像质量评价可以分为主观质量评价和客观质量评价。由于客观质量评价相比主观质量评价具有成本低、稳定性高和应用范围广等优点,对VR图像客观质量评价的研究受到了国内外学者的高度重视。目前,关于VR图像客观质量评价的研究已经取得了一定进展,但是文献中缺少对该方向相关研究方法的综述。基于此,本文针对VR图像客观质量评价的研究进行概述。首先,对VR图像质量评价的研究现状进行分析。然后,重点对现有的VR图像客观质量评价模型进行综述。具体地,根据模型是否需要使用原始无失真图像信息作为参考,将现有的VR图像客观质量评价模型划分为全参考型和无参考型两大类。其中,全参考型方法进一步划分为基于峰值信噪比/结构相似度的方法和基于传统机器学习的方法。根据特征表达空间的不同,无参考型VR图像质量评价模型划分为3类：基于等矩形投影表达空间的方法、基于其他投影表达空间的方法和基于实际观看空间的方法。介绍完各类模型后,分别对其相应的优缺点进行分析。此外,本文对VR图像客观质量评价模型的性能评价指标和现有VR图像质量评价数据库进行了归纳。最后对VR图像客观质量评价模型的应用进行了介绍,并指出了未来的研究可能的发展方向。     

基于机器学习的遥感图像超分辨综述

综述了基于机器学习的遥感图像超分辨重建技术的研究和发展。基于机器学习的遥感图像超分辨率重建技术通过学习低分辨图像与高分辨图像之间映射的关系,提升遥感图像的空间分辨率,从而有助于遥感图像的视觉分析。根据数据表达方法的不同将基于机器学习的遥感图像超分辨方法分为两类,包括基于字典学习的方法和基于深度学习的方法;简述了各类方法针对的问题,分析其设计思路和实现原理;对各类方法的优缺点和性能指标进行了对比分析;总结了遥感图像超分辨面临的问题和难点,并对未来发展的趋势进行了展望。