基于自适应耦合局部数字全变分的超分辨重建

如何更好地保持重建图像的边缘信息是当今超分辨率重建技术的一个重要研究课题。针对基于全变分模型的超分辨率重建方法容易产生阶梯效应的不足,利用图像局部模糊熵信息,设计一个表征图像区域结构特征的局部自适应度量函数。利用该函数对全变分模型和超数字化全变分模型进行耦合,进而提出一种基于自适应耦合局部数字全变分模型的超分辨率重建方法。实验结果表明,该方法在保持图像几何边缘结构和消除平坦区域阶梯效应方面能力较强,重建效果较好。     

基于稀疏编码和各向异性滤波的超分辨率重建

针对基于非局部稀疏自相似性的超分辨率重建方法存在的图像边缘保持性能不佳的问题,提出了一种基于稀疏编码和各向异性滤波的超分辨率重建算法。该算法利用卷积神经网络和各向异性引导滤波训练了一个各向异性特征模型,然后利用该特征模型构建一个局部的结构先验,以和非局部稀疏先验形成互补,从而提高算法的边缘保持能力。该算法训练后的模式使用通用测试集进行测试,测试结果表明算法SR性能较好,能很好地保持边缘细节,提供视觉效果更好的图像。     

基于总变分的鲁棒的超分辨率重建算法

提出了一种基于L1范数和总变分规整化的超分辨率图像重建算法.采用L1范数对重建图像保真度进行约束,降低了传统算法由于模型估计不精确所带来的重建误差.利用总变分规整化克服重建问题的病态性,有效地保护了图像的边缘.运用该算法对模拟低分辨率图像序列进行重建,分别从视觉效果和峰值信噪比(PSNR)两方面与基于L2范数和Tikhonov规整化的超分辨率重建结果进行比较,实验结果验证了该算法具有更强的鲁棒性和边缘保持能力.     

多阶导数自适应视频超分辨率重建

传统视频超分辨率重建算法在去除噪声的同时,很难有效保持图像边缘细节信息。针对该问题,构建了一种结合多阶导数数据项和自适应正则化项的视频超分辨率重建算法。在正则化重建模型的基础上,该算法对数据项进行改进,引入能更好描述噪声统计特性的噪声多阶导数,并利用去噪效果较好的全变分(TV)和非局部均值(NLM)正则化项对视频超分辨率重建过程进行约束。此外,为了更好地保持图像细节信息,采用区域空间自适应曲率差分算法提取结构信息,从而对正则化系数进行自适应加权。实验结果表明:在噪声方差为3时,与核回归算法和聚类算法相比,该算法重建视频主观效果边缘更加锐化,局部结构更加正确、清晰;重建视频的均方误差(MSE)平均下降幅度分别为25.75%和22.50%;峰值信噪比(PSNR)分别平均提升了1.35 dB和1.14 dB。所提算法能够在去除噪声的同时有效保持图像的细节特征。     

结合改进扩散和双边滤波的低剂量CT重建

针对低剂量计算机断层扫描(CT)重建图像时出现明显条形伪影的现象,提出一种结合非局部均值模糊扩散和扩展邻域双边滤波的中值先验(MP)重建算法。首先,使用基于非局部均值模糊扩散方法对中值先验分布的最大后验(MAP)重建算法进行改进,以减少重建图像中的噪声;然后,采用基于扩展邻域的双边滤波方法对重建图像进行处理,以保持图像的边缘和细节信息,进一步提高重建图像的信噪比。采用Shepp-Logan模型和胸腔模型来验证算法的有效性,实验结果表明,与滤波反投影(FBP)、中值根先验(MRP)、非局部均值模糊扩散的MP重建(NLMMP)算法和非局部均值双边滤波的MP重建(NLMBFMP)算法相比,所提新算法的归一化均方距离和均方绝对误差最小,且信噪比最高,分别为10.20 dB和15.51 dB。该重建算法可以在对重建图像进行降噪的同时保持了图像的边缘和细节信息,改善了低剂量CT图像质量退化的问题,获得高信噪比和高质量的重建图像。     

正则化技术和低秩矩阵在稀疏表示超分辨率算法中的应用

为了有效地利用图像的特征作为指导重建的先验知识,解决常规超分辨率算法对边缘与结构等细节恢复不足的问题,提出一种改进的超分辨率算法.对待重建图像进行低秩分解,得到不同特征的低秩子图像和稀疏子图像;对于低秩子图像,提出采用基于正则化技术的稀疏表示超分辨率算法进行重建,先通过在低秩子图像中寻找相似图像块构造非局部相似正则化项,得到图像的非局部冗余,以保持边缘信息;再通过局部线性嵌入方法构造流形学习正则化项,获得图像的结构先验知识,以增强结构信息.对于稀疏子图像则不参与稀疏表示超分辨率重建,而是采用双三次插值法进行重建.实验结果表明,与其他算法相比,无论在主观视觉效果上,还是在峰值信噪比和结构相似性指标上,文中算法都有显著的提高.     

基于局部回归模型的图像超分辨率重建

针对基于稀疏重建的图像超分辨率(SR)算法一般需要外部训练样本,重建质量取决于待重建图像与训练样本的相似度的问题,提出一种基于局部回归模型的图像超分辨率重建算法。利用局部图像结构会在不同的图像尺度对应位置重复出现的事实,建立从低到高分辨率图像块的非线性映射函数一阶近似模型用于超分辨率重建。其中,非线性映射函数的先验模型是直接对输入图像及其低频带图像的对应位样本块对通过字典学习的方法得到。重建图像块时利用图像中的非局部自相似性,对多个非局部自相似块分别应用一阶回归模型,加权综合得到高分辨率图像块。实验结果表明,该算法重建的图像与同样利用图像具有自相似性的相关超分辨率算法相比,峰值信噪比(PSNR)平均提高0.3~1.1 dB,主观重建效果亦有明显提高。     

基于自适应块组割先验的噪声图像超分辨率重建

要增强噪声图像的分辨率,传统的串联方式依次进行去噪与超分辨率重建两个步骤,但去噪算法去除噪声的同时也损失了部分细节信息,影响了后续超分辨率重建的质量.为了使低分辨率噪声图像中所有细节信息都能参与超分辨率重建,本文以非局部中心化稀疏表示（Nonlocally centralized sparse representation,NCSR）模型为基础,提出了基于自适应块组割（Patch-group-cuts,PGCuts）先验的噪声图像超分辨率重建方法,同时实现去噪和超分辨率重建功能.块组割先验基于新颖的三维邻域系统和块组模型,能够达到图像去噪、边缘平滑和边缘清晰等效果.重建时以边缘强度为参考对块组割先验进行自适应约束,由于块组割在平滑区域约束力较低,采用分区域融合的方式进一步抑制噪声.本文对合成的低分辨率噪声图像和真实的低分辨率噪声图像进行了重建实验,实验表明,基于自适应块组割先验的噪声图像超分辨率重建算法,在丰富细节的同时能抑制噪声的干扰,不但具有较高的峰值信噪比和结构相似度等客观评价值,而且在非光滑区域具有很好的主观重建效果.     

基于非局部POCS的超分辨率图像重建

图像获取过程中,受成像系统的影响,无法获取原始场景中所有的信息。超分辨率图像重建技术就是在不改变成像系统的前提下,提高图像质量。POCS(凸集投影算法)可以利用多帧低分辨率图像重建一帧高分辨率图像。然而传统的POCS算法通常会产生"锯齿"边缘。在自然图像中,会存在许多的相似边缘结构。利用局部相似性的结构,可以有效地消除"锯齿"边缘。因此提出一种基于非局部POCS的超分辨率图像重建算法,以有效锐化图像边缘,提高图像的视觉感观。     

边缘结构保持的加权BDTV全光场图像超分辨率重建

目的 全光场相机一次曝光获得4维光场信息,即2维空间信息和2维角度信息.然而,渲染获取图像的空间分辨率较低,角度分辨率也无法满足应用需求.针对此问题,提出一种边缘结构保持加权的超数字化全变分(BDTV)超分辨率重建算法.方法 将重建后图像与不同视角低分辨率图像的边缘拟合误差函数作为数据项的权重,并利用BDTV先验模型去噪和保持边缘.结果 为验证本文方法的有效性,将本文方法与其他方法进行了实验,其结果是无论是在视觉效果还是指标评价方面,本文方法的重建效果和边缘保持效果都优于其他方法,峰值信噪比提升约1 dB,结构相似性指数也有约0.01的提升.结论 本文算法不仅提高了全光场图像的空间分辨率和角度分辨率,同时也更好地保持了图像的边缘信息,特别是当深度图存在误差时,该算法的超分辨率重建和边缘保持效果更为明显.     

多方向模板变分模型的单幅图像超分辨率重建

目的 为了增强图像超分辨率重建的准确性,克服传统插值所产生的边缘模糊与边缘锯齿等负面效果,提出一种基于多方向模板变分模型的单幅图像超分辨率重建方法。方法 首先构建体现28个方向的多方向模板对输入图像的轮廓方向进行计算,同时通过将TV模型引入到图像轮廓的估计中来确定边缘轮廓的最优方向;在此基础上通过进行基于所提出的多方向模板的图像插值来实现图像的超分辨率重建。结果 对比基于活动轮廓的图像边缘插值方法重建的经典高分辨率测试图像,本文方法在平均峰值信噪比和平均结构相似度方面分别提高了1.578 dB和 0.030 02 dB。结论 本文方法可以有效地克服传统插值方法所产生的边缘模糊和边缘锯齿化等负面效果,也避免了较少方向模板所带来的边缘和纹理丰富区域的纹理失真现象,可以取得较好的重建效果。     

改进的单幅图像自学习超分辨率重建方法

针对传统超分辨率重建方法稀疏表示依赖大训练样本字典的局限性问题,基于L2范数的弱稀疏性特 点,提出一种改进的单幅图像自学习超分辨率重建方法。通过自学习建立非金字塔阶梯式训练图像集,采用自 定义的方法分别提取训练集中低分辨率和相应高分辨率图像特征块及特征像素值;结合L2范数的协作表示 (collaborative representation,CR）理论和支持向量回归（support vector regression,SVR）技术学习多层超分辨率映 射模型。实验结果表明,提出的超分辨率方法不仅可行有效,而且与传统的单幅图像的超分辨率方法比较,其 PSNR平均提高了0.06～3.92dB,SSIM平均提高了0.0024～0.0348,从客观数值和主观视觉证明了所提方法的优秀性。     

基于MAP框架的时空联合自适应视频序列超分辨率重建

超分辨率重建在视频监控、高清晰度电视、遥感图像、医学图像处理等领域具有广阔的应用前景. 最大后验估计(maximum a posteriori, MAP)法是普遍采用的一种超分辨率重建方法. 针对传统MAP法存在的局限性, 本文提出了一种基于MAP框架的时空联合自适应视频序列超分辨率重建算法. 时空联合自适应机制的引入使得算法在保持边缘的同时可减小错误运动估计矢量对重建图像质量的影响. 实验结果表明, 算法具有重建质量好、边缘保持能力强、收敛速度快等特点.     

基于SIFT特征的多帧图像超分辨重建

精确的亚像素级图像配准是图像超分辨重建中的关键问题.在图像超分辨重建中广泛使用的基于像素特征的光流法,对于大幅度运动场的计算很难做到精确的亚像素级配准.本文考虑了一种基于SIFT(scale invariant feature transform)特征的鲁棒性多帧图像超分辨重建算法.首先提取输入的低分辨待匹配图像对的SIFT关键点及其特征矢量.随后选取候选匹配关键点对,通过RANSAC(random sample consensus)鲁棒方法去除奇异值,并根据假设的平移性几何约束模型,获得图像对的平移运动配准参数,然后选取视场中心对应的或指定的图像帧为初始参考帧,再使用传统的超分辨重建框架获得最终的重建结果.仿真实验结果表明,提出的基于SIFT特征的图像超分辨重建方案是有效的,超分辨重建的图像质量在主观评价和客观指标上都获得了优于经典算法的效果.     

基于生成对抗网络的机载遥感图像超分辨率重建

为解决机载遥感图像质量易受环境影响的问题,对其进行超分辨率重建,对现有深度学习机载遥感图像超分辨率重建方法存在的特征提取能力差、重建图像边缘平滑、模型训练困难的问题进行改进,增强图像重建效果。将生成对抗网络作为模型的整体框架,使用密集剩余残差块增强模型特征提取能力,增加跳跃连接,有效提取机载遥感图像的浅层和深层特征,引入沃瑟斯坦式生成对抗网络优化模型训练。该方法能够有效对机载遥感图像进行4倍重建,在峰值信噪比评价上较对比方法约有2 dB增益,重建出的机载遥感图像在视觉上更清晰、细节更丰富、边缘更锐利。实验结果表明,该方法有效提升了模型特征提取能力,优化了训练过程,重建的机载遥感图像效果较好。     

Gibbs artifact reduction for POCS super-resolution image reconstruction

The topic of super-resolution image reconstruction has recently received considerable attention among the research community. Super-resolution image reconstruction methods attempt to create a single high-resolution image from a number of low-resolution images (or a video sequence). The method of projections onto convex sets (POCS) for super-resolution image reconstruction attracts many researchers’ attention. In this paper, we propose an improvement to reduce the amount of Gibbs artifacts presenting on the edges of the high-resolution image reconstructed by the POCS method. The proposed method weights the blur PSF centered at an edge pixel with an exponential function, and consequently decreases the coefficients of the PSF in the direction orthogonal to the edge. Experiment results show that the modification reduces effectively the visibility of Gibbs artifacts on edges and improves obviously the quality of the reconstructed high-resolution image.     

基于超分辨率网络的CT三维重建算法

计算机断层扫描（CT）三维重建技术通过上采样体数据来提高三维模型质量,减轻模型中的锯齿状边缘、条纹状伪影和不连续表面等现象,从而提高临床医学中疾病诊断的准确率。针对以往CT三维重建后模型仍然不够清晰的问题,提出一种基于超分辨率网络的CT三维重建算法。网络模型为具有双重损失的优化学习纵轴超分辨率重建网络（DLRNet）,通过单轴超分辨率进行腹部CT三维重建。网络末端引入优化学习模块,且除计算基准图与超分辨率图像的损失外,还计算网络内部粗略重建图像与基准图的损失,这样一来,优化学习与双重损失能使网络产生更接近于基准图的结果。随后在特征提取模块引入空间特征金字塔池化和通道注意力机制,加权细化学习了不同粗细以及规模不一的血管组织的特征。最后使用动态生成卷积核组的方法进行上采样使得单一网络模型可应对不同缩放因子的上采样任务。实验结果表明,相较于通道注意力的方法RCAN（Residual Channel Attention Network）,所提网络模型在2、3、4倍缩放因子下的峰值信噪比（PSNR）平均提高0.789 dB。可见所提网络模型有效提升了CT三维模型的质量,一定程度上恢复了血管组织的连续细节特征,同时具备了实用性。     

图像超分辨重建算法综述

图像超分辨重建是一种提升图像分辨率的图像处理技术,而超分辨问题是一个难解的欠定问题,近些年来研究人员主要采用基于学习的方法,从大量数据中学习图像先验信息,以实现对解空间的约束。本文介绍了近20年来主流的图像超分辨重建算法,主要分为基于传统特征的方法和基于深度学习的方法。对于传统的超分辨重建算法,阐述了基于邻域嵌入的方法、基于稀疏表示的方法以及基于局部线性回归的方法。对于基于深度学习的超分辨重建算法,详细总结了网络模型结构设计、上采样方式、损失函数形式以及复杂条件下的算法设计4个方面。此外,本文简要分析了超分辨重建技术在视频超分辨、遥感图像超分辨以及在视觉高层任务方面的应用。最后,本文展望了图像超分辨重建技术的未来发展方向。     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像。近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多。为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述。主要从现有单幅图像超分辨算法的网络模型结构、尺度放大方法和损失函数三个方面进行详细论述,分析各类方法的缺陷和益处,同时通过实验对比分析不同网络模型、不同损失函数在主流数据集上的重建效果,最后展望基于深度学习的单幅图像超分辨重建算法未来的发展方向。