Simultaneous estimation of super-resolved scene and depth map from low resolution defocused observations

This paper presents a novel technique to simultaneously estimate the depth map and the focused image of a scene, both at a super-resolution, from its defocused observations. Super-resolution refers to the generation of high spatial resolution images from a sequence of low resolution images. Hitherto, the super-resolution technique has been restricted mostly to the intensity domain. In this paper, we extend the scope of super-resolution imaging to acquire depth estimates at high spatial resolution simultaneously. Given a sequence of low resolution, blurred, and noisy observations of a static scene, the problem is to generate a dense depth map at a resolution higher than one that can be generated from the observations as well as to estimate the true high resolution focused image. Both the depth and the image are modeled as separate Markov random fields (MRF) and a maximum a posteriori estimation method is used to recover the high resolution fields. Since there is no relative motion between the scene and the camera, as is the case with most of the super-resolution and structure recovery techniques, we do away with the correspondence problem.     

基于并行遗传算法的图像超分辨率复原

图像超分辨率复原技术，提供了一种利用低分辨率像机获取高分辨率图像的可能途径。图像超分辨率复原有频域方法和空域方法两类：其中频域方法主要基于频谱解混叠；空域方法又分迭代反投影方法、凸集投影方法、Bayesian估计方法等。为了提高图像超分辨率复原的效率和提高复原图像的质量，提出了一种基于并行遗传算法的图像(序列)超分辨率复原的新框架方法，由于遗传算法采用实值编码方式，且基于岛模型的并行机制也有利于多帧图像信息的融合，因而使得算法直观和高效；同时提出采用其他超分辨率复原方法的迭代形式来充当遗传算法的变异算子，因为它能有效地利用已有方法的优点。最后，借用图像复原的客观评价指标来评价超分辨率复原算法的效果。实验证明，该方法有效可行。     

利用图像局部自相似性的超分辨率重构算法

图像超分辨率重构是指由低分辨率图像来获得高分辨率图像的过程。为了能够有效地重构出高分辨率图像,提出一种基于图像局部自相似性的超分辨率快速重构算法。该算法首先利用四叉树分割的知识对低分辨率图像进行自适应分块;然后利用低分辨率图像和高分辨率图像在局部区域内的自相似性,由最小二乘方法在各个局部区域自适应的选择插值所需的参数,从而在各个局部区域内进行插值;最后运用小波域的投影算子对插值得到的高分辨率图像进行全局优化,得到最终的高分辨率图像。实验结果表明,由该算法重构的高分辨图像有很好的视觉效果和峰值信噪比。     

基于Haar小波域自学习的图像超分辨率方法

图像超分辨率重构是指由低分辨率图像来获得高分辨率图像的过程.为了能够有效的重构出高分辨率图像,提出一种基于Haar小波域自学习的图像超分辨率重构算法.该算法将高分辨率图像通过Haar小波变换后得到的近似子块L与已知的低分辨率图像联系起来,然后通过Bp神经网络来自学习Haar小波变换细节子块之间相近的自相似性,从而预测出高分辨率图像通过Haar小波变换后的三个细节子块H,V和D.最后由逆Haar小波变换重构高分辨率图像.实验表明由该算法重构的高分辨图像有很好的视觉效果和峰值信噪比.     

空域中基于正则化的自适应超分辨率图像复原

对于模糊图像的复原问题,从正则化技术克服问题病态性的思想出发,研究了一种有效的超分辨率图像复原方法.在Nguyen等人的正则图像复原框架的基础上,根据Roberts交叉梯度算子构造正则项,从自适应的角度生成正则化参数,并用共轭梯度法求解该模型的目标泛函极小值.计算机仿真结果表明,该方法可较好的再现图像的重要信息,复原图像的相对误差降低,同时,峰值信噪比和主观视觉效果方面都有明显的提高.     

一种基于小波变换的图象融合算法

基于多分辨率小波变换的融合算法近年来得到了广泛的应用。为了充分利用各种遥感图象的信息中,针对“资源一号”卫星图象和SPOT全色波图象,提出了一种新的基于区域能量特征的小波变换复原-增强融合算法。通过同IHS、PCA和HPF几种传统融合方法的比较和结果评价,证明该方法在提高“资源一号”卫星图象空间分辨率的同时,还较好地保留了多光谱图象的光谱信息,并且有效地克服了“资源一号”卫星图象模糊的特点。     

基于深度学习的图像超分辨率复原研究进展

图像超分辨率复原（Super resolution restoration,SR）技术是图像处理领域的研究热点,在视频监控、图像处理、刑侦分析等领域具有广泛的应用需求.近年来,深度学习在多媒体处理领域迅猛发展,基于深度学习的图像超分辨率复原技术已逐渐成为主流技术.本文主要对现有基于深度学习的图像超分辨率复原工作进行综述.从网络类型、网络结构、训练方法等方面分析现有技术的优势与不足,对其发展脉络进行梳理.在此基础上,本文进一步指出了基于深度学习的图像超分辨率复原技术的未来发展方向.     

小波多尺度分析目标图像复原

为了有效复原模糊图像以得到可辨识的目标图像,需要根据目标图像的纹理特征来进行有约束的正则化复原。针对大尺度模糊图像的复原处理,通过分析常见的自适应正则化方法在抑制噪声及虚假波纹方面存在的问题,提出基于小波多尺度分析的正则化复原方法,该方法利用小波变换的多尺度分析技术直接分析模糊图像,结合形态学操作得到合理反映目标棱边分布的图像,并利用该图像加权调节正则化参数进行复原操作。实验表明该算法能够有效处理大尺度模糊,并能够较快地收敛到易于辨识的目标图像。     

基于L1和L2混合范式的序列图像超分辨率重建

针对超分辨率重建时需要同时滤除高斯噪声和脉冲噪声的问题,提出一种基于L₁和L₂混合范式并结合双边全变分(BTV)正则化的序列图像超分辨率重建方法。首先基于多分辨率策略的光流场模型对序列低分辨率图像进行配准,使图像的配准精度达到亚像素级,进而可以利用图像间的互补信息提高图像分辨率;其次利用L₁和L₂混合范式的优点,用BTV正则化算法解决重建的病态性反问题;最后进行序列图像超分辨率重建。实验数据显示算法可以降低图像均方误差,并将峰值信噪比(PSNR)提高1.2 dB~5.2 dB。实验结果表明,提出的算法能够有效地滤除高斯和脉冲噪声,保持图像边缘,提高图像可辨识度,可为车牌识别、人脸识别和视频监控等方面提供了良好的技术基础。     

图像超分辨率复原技术的现状与展望

图像超分辨率复原技术是由一序列低分辨率变形图像来估计一幅或多幅较高分辨率的非变形图像，同时还能够消除加性噪声以及由有限检测器尺寸和光学产生的模糊，是图像融合领域中的一个重要分支。对此分别从超分辨率复原技术的理论基础、发展现状以及未来的研究发展方向进行了论述。     

基于2-D公共因子提取的单幅图像盲复原研究

利用2-D公共因子（GCD）提取可以有效地实现图像盲复原,但通常需要原始图像的两幅降晰图像,这在某些条件下并不能满足,极大限制了此方法的应用。发展了一种基于2-D公共因子的单幅图像盲复原方法,利用2-D公共因子提取从一幅降晰图像中估计降晰函数,再利用经典的图像反卷积技术,从而复原原始图像,仿真实验证明了该方法的有效性。     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

基于模糊核估计的图像盲超分辨率神经网络

模糊图像的超分辨率重建具有挑战性并且有重要的实用价值. 为此, 提出一种基于模糊核估计的图像盲超分辨率神经网络(Blurred image blind super-resolution network via kernel estimation, BESRNet). 该网络主要包括两个部分: 模糊核估计网络 (Blur kernel estimation network, BKENet)和模糊核自适应的图像重建网络(Kernel adaptive super-resolution network, SRNet). 给定任意低分辨率图像(Low-resolution image, LR), 首先利用模糊核估计子网络从输入图像估计出实际的模糊核, 然后根据估计到的模糊核, 利用模糊核自适应的图像重建子网络完成输入图像的超分辨率重建. 与其他图像盲超分辨率方法不同, 所提出的模糊核估计网络能够显式地从输入低分辨率图像中估计出完整的模糊核, 然后模糊核自适应的图像重建网络根据估计到的模糊核, 动态地调整网络各层的图像特征, 从而适应不同输入图像的模糊. 在多个基准数据集上进行了有效性实验, 定性和定量的结果都表明该网络优于同类的图像盲超分辨率神经网络.     

基于小波域HMT模型的序列图像超分辨率重建*

鉴于基于小波域隐马尔可夫树的噪声抑制性和较好的边缘保持性,提出一种基于小波域隐马尔可夫树的序列图像的超分辨率重建算法。针对小波系数进行统计建模,讨论了不同尺度小波系数之间的隐马尔可夫树结构,利用了序列图像的运动信息,运用极大后验概率估计和贝叶斯原理,将小波域HMT作为图像先验知识并给出了超分辨率重建算法,最终通过EM算法和共轭梯度算法的交替迭代进行优化计算。实验结果表明方法的重建效果得到了明显的改进。     

用于单幅模糊图像超分辨的Transformer融合网络

目的 以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应。然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象。因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络。方法 首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征。然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合。最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像。结果 实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 d B、0.18 d B、0.07 d B;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别...     

Super-resolution imaging: use of zoom as a cue

In this paper, we propose a novel technique for super-resolution imaging of a scene from observations at different zoom levels. Given a sequence of images with different zoom factors of a static scene, the problem is to obtain a picture of the entire scene at a resolution corresponding to the most zoomed image in the scene. We not only obtain the super-resolved image for known integer zoom factors, but also for unknown arbitrary zoom factors. We model the super-resolution image as a Markov random field (MRF) and a maximum a posteriori (MAP) estimation method is used to derive a cost function which is then optimized to recover the high-resolution field. The entire observation conforms to the same MRF, but is viewed at the different resolution pyramid. Since there is no relative motion between the scene and the camera, as is the case with most of the super-resolution techniques, we do away with the correspondence problem. Results of the experimentation on real data are presented.     

一种多幅欠采样图像的凸集投影超分辨率重建方法

介绍了一种由多幅欠采样低分辨率图像重建一幅高分辨率图像的凸集投影超分辨率重建技术。首先介绍了超分辨率空间域迭代重建方法中一个至关重要的因素--成像过程模型;其次通过介绍凸集投影的理论依据,给出了插值-模拟采样迭代超分辨率重建方法的模型和重建步骤;最后通过实验数据对算法进行了验证。     

基于小波分析和多项式细分定位的超分辨率图像重建算法

图像超分辨率重建是图像增强和图像复原研究中的一项重要课题,广泛应用于高清晰电视、医学成像和遥感成像等领域。在小波分析边缘检测的基础上,通过多项式细分算法定位亚像素边缘,将图像分为平滑区域、边缘区域和微细边缘区域。根据不同的区域特性,采用不同的插值方式进行超分辨率图像重建。仿真结果显示所提算法重建的高分辨率图像边界部分清晰自然,其主观判断和客观评价结果明显好于传统重建算法,从而验证了本算法的可行性和有效性。     

基于SVR和PCA的超分辨率图像恢复算法应用研究

利用单幅低分辨率图像重构超分辨率图像的算法中,通常基于样本库进行图像重构,而这类算法效率较低。提出了一种利用SVR和PCA进行特征压缩的图像重构算法,其基本思路是将训练图像分解成若干个基本小块作为样本库;然后利用PCA对低分辨率图像基本小块进行降维处理,并将得到的主成分系数作为特征加以训练,在识别和重构过程中,将待恢复图像进行回归分析,找到相应的超分辨率图像块,然后进行重构。实验结果表明,本文方法较其他算法有更优的恢复结果,并能同时保证较好的实时处理特性,很好地逼近了原始的真实图像。     

基于词典学习和稀疏表示的超分辨率方法

近年来,从大规模数据集中提取过完备词典,并使用稀疏表示在图像去噪、图像去马赛克和图像修复中有着较广泛应用。然而,这一技术不能直接用于处理具有异构特点的低分辨率/高分辨率图像块对,以及相应的图像超分辨率重构。要解决这一问题,文中提出一种求解同时满足两个过完备词典(低分辨率图像块词典和高分辨率图像块词典)下的相同稀疏表示的方法,并利用它们实现图像稀疏表示的超分辨率重建。为了进一步提高彩色图像的超分辨率效果,还提出基于超分辨率亮度信息的UV色度超分辨率重构。实验结果表明文中方法无论在视觉效果还是均方根误差上都获得更好结果。