图像去模糊研究综述

图像模糊是指在图像捕捉或传输过程中,由于镜头或相机运动、光照条件等因素导致图像失去清晰度和细节,从而影响图像的质量和可用性。为了消除这种影响,图像去模糊技术应运而生。其目的在于通过构建计算机数学模型来衡量图像的模糊信息,从而自动预测去模糊后的清晰图像。图像去模糊算法的研究发展不仅为计算机视觉领域的其他任务提供了便利,同时也为生活领域提供了便捷和保障,如安全监控等。1）回顾了整个图像去模糊领域的发展历程,对盲图像去模糊和非盲图像去模糊中具有影响力的算法进行论述和分析。2）讨论了图像模糊的常见原因以及去模糊图像的质量评价方法。3）全面阐述了传统方法和基于深度学习方法的基本思想,并针对图像非盲去模糊和图像盲去模糊两方面的一些文献进行了综述。其中,基于深度学习的方法包括基于卷积神经网络、基于循环神经网络、基于生成式对抗网络和基于Transformer的方法等。4）简要介绍了图像去模糊领域的常用数据集并比较分析了一些代表性图像去模糊算法的性能。5）探讨了图像去模糊领域所面临的挑战,并对未来的研究方法进行了展望。     

单图像盲去模糊方法概述

图像去模糊长期以来一直是计算机视觉和图像处理中的研究热点.由相机抖动、物体运动或失焦引起的运动模糊或焦点模糊图像会严重影响图像的使用和后续处理.传统的盲去模糊方法利用图像运动模糊产生的不同原因,可将运动模糊分为全局运动模糊和局部运动模糊.概述了近年来图像盲去模糊的方法和研究现状.在深度学习图像去模糊方法的基础上,总结了...     

适用于迭代型去模糊算法粗精检测相结合的自适应终止机制

由于缺乏合适的去模糊图像质量度量方法,迭代型去模糊算法通常将其迭代次数简单地设置为固定值,无法在执行效率和去模糊质量之间获得最优的平衡点。为此,提出一种粗精检测相结合的迭代终止机制并将其应用到迭代型去模糊算法中以自适应地确定它们最佳的迭代次数。具体地,在每一步迭代过程中利用伪PSNR值细粒度地判断去模糊图像质量是否趋于稳定,另一方面每隔若干步利用从反向卷积残差图像中提取的统计特征值粗粒度准确地判定图像质量是否达到最佳,将两种去模糊图像质量度量方法有机结合以实现一种效率高且准确的迭代终止判定机制。评估结果显示,将所提出的粗精相结合的终止机制应用于NCSR、GSR和ADMM共三种主流去模糊算法后,执行效率可提高50%左右,而去模糊图像质量也得到了最佳保证。实验结果表明,提出的检测机制能够有效地解决各种迭代型去模糊算法因采用固定迭代次数而存在的无益迭代和过迭代问题,非常具有普适性。     

自适应色彩矫正图像增强算法仿真研究

研究图像增强优化问题,由于大量的图像由于拍照抖动产生噪声,造成图像模糊问题,而传统的去除图像运动模糊的算法,具有计算复杂度过高和特定的假设条件的局限,为了改善图像视觉效果,提出了一种改进的计算量小的自适应矫正图像增强算法,利用模糊图像作为参考,对欠曝光图像进行非线性自适应色调矫正。首先利用非线性函数对不同通道颜色进行调节,然后使用自适应方法对亮度进行矫正仿真,得到最终清晰图像。仿真结果表明改算法可以有效增强图像,改善了图像的质量,具有一定的实际应用价值。     

用于单幅模糊图像超分辨的Transformer融合网络

目的 以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应。然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象。因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络。方法 首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征。然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合。最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像。结果 实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 d B、0.18 d B、0.07 d B;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别...     

深度特征融合注意力与双尺度的运动去模糊

目的 拍摄运动物体时,图像易出现运动模糊,这将影响计算机视觉任务的完成。为提升运动图像去模糊的质量,提出了基于深度特征融合注意力的双尺度去运动模糊网络。方法 首先,设计了双尺度网络,在网络结构上设计高低尺度通路,在低尺度上增加对模糊区域的注意力,在高尺度上提升网络的高频细节恢复能力,增强了模型去模糊效果。其次,设计了深度特征融合注意力模块,通过融合全尺度特征、构建通道注意力,将编码的全尺度特征与解码的同级特征进行拼接融合,进一步增强了网络的去模糊性能和细节恢复能力。最后,在双尺度的基础上,引入多尺度损失,使模型更加关注高频细节的恢复。结果 在3个数据集上,与12种去模糊方法进行了对比实验。在GoPro数据集上得到了最优结果,相比SRN （scale-recurrent network）方法,平均峰值信噪比提升了2.29 dB,能够恢复出更多的细节信息。在Kohler数据集上,得到了最高的峰值信噪比（29.91 dB）。在Lai数据集上,视觉上有最好的去模糊效果。结论 实验结果表明,本文方法可以有效去除运动模糊并恢复细节。     

Registration Based Non‐uniform Motion Deblurring

This paper proposes an algorithm which uses image registration to estimate a non‐uniform motion blur point spread function (PSF) caused by camera shake. Our study is based on a motion blur model which models blur effects of camera shakes using a set of planar perspective projections (i.e., homographies). This representation can fully describe motions of camera shakes in 3D which cause non‐uniform motion blurs. We transform the non‐uniform PSF estimation problem into a set of image registration problems which estimate homographies of the motion blur model one‐by‐one through the Lucas‐Kanade algorithm. We demonstrate the performance of our algorithm using both synthetic and real world examples. We also discuss the effectiveness and limitations of our algorithm for non‐uniform deblurring.     

Facial deblur inference using subspace analysis for recognition of blurred faces

This paper proposes a novel method for recognizing faces degraded by blur using deblurring of facial images. The main issue is how to infer a Point Spread Function (PSF) representing the process of blur on faces. Inferring a PSF from a single facial image is an ill-posed problem. Our method uses learned prior information derived from a training set of blurred faces to make the problem more tractable. We construct a feature space such that blurred faces degraded by the same PSF are similar to one another. We learn statistical models that represent prior knowledge of predefined PSF sets in this feature space. A query image of unknown blur is compared with each model and the closest one is selected for PSF inference. The query image is deblurred using the PSF corresponding to that model and is thus ready for recognition. Experiments on a large face database (FERET) artificially degraded by focus or motion blur show that our method substantially improves the recognition performance compared to existing methods. We also demonstrate improved performance on real blurred images on the FRGC 1.0 face database. Furthermore, we show and explain how combining the proposed facial deblur inference with the local phase quantization (LPQ) method can further enhance the performance.     

密集连接卷积网络图像去模糊

目的 非均匀盲去运动模糊是图像处理和计算机视觉中的基础课题之一。传统去模糊算法有处理模糊种类单一、耗费时间两大缺点,且一直未能有效解决。随着神经网络在图像生成领域的出色表现,本文把去运动模糊视为图像生成的一种特殊问题,提出一种基于神经网络的快速去模糊方法。方法 首先,将图像分类方向表现优异的密集连接卷积网络（dense connected convolutional network, DenseNets）应用到去模糊领域,该网络能充分利用中间层的有用信息。在损失函数方面,采用更符合去模糊目的的感知损失（perceptual loss）,保证生成图像和清晰图像在内容上的一致性。采用生成对抗网络（generative adversarial network,GAN）,使生成的图像在感官上与清晰图像更加接近。结果 通过测试生成图像相对于清晰图像的峰值信噪比 （peak signal to noise ratio,PSNR）,结构相似性 （structural similarity,SSIM）和复原时间来评价算法性能的优劣。相比DeblurGAN（blind motion deblurring using conditional adversarial networks）,本文算法在GOPRO测试集上的平均PSNR提高了0.91,复原时间缩短了0.32 s,能成功恢复出因运动模糊而丢失的细节信息。在Kohler数据集上的性能也优于当前主流算法,能够处理不同的模糊核,鲁棒性强。结论 本文算法网络结构简单,复原效果好,生成图像的速度也明显快于其他方法。同时,该算法鲁棒性强,适合处理各种因运动模糊而导致的图像退化问题。     

结合稀疏表示和概率潜在语义的图像模糊度评价

目的 图像的模糊度评价是客观图像质量评价的一种,主要用来衡量图像信号经过成像系统或处理算法后的降质程度,其在图像获取、传输、分析以及图像处理系统或算法评价等领域有着广泛的应用。针对目前图像模糊度评价方法没有考虑人类视觉系统的无监督学习和层次化特征提取的特性,本文将图像稀疏表示和利用概率潜在语义提取图像主题相结合,提出基于稀疏表示和概率潜在语义的图像模糊度评价算法。方法 该算法在图像稀疏表示的基础上,通过概率潜在语义方法分别提取清晰训练图像和待测图像的主题,以待测图像潜在主题与清晰图像平均潜在主题之间的相似性作为模糊度评价的依据。主要过程分为3个阶段:词典构建阶段、训练学习阶段和模糊度评价阶段。词典构建阶段的目的是通过样本学习获得图像稀疏表示的词典;训练学习阶段的目的是采用概率潜在语义的方法获得训练图像的平均主题;模糊度评价阶段的目的是通过待测图像的潜在主题与训练图像的平均潜在主题的相关系数来计算图像的模糊程度。结果 在仿真图和公共测试数据库上与典型算法的比较实验表明:本文算法在单调性、抗噪性以及视频质量专家组制定的5个评价指标上都取得了较好的效果,其中Pearson相关系数和Spearman秩相关系数分别为0.995 6和0.993 4。结论 本文根据人类视觉系统具有无监督学习和层次化特征提取的特点,以待测图像潜在主题与清晰图像平均潜在主题之间的相似性作为模糊度评价的依据,提出了一种新的基于稀疏表示和概率潜在语义的图像模糊度评价方法。实验结果表明该方法能够对图像的模糊度进行较准确的评价,并且结果与人的主观评价结果一致。     

计算机视觉下的果实目标检测算法综述

基于计算机视觉的果实目标检测识别是目标检测、计算机视觉、农业机器人等多学科的重要交叉研究课题,在智慧农业、农业现代化、自动采摘机器人等领域,具有重要的理论研究意义和实际应用价值。随着深度学习在图像处理领域中广泛应用并取得良好效果,计算机视觉技术结合深度学习方法的果实目标检测识别算法逐渐成为主流。本文介绍基于计算机视觉的果实目标检测识别的任务、难点和发展现状,以及2类基于深度学习方法的果实目标检测识别算法,最后介绍用于算法模型训练学习的公开数据集与评价模型性能的评价指标,且对当前果实目标检测识别存在的问题和未来可能的发展方向进行讨论。     

图像运动模糊还原技术综述

图像作为人类信息交流的载体,包含大量信息元素,图像在获取过程中,会因相机抖动、物体位移等原因产生运动模糊,导致图像无法正确传递信息。图像运动模糊还原技术可将此类退化图像修复还原,是当前计算机视觉及图像处理领域的热点。通过模糊核是否已知将图像运动模糊还原方法分为两类,详细阐述了图像运动模糊还原的概念,归纳梳理了近年来图像运动模糊还原技术的方法及研究现状,总结了各方法的优缺点并对经典方法实验结果进行了对比,对模糊核估计及模糊数据集等关键问题进行了分析并对其发展方向给出了建议,最后对图像运动模糊还原技术发展趋势进行了展望。     

Local motion deblurring using an effective image prior based on both the first- and second-order gradients

Local motion deblurring is a highly challenging problem as both the blurred region and the blur kernel are unknown. Most existing methods for local deblurring require a specialized hardware, an alpha matte, or user annotation of the blurred region. In this paper, an automatic method is proposed for local motion deblurring in which a segmentation step is performed to extract the blurred region. Then, for blind deblurring, i.e., simultaneously estimating both the blur kernel and the latent image, an optimization problem in the form of maximum-a-posteriori (MAP) is introduced. An effective image prior is used in the MAP based on both the first- and second-order gradients of the image. This prior assists to well reconstruct salient edges, providing reliable edge information for kernel estimation, in the intermediate latent image. We examined the proposed method for both global and local deblurring. The efficiency of the proposed method for global deblurring is demonstrated by performing several quantitative and qualitative comparisons with the state-of-the-art methods, on both a benchmark image dataset and real-world motion blurred images. In addition, in order to demonstrate the efficiency in local motion deblurring, the proposed method is examined to deblur some real-world locally linear motion blurred images. The qualitative results show the efficiency of the proposed method for local deblurring at various blur levels.     

基于多尺度残差的图像去模糊

为有效地提升图像去模糊的效果,论文在残差网络的基础上加入多尺度结构,提出一种基于多尺度残差的图像去模糊算法。该算法由多尺度卷积单元级联而成,并采用残差学习策略提高网络性能。在伯克利数据集BSD500上进行训练,在Set5数据集上进行测试。实验结果表明,提出的这种基于多尺度残差的图像去模糊具有更强的复原能力,且对图像及其模糊类型、噪声水平等更具有稳健性,且能够获得更高的峰值信噪比(PSNR)和结构相似度(SSIM)。     

针对图像盲去模糊的可微分神经网络架构搜索方法

为了解决设计图像去模糊神经网络依赖大量手工调参的问题,提出一种面向图像盲去模糊的可微分神经网络架构搜索方法。通过设计U型残差搜索空间,将去模糊网络的搜索过程分为9个搜索单元的搜索过程,降低了搜索的复杂度,并设计出一个基于随机游走和最近邻插值的算法,通过模拟相机运动轨迹的方式生成模糊核,进而生成足够的模糊图像用于训练。实验结果表明,该方法明显减少了人工调参的工作量,在GOPRO和Kohler数据集上搜索得到的网络,峰值信噪比相对于基准网络UNet分别提升3.10 dB和1.17 dB,并接近UNet的推理速度。     

Toward improved ranking metrics

In many computer vision algorithms, a metric or similarity measure is used to determine the distance between two features. The Euclidean or SSD (sum of the squared differences) metric is prevalent and justified from a maximum likelihood perspective when the additive noise distribution is Gaussian. Based on real noise distributions measured from international test sets, we have found that the Gaussian noise distribution assumption is often invalid. This implies that other metrics, which have distributions closer to the real noise distribution, should be used. In this paper, we consider three different applications: content-based retrieval in image databases, stereo matching, and motion tracking. In each of them, we experiment with different modeling functions for the noise distribution and compute the accuracy of the methods using the corresponding distance measures. In our experiments, we compared the SSD metric, the SAD (sum of the absolute differences) metric, the Cauchy metric, and the Kullback relative information. For several algorithms from the research literature which used the SSD or SAD, we showed that greater accuracy could be obtained by using the Cauchy metric instead.     

Rigid vs compliant contact: an experimental study on biped walking

Multibody System Dynamics - Contact modeling plays a central role in motion planning, simulation and control of legged robots, as legged locomotion is realized through contact. The two prevailing...     

A Hybrid Motion Deblurring Strategy Using Patch Based Edge Restoration and Bilateral Filter

Motion blur is a common problem in digital photography. In the dim light, a long exposure time is needed to acquire a satisfactory photograph, and if the camera shakes during exposure, a motion blur is captured. Image deblurring has become a crucial image-processing challenge, because of the increased popularity of handheld cameras. Traditional motion deblurring methods assume that the blur degradation is shift-invariant; therefore, the deblurring problem can be reduced to a deconvolution problem. Edge-specific motion deblurring sharpened the strong edges of the image and then used them to estimate the blur kernel. However, this also enhanced noise and narrow edges, which cause ambiguity and ringing artifacts. We propose a hybrid-based single image motion deblurring algorithm to solve these problems. First, we separated the blurred image into strong edge parts and smooth parts. We applied the improved patch-based sharpening method to enhance the strong edge for kernel estimation, but for the smooth part, we used the bilateral filter to remove the narrow edge and the noise for avoiding the generation of ringing artifacts. Experimental results show that the proposed method is efficient at deblurring for a variety of images and can produce images of a quality comparable to other state-of-the-art techniques.