多层感知分解的全参考图像质量评估

目的 图像质量评估是计算机视觉、图像处理等领域的基础研究课题之一,传统评估方法常基于图像低层视觉特征而忽略了高层语义信息,这也在一定程度上影响了客观指标和主观视觉质量的一致性。近年来,感知损失被广泛应用于图像风格化、图像复原等研究中,通过使用预训练的深度网络对图像进行多层语义分解,在相关问题上取得了较好的效果。受感知损失启发,提出一种多层感知分解的全参考图像质量评估方法。方法 首先使用预训练的深度网络对图像进行多层语义分解,获取多层特征图,再计算失真图像与参考图像之间的相似度,以及它们的不同层级特征图之间的相似度,最终得出兼顾了高层语义信息的图像质量分数。结果 针对传统方法PSNR（peak signal-to-noise ratio）、SSIM（structure similarity）、MS-SSIM（multi-scale structure similarity）及FSIM（feature similarity）进行实验,结果表明,本文方法能够有效提升传统图像质量评估方法的性能,在SRCC（Spearman rank order correlation coefficient）、KRCC（Kendall rank order correlation coefficient）、PLCC（Pearson linear correlation coefficient）和RMSE（root mean squared error）客观指标上均有相应提升。通过使用本文框架,PSNR、SSIM、MS-SSIM、FSIM方法在TID2013数据库上SRCC指标分别获得0.02、0.07、0.06和0.04的提升。结论 本文提出的一种多层感知分解的全参考图像质量评估方法,结合传统方法与深度学习方法,兼顾了图像低层视觉特征和高层语义信息,从而有效地提升了传统方法的评估性能,使客观评估结果更加符合主观视觉感受,同时,本文提出的评估框架能够适用于多种传统方法的性能提升。     

融合事件相机的视觉场景识别

目的 传统视觉场景识别（visual place recognition,VPR）算法的性能依赖光学图像的成像质量,因此高速和高动态范围场景导致的图像质量下降会进一步影响视觉场景识别算法的性能。针对此问题,提出一种融合事件相机的视觉场景识别算法,利用事件相机的低延时和高动态范围的特性,提升视觉场景识别算法在高速和高动态范围等极端场景下的识别性能。方法 本文提出的方法首先使用图像特征提取模块提取质量良好的参考图像的特征,然后使用多模态特征融合模块提取查询图像及其曝光区间事件信息的多模态融合特征,最后通过特征匹配查找与查询图像最相似的参考图像。结果 在MVSEC（multi-vehicle stereo event camera dataset）和RobotCar两个数据集上的实验表明,本文方法对比现有视觉场景识别算法在高速和高动态范围场景下具有明显优势。在高速高动态范围场景下,本文方法在MVSEC数据集上相较对比算法最优值在召回率与精度上分别提升5.39%和8.55%,在Robot‐Car数据集上相较对比算法最优值在召回率与精度上分别提升3.36%与4.41%。结论 本文提出了融合事件相机的视觉场景识别算法,利用了事件相机在高速和高动态范围场景的成像优势,有效提升了视觉场景识别算法在高速和高动态范围场景下的场景识别性能。     

自适应B样条小波函数模糊距离测量方法

目的 双目测距和单目测距是目前常用的两种基于光学传感器的测距方法,双目测距需要相机标定和图像配准,计算量大且测量范围有限,而单目测距减少了对设备和场地的要求,加快了计算时间。为了解决现有的单目测距方法存在精度低、鲁棒性差等缺点,本文提出了一种基于单模糊图像和B样条小波变换的自适应距离测量方法。方法 引入拉普拉斯算子量化评估图像模糊程度,并根据模糊程度值自动定位阶跃边缘;利用B样条小波变换代替高斯滤波器主动模糊化目标图像,并通过分析图像模糊程度、模糊次数以及测量误差之间的关系模型,自适应地计算不同景物图像的最优模糊次数;根据最优模糊图像中阶跃边缘两侧模糊程度变化求解目标边缘和相机之间的相对距离。结果 本文方法与基于高斯模糊图像的距离测量方法相比精度更高,平均相对误差降低5%。使用不同模糊次数对同样的图像进行距离测量时,本文算法能够自适应选取最优模糊次数,保证所测量距离的精度更高。结论 本文提出的单视觉测距方法,综合了传统的方法和B样条小波的优点,测距结果更准确,自适应性和鲁棒性更高。     

基于Gaussian-Hermite矩的旋转运动模糊不变量

目的 模糊图像的分析与识别是图像分析与识别领域的重要方向。有些图像形成过程中成像系统与物体之间存在相对旋转运动,如因导弹高速自旋转造成的制导图像的旋转运动模糊。大多数对于这类图像的识别都需要先对模糊图像进行“去模糊”的预处理,且该类方法存在计算时间复杂度较高及不适定的问题。对此,提出一种直接提取旋转运动模糊图像中的不变特征,用于旋转运动模糊图像目标检索和识别。方法 本文以旋转运动模糊的退化模型为出发点,提出了旋转运动模糊Gaussian-Hermite (GH)矩,构造了一组由5个对旋转变换和旋转运动模糊保持不变性的GH矩不变量组成的特征向量(rotational motion blur Gaussian-Hermite moment invariants,RMB_GHMI-5),可从旋转变换和旋转运动模糊的图像中直接进行目标检索和识别,无需前置复杂的“去模糊”预处理过程。结果 在USC-SIPI (University of Southern California — Signal and Image Processing Institute)数据集上进行不变性实验,对原图进行不同程度的旋转变换叠加旋转运动模糊处理,证明RMB_GHMI-5对于旋转变换和旋转运动模糊具有良好的稳定性和不变性。在两个数据集上与同类4种方法进行图像检索实验比较,在80%召回率下,本文方法维数更少,相比性能第2的特征向量,在Flavia数据集中,高斯噪声、椒盐噪声、泊松噪声和乘性噪声干扰下的准确率分别提高25.89%、39.95%、22.79%和35.80%;在Butterfly Image数据集中,高斯噪声、椒盐噪声、泊松噪声和乘性噪声干扰下的准确率分别提高4.79、7.63%、5.65%和18.31%。同时,在上述8个测试数据集中进行对比实验以验证融合算法的有效性,结果表明本文提出的GH矩和几何矩相融合算法显著改善了图像检索效果。结论 本文提出的RMB_GHMI-5特征向量在旋转变换和旋转运动模糊下具有良好的不变性与稳定性,在图像检索抗噪性能方面表现优异。相比同类方法,本文方法更具实际应用价值。     

正弦积分拟合的图像复原边界振铃效应抑制方法

目的 边缘振铃效应是影响运动模糊图像复原效果的重要因素之一。为了有效提高运动模糊图像复原的质量,针对运动模糊图像复原中由于图像边界截断而产生的振铃效应问题,提出一种正弦积分拟合的图像复原边界振铃效应抑制方法。方法 首先,对待处理的模糊图像根据模糊核的大小进行边缘延展;然后,分别利用正弦函数积分方法和双正弦函数积分方法对单向过渡区域和双向过渡区域进行窗函数计算;进而,将延展图像进行加窗处理;最后,对加窗图像进行复原处理并提取出原始图像的部分作为复原结果。结果 与现有的几种振铃效应抑制算法进行对比实验。在视觉效果方面,本文方法能有效抑制振铃效应;在峰值信噪比(PSNR)、归一化均方误差(NMSE)以及图像质量指数(Q)等图像质量评价指标方面,本文方法的PSNR值比最优窗算法提高了约0.170.76 dB,NMSE值比最优窗算法降低了约0.000 50.000 7,Q值比最优窗算法提高了约0.0230.029,本文方法在多数情况下得到的评价指标优于循环边界法;在耗时方面,本文方法对非迭代恢复算法的处理时间比循环边界算法降低了约0.040.11 s,对迭代恢复算法处理时间减少达到数秒。结论 通过大量实验发现,正弦积分拟合的图像复原边界振铃效应抑制方法在进行振铃效应抑制时,能有效控制计算量,且能完整地保留图像的边缘信息,图像恢复效果明显优于其他方法。     

强边缘导向的盲去模糊算法

目的 在图像的获取过程中,成像设备与拍摄场景发生了相对位移,导致获取的实际图像存在信息丢失、模糊退化的现象,这极大地影响了图像的质量和人们的视觉体验,也影响了图像的后续处理。盲去卷积旨在从观测图像中估计模糊核并获得清晰图像,为此提出了一种基于强边缘的运动图像盲去模糊算法。方法 结合图像梯度稀疏性,采用自适应l₀范数约束待估计图像梯度的强边缘;针对模糊核稀疏性和连续性,以l₀-l₂范数分别约束模糊核的像素和梯度,同时把模糊核归一化先验作为正则项引入模型中,以强边缘指导模糊核估计。在去模糊阶段,结合全变分与超拉普拉斯正则化方法的优点,将两种方法复原的图像取平均,以减轻复原图像中的振铃效应,同时保留更多的图像细节。结果 为了检验本文算法的有效性,对Levin测试集和实际拍摄的模糊图像分别进行仿真,并同现有算法进行比较。Levin测试集上的实验结果表明,提出的盲反卷积成功率为100%且在对比算法中具有最高PSNR;实际彩色图像的盲反卷积实验表明,相比于其他算法,本文算法获得的模糊核具有更准确的支撑和较少的噪点,获得的清晰图像具有较优的视觉效果。结论 该方法从定量和定性比较上都体现了较好的去运动模糊能力,可适用于遥感、医学等领域。     

混合特性正则化约束的运动模糊盲复原

目的 为了提高运动模糊图像盲复原清晰度,提出一种混合特性正则化约束的运动模糊盲复原算法。方法 首先利用基于局部加权全变差的结构提取算法提取显著边缘,降低了噪声对边缘提取的影响。然后改进模糊核模型的平滑与保真正则项,在保证精确估计的同时,增强了模糊核的抗噪性能。最后改进梯度拟合策略,并加入保边正则项,使图像梯度更加符合重尾分布特性,且保证了边缘细节。结果 本文通过两组实验验证改进模型与所提算法的优越性。实验1以模拟运动模糊图像作为实验对象,通过对比分析5种组合步骤算法的复原效果,验证了本文改进模糊核模型与改进复原图像模型的鲁棒性较强。实验结果表明,本文改进模型复原图像的边缘细节更加清晰自然,评价指标明显提升。实验2以小型无人机真实运动模糊图像为实验对象,通过与传统算法进行对比,对比分析了所提算法的鲁棒性与实用性。实验结果表明,本文算法复原图像的标准差提升约11.4%,平均梯度提升约30.1%,信息熵提升约2.2%,且具有较好的主观视觉效果。结论 针对运动模糊图像盲复原,通过理论分析和实验验证,说明了本文改进模型的优越性,所提算法的复原效果较好。     

小波变换与纹理合成相结合的图像修复

目的 为了克服传统的图像修复算法在结构和纹理边界的错误修复,利用小波变换域的系数特征,探讨了一种基于小波变换与纹理合成相结合的修复算法。方法 算法先利用小波变换将待修复图像分解成具有不同分辨率的低频子图和高频子图,然后根据不同子图各自的特征分别进行修复。对代表图像结构信息的低频子图,采用FMM(fast marching method)算法进行修复;对代表图像纹理信息的高频子图,根据各子图中小波系数的特征,利用纹理合成方法进行修复。结果 分层、分类修复方法对边缘破损具有良好的修复效果,其峰值信噪比相比于传统算法提高了1~2 dB。结论 与相关算法相比,本文算法的综合修复能力较好,可以有效修复具有较强边缘和丰富纹理的破损图像,尤其对破损自然图像的修复,修复后图像质量得到较大提升,修复效果更符合人眼视觉效应。     

基于膨胀的梯度结构相似度图像质量评价方法

传统的梯度结构相似度算法(GSSIM)简单地将各子块GSSIM的平均值作为整幅图像的质量评估值,忽略了人眼对图像不同失真区域的视觉灵敏度不同的特点。针对此问题,提出了一种基于膨胀和图像块分类的加权梯度结构相似度图像质量评价方法(WGSSIM)。该方法首先将失真图像划分为两个区域:边缘膨胀区域和平滑区域;然后将失真图像划分成8×8的图像块,根据失真区域将图像块区分为边缘膨胀块与平滑块两类;最后对不同类型图像块之间的GSSIM值赋予不同的权值,计算得到整幅图像的WGSSIM。实验表明,该方法在3个数据库上的评价结果稳定、合理,更加符合人眼视觉系统特性,评价结果与主观评价有很好的一致性。     

结合结构相似度的自适应多尺度SAR图像变化检测

目的 结合高斯核函数特有的性质,提出一种基于结构相似度的自适应多尺度SAR图像变化检测算法。方法 本文提出的算法包括差异图像获取、高斯多尺度分解、基于结构相似性的最优尺度选择、特征矢量构造以及模糊C均值分类。首先,通过对多时相SAR图像进行对数比运算获取差异图像,然后,利用基于图像的结构相似度估计高斯多尺度变换的最优尺度,继而在该最优尺度参数下逐像素构建变化检测特征矢量,最后通过模糊C均值聚类方法实现变化像素与未变化像素的分离,生成最终的变化检测结果图。结果 在两组真实的SAR图像数据上测试本文算法,正确检测率分别达到0.9952和0.9623,Kappa系数分别为0.8200和0.8540,相比传统算法有了较大的提高。结论 本文算法充分利用了尺度信息,对噪声的鲁棒性有所提高。实测SAR数据的实验结果表明,本文算法可以智能获取最优分解尺度,显著提高了SAR图像变化检测性能。     

双尺度边缘结构相似度的图像质量评估

图像质量评价对于各种视频图像应用具有重要的意义。结构相似度准则SSIM在模糊图像及噪声污染的图像判定方面，存在偏差。该文提出了基于双尺度边缘结构特征的图像质量评价算法——MDESSIM，充分考虑了边缘信息在结构信息中的重要性，通过增加边缘结构的失真度量来综合评价图像质量。实验结果表明了MDESSIM算法的有效性。     

全参考图像质量评价综述

图像质量评价是图像处理领域内一项很有意义的研究课题。客观图像质量评价方法可分为全参考评价方法、半参考评价方法和无参考评价方法, 目前全参考评价方法较为成熟, 而半参考和无参考评价方法则处于初级阶段, 远远达不到参考评价方法所能达到的效果。对全参考评价方法进行综述。首先简要地介绍了各种类型的评价方法, 其次详细地介绍了PSNR、SSIM、MSSIM、IFC、VIF、FSIM等几种典型的全参考图像质量评价方法, 然后在LIVE和TID2008数据库上进行实验, 对这几种全参考方法进行对比、分析, 最后探讨图像质量评价研究的发展趋势。     

A Hybrid Motion Deblurring Strategy Using Patch Based Edge Restoration and Bilateral Filter

Motion blur is a common problem in digital photography. In the dim light, a long exposure time is needed to acquire a satisfactory photograph, and if the camera shakes during exposure, a motion blur is captured. Image deblurring has become a crucial image-processing challenge, because of the increased popularity of handheld cameras. Traditional motion deblurring methods assume that the blur degradation is shift-invariant; therefore, the deblurring problem can be reduced to a deconvolution problem. Edge-specific motion deblurring sharpened the strong edges of the image and then used them to estimate the blur kernel. However, this also enhanced noise and narrow edges, which cause ambiguity and ringing artifacts. We propose a hybrid-based single image motion deblurring algorithm to solve these problems. First, we separated the blurred image into strong edge parts and smooth parts. We applied the improved patch-based sharpening method to enhance the strong edge for kernel estimation, but for the smooth part, we used the bilateral filter to remove the narrow edge and the noise for avoiding the generation of ringing artifacts. Experimental results show that the proposed method is efficient at deblurring for a variety of images and can produce images of a quality comparable to other state-of-the-art techniques.     

结合稀疏表示和概率潜在语义的图像模糊度评价

目的 图像的模糊度评价是客观图像质量评价的一种,主要用来衡量图像信号经过成像系统或处理算法后的降质程度,其在图像获取、传输、分析以及图像处理系统或算法评价等领域有着广泛的应用。针对目前图像模糊度评价方法没有考虑人类视觉系统的无监督学习和层次化特征提取的特性,本文将图像稀疏表示和利用概率潜在语义提取图像主题相结合,提出基于稀疏表示和概率潜在语义的图像模糊度评价算法。方法 该算法在图像稀疏表示的基础上,通过概率潜在语义方法分别提取清晰训练图像和待测图像的主题,以待测图像潜在主题与清晰图像平均潜在主题之间的相似性作为模糊度评价的依据。主要过程分为3个阶段:词典构建阶段、训练学习阶段和模糊度评价阶段。词典构建阶段的目的是通过样本学习获得图像稀疏表示的词典;训练学习阶段的目的是采用概率潜在语义的方法获得训练图像的平均主题;模糊度评价阶段的目的是通过待测图像的潜在主题与训练图像的平均潜在主题的相关系数来计算图像的模糊程度。结果 在仿真图和公共测试数据库上与典型算法的比较实验表明:本文算法在单调性、抗噪性以及视频质量专家组制定的5个评价指标上都取得了较好的效果,其中Pearson相关系数和Spearman秩相关系数分别为0.995 6和0.993 4。结论 本文根据人类视觉系统具有无监督学习和层次化特征提取的特点,以待测图像潜在主题与清晰图像平均潜在主题之间的相似性作为模糊度评价的依据,提出了一种新的基于稀疏表示和概率潜在语义的图像模糊度评价方法。实验结果表明该方法能够对图像的模糊度进行较准确的评价,并且结果与人的主观评价结果一致。     

基于正则化约束的遥感图像多尺度去模糊

目的遥感成像过程中的图像降质严重影响了高分辨率成像与高精度探测,为了改善遥感图像质量,提出了基于正则化约束的遥感图像多尺度去模糊方法。方法首先利用双边滤波器和冲击滤波对遥感图像进行预处理,然后结合遥感图像模糊核的稀疏特性,使用正则化方法迭代求解模糊核最优解,最后利用基于梯度稀疏的非盲反卷积方法得到去模糊结果。此外,针对图像模糊程度较严重的情况,分析了尺度信息对去模糊结果的影响,提出了多尺度迭代优化方法。结果采用本文方法对大量遥感图像进行去模糊,实验结果表明该方法能有效地去除遥感成像产生的模糊,在保持图像边缘和细节的同时,可有效抑制振铃效应。相比其他方法,本文方法恢复图像的边缘强度平均提高28.7%,对比度平均提高17.6%。结论提出一种正则化约束的遥感图像多尺度去模糊方法,主观视觉感受和客观评价指标都表明该方法可以有效提升遥感图像质量。     

结合四元数与最小核值相似区的边缘检测

目的 针对传统彩色图像边缘检测方法中未充分利用图像色度信息、颜色模型间非线性转换过程中时间和空间的大量耗费、算法实现复杂等问题,将四元数引入最小核值相似区（SUSAN）算法中,提出一种RGB空间下的结合四元数与最小核值相似区的边缘检测算法。方法 该算法首先对彩色图像进行四元数描述,然后用改进的SUSAN算子进行边缘检测。针对其中单一几何阈值g的限制,以及检测出的边缘较粗等问题,本文采用Otsu算法自适应获取双几何阈值,再对弱边缘点集进行边缘生长,最后根据USAN重心及其对称最长轴来确定边缘局部方向,实现对边缘点的局部非极大值抑制,得到最终细化后的边缘图像。结果 实验选取1幅合成彩色图像及3幅标准图像库图像,与彩色Canny算法、SUSAN算法,及采用单阈值的本文算法进行对比,并采用Pratt品质因数衡量边缘定位精度。本文算法能够检测出亮度相近的不同颜色区域之间的边缘,且提取的边缘比较连续、细致,漏检边缘较少。与公认边缘检测效果较好的彩色Canny算法相比,本文算法的品质因数提高了0.012 0,耗时缩短了2.527 9 s。结论 本文提出了一种结合四元数与最小核值相似区的边缘检测算法,实现了四元数与SUSAN算子的有效融合。实验结果表明,该算法能够提高边缘定位精度,对弱噪声具有较好的抑制能力,适用于对实时性要求不高的低层次彩色图像处理。     

RGB-D结构相似性度量下的多边自适应深度图像超分辨率重建

目的 深度相机能够对场景的深度信息进行实时动态捕捉,但捕获的深度图像分辨率低且容易形成空洞。利用高分辨率彩色图像作为引导,是深度图超分辨率重建的重要方式。现有方法对彩色边缘与深度不连续区域的不一致性问题难以有效解决,在深度图超分辨率重建中引入了纹理复制伪影。针对这一问题,本文提出了一种鲁棒的彩色图像引导的深度图超分辨率重建算法。方法 首先,利用彩色图像边缘与深度图像边缘的结构相关性,提出RGB-D结构相似性度量,检测彩色图像与深度图像共有的边缘不连续区域,并利用RGB-D结构相似性度量自适应选取估计像素点邻域的最优图像块。接着,通过提出的定向非局部均值权重,在图像块区域内建立多边引导下的深度估计,解决彩色边缘和深度不连续区域的结构不一致性。最后,利用RGB-D结构相似性度量与图像平滑性之间的对应关系,对多边引导权重的参数进行自适应调节,实现鲁棒的深度图超分辨率重建。结果 在Middlebury合成数据集、ToF和Kinect数据集以及本文自建数据集上的实验结果表明,相比其他先进方法,本文方法能够有效抑制纹理复制伪影。在Middlebury、ToF和Kinect数据集上,本文方法相较于次优算法,平均绝对偏差平均降低约63.51%、39.47 %和7.04 %。结论 对于合成数据集以及真实场景的深度数据集,本文方法均能有效处理存在于彩色边缘和深度不连续区域的不一致性问题,更好地保留深度边缘的不连续性。     

一种延期着色的快速反走样算法

使用延期着色技术,无法应用硬件对图形进行反走样处理。针对该问题,提出一种延期着色的快速反走样算法。利用缓存的位置和法线信息准确高效地在缓存中进行边缘检测,对边缘部分采用加权抖动采样方法进行平滑处理。实验表明,该算法能够快速地获得效果较好的反走样结果。