红外与可见光图像渐进融合深度网络

目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果。此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息。基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion, ProFuse)。方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像。结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D’optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information, MI)上相比FusionGAN(generative adversarial ...     

图约束字典和加权稀疏表示人脸超分辨率算法北大核心

针对低分辨率、低质量人脸图像重建问题,提出了一种新的基于稀疏表示的人脸超分辨率算法。在训练阶段,人脸的位置特征被用于保持人脸块的全局信息,人脸块间的几何结构被用于保持高低分辨率超完备冗余字典的流形结构,从而提高字典的表达能力;在重建阶段,K近邻加权稀疏表示被用于消除稀疏编码噪声,以提高高分辨率人脸图像重建系数的精度。实验结果表明,提出的方法取得了较好的主客观质量。     

基于K近邻稀疏编码均值约束的人脸超分辨率算法

针对低分辨率、低质量人脸图像的超分辨率重建问题,提出了一种基于K近邻稀疏编码均值约束的人脸超分辨率算法。首先,根据人脸块位置先验信息,对训练样本图像块进行聚类,得到与输入人脸图像块位置一致的高、低分辨率稀疏表示字典对;然后,利用低分辨率字典,在稀疏和K近邻稀疏编码均值的共同约束下实现低分辨率图像块的稀疏表示;最后,通过系数映射,结合高分辨率字典实现高分辨率图像块重建,最终将所有高分辨率图像块进行交叠平均得到高分辨率人脸图像。实验结果验证了算法的有效性及先进性。本方法在保持重建人脸图像相似度的基础上,改善了人脸图像的清晰度,提高了超分辨率图像的质量。     

基于深度学习的单目深度估计方法综述

深度估计是一种从单张或者多张图像预测场景深度信息的技术,是计算机视觉领域非常热门的研究方向,在三维重建、场景理解、环境感知等任务中起到了关键作用.当前深度估计技术可以分为多目深度估计和单目深度估计.因为单目摄像头具有成本低、设备较普及、图像获取方便等优点,与多目深度估计技术相比,从单目图像估计深度信息是当前更为热门和更具挑战的技术.近年来,随着深度学习的迅速发展,基于深度学习的单目深度估计方法被广泛研究.本文对基于深度估计的单目深度估计方法进行综述,首先给出单目深度估计问题的定义、介绍常用于训练的数据集与模型评价指标,然后根据不同的训练方式对国内外相关技术进行分析总结,将现有方法分为基于监督学习、无监督学习和半监督学习三大类,对每种类型方法的产生思路、优缺点进行详细分析,最后梳理、总结该技术的发展趋势与关键技术.     

数据驱动局部特征转换的噪声人脸幻构

针对线性主成分分析方法无法有效揭示非线性人脸图像统计特性的问题,提出一种基于数据驱动局部特征转换的(DLE)人脸幻构。首先,选取与输入图像块最相似的训练样本块;然后,利用基于图像块的特征转换算法对高低分辨率训练样本块间的关系进行建模;最后,利用后处理进程对重建结果进行优化。实验结果表明所提算法对低分辨率图像,尤其是含噪声人脸图像,有更好的主观重建效果,在客观评价指标上比局部约束表示方法提高1.81dB。该算法能有效实现监控人脸图像超分辨率增强。     

图像复原中自注意力和卷积的动态关联学习

目的 卷积神经网络（convolutional neural network,CNN）和自注意力（self-attention,SA）在多媒体应用领域已经取得了巨大的成功。然而,鲜有研究人员能够在图像修复任务中有效地协调这两种架构。针对这两种架构各自的优缺点,提出了一种关联学习的方式以综合利用两种方法的优点并抑制各自的不足,实现高质高效的图像修复。方法 本文结合CNN和SA两种架构的优势,尤其是在特定的局部上下文和全局结构表示中充分利用CNN的局部感知和平移不变性,以及SA的全局聚合能力。此外,图像的降质分布揭示了图像空间中退化的位置和程度。受此启发,本文在背景修复中引入退化先验,并据此提出一种动态关联学习的图像修复方法。核心是一个新的多输入注意力模块,将降质扰动的消除和背景修复关联起来。通过结合深度可分离卷积,利用CNN和SA两种架构的优势实现高效率和高质量图像修复。结果 在Test1200数据集中进行了消融实验以验证算法各个部分的有效性,实验结果证明CNN和SA的融合可以有效提升模型的表达能力;同时,降质扰动的消除和背景修复关联学习可以有效提升整体的修复效果。本文方法在3个图像修复任务的合成和真实数据上与其他10余种方法进行了比较,提出的方法取得了显著的提升。在图像去雨任务上,本文提出的ELF（image deeraining meets association learning and Transformer）方法在合成数据集Test1200上,相比于MPRNet（multi-stage progressive image restoration network）,PSNR（peaksignal-to-noise ratio）值提高0.9dB;在水下图像增强任务上,ELF在R90数据集上超过Ucolor方法4.15dB;在低照度图像增强任务上,相对于LLFlow（flow-based low-light image enhancement）算法,ELF获得了1.09dB的提升。结论 本文方法在效果和性能上具有优势,在常见的图像去雨、低照度图像增强和水下图像修复等任务上优于代表性的方法。     

高分辨率可见光图像引导红外图像超分辨率的Transformer网络

目的 红外图像在工业中发挥着重要的作用。但是由于技术原因,红外图像的分辨率一般较低,限制了其普遍适用性。许多低分辨率红外传感器都和高分辨率可见光传感器搭配使用,一种可行的思路是利用可见光传感器捕获的高分辨率图像,辅助红外图像进行超分辨率重建。方法 本文提出了一种使用高分辨率可见光图像引导红外图像进行超分辨率的神经网络模型,包含两个模块：引导Transformer模块和超分辨率重建模块。考虑到红外和可见光图像对一般存在一定的视差,两者之间是不完全对齐的,本文使用基于引导Transformer的信息引导与融合方法,从高分辨率可见光图像中搜索相关纹理信息,并将这些相关纹理信息与低分辨率红外图像的信息融合得到合成特征。然后这个合成特征经过后面的超分辨率重建子网络,得到最终的超分辨率红外图像。在超分辨率重建模块,本文使用通道拆分策略来消除深度模型中的冗余特征,减少计算量,提高模型性能。结果 本文方法在FLIR-aligned数据集上与其他代表性图像超分辨率方法进行对比。实验结果表明,本文方法可以取得优于对比方法的超分辨率性能。客观结果上,本文方法比其他红外图像引导超分辨率方法在峰值信噪比(pea...     

深度学习视频超分辨率技术综述

视频超分辨率技术在卫星遥感侦测、视频监控和医疗影像等方面发挥着关键作用,在各领域具有广阔的应用前景,受到广泛关注,但传统的视频超分辨率算法具有一定局限性。随着深度学习技术的愈发成熟,基于深度神经网络的超分辨率算法在性能上取得了长足进步。充分融合视频时空信息可以快速高效地恢复真实且自然的纹理,视频超分辨率算法因其独特的优势成为一个研究热点。本文系统地对基于深度学习的视频超分辨率的研究进展进行详细综述,对基于深度学习的视频超分辨率技术的数据集和评价指标进行全面归纳,将现有视频超分辨率方法按研究思路分成两大类,即基于图像配准的视频超分辨率方法和非图像配准的视频超分辨率方法,并进一步立足于深度卷积神经网络的模型结构、模型优化历程和运动估计补偿的方法将视频超分辨率网络细分为10个子类,同时利用充足的实验数据对每种方法的核心思想以及网络结构的优缺点进行了对比分析。尽管视频超分辨率网络的重建效果在不断优化,模型参数量在逐渐降低,训练和推理速度在不断加快,然而已有的网络模型在性能上仍然存在提升的潜能。本文对基于深度学习的视频超分辨率技术存在的挑战和未来的发展前景进行了讨论。