自然场景下遥感图像超分辨率重建算法研究

在遥感图像超分辨率重建领域,大部分数据集缺少成对的图像用于训练,当前的方法主要是通过双三次插值的方式来获取低分辨率图像,因退化模型过于理想化导致在处理真实低分辨率遥感图像时效果较差,基于此,文中提出了一种自然场景下真实遥感图像的超分辨率重建算法.针对缺少成对图像的数据集的问题,构建了一种更合理的退化模型,将成像过程中的...     

基于改进CycleGAN的视频监控人脸超分辨率恢复算法

针对有监督超分辨率算法训练过程需要大量成对图像、处理真实低分辨率图像视觉恢复效果差等问题,提出了一种基于改进CycleGAN的半监督算法Cycle-SRNet.首先,利用退化模型获得与真实低分辨率人脸相似的图像,用于训练网络参数;其次,通过重建模型恢复出具有真实效果的高分辨率人脸图像;最后引入感知损失函数保持人脸结构相似性,以更好地恢复面部特征.实验结果表明,该算法不需要成对的图像进行网络训练,在视觉效果上能够将模糊的视频监控低分辨率人脸图像恢复成清晰可辨的人脸图像,在FID、PSNR和SSIM指标上超越了SRCNN、SRGAN、CinCGAN等方法.     

图像超分辨率深度学习研究及应用进展

图像超分辨率重建是用低分辨率图像重建出对应的高分辨率图像的过程。目前,图像超分辨率技术已经成功应用于计算机视觉和图像处理领域。近年来,由于深度学习具有能够从大量数据中自动学习特征的能力,因此被广泛应用于图像超分辨率领域中。介绍了图像超分辨重建的背景,详细总结了用于图像超分辨率的深度学习模型,阐述了图像超分辨率技术在卫星遥感图像、医学影像、视频监控、工业检测任务方面的应用。总结了图像超分辨算法的当前研究现状以及未来发展方向。     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

基于特征空间的人脸超分辨率重构

超分辨率图像重构是利用关于同一场景的多帧低分辨率图像重构出一幅具有更高分辨率图像的过程.传统的超分辨率图像重构算法是基于像素空间,通过利用高、低分辨率像素空间之间的映射关系来求解,具有计算复杂性高等缺点. 针对低分辨率人脸放大问题,提出了一个基于特征空间的人脸超分辨率图像重构算法.与传统算法相比,该算法不仅降低了计算复杂性,还具有更好的鲁棒性.     

基于深度学习的单幅图像超分辨率重建综述

单幅图像超分辨率SISR重建指从单幅低分辨率图像恢复出高分辨率图像.深度学习方法越来越多地用于图像超分辨重建领域,由于深度网络模型可以自主学习低分辨率图像到高分辨率图像之间的映射关系,与传统方法相比在该领域展现出了更好的重建效果,因而基于深度学习的方法已经成为目前图像超分辨率重建领域的主流方向.围绕现有的超分辨深度网络...     

单幅图像超分辨率重建技术研究进展

图像分辨率是衡量一幅图像质量的重要标准. 在军事、医学和安防等领域, 高分辨率图像是专业人士分析问题并做出准确判断的前提. 根据成像采集设备、退化因素等条件对低分辨率图像进行超分辨率重建成为一个既具有研究价值又极具挑战性的难点问题. 首先简述了图像超分辨率重建的概念、重建思想和方法分类; 然后重点分析用于单幅图像超分辨率重建的空域方法, 梳理基于插值和基于学习两大类重建方法中的代表性算法及其特点; 之后结合用于超分辨率重建技术的数据集, 重点分析比较了传统超分辨率重建方法和基于深度学习的典型超分辨率重建方法的性能; 最后对图像超分辨率重建未来的发展趋势进行展望.     

利用双通道卷积神经网络的图像超分辨率算法

目的 图像超分辨率算法在实际应用中有着较为广泛的需求和研究。然而传统基于样本的超分辨率算法均使用简单的图像梯度特征表征低分辨率图像块,这些特征难以有效地区分不同的低分辨率图像块。针对此问题,在传统基于样本超分辨率算法的基础上,提出双通道卷积神经网络学习低分辨率与高分辨率图像块相似度进行图像超分辨率的算法。方法 首先利用深度卷积神经网络学习得到有效的低分辨率与高分辨率图像块之间相似性度量,然后根据输入低分辨率图像块与高分辨率图像块字典基元的相似度重构出对应的高分辨率图像块。结果 本文算法在Set5和Set14数据集上放大3倍情况下分别取得了平均峰值信噪比(PSNR)为32.53 dB与29.17 dB的效果。结论 本文算法从低分辨率与高分辨率图像块相似度学习角度解决图像超分辨率问题,可以更好地保持结果图像中的边缘信息,减弱结果中的振铃现象。本文算法可以很好地适用于自然场景图像的超分辨率增强任务。     

基于自注意力生成对抗网络的图像超分辨率重建

针对如何恢复重建后超分辨率图像的纹理细节问题,提出基于自注意力生成对抗网络的图像超分辨率重建模型(SRAGAN).在SRAGAN中,基于自注意力机制和残差模块相结合的生成器用于将低分辨率图像变换为超分辨率图像,基于深度卷积网络构成的判别器试图区分重建后的超分辨率图像和真实超分辨率图像间的差异.在损失函数构造方面,一方面利用Charbonnier内容损失函数来提高图像的重建精度,另一方面使用预训练VGG网络激活前的特征值来计算感知损失以实现超分辨率图像的精确纹理细节重构.实验结果表明,SRAGAN在峰值信噪比和结构相似度分数上均优于当前流行算法,能够重构出更为真实和具有清晰纹理的图像.     

基于最大似然法的超分辨率合成的 QR 条码识别方法

QR 条码具有小存储空间、大容量、容错能力强和译码可靠性高等优点,在流通和物流等领域被广泛应用。但是在实际识别时,由于受拍摄条码分辨率低等因素制约,存在识别困难的问题。论文提出一种基于超分辨率图像处理技术的低分辨率 QR 码识别方法,对手机等简易设备拍摄的低分辨率条码视频,采用最大似然算法对各帧图像进行非线性拟合,然后通过 QR 码的二值特性合成超分辨率条码图像,可以提高低分辨率条码视频的识别准确率。实验证明,该方法能解决传统方法不能识别的 QR 条码,使像素为55×55的低分辨率条码识别成功率达到85％以上,平均识别准确率提高10％。     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

基于边缘学习的低分辨率图像识别算法

由于受光照条件、拍摄角度、传输设备以及周围环境的影响,刑侦视频图像中的目标物体往往分辨率较低,难以识别。针对低分辨率图像识别问题,在经典LeNet-5识别网络的基础上,提出了一种基于边缘学习的低分辨率图像识别算法。首先由边缘生成对抗网络生成低分辨率图像的幻想边缘,该边缘与高分辨率图像边缘相近;再将该低分辨图像的生成边缘信息作为先验信息融合到识别网络中对低分辨率图像进行识别。在MNIST、EMNIST和Fashion-mnist三个数据集上分别进行实验,结果表明,将低分辨图像的幻想边缘信息融合到识别网络中可以提高低分辨率图像的识别率。     

图神经网络回归的人脸超分辨率重建

人脸超分辨率（super-resolution,SR）即将输入模糊的低分辨率（low-resolution,LR）人脸图像通过一系列算法处理得到较为清晰的高分辨率（high-resolution,HR）人脸图像的过程．相比自然图像,不同人脸图像的相同位置通常具有相似的结构．本文针对人脸图像的局部结构一致性特点,提出一种新的基于图结构的人脸超分辨率神经网络回归方法．将输入低分辨率图像表示为图结构,进而为图结构中每一个结点的局部表示训练一个浅层神经网络进行超分辨率回归．相比基于规则矩形网格的方法,图结构在描述一个像素的局部信息时,不仅考虑到图像坐标的相关性,同时关注了纹理的相似性,能更好表达图像局部特征．训练过程中,利用已收敛的相邻结点的神经网络参数初始化当前结点的神经网络参数,不仅加快神经网络的收敛速度,而且提高了预测精度．与包括深度卷积神经网络在内的基于学习的超分辨率最新算法比较实验表明,本文提出的算法取得了更高的准确率．本文提出的图神经网络（Graph Neural Networks,GNN）并不局限于解决人脸超分辨率问题,它还可以用于处理其它具有不规则拓扑结构的数据,解决不同的问题．     

联合双边图像插值

传统的图像插值算法及其改进算法都存在边缘模糊、边缘锯齿或局部扭曲变形等问题。提出联合双边图像插值,首先采用传统插值算法对原始图像进行插值,将其结果作为导引图像对原始图像进行联合双边上采样,并给出其核函数方差的自适应确定算法。实验结果表明,与传统插值算法相比,该算法明显改进插值图像质量,与已有的绝大多数非线性改进算法相比还提高了插值速度。     

基于Retinex理论的压缩域图像增强方法研究

针对现有压缩域图像增强算法在提高图像对比度时,存在不能很好地增强图像细节及保持色彩信息的局限性,提出一种新的基于Retinex理论的DCT压缩域图像增强算法.该算法以Retinex理论为基础,将DCT系数分为入射分量(DC系数)和反射分量(AC系数),通过对DC系数进行动态范围调整,对AC系数进行细节增强调整,并使用阈...     

基于非线性最小二乘的图像自适应SR重建以及运动估计

图像超分辨率（SR）重建是利用数字信号处理技术由一系列低分辨率观测图像得到高分辨率图像。为了扩展SR技术的应用范围,提出了一种同时进行图像超分辨率重建和全局运动估计的方法。该方法首先基于最大后验概率(MAP)给出了图像SR重建和运动估计框架,该框架不仅考虑了前后两次迭代所得的HR图像差值对最终重建图像的影响,而且引入了不同LR图像对重建图像的重要性权值,使得算法具有自适应性;然后将总体框架转换为图像SR重建模型和运动估计模型;最后基于非线性最小二乘法对模型进行优化求解,得出了SR重建图像及其全局运动域。实验表明,该方法不仅图像重建效果良好,并有着良好的收敛性。     

BE-ACGAN: Photo-realistic residual bit-depth enhancement by advanced conditional GAN

Since more demands for high quality visualization have been raised in various fields, monitors with higher bit-depth (HBD) become popular in recent years. However, most digital images are at low bit-depth (LBD) and usually of low visual quality with annoying false contours when displayed on HBD monitors directly. To reconstruct visually pleasant HBD images, many bit-depth enhancement (BE) algorithms have been proposed from various aspects, but the recovered HBD images are usually unsatisfactory with conspicuous false contours or over-blurred textures. Inspired by discriminative learning, we propose a residual BE algorithm based on advanced conditional generative adversarial network (BE-ACGAN), in which the discriminator adversarially helps assess image quality and train the generator to achieve more photo-realistic recovery performance. Besides, since it is hard to distinguish between the reconstructed and real HBD images with similar structures, the discriminator takes residual images as input and further takes LBD images as conditions to achieve more reliable performance. In addition, we present a novel loss function to deal with the difficulty of unstable adversarial training. The proposed algorithm outperforms the state-of-the-art methods on large-scale benchmark datasets. Source codes are available at https://github.com/TJUMMG/BE- ACGAN/.     

稀疏系数独立可调的单图超分辨率重建

针对基于学习的超分辨率重建图像边缘锐度较好但伪影较明显的问题,提出一种改进的稀疏系数独立可调的超分算法以消除伪影。由于字典训练阶段高分辨率图像和低分辨率图像均已知,认为高维图像空间和低维图像空间对应的稀疏系数不同,故此阶段运用在线字典学习方法分开训练生成较精确的高分字典和低分字典;而在图像重建阶段低分图像已知而高分图像未知,认为两空间的稀疏系数是近似相同的。通过在这两个阶段设置不同的正则化参数,可独立地调整相应的稀疏系数以获得最好的超分效果。实验结果表明,目标高分图像峰值信噪比(PSNR)相比稀疏编码超分方法平均提高了0.45 dB,同时结构相似性(SSIM)指标增加了0.011。超分图像有效地抑制了伪影,并能够较好地恢复图像边缘锐度和纹理细节,提升了超分效果。     

自适应超分辨率图像重构

超分辨率图像重构是利用关于同一场景的多帧低分辨率图像重构出一幅具有更高分辨率图像的过程。已有的MAP超分辨率图像重构算法由于没有对图像中的不同区域分别处理,所以无法在重构出清晰的边界和更多细节的同时抑制边缘振荡效应的产生。提出了针对图像中的不同区域进行自适应处理的超分辨率图像重构算法,与已有的算法相比,新算法所重构出的图像质量,不论在定量指标上还是人眼主观评判上都有了很大的提高。     

基于图像局部奇异值向量和BP神经网络分类器的道路导航方法

提出以道路图像矩阵的局部奇异值向量作为特征输入,以BP神经网络作为分类器的道路导航方法.首先将图像分割成若干子图像,然后分别对子图像进行奇异值分解,提取子图像的代数特征向量.子图像的特征奇异值组成整个图像的局部奇异值向量,作为分类器的输入.再利用BP神经网络分类器对道路图像进行训练及识别.实验中处理了三类道路图像(偏左、偏右、正确方向),每类用20 幅图像作为训练样本,30幅用作测试.结果表明,这 种道路导航方法的识别率达到了100%.􀁳 􀁨 􀁱