高分辨率可见光图像引导红外图像超分辨率的Transformer网络

目的 红外图像在工业中发挥着重要的作用。但是由于技术原因,红外图像的分辨率一般较低,限制了其普遍适用性。许多低分辨率红外传感器都和高分辨率可见光传感器搭配使用,一种可行的思路是利用可见光传感器捕获的高分辨率图像,辅助红外图像进行超分辨率重建。方法 本文提出了一种使用高分辨率可见光图像引导红外图像进行超分辨率的神经网络模型,包含两个模块：引导Transformer模块和超分辨率重建模块。考虑到红外和可见光图像对一般存在一定的视差,两者之间是不完全对齐的,本文使用基于引导Transformer的信息引导与融合方法,从高分辨率可见光图像中搜索相关纹理信息,并将这些相关纹理信息与低分辨率红外图像的信息融合得到合成特征。然后这个合成特征经过后面的超分辨率重建子网络,得到最终的超分辨率红外图像。在超分辨率重建模块,本文使用通道拆分策略来消除深度模型中的冗余特征,减少计算量,提高模型性能。结果 本文方法在FLIR-aligned数据集上与其他代表性图像超分辨率方法进行对比。实验结果表明,本文方法可以取得优于对比方法的超分辨率性能。客观结果上,本文方法比其他红外图像引导超分辨率方法在峰值信噪比(pea...     

单帧低分辨率图像的SFMAP高分辨率重建算法

卫星图像的超分辨率处理是基础性和标志性的空间技术。一般情况下很难得到可供处理的一序列卫星图像，单帧图像的超分辨率处理尤为重要。我们提出由单帧欠采样的低分辨率噪音卫星图像重建高清晰卫星图像的最大后验概率估计(SFMAP)算法。通过插值生成多帧低分辨率图像族，模拟亚像元位移的低分辨率图像，参与空域迭代过程，以满足其空域代数方程组的超定问题，在一定程度上解开输入低分辨率图像的混叠，得到高分辨率重建图像。实际处理显示出较好的效果。     

结合超分辨率和域适应的遥感图像语义分割方法

基于卷积神经网络的图像语义分割方法依赖于有真实标签的监督学习,但不能很好地推广到来源不同的无标签数据集中,目前无监督域适应给出了解决无标签目标域数据和有标签源域数据特征分布不一致的思路.但是在遥感图像处理领域,当源域和目标域的空间分辨率不相同时,无监督域适应方法应用效果不佳.本文结合图像超分辨率设计了一个新的端到端语义分割深度网络——结合超分辨率和域适应的语义分割模型(Semantic Segmentation Model Combining Super Resolution and Domain Adaption,SSM-SRDA),它可以缩小低分辨率源域和高分辨率目标域遥感图像的空间分辨率差异和特征分布差异,并完成无监督超分辨率和域适应语义分割任务.SSM-SRDA模型包括三个部分:结合超分辨率的语义分割网络,将低分辨率的源域图像通过超分辨率模块生成带有目标域风格的高分辨率图像,缩小空间分辨率差异的同时帮助特征提取网络学习域不变特征,并通过特征相似性FA-Loss模块增强语义分割深层网络高分辨率特征的细节结构信息;像素级域判别器,用来缩小超分辨后源域和目标域间的像素级特征差异;输出...     

基于多级Transformer的超大倍率重建网络:参考图像超分辨率

超分辨率（SR）是指从一个低分辨率图像,重建其对应的高分辨率副本。针对SR在超大倍率（8×、16×）重建不够精确的问题,本文提出多级Transformer的超大倍率重建网络（MTLF）。MTLF对多个Transformer进行多级堆叠以处理不同倍率的特征,并且利用修正注意力模块改进由Transformer得到的注意力权重,从而合成更精细的纹理。最后将所有倍率的特征融合成超大尺度下的SR图像。实验结果表明MTLF优于目前最好的方法（包括单图像超分辨率和基于Ref的超分辨率方法）。特别地,MTLF在极限倍率（32×）下也取得不错的效果。     

数据外补偿的深度网络超分辨率重建

单张图像超分辨率重建受到多对一映射的困扰.对于给定的低分辨率图像块,存在若干高分辨率图像块与之对应.基于学习的方法受此影响,学习到的逆映射规则只能预测这些高分辨率图像块的均值,从而产生视觉上模糊的超分辨率重建结果.为了克服歧义性造成的高频细节损失,本文提出了一种基于深度网络,利用在线检索的数据进行高频信息补偿的图像超分辨率重建算法.该方法构建一个深度网络,通过三个分支预测高分辨率重建结果：一条旁路直接将输入的低分辨率图像输入到网络的最后一层;一条内部高频信息重建路径基于低分辨率图像回归预测高分辨率图像,重建高分辨率图像的主要结构;另一条外部高频信息补偿路径根据内部重建的结果,从在线检索到的相似图像中提取高频细节,对内部重建的重建结果进行细节补偿.在第二条路径中,为了有效提取高频信号并使之适应于内部重建的重建结构,本文在多层特征的测量和约束下,进行高频细节迁移.相比于之前基于云数据库的传统图像超分辨率方法,本文提出的方法是端对端可训练的（end-to-end trainable）,因此通过在大数据上进行学习,方法能同时建模内部重建和外部补偿,并能自动权衡两者利弊而给出最优的重建结果.图像超分辨率重建的实验结果表明,相比于最新的超分辨率算法,本文方法在主客观评价中均取得了更加优越的性能.     

超分辨率图像重建方法研究

超分辨率图像重建就是由低分辨率图像序列来估计高分辨率图像，已成为当前研究的热点。对超分辨率的概念和应用场合进行了阐述，对空域的几种主要重建方法进行了详尽分析与比较，并研究了压缩域中的重建方法，指出了各自的优点与不是。研究表明，超分辨率重建具有广泛的应用前景，其成像模型、运动估计、重建算法和实时实现将是今后研究的重点。     

基于小波域的深度残差网络图像超分辨率算法

单幅图像超分辨率（SISR）是指从一张低分辨率图像重建高分辨率图像.传统的神经网络方法通常在图像的空间域进行超分辨率重构，但这些方法常在重构过程中忽略重要的细节.鉴于小波变换能够将图像内容的"粗略"和"细节"特征进行分离，提出一种基于小波域的深度残差网络（DRWSR）.不同于其他传统的卷积神经网络直接推导高分辨率图像（HR），该方法采用多阶段学习策略，首先推理出高分辨率图像对应的小波系数，然后重建超分辨率图像（SR）.为了获取更多的信息，该方法采用一种残差嵌套残差的灵活可扩展的深度神经网络.此外，提出的神经网络模型采用结合图像空域与小波域的损失函数进行优化求解.所提出的方法在Set5、Set14、BSD100、Urban100等数据集上进行实验，实验结果表明，该方法的视觉效果和峰值信噪比（PSNR）均优于相关的图像超分辨率方法.     

一种基于融合的单幅图像超分辨率重建

图像超分辨率重建是由一幅或者多幅低分辨率图像序列重建与之对应的高分辨率图像。高分辨率图像具有更高像素密度,可以提供更多的图像细节,这些细节往往在一些具体应用场景中起到关键性作用。针对单幅低分辨率重建超分辨率应用问题,提出了一种基于图像融合的方法,该方法选取两种或者两种以上利用生成对抗网络算法进行超分辨率图像的重建算法,然后对它们各自重建的图像进行图像融合。图像融合使用将两幅或多幅图像综合成一幅新的图像。融合能利用两幅(或多幅)图像在时空上的相关性及信息上的互补性,可以使得融合后得到的图像对场景有更全面、清晰的描述,从而更有利于人眼的识别。借鉴了集成学习的思想,该文使用BasicSR、SRGAN和ESRGAN这三种超分辨率重建算法生成的超分辨率图像进行两两交叉融合进行仿真实验。实验结果表明,这种利用不同生成对抗网络重建的超分辨率图像进行融合简单有效,融合后的超分辨率图像质量在两个指标上PSNR和SSIM上总体优于融合前的图像质量。     

改进空间细节提取策略的分量替换遥感图像融合方法

针对多光谱图像与全色图像间的局部空间差异引起的空谱失真问题,提出了一种改进空间细节提取策略的分量替换遥感图像融合方法。与传统空间细节提取方法不同,该方法旨在合成高质量的强度图像,用其取代空间细节提取步骤中全色图像的位置,以获取匹配多光谱图像的空间细节信息。首先,借助低分辨率强度图像与高分辨率强度图像的流形结构一致性,利用基于局部线性嵌入的图像重建方法重构第一幅高分辨率强度图像;其次,对低分辨率强度图像与全色图像分别进行小波分解,保留低分辨率强度图像的低频信息与全色图像的高频信息,利用逆小波变换重构第二幅高分辨率强度图像;然后,将两幅高分辨率强度图像进行稀疏融合,获得高质量强度图像;最后,将合成的高分辨率强度图像应用到分量替换融合框架,获取最终融合图像。实验结果表明,与另外11种融合方法相比,所提方法得到的融合图像具有较高的空间分辨率和较低的光谱失真度,该方法的平均相关系数、均方根误差、相对整体维数合成误差、光谱角匹配指数和基于四元数理论的指标在三组GeoEye-1融合图像上的均值分别为：0.9439、24.3479、2.7643、3.9376和0.9082,明显优于对比方法的相应评价指标。该方法可有效地消除局部空间差异对分量替换融合框架性能的影响。     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

基于自注意力机制生成对抗网络的超分辨率磁共振图像重建

高分辨率的磁共振图像可以提供细粒度的解剖信息,但是获取数据需要较长的扫描时间.本文提出了一种基于自注意力机制生成对抗网络的超分辨率磁共振图像重构方法(SA-SR-GAN),利用生成对抗网络从低分辨率磁共振图像生成高分辨率磁共振图像,将自注意力机制集成到超分辨率生成对抗网络框架中,用于计算输入特征的权重参数,同时引入了谱...     

基于加速残差网络的图像超分辨率重建方法

针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比（PSNR）及结构相似性（SSIM）均值结果较基于卷积神经网络的图像超分辨率（SRCNN）取得的结果分别提升了0.57 dB和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建（ISCNN）取得的结果分别提升了0.45 dB和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率（VDSR）的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。     

基于POCS和范例学习的序列图像超分辨率重建

实现序列图像的超分辨率重建,需要利用同一场景的多幅低分辨率图像之间的相对运动信息．并将它们融合到单幅高分辨率图像中,以有效的去除低分辨率图像中的模糊和噪声。本文提出首先分析序列图像结构、纹理等多维特征的不同特性和作用,利用分解得到的多维特征分别采用凸集投影（POCS）、范例学习等具有针对性的重建方法进行图像放大,在有效-融合多维特征重建图像的基础上,实现序列图像的多维特征超分辨率重建。     

基于亚像素的图像超分辨率重建算法研究

图像超分辨率重建是指利用一幅或多幅具有互补信息的低分辨率图像,运用相应的算法来获得一幅清晰的高分辨率图像的过程。本文采用亚像素插值重建算法,利用多幅低分辨率视频图像重建出一幅高分辨率图像。重建算法有效利用了各幅图像中对应像素的相关信息,提高了图像的视觉效果和峰值信噪比。     

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合，可以获得具有高空间分辨率和高光谱分辨率的光谱图像，提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好，但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性，提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块，通过光谱注意力机制提取高光谱图像的光谱相关性特征，通过空间注意力机制提取多光谱图像的空间相似性特征，将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合；随后，将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中，探索融合特征的长距离依赖信息，学习深度先验融合知识；最后，特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验，实验结果表明，与对比方法相比，本文方法从定量指标和视觉效果上，都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network），在CAVE数据集上峰值信噪比提高了0.5 dB，在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息，显著提升高光谱融合超分图像的质量。     

基于类解混的高光谱和多光谱图像融合算法

基于解混合的图像融合算法存在的2个问题:(1)用低分辨率高光谱图像(low-resolution hyperspectral image,LR-HSI)的光谱特征重建高分辨率高光谱图像(high-resolution hyperspectral image,HR-HSI),而LR-HSI的空间降质会导致光谱的精度损失;(2)基于非负矩阵解混的算法由于目标函数非凸性,其求解对初始值敏感,导致端元和丰度值不稳定.为解决此问题,提出基于类解混的高光谱图像融合算法.首先,利用模糊c均值算法对图像聚类,以距离聚类中心最近的像素代替解混端元,避开了直接解混导致的解不稳定问题.其次,为每类地物分别学习基于广义回归神经网络(general regression neural network,GRNN)的相同场景HR-HSI和LR-HSI在光谱域的非线性映射关系,弥补由于空间降质导致的端元光谱精度损失.文中借鉴解混合思想,由低分辨率高光谱图像的端元重建高分辨率高光谱图像的端元,将其与高分辨率多光谱图像(high-resolution multispectral image,HR-MSI)的稀疏系数结合得到HR-HSI.在4组数据集上验证本算法性能,与多种融合算法比较.实验表明,Salinas数据的实验结果在SAM,RMSE和ERGAS指标与次优的方法相比,它们的数值分别降低了5.5%,5.5%和1.6%;在Cuprite数据上数值降低了1.3%,3.9%和3.8%;在Indian Pines数据上数值分别降低了1.7%,4.0%和3.9%;在Pavia Center数据上,采用双三次插值时在SAM和ERGAS指标上与次优的方法相比数值分别降低了2.9%和8.5%;采用双线性插值时数值分别降低了3.5%和3.4%.所以,文中算法在有效地提升空间分辨率的同时,很好地保持了光谱信息.     

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题, 提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法. 首先提出了一个全局层注意力机制(global layer attention, GLA), 利用层注意力机制加权融合不同层级的全局特征, 建模低分辨率与高分辨率图像特征间的长期依赖关系. 同时, 设计了跨尺度局部注意力机制(cross-scale local attention, CSLA), 在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁, 并融合不同尺度的补丁特征, 以优化模型对图像细节信息的恢复能力. 最后, 提出一种局部信息感知损失函数来指导图像的重建过程, 进一步提高了重建图像的视觉质量和细节保留能力. 在UC-Merced数据集上的实验结果表明, 本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法, 并在视觉效果方面展现出更高的质量和更好的细节保留能力.     

基于模式分类和图像融合的超分辨率方法

在低分辨率图像序列的超分辨率重建过程中,如何由配准后的视频序列构造出高分辨率图像对重建结果起着至关重要的作用,而现有算法只是采取了求均值的方法,这就削弱了细节信息。新算法根据运动估计的位移对低分辨率序列进行分类,在各类内根据重叠区域再进行分类,然后采用基于方向信息测度的方法进行数据融合,最后输出高分辨率图像。试验表明提出的算法简单、有效,增强了超分辨率算法的信息搜集能力。     

基于深度学习特征字典的单帧图像超分辨率重建

在基于字典的单帧图像超分辨率重建算法中,依赖人工浅层特征设计的字典表达图像特征能力有限。为此,提出基于深度学习特征字典的超分辨重建方法。该算法首先利用深度网络进行高、低分辨率训练样本图像深层次特征学习;然后,在稀疏字典超分辨框架下联合训练特征字典;最后,输入单帧低分辨率图像并利用该字典实现超分辨率重建。理论分析表明,引入深度网络提取图像深层次特征并用于字典训练,对低分辨率图像的高频信息补充更加有利。实验证明,与双三次插值以及基于一般人工特征字典的超分辨重建算法相比,本文算法的主观视觉和客观评价指标均高于对比算法。