基于注意力融合网络的视频超分辨率重建

基于深度学习的视频超分辨率方法主要关注视频帧内和帧间的时空关系,但以往的方法在视频帧的特征对齐和融合方面存在运动信息估计不精确、特征融合不充分等问题.针对这些问题,采用反向投影原理并结合多种注意力机制和融合策略构建了一个基于注意力融合网络(AFN)的视频超分辨率模型.首先,在特征提取阶段,为了处理相邻帧和参考帧之间的多...     

基于特征融合和注意力机制的图像超分辨率模型

现有的基于深度学习的单张图像超分辨率(single image super-resolution, SISR)模型通常是通过加深网络层数来提升模型的拟合能力,没有充分提取和复用特征,导致重建图像的质量较低。针对该问题,提出了基于特征融合和注意力机制的图像超分辨率模型。该模型在特征提取模块使用残差中嵌入残差(residual in residual, RIR)的结构,该网络的特征提取模块由包含多个残差块的残差组构成,并且在每个残差组内进行局部特征融合,在每个组之间进行全局特征融合。此外,在每一个残差块中引入坐标注意力模块,在每一个残差组中引入空间注意力模块。经验证,该模型能充分提取特征并且复用特征。实验最终结果表明,该模型在客观评价指标和主观视觉效果上都优于现有的模型。     

视频序列超分辨率重构技术综述

视频序列超分辨率重构技术可以利用来自一个或多个低分辨率视频序列信息重构一个具有高空间分辨率或高时空分辨率的视频序列。本文从视频序列的空间超分辨率、时间超分辨率以及时空超分辨率重构三个方面对视频序列超分辨率重构技术进行了详细的阐述,对视频序列超分辨率重构技术中的关键问题和应用前景进行了分析与展望。     

特征频率分组融合的轻量级图像超分辨率重建

深度卷积神经网络规模越大(更深和更宽),性能越好,对计算和存储能力的要求也越高,限制了其在资源受限设备上的应用,迫切需要轻量级(参数量较小)超分辨率网络.为此,提出一个特征频率分组融合的轻量级图像超分辨率网络模型.首先使用残差拼接块传递和融合局部特征;然后通过混合注意力块组合不同线索的特征,提高特征的表达能力;最后利用高频和低频特征分组融合块,融合高频和低频特征信息,提高超分辨率图像的恢复质量.在Pytorch环境下,利用DIV2K数据集对网络模型进行训练,使用Set5, Set14, B100, Urban100和Manga109数据集进行实验的结果表明,无论是主观视觉质量还是客观度量,所提网络模型在PSNR, SSIM和LPIPS方面均显著优于对比网络模型.     

基于反馈生成对抗网络的单图像超分辨率重建

针对现有图像超分辨率重建方法中高频图像信息不丰富的问题,提出一种基于反馈和注意机制的单图像重建生成对抗网络(GFSRGAN)。采用反馈网络作为生成器,通过反馈连接逐步生成高分辨率图像;提出一种具有注意机制的反馈块,其能在处理反馈流的同时,自适应地选择有用的特征信息;利用相对平均最小二乘GAN(Ra LSGAN)损失引导模型获得更真实的图像。实验结果表明,与现有基于GAN的超分辨方法相比,该方法重建出的图像纹理更加逼真自然。     

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。     

用于单图像超分辨率的多反馈稀疏网络

研究单图像超分辨率卷积神经网络中递归、反馈和注意力机制等设计,提出了一种多反馈稀疏网络（multi-feedback sparsity network,MFSN）。首先,递归和反馈机制旨在反馈高级特征以增强低级特征。MFSN提出了一种多反馈递归机制,网络中的所有基本模块都可进行多次迭代,每次迭代过程中又有多个位置来反馈特征,丰富了传统递归反馈的形式。其次,研究了稀疏性作用。与注意力机制类似,稀疏性思想也旨在关注图像中的重要信息,但此处的稀疏性与损失函数相关联。     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

基于运动特征融合的快速视频超分辨率重构方法

基于深度学习的视频超分辨率重构方法常面临重构精度不高或重构时间过长的问题,难以实时获得高精度的重构结果.针对此问题,文中提出基于深度残差网络的视频超分辨率重构方法,可以快速地对视频进行高精度重构,并在较小分辨率视频的重构过程中达到实时重构的要求.自适应关键帧判别子网自适应地从视频帧中判别关键帧,关键帧经过高精度关键帧重构子网进行重构.对于非关键帧,将其特征与邻近关键帧间的运动估计特征和邻近关键帧的特征逐层融合,直接获得非关键帧的特征,从而快速获得非关键帧的重构结果.在公开数据集上的实验表明,文中方法能实现对视频的快速、高精度重构,鲁棒性较好.     

分级特征反馈融合的深度图像超分辨率重建

受采集装置的限制, 采集的深度图像存在分辨率较低、易受噪声干扰等问题. 本文构建了分级特征反馈融合网络 (Hierarchical feature feedback network, HFFN), 以实现深度图像的超分辨率重建. 该网络利用金字塔结构挖掘深度−纹理特征在不同尺度下的分层特征, 构建深度−纹理的分层特征表示. 为了有效利用不同尺度下的结构信息, 本文设计了一种分级特征的反馈式融合策略, 综合深度−纹理的边缘特征, 生成重建深度图像的边缘引导信息, 完成深度图像的重建过程. 与对比方法相比, 实验结果表明HFNN网络提升了深度图像的主、客观重建质量.     

相似性约束的视频超分辨率重建

图像的相似性对超分辨率重建具有重要作用,但是单幅图像不能提供足够的相似信息.提出一种基于相似性约束的视频超分辨率重建算法,针对需要重建的视频帧,通过光流场的初始运动估计和精细的块匹配,搜索到视频序列中具有相似的信息;然后利用相似信息不断修正迭代反投影中的重建误差.实验结果表明本文算法能够增加图像细节,并且可以消除边缘出现的人造效应,获得清晰的图像边缘.     

基于注意力机制的图像超分辨率重建

目前,单幅图像超分辨率重建取得了很好的效果,然而大多数模型都是通过增加网络层数来达到好的效果,并没有去发掘各通道之间的相关性.针对上述问题,提出了一种基于通道注意力机制(CA)和深度可分离卷积(DSC)的图像超分辨率重建方法.整个模型采用多路径模式的全局和局部残差学习,首先利用浅层特征提取块来提取输入图像的特征;然后,...     

基于双重注意力机制的图像超分辨重建算法

近年来,卷积神经网络(CNN)在单幅图像超分辨率重建领域(SISR)展现出良好效果。深度网络 可以在低分辨率图像和高分辨率图像之间建立复杂的映射,使得重建图像质量相对传统的方法取得巨大提升。 由于现有 SISR 方法通过加深和加宽网络结构以增大卷积核的感受野,在具有不同重要性的空间域和通道域采 用均等处理的方法,因此会导致大量的计算资源浪费在不重要的特征上。为了解决此问题,算法通过双重注意 力模块捕捉通道域与空间域隐含的权重信息,以更加高效的分配计算资源,加快网络收敛,在网络中通过残差 连接融合全局特征,不仅使得主干网络可以集中学习图像丢失的高频信息流,同时可以通过有效的特征监督加 快网络收敛,为缓解 MAE 损失函数存在的缺陷,在算法中引入了一种特殊的 Huber loss 函数。在主流数据集 上的实验结果表明,该算法相对现有的 SISR 算法在图像重建精度上有了明显的提高。     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

一种多模态信息融合的视频检索模型

针对包含复杂语义信息的视频检索的需要,提出了一种基于关系代数的多模态信息融合视频检索模型,该模型充分利用视频包含的文本、图像、高层语义概念等多模态特征,构造了对应于多个视频特征的查询模块,并创新地使用关系代数表达式对查询得到的多模态信息进行融合。实验表明,该模型能够充分发挥多模型视频检索及基于关系代数表达式的融合策略在复杂语义视频检索中的优势,得到较好的查询结果。