分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network，SRCNN）到超过300层的残差注意力网络（residual channel attention network，RCAN），网络的深度和整体性能有了显著提高。然而，尽管深层网络方法提高了重建图像的质量，但因计算量大、实时性差等问题并不适合真实场景。针对该问题，本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征，并对特征通道进行扩充；分层特征融合层由局部特征融合和全局特征融合组成，整个网络包含9个残差注意力块（residual attention block，RAB），每3个构成一个残差注意力组，分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部，首先使用卷积层提取特征，再使用空间注意力模块对特征图的不同空间位置分配不同的权重，提高高频区域特征的注意力，以快速恢复高频细节信息；上采样层使用亚像素卷积对特征图进行上采样，将特征图放大到目标图像的尺寸；重建层使用1个卷积层进行重建，得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时，峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络，通过结合空间注意力模块和分层特征融合结构的优势，可以快速恢复图像的高频细节并且具有较小的计算复杂度。

Hierarchical feature fusion attention network for image super-resolution reconstruction