残差注意力聚合对偶回归网络超分辨率计算机断层扫描重建

为了改善计算机断层扫描（CT）影像重建质量不高的问题，提出一种基于残差注意力聚合对偶回归网络（RAADRNet）的超分辨率CT重建方法。多特征下采样提取模块（MFDEB）通过平均池化、最大池化和卷积运算完成多特征下采样提取，在多特征融合后嵌入通道学习注意力（CLA）和空间学习注意力（SLA），同时并入前级融合特征提取图像的浅层特征。CLA、SLA分别引入通道权重特征学习以及激活函数1+tanh（）完成特征提取。残差注意力聚合模块（RAAB）通过CLA嵌入残差网络构成的残差通道学习注意力模块（RCLAB）与SLA构成的空间特征融合模块（SFFB）联合提取图像的深层特征。原始网络在浅层特征与通过亚像素卷积放大的深层特征进行特征融合后完成重建。对偶网络进一步约束重建映射函数的解空间。实验表明，所提算法在重建图像的峰值信噪比（PSNR）和结构相似度（SSIM）上都得到了较好的提升。     

增强型多尺度残差网络的图像超分辨率重建算法

现有的图像超分辨率重建算法大多具有极深的网络结构导致参数量过大，并且不能充分提取特征。为了解决以上问题，提出了一种基于增强型多尺度残差网络（EMSRN）的图像超分辨率重建算法。该网络主要由多个增强型多尺度残差块（EMSRB）组成，通过使用残差块和并行的多空洞率的空洞卷积组构建该模块的骨干结构，获取了图像的局部和全局多尺度特征的同时有效减小了网络参数量。在模块最后使用通道注意力机制自适应地对提取到的特征进行加权，使网络更多地关注高频信息。实验结果表明，比起基础的多尺度残差网络，所提算法将峰值信噪比（PSNR）提升了0.53 dB，结构相似性（SSIM）达到了0.9782。相比于增强型深度超分辨率网络，参数量仅为其31.7%，却取得了近似的重建表现。     

基于卷积稀疏编码与生成对抗网络的图像超分辨率重建

针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题，本文提出了一种基于卷积稀疏编码与生成对抗网络的图像超分辨率重建模型。首先，利用卷积网络实现稀疏编码并获取图像稀疏表示，充分利用图像的先验信息，有效避免重建图像高频信息缺失和噪点增多的问题；在得到低分辨率图像的稀疏表示后，通过重建模块对稀疏表示进行重建得到超分辨率图像；随后，鉴别器对重建图像进行鉴别，缓解由PSNR主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后，最后的重建图像具有更好的视觉效果。本文在Set5、Set14、BSD100和Urban100通用测试数据集上进行2倍和4倍的超分辨率重建实验，并与Bicubic、SRGAN、EDSR和ESRGAN对比。与ESRGAN方法相比，本文模型在4个数据集上平均PSNR提升约0.702 8 dB，平均SSIM提升约0.047，平均LPIPS提升了0.016。实验结果表明，所提出的模型具有较强的竞争力，能够恢复更多的细纹理细节且具有更好的清晰度。     

基于注意力机制的多尺度融合图像超分辨率重建

针对图像超分辨率重建算法在信息恢复过程中存在特征提取不充分、重建高频细节能力不足等问题,在SRGAN的基础上提出了一种基于注意力机制的多尺度融合图像超分辨率重建算法(SRGAN-MCA)。首先,构建了一种基于坐标注意力机制的多尺度密集残差注意力模块来提取不同尺度的特征信息,以解决图像超分辨率重建非线性映射过程中特征提取不充分的问题;其次,通过在网络判别器中嵌入谱归一化来约束判别器的Lipschitz常数,以增强网络训练的稳定性;最后添加了Charbonnier损失函数对SRGAN-MCA进行训练优化,以实现更高质量重建。在Set5、Set14、BSD100数据集上的实验结果表明,与SRGAN相比,2倍和4倍放大重建图像的峰值信噪比(PSNR)平均提高了0.35 dB、0.47 dB,结构相似性(SSIM)平均提高了0.005 4、0.016。     

基于高效通道注意力的多阶段图像去雨网络

针对现有图像去雨算法不能更好地保留图像背景细节的问题,提出一种基于高效通道注意力的多阶段图像去雨网络。首先,网络使用3×3卷积提取雨图的浅层特征并传递给高效通道注意力模块,为不同的特征通道分配不同的权重;然后,传递给3个并行阶段,在前2个阶段中,使用编码-解码器进行多尺度特征提取,减少雨纹信息丢失,其中使用Transformer模块抑制无用信息传递;最后,在第3个阶段使用初始分辨率模块代替编码-解码器,从而保留输出图像的精细特征。实验结果表明,所提算法在Rain800、Rain12、Rain100L和Rain100H公开测试集上的结构相似性分别为0.830、0.968、0.960和0.944,峰值信噪比分别为27.33 dB、35.27 dB、36.79 dB和28.94 dB。所提算法相比于经典和新颖的图像去雨算法,在去除雨纹和恢复背景细节上具有更好的效果。     

一种混合红外云图超分辨率重建算法

红外云图具有分辨率较低、图幅大和纹理丰富等特点。针对相关研究目前在算法效率优化和局部细节分析方面仍有不足,提出了一种混合超分辨率重建算法。该方法结合双三次插值重建方法和基于稀疏表达的重建方法在不同类型图像区域中的各自优势,利用方差将滑动窗口中的图像块区分为平坦和边缘两种类型;采用双三次插值方法重建平坦型图像块,采用基于稀疏表达的方法重建边缘型图像块。利用目视、峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)以及残差图评估了算法效果。实验结果表明,本文方法在PSNR指标上比插值法平均提高了1 dB,比稀疏法也略有提升;经局部观察发现,改进重建结果中平坦区域噪声减少;该方法的重建耗时明显减少。     

基于深度学习的红外图像超分辨率重建方法

为了提高红外图像的超分辨率重建效果,提出基于深度学习的红外图像超分辨率重建方法。利用红外图像的反射特性与红外辐射特性建立红外图像的显著性区域检测模型;通过可见光与近红外图像之间样貌差异度水平检测图像的边缘轮廓特征,提取可见光与近红外光融合性特征参数;根据融合层次不同对图像信号级、像素级、特征级、决策级四个维度进行重建,提取图像的边缘、形状、纹理特征;根据特征分布的噪声水平与配准质量,采用深度学习算法实现对红外图像超分辨率重建。仿真测试结果得出,该方法进行红外图像重建的显著性特征检测能力较强,重建后将图像分辨率提升到1 280×960 PPI,模板匹配准确率为49.4%,峰值信噪比PSNR值高于36.34 dB,结构相似度SSIM值高于0.972,重建效果较好,更适合用于特定场景下的红外图像目标特征识别。     

基于混合残差密集网络的电路板红外图像超分重建北大核心CSCD

红外图像普遍存在分辨率低、细节模糊和视觉效果差的问题,使其难于直接应用在PCB故障诊断系统中。针对这一问题,本文提出了一种可充分利用红外图像层次特征的混合残差密集网络超分辨率重建算法。首先,使用卷积神经网络提取原始低分辨率图像的浅层特征信息;其次,设计多路径混合残差密集连接块,进一步提取更丰富的深层特征信息;最后,引入全局特征融合与残差学习自适应的学习并整合全局特征信息,应用转置卷积上采样完成红外图像的超分辨率重建。实验结果表明,本文算法能够有效提高重建后红外图像分辨率,使细节信息得到改善、视觉效果得到提升。基于公共/自建数据集得到的重建后图像峰值信噪比和结构相似性指标分别达到42.17 dB/39.32 dB和0.9503/0.9466,优于文中列举的双三次内插法、SRCNN和ESPCN模型,重建性能得到明显提高。     

基于改进增强型超分辨率生成对抗网络的图像超分辨率重建算法

针对现有的图像超分辨率重建算法仍存在细节上处理不足的问题,提出一种基于改进增强型超分辨率生成对抗网络(ESRGAN)的图像超分辨率重建算法.首先,使用多尺度密集连接模块(MDB)代替密集连接模块(DB),并且在MDB后添加通道注意力机制,以调整不同通道的特征响应值,从而改进了ESRGAN的生成网络模型中的深层信息提取模...     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于多尺度编解码器网络的运动图像盲去模糊

为避免因模糊核估计不准确而使得复原后的图像易造成欠去模糊或过度去模糊等问题,提出了一种基于多尺度编解码器网络去模糊模型。首先,在传统的编解码器网络中加入跳跃连接和多尺度循环连接,结合各层图像特征信息的同时使网络训练得更加稳定。其次,将提出的编解码器网络与改进的嵌套残差网络结合,采用由“粗”到“精”的方法进一步提取不同尺度的图像信息,以增强图像的纹理细节。最后,采用端到端的模式,将模糊图像直接进行盲去模糊操作,最终输出清晰图像。改进后的多尺度网络模型具有更少的参数,网络结构更加简单,不需要模糊核估计环节。在GoPro和Khler数据集上的实验结果表明,本文方法相较于传统的SFD方法,PSNR分别提升约6.61dB和2.13dB,相较于MRF CNN、Multi-scale CNN以及DeblurGAN等基于CNN的方法,PSNR分别最高提升约5.61dB和1.59dB,实验结果均优于另外4种方法,复原后的图像更接近真实图像,纹理细节更加清晰,是一种有效的运动图像去模糊方法。     

一种基于先验生成对抗网络的人脸超分辨率重建方法

针对人脸超分辨率算法中图像失真大、缺乏细节特征等问题,提出了一种基于先验知识的人脸超分辨率重建模型。通过在超分网络中加入纹理辅助分支,为重建过程提供额外纹理结构先验,以生成精细的面部纹理,恢复高分辨率纹理图。同时引入级联叠加模块对纹理辅助分支进行反馈。设计特征融合模块,将纹理特征图与超分分支特征图融合,获得更好的纹理细节;将纹理损失融入损失函数,以提高网络恢复纹理细节的能力。4倍放大因子下,该方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性指数(Structural Similarity Index, SSIM)比现有方法至少提升1.082 5 dB和0.036,无参考图像质量评价(Natural Image Quality Evaluator, NIQE)至少降低1.690 2;8倍放大因子下,该方法的PSNR与SSIM值分别至少提升0.787 5 dB和0.046 85,NIQE值最小降低3.92。     

改进的卷积神经网络红外图像超分辨率算法

基于卷积神经网络的图像超分辨率算法可以分为图像尺寸放大和图像细节恢复/增强两个步骤,在细节恢复过程中,卷积层直接从输入图像中学习特征并将该特征作为下一个卷积层的输入数据。为了加强输入图像和卷积层各通道图像的特征表达能力,提出了一种新的卷积神经网络算法,该算法对输入图像和通道图像进行选择性灰度变换而增强特征表达的能力。实验结果表明,在公共红外图像数据集和实验室采集的红外图像数据集上,所提方法的超分辨率重建效果均优于当前的几种典型算法,能够恢复的细节信息更多。     

基于渐进式特征增强网络的超分辨率重建算法

为了在图像重建质量和网络参数之间取得较好的平衡,本文提出一种基于渐进式特征增强网络的超分辨率（Super-Resolution,SR）重建算法。该方法主要包含两个模块:浅层信息增强模块和深层信息增强模块。在浅层信息增强模块中,首先利用单层卷积层提取低分辨率（Low-Resolution,LR）图像的浅层信息,再通过我们设计的多尺度注意力块来实现特征的提取和增强。深层信息增强模块先利用残差学习块学习图像的深度信息,然后将得到的深层信息通过设计的多尺度注意力块来获得增强后的深层多尺度信息。最后我们利用跳转连接的方式将首层得到的浅层信息和深层多尺度信息进行像素级相加得到融合特征图,再对其进行上采样操作,得到最终的高分辨率（High-Resolution, HR）图像。实验结果表明,相比于一些主流的深度学习超分辨率方法,本文方法重建得到的图像无论是主观效果还是客观指标,都取得了更好的效果。      

基于小波变换的中波红外偏振图像融合

针对中波红外偏振图像的特征,给出了一种基于小波变换的融合新方法。根据中波红外偏振图像高低频图像特点选择不同的融合规则,针对低频图像采用偏振融合的方法来抑制背景信息,针对高频图像采用超分辨率重建算法来提升细节信息。实验结果显示,证融合后的红外图像比原始图像更加清晰,相较于仅偏振处理图像获得了更高的分辨率,相较于传统小波融合算法增加了偏振方面细节。     

聚合残差注意力网络的单图像超分辨率重建

针对现有生成式对抗网络对单图像进行超分辨率重建时存在特征信息挖掘不足、算法复杂度高及训练不稳定的问题，提出一种聚合残差注意力网络的单图像超分辨率重建方法。首先，以聚合残差模块作为基本残差块构造生成器，降低计算复杂度，在每个残差块中引入具有三维权重的注意力模块作为网络主通道，在不引入其他参数情况下捕获更多的高频信息。其次，在鉴别器中采用谱归一化处理，对鉴别器网络参数进行限制，从而稳定训练过程。最后，采用拟合性更好的Swish激活函数，提高网络的特征提取能力。将鲁棒性更好的Charbonnier损失函数作为像素损失，同时加入正则化损失抑制图像噪点，提升图像的空间平滑性。实验结果表明，所提方法得到的四倍放大的超分辨率重建图像在Set5、Set14、BSD100三个公开数据集上的峰值信噪比平均值提高了1.54 dB，结构相似性平均值提高了0.0457，重建图像拥有更好的清晰度和更为丰富的高频细节。     

基于结构稀疏化的红外图像超分辨率重建算法

本文在稀疏编码的基础上,对红外图像特性进行分析,提出了一种基于结构稀疏化的红外图像超分辨率重建算法。该算法将稀疏作为先验知识,通过对稀疏进行结构化编组,学习字典中高能量的区域,通过纹理代价函数和结构代价函数来实现图像的超分辨率重建。实验结果表明,本文算法较传统的稀疏编码方法在PSNR方面提高4-5dB,重建后的图像更加清晰,背景层次感更强。     

多模态自适应特征融合的目标检测

随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。     

基于生成对抗网络的超声图像超分辨率重建

针对医学超声图像的分辨率低而导致视觉效果差的问题,使用基于神经网络的图像超分辨率(SR)重建方法提升医学超声图像的分辨率。采用针对自然图像超分辨率重建的生成对抗网络(SRGAN)作为基本方法,通过减少2个输入通道和删除1个残差块对该网络的结构进行更改,并且改进网络损失函数,新增模糊处理数据集,使该网络适应医学超声图像所具备的灰度图像、散斑纹理单一等特点,从而重建出放大4倍的边缘清晰没有伪影的医学超声图像。将改进SRGAN与原始SRGAN的结果相比,峰值信噪比(PSNR)和结构相似性(SSIM)分别有1.792 dB和3.907%的提升;与传统双立方插值的结果相比,PSNR和SSIM分别有2.172 dB和8.732%的提升。     

基于特征复用的膨胀-残差网络的SAR图像超分辨重建

对于合成孔径雷达(SAR)图像,传统的超分辨重建方法对视觉特征的人为构造十分依赖,基于普通卷积神经网络(CNN)的超分辨重建方法对微小目标的重建能力较弱,对边缘轮廓的保真度较差。针对以上问题,该文提出一种基于特征复用的膨胀-残差卷积超分辨网络模型,同时引入感知损失,实现了精确的SAR图像4倍语义级超分辨。该方法为增加网络感受野,采用膨胀-残差卷积(DR-CNN)结构用于限制模型中特征图分辨率的严重损失,提高网络对微小细节的敏感度;为实现不同层级的特征最大化利用,将不同层级的特征图进行级联,形成一种特征复用结构(FRDR-CNN),以此大幅度提升特征提取模块的效率,进一步提升超分辨精度;针对SAR图像特殊的相干斑噪声干扰,引入感知损失,使得该方法在恢复图像边缘和精细的纹理信息方面具有优越表现。文中实验表明,与传统算法以及目前较为流行的几种全卷积神经网络超分辨重建算法相比,该文采用的FRDR-CNN模型在视觉上对小物体的超分辨重建能力更强,对边界等轮廓信息的重建更准确,客观指标中的峰值信噪比(PSNR)和结构相似性指数(SSIM)分别为33.5023 dB和0.5127,边缘保持系数(EPD-ROA)在水平和垂直方向上分别为0.4243和0.4373。