改进SRGAN的图像超分辨率算法

SRGAN算法虽然具有许多优点,但也存在图像重建效果不够好、参数数量庞大、激活函数表现较差等问题。为此,本文提出一种基于SRGAN的图像超分辨率算法SRGAN-E。该算法首先删除BN层,提高图形的重建效果;再在原生成器模型中加入一维卷积注意力机制,使得图像在重建过程中更加关注上下文信息并减少网络模型中生成器的参数;将SRGAN算法鉴别器模型中的LeakyReLU函数改为Mish函数,以提升鉴别器的性能。实验结果表明:对比SRGAN算法,改进后的SRGAN-E算法在4个测试集上PSNR的平均值增加了0.345,SSIM的平均值增加了0.009;SRGAN-E算法的生成器参数数量与SRGAN算法相比,减少了1 388个。SRGAN-E算法不但提高了图像的重建效果而且还减少了模型参数。     

基于多分辨率学习卷积神经网络的磁共振图像超分辨率重建

高分辨率磁共振图像对于医学诊断具有重要意义,本文提出一种多分辨率学习卷积神经网络,并应用于磁共振图像超分辨率。网络是一种新型深度残差网络,包含用于特征提取的残差单元、多分辨率上采样的反卷积层以及多分辨率学习层。设计的网络在低分辨率图像空间中实现图像超分辨率,采用多分辨率上采样实现多个残差单元信息融合并加速网络,多分辨率学习能够自适应地确定各分辨率上采样的高维特征图对磁共振图像超分辨重建的贡献度。实验表明,论文提出的方法能够很好地超分辨率重建磁共振图像,优于最新的深度学习方法。     

用于图像超分辨率的轻量级残差平衡蒸馏网络

现有利用卷积神经网络的单幅图像超分辨率重建技术,普遍存在参数量大计算成本高等问题,阻碍了实际场景的应用,因此提出一种轻量级蓝图可分离残差平衡蒸馏网络(BSRBDN)。首先,引入蓝图可分离卷积并提出多尺度渐进特征蒸馏连接结构,在提取深层特征的同时减少冗余运算。其次,设计了对比度平衡注意块、大内核空间注意力块和像素融合模块,激活高频信息增强边缘细节特征。最后,设计了轻量级蓝图可分离残差平衡蒸馏网络快速精准的完成图像重建。实验结果显示网络在保持更好的性能和主观视觉效果的同时,大大降低了参数与计算量。     

双路多尺度残差网络的图像超分辨率重建

针对传统单幅图像超分辨率重建方法出现的边缘特征模糊问题,提出了一种双路多尺度残差网络(BMRN)的重建方法.首先直接对低分辨率图像进行特征提取,较大程度保留特征信息;再构建多个独立的双路多尺度残差网络提取高频信息,其中残差连接的引入可以有效解决网络加深导致的梯度消失问题,双路多尺度结构可以相互补充卷积中的尺度信息,改善...     

改进可逆缩放网络的图像超分辨率重建

可逆缩放网络(IRN)的潜变量采用高斯分布嵌入图像高频信息,因其独立随机性无法充分保存图像高频信息,嵌入效果一般,影响重建性能。通过改进可逆缩放网络来提高嵌入高频信息的能力并进一步降低模型的复杂度。首先,特征提取模块采用密集连接结构和通道注意力机制来获取足够的特征信息,同时减少模块参数量;其次,网络的潜变量采用小波域高频子带插值设计,改善高频信息嵌入能力。实验结果显示该算法相比IRN,在Set5、Set14、BSD100和Urban100这4个基准测试集上的PSNR和SSIM分别平均提升了0.380 dB和0.014,参数量减少约1.64×10⁶,计算量减少约0.43×10⁹,运行时间减少3 ms。表明该算法的重建性能优良,模型复杂度低,具有实用价值。     

一种基于Uniformer Transformer与UNet的图像降噪模型

卷积神经网络(CNNs)在图像降噪任务中取得了较大的成功. 基于Vision Transformer模型表现出较好的效果. 计算机视觉领域利用Transformer方法其性能超过了卷积神经网络方法. 提出了一种名为UUNet(Uniformer Transformer-UNet)的图像降噪模型,该模型使用Uniformer Transformer作为骨干网络,并融入UNet网络来提取图像的深层特征,使用PSNR、SSIM等指标对图像降噪效果进行评估. 实验结果表明,使用UUNet网络对图像降噪的整体性最优.     

基于深度学习的遥感图像超分辨率重建方法综述

基于深度学习的遥感图像超分辨率重建方法是计算机视觉中的重要方法之一。传统的遥感图像超分辨率重建方法已无法满足地物目标识别和土地检测等应用的需求,如何利用深度学习来重建遥感图像的分辨率是目前要解决的问题。结合国内外最新研究现状,将基于深度学习的遥感图像超分辨率重建方法分成3大类：单幅遥感图像超分辨率重建方法、多幅遥感图像超分辨率重建方法和多/高光谱遥感图像超分辨率重建方法。系统梳理了基于深度学习的单幅遥感图像超分辨率重建方法,包括基于多尺度特征提取的方法、结合小波变换的方法、沙漏状生成网络的方法、边缘增强网络的方法以及可跨传感器的方法。总结了基于深度学习的多幅遥感图像和多/高光谱遥感图像超分辨率重建方法中目前主流的方法。通过实验结果分析了遥感图像超分辨率重建方法目前效果最好的单幅图像超分辨率重建方法是基于GAN的方法,但是多幅遥感图像和多/高光谱遥感图像超分辨率重建效果仍然不佳,存在配准融合、多源信息融合等问题。最后,对基于深度学习的遥感图像超分辨率重建方法未来可能的发展趋势进行了展望,指出构建针对遥感图像特点的神经网络结构,无监督学习的遥感图像超分辨率重建方法,以及多源遥感图像的超分辨...     

深度图像超分辨率重建技术综述

便携式消费级深度相机的问世和发展,加速了深度信息在无人驾驶、人机交互、三维重建等领域的应用,但低成本消费级相机所拍摄的深度图像通常具有较低的空间分辨率。深度图像超分辨率重建是一种能有效提高深度信息空间分辨率的方法,已经成为计算机视觉和图像处理领域的研究热点。在详细阐述深度图像超分辨率重建概念和必要性的基础上,从输入图像角度,全面梳理归纳了近年来深度图像超分辨率重建方法的研究现状,对其中的关键性问题和今后的研究方向做了较为深入的分析,最后对深度图像超分辨率重建的应用前景进行了展望。     

基于卷积和Transformer联合网络的地震数据插值

地震数据插值是地震数据处理的关键步骤,旨在高精度地恢复出缺失地震数据,提升地震数据信噪比。近年来,基于卷积神经网络的插值方法发展迅速,该方法基于数据驱动,通过搭建卷积神经网络恢复缺失数据。卷积神经网络依赖卷积提取地震数据特征,然而由于受到卷积核局部感受野的限制,卷积运算只能捕捉地震数据局部信息,限制了网络的插值性能。因此本文提出了基于卷积和Transformer联合网络的地震数据插值方法,该方法通过引入Transformer,构建卷积和Transformer融合模块提取地震数据特征,旨在捕捉地震数据更多的细节信息,提升地震数据插值性能。通过仿真数据实验和真实数据实验显示,和基于Unet网络的插值方法相比,本文方法具有更好的插值性能,能够恢复地震数据更多纹理细节,插值结果的信噪比提升了2～3 dB。     

基于多尺度特征映射网络的图像超分辨率重建

针对基于卷积神经网络的图像超分辨率重建（SRCNN）方法存在的重建网络浅、特征利用率低以及重建图像模糊等问题,提出基于多尺度特征映射网络的图像超分辨率重建方法. 多尺度特征映射网络通过学习低分辨率（LR）特征与高分辨率（HR）特征之间的映射关系,将多个尺度的LR特征映射到HR特征空间,通过特征融合来提高重建过程中对特征的利用率;该方法定义了结合逐像素损失、感知损失和对抗损失的联合损失函数,从低频内容、图像边缘和局部纹理等方面均衡提升重建图像质量. 对数据集Set5、Set14和BSD100的图片4倍下采样后进行测试,与当前主流方法进行比较和分析. 实验证明,基于生成对抗的多尺度特征映射网络在提高图像感知质量方面表现优秀,重建的图像具有更加清晰的边缘和纹理,在客观评价上具有较好的评分.     

基于卷积和可变形注意力的脑胶质瘤图像分割

对于脑胶质瘤图像分割这类密集预测的医学影像分割任务,局部和全局依赖关系都是不可或缺的,针对卷积神经网络缺乏建立全局依赖关系的能力,且自注意力机制在局部细节上捕捉能力不足等问题,提出了基于卷积和可变形注意力的脑胶质瘤图像分割方法。设计了卷积和可变形注意力Transformer的串行组合模块,其中卷积用于提取局部特征,紧随其后的可变形注意力Transformer用于捕捉全局依赖关系,建立不同分辨率下局部和全局依赖关系。作为一种CNN-Transformer混合架构,所提方法不需要任何预训练即可实现精准的脑胶质瘤图像分割。实验结果表明：所提方法在BraTS2020脑胶质图像分割数据集上平均Dice系数和平均95%豪斯多夫距离分别为83.56%和11.30 mm,达到了与其他脑胶质瘤图像分割方法相当的分割精度,同时降低了至少50%的计算开销,有效提升了脑胶质瘤图像分割的效率。     

基于改进Transformer的布料材质识别方法研究

布料材质识别是一个极具挑战性的计算机视觉问题。针对传统识别方法存在的识别周期长、人为因素多、技术壁垒高以及有破坏性等缺点,提出了一种基于改进Transformer的布料材质识别方法,该方法利用输入的布料运动视频,通过布料运动的外观变化识别布料的材质类型。改进的Transformer模型由Transformer块和残差空间缩减块(Residual Spatial Reduction)组成,将Transformer块中的自注意力分解为时间自注意力和空间自注意力来减少计算量和运行时间,将两个残差空间缩减块添加进Transformer模型中来减少空间冗余信息和提高布料材质识别的准确率。此外,使用预训练的图像模型对视频模型初始化,可以在减少计算量的同时保持模型的高性能。在布料运动数据集上的实验结果表明,本文方法对12种不同布料材质视频的材质种类识别的准确率达到82.3%,相比其他方法,该方法的识别精度更高。     

基于结构保持的星载SAR图像超分辨重构算法

星载合成孔径雷达（SAR）可以实现全天候、全天时、大幅宽的对地观测,但受天线尺寸和数据有损传输影响,高分辨率SAR图像的获取十分困难。针对该问题,提出一个基于结构保持的图像超分辨重构网络（SP-SRNet）,以实现SAR图像从低分辨（LR）图像到高分辨（HR）图像的重构：使用一个轻量级深度卷积神经网络提取图像梯度图特征,为超分辨重构网络提供更多的结构信息;设计一个由像素损失和梯度损失组成的多目标函数优化SP-SRNet。利用ICEYE公司卫星高分辨SAR图像,采用双3次下采样算法构建SAR图像的LR-HR数据集,并在该数据集运用多种现有算法对比仿真验证。结果表明,提出的SP-SRNet在定量评估指标和主观视觉上均优于现有的超分辨重构算法。     

基于特征表征的单幅图像超分辨方法

基于稀疏表示的图像超分辨是近年信号处理中的研究热点,快速准确地找到图像的稀疏表示系数是该方法的关键。该文提出了一种基于特征表征的算法来求解图像块的稀疏表示系数。受压缩感知理论启发,使用联合训练的字典来进行图像超分辨。特征表征算法在每一次迭代中,通过确定稀疏系数的符号,将求解的非凸问题变为凸问题,有效提高所得稀疏系数的准确性和超分辨算法速度。仿真结果显示,与插值法和经典的稀疏表示法比较,特征表征法可以得到更好的主观视觉评价和客观量化评价。     

一种基于神经网络的超分辨图像重构方法

针对在航空航天遥感领域中使用CCD相机对景物进行成像时，由于像元尺寸的限制导致图像分辨率低的问题，提出了采用人工神经网络映射图像重构过程非线性特性的方法．在相机参数已知的情况下，用后向误差传播(BP)神经网络融合从不同角度对同一景物重复拍照得到的多帧低分辨率图像的冗余信息，重构得到较高分辨率的图像．在模拟成像仿真实验中得到了分辨率提高4倍、信噪比接近30dB的超分辨结果．     

基于反馈网络的磁共振图像超分辨率重建研究

针对磁共振图像超分辨率重建算法存在的边缘信息丢失和运动伪影等问题,本文提出一种基于反馈网络的磁共振图像超分辨重建方法.采用反馈路径构成网络结构,在所提出的重建算法中,将输入图像进行上采样和下采样操作,提取图像特征,并对提取的特征进行融合后与输入图像一起进行局部循环训练,同时通过残差和卷积操作,重建超分辨率图像.为了更加...     

灰度图像超分辨方法研究和实验对比分析

介绍了图像超分辨率重建方法、图像超分辨率重建的理论和技术方法,在图像超分辨率重建算法和重建结果的评价及图像超分辨率重建技术的应用等方面进行了分析,对最大后验概率（MAP）和凸集投影（POCS）两种方法进行了实验．     

基于Transformer与距离图谱的泛癌细胞核图像分割

肿瘤细胞的密度、核质比和平均尺寸等指标对癌症的分级和预后有重要的意义.在计算病理学中,细胞核分割是肿瘤微环境分析的基础.通过对分割结果进行统计分析,对新的肿瘤标记物的探索有重大的意义.病理图像背景下的细胞核形态不规则,细胞核染色不均匀,且细胞核边缘之间存在黏连的问题,而现有的深度学习算法在细胞核主体分割正确的情况下,边缘的分割错误不会对总体的损失造成太大的影响,黏连的细胞核很容易被当作同一个分割目标.为了解决细胞核重叠问题,本文提出一种基于Transformer与距离图谱的分割模型,将Transformer中的核心多头自注意力机制与距离图谱引导算法相结合,重视细胞核内部,弱化细胞核边界,提升对图像局部和全局上下文信息的学习能力.本文方法在两个公开数据集上的平均Dice系数为0.797 9、精度为0.756 1、AJI系数为0.667 2、Hausdorff距离为10.11.实验结果表明,相较其他分割算法,本文方法的性能更好,能够有效提高细胞核的分割精度,同时较好地解决了细胞核之间的黏连问题.     

基于空间通道注意力机制的渐进式图像超分辨重建算法

目前在单帧图像超分辨率(SISR)研究领域中,一些深度网络在重构阶段通过简单级联、通道注意、空间注意等方式,利用中间特征来提高图像重构效果,但是它们通常只注意到其中一个方向.为此,文章研究了一种新的注意力,即基于空间特征变换(SFT)的空间通道注意力,并提出了基于SFT的空间通道注意力机制重构的渐进式网络算法.该算法多...     

自适应参数与边缘点引导的深度图像超分辨

当前TOF等深度相机仅能获取低分辨率的深度图像,无法满足三维视觉系统的需求.高分辨率深度图像可通过深度图像的超分辨算法获得,但当前算法的实验输出图像存在因纹理复制导致图像局部区域产生伪像以及边缘结构不清晰等问题.基于HR深度伪矩阵提出自适应参数与边缘点引导的深度值重建的算法,通过低分辨率深度图像边缘区域的像素点寻找修正...