单幅散焦图像的局部特征模糊分割算法

当前局部特征模糊分割算法没有对单幅散焦图像进行预处理,导致单幅散焦图像的清晰度较低,从而影响分割效果。原有的模糊分割算法在像素分割的过程中,像素标签量巨大,从而导致分割过程复杂。为此,提出利用免疫谱聚类算法实现对单幅散焦图像的局部特征模糊分割。首先,通过分块的方法对局部模糊图像进行再次模糊;然后,比较模糊前后散焦图像的奇异值变化,并以该变化为依据对散焦图像进行标识 ;最后,提取出单幅散焦图像的奇异值特征,进而实现单幅散焦图像的局部特征模糊分割的目标。利用谱聚类的方法对散焦图像中的像素点样本进行聚类,采用Nystrm逼近方法对像素点相似性矩阵的特征向量进行计算,降低了计算的复杂度;同时利用免疫算法提高聚类结果的准确性,保证了散焦图像的局部特征模糊分割结果。实验结果表明,所提算法能够有效地对单幅散焦图像进行分割,分割的效果较好,计算过程较为简单。     

基于倍频卷积和注意力机制的图像去雨

针对机器视觉场景图像中由于雨线影响导致背景信息模糊、损失的问题,提出一种基于倍频卷积和注意力机制的图像去雨方法.首先,建立基于空-频域去雨模型,设计基于空间尺度变换和倍频卷积的频率特征分解模块,通过学习得到频率特征和雨线特征的映射关系,降低低频特征空间冗余,提高网络运行效率;其次,设计多层通道注意力模块映射雨线层权重信息,增强重要特征,挖掘雨线层之间的亮度差异,提高雨线检测性能;最后,通过序列操作迭代分解出不同成分的雨线信息,进而完成场景图像去雨.实验结果表明,所提方法对不同方向、形状的雨线和雨滴具有良好的去除性能,同时对于背景图像的细节与边缘信息也具有较好的保护作用.     

基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.     

基于高效通道注意力机制的龙格库塔去雨网络

单图去雨问题是图像处理的一个重要研究方向。为了解决现有方法对雨痕特征提取不够充分的问题,提出一种基于注意力机制的龙格库塔（RK）模块的去雨网络。该模块采用RK模块提高提取图像特征的能力并采用高效通道注意力（ECA）机制加强对雨痕局部表征的关注。通过堆叠多个基于ECA机制的RK模块,可以构建深度去雨模型,较好地特提取雨痕特征;同时采用全局回传机制,利用雨痕的高阶特征以更新其低阶特征,提高雨痕表征的提取质量,逐步提升重建背景图的质量。基于公开数据集Rain100L、Rain100H和RainHeavy的测试结果表明,所提算法能够较好地重构雨天背景图。采用峰值信噪比（PNSR）和结构相似度（SSIM）两个常用指标评估重建背景图像结果,并与去雨算法Semi-Supervised transfer learning for Image rain Removal(SSIR)、Progressive Recurrent Network(PReNet)、Bilateral Recurrent Network(BRN)进行比较,结果显示所提算法的性能最优。     

融合全局和局部特征的单幅图像去雨方法

针对基于卷积神经网络的去雨方法感受野受限的问题，结合Swin Transformer和卷积神经网络各自的优势，提出了一种融合全局和局部特征的单幅图像去雨方法。首先通过卷积神经网络对图像的局部特征进行初步提取；其次通过基于Swin Transformer的多支路网络对不同特征空间内的全局信息进行学习；最后将提取出的多支路全局特征与局部特征进行融合，实现无雨图像的恢复。在多个数据集上与多种主流单幅图像去雨方法进行了对比实验。结果表明，所提方法生成的结果在峰值信噪比和结构相似性指标上都具有一定优势，验证了所提方法在图像去雨任务上的有效性。     

基于组件特征与多注意力融合的车辆重识别方法

为提升车辆重识别算法的性能,提出一种基于车辆组件特征与多注意力融合的特征学习方法.首先,修改深度残差网络以获取具有丰富语义信息的特征图,同时应用语义分割网络将车辆图像划分为车辆正面、背面、顶面、侧面及背景区域,以实现组件特征提取并消除视角变化的影响.然后,设计多注意力融合模块,基于面积注意力与特征注意力实现组件特征的自适应融合.最后,在多任务学习框架下,优化车辆重识别的三元组损失与辅助分类任务的交叉熵与焦点损失,对网络参数进行训练.在多个数据集上的实验结果表明,提出的方法在大多数性能指标上均超越了现有方法.进一步的消融实验证明了多注意力融合模块与多任务损失函数在特征提取上的有效性.     

基于联合注意力机制的单幅图像去雨算法

现有的单幅图像去雨算法难以充分发掘不同维度注意力机制的相互作用,因此提出一种基于联合注意力机制的单幅图像去雨算法。该算法包含通道注意力机制和空间注意力机制：通道注意力机制检测各通道雨线特征的分布,并差异化各个特征通道的重要程度;空间注意力机制则针对通道内雨线分布的空间关系,以局部到全局的方式积累上下文信息,从而高效准确地去雨。此外,引入深度残差收缩网络,以利用残差模块中嵌入的软阈值非线性变换子网络来通过软阈值函数将冗余信息置零,从而提升CNN在噪声中保留图像细节的能力。在公开降雨数据集与自构建的降雨数据集上进行实验,相较于单一空间注意力算法,联合注意力去雨算法的峰值信噪比（PSNR）提升4.5%,结构相似性（SSIM）提升0.3%。实验结果表明,所提算法可以有效地进行单幅图像去雨和图像细节的信息保留,在目视效果和定量指标上均优于对比算法。     

多尺度沙漏结构的单幅图像去雨算法研究

雨天环境会造成图像模糊、变形,大幅降低图像质量,对于后续的图像分析和应用造成严重影响.单幅图像的去雨算法研究成为热点,然而现有算法存在过度平滑、颜色失真和复杂雨水图像复原能力差等诸多问题,去雨问题难以有效解决.本文提出一种新颖的多尺度沙漏结构的单幅图像去雨算法.首先,针对雨的特征复杂多样的特点,采用多尺度沙漏网络结构,提取并融合多尺度的雨线特征;其次,在沙漏网络内部,引入残差密集模块,使特征在不同级别网络中实现传递和复用,最大限度的提取细节特征和增强网络表达能力;最后,针对雨水不均匀分布的特点,在残差密集网络基础上加入注意模块,提高算法在空间和通道方面特征提取能力,能够处理复杂的雨天图像.实验结果表明,本方法相较于现有算法,能够更好的去除雨线,并且能够最大程度的保留图像细节和颜色信息.     

改进U-Net网络的多视觉图像特征张量分割仿真

针对图像分割计算量大、噪声因素影响等问题,提出改进U-Net网络的多视觉特征图像分割方法。对同一窗口中的灰度值排序,计算像素点极大值与极小值,根据角度与像素点的关系,检测噪声点,将被污染的噪声点放入集合中,使用其它像素点替换该点,完成滤波;分别从颜色、纹理与形状三个方面提取图像的多视觉特征,为图像分割提供参考依据;利用编码器、解码器和跳跃连接层建立U-Net网络,将提取的特征作为网络输入,新增深度残差模块,经过残差学习,实现特征映射;引入注意力模块,减少特征维度,确定张量权重,利用池化层拼接特征维度,输出最终分割特征张量。实验结果表明,所提方法对于分割目标的敏感度较高,不容易出现过分割与欠分割现象。     

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

一种改进的室内场景语义分割网络

针对目前室内场景语义分割网络无法很好融合图像的RGB信息和深度信息的问题,提出一种改进的室内场景语义分割网络。为使网络能够有选择性地融合图像的深度特征和RGB特征,引入注意力机制的思想,设计了特征融合模块。该模块能够根据深度特征图和RGB特征图的特点,学习性地调整网络参数,更有效地对深度特征和RGB特征进行融合;同时使用多尺度联合训练,加速网络收敛,提高分割准确率。通过在SUNRGB-D和NYUDV2数据集上验证,相比于包含深度敏感全连接条件随机场的RGB-D全卷积神经网络（DFCN-DCRF）、深度感知卷积神经网络（Depth-aware CNN）、多路径精炼网络（RefineNet）等目前主流的语义分割网络,所提网络具有更高的分割精度,平均交并比（mIoU）分别达到46.6%和48.0%。     

基于膨胀腐蚀卷积块的单幅图像去雨算法

成像设备在雨天拍摄图像时由于雨雾和雨条纹的存在会导致图像质量严重退化,对后续图像处理性能造成极大影响.因此,图像的去雨算法研究引起了广泛关注,其中针对单幅图像的去雨算法由于没有先验知识的支持,面临较大挑战.近年来,深度学习因其高特征表示能力被应用在图像去雨算法研究中.本文基于小波变换,采取了一种深度学习与数字图像形态学处理相结合的算法来实现单幅图像去雨,具有训练参数少、训练时间短和去雨效果好等优点.首先对含雨图像进行小波变换,分为低频分量、水平高频分量、垂直高频分量和对角高频分量,然后对这4个分量分别构造深度学习神经网络,并在神经网络架构中根据雨的特征加入图像膨胀、腐蚀等形态学处理来进行去雨操作,大大简化了模型架构,并能取得较好的结果.     

一种新型的基于深度学习的单幅图像去雨方法

雨滴严重影响了图像的视觉效果和后续的图像处理应用。目前,基于深度学习的单幅图像去雨方法能够有效挖掘图像的深度特征,其去雨效果优于传统方法;然而,随着网络深度的增加,网络容易出现过拟合的现象,使得去雨效果遇到瓶颈。文中在继承深度学习优点的基础上,学习有雨/无雨图像之间的残差,然后将残差与源图像进行重构,从而获得无雨图像。该方式大幅增加了网络深度,并加快了算法的收敛速度。分别利用通过不同方式获取的雨滴图像对所提方法进行实验验证,并将该方法与当前最新的去雨滴方法作比较,结果表明所提算法的去雨效果更好。     

基于Transformer的多分支单图像去雨方法

雨纹会严重降低拍摄图像的质量,影响后续计算机视觉任务。为了提高雨天图像的质量,提出了一种基于Transformer的单图像去雨算法。首先,该算法通过具有窗口机制的Transformer获得大范围的感受野,进而获取雨纹特征的上下文信息,提高模型提取雨纹特征的能力;其次,该算法通过多分支模块提取和融合不同种类、不同层次的特征,提高模型对复杂雨纹信息的表征能力;最后通过残差连接融合浅层特征和深层特征,补全深层特征中缺失的细节信息,增强网络表达能力。在公开数据集Rain100L、Rain100H和私有数据集Rain3000上的实验结果表明,该方法相较于现有算法,能更有效地去除雨纹,同时更好地恢复图像中丢失的背景纹理信息。峰值信噪比和结构相似度（PSNR/SSIM）分别达到38.33/0.9855、28.42/0.9000、34.51/0.9643。     

基于多级特征融合的伪装目标分割

在伪装目标分割任务中,如何提取深度模型下高分辨率的目标语义特征是构建目标分割模型的关键。针对此问题,提出了一种基于多级特征融合的伪装目标分割方法。在特征编码过程中,引入多级门控模块对Res2Net-50的多级中间层特征进行选择性融合,有效过滤各级特征图的干扰信息;在解码过程中,通过自交互残差模块驱动不同尺度的编码特征实现交叉融合,获得更准确的目标表示信息。此外,在交叉熵损失的基础上加入Dice损失形成联合损失函数,帮助模型更精准地分割伪装目标。实验结果证明,在背景复杂的迷彩伪装数据集以及三个常用自然伪装数据集上,相比其他典型模型,该模型表现出更好的分割效果。     

基于MSR-UNet的煤岩显微组分分割与定量分析算法

【目的】煤岩的质量决定着煤岩的利用率,其组分的分析是判断煤炭质量的重要依据。本文针对煤岩显微组分的分割问题,提出一种改进的UNet网络,旨在提高对煤岩显微组分分割的准确度,以此实现对煤岩显微组分的自动化分析。【方法】首先,提出一种多尺度上下文注意模块。通过捕获具有空间上下文信息的高层特征来提高网络提取关键特征的能力。其次,在跳跃连接层中引入挤压激励模块,提高网络对低层特征重要信息的捕获能力。最后,选用骰子损失函数和焦点损失函数训练网络,以提高网络对小目标组分的敏感度和对相似组分的区分能力。【结果】实验结果表明,所提方法在分割煤岩显微组分图像时,PA指标、IoU指标和Dice指标分别为91.24%、83.01%和84.70%,各组分分割的平均绝对误差分别为2.95%、5.43%和6.19%。【结论】本文算法在实现利用计算机辅助自动化分析煤岩质量方面具有巨大潜力。     

基于多补丁和多尺度层级聚合网络的快速非均匀图像去雾

尽管基于卷积神经网络的去雾算法在合成的均匀雾气数据集上已经取得了巨大进展,但在真实的非均匀有雾图像上仍然表现不佳.为了快速有效地去除图像中的非均匀雾气,文中首先提出了一种多补丁和多尺度层级聚合网络结构(Multi-patch and Multi-scale Hierarchical Aggregation Network,MPSHAN),融合了多补丁局部化信息和多尺度全局化信息.其次,提出了层级融合模块(Hierarchical Fusion Module,HFM),既解耦了残差融合以实现更丰富的非线性特征表达,又通过通道注意力机制提升了关键位置的特征融合质量.同时,对层级结构使用扩张卷积获得多尺度信息,增强特征图以优化融合效果.此外,在损失函数中加入频域损失以恢复更好的边缘质量.实验结果表明,所提算法在非均匀雾气图像上具有很好的鲁棒性,1200×1600高分辨率图像的平均处理时间仅有0.044s,相比其他去雾算法,其在图像去雾效果和运行时间之间实现了更好的平衡.     

单幅图像去雨数据集和深度学习算法的联合评估与展望

雨天会影响室外图像捕捉的质量,进而引起户外视觉任务性能下降。基于深度学习的单幅图像去雨研究因算法性能优越而引起了大家的关注,并且聚焦点集中在数据集的质量、图像去雨方法、单幅图像去雨后续高层任务的研究和性能评价指标等方面。为了方便研究者快速全面了解该领域,本文从上述4个方面综述了基于深度学习的单幅图像去雨的主流文献。依据数据集的构建方式将雨图数据集分为4类：基于背景雨层简单加和、背景雨层复杂融合、生成对抗网络 (generative adversarial network,GAN)数据驱动合成的数据集,以及半自动化采集的真实数据集。依据任务场景、采取的学习机制以及网络设计对主流算法分类总结。综述了面向单任务和联合任务的去雨算法,单任务即雨滴、雨纹、雨雾和暴雨的去除;联合任务即雨滴和雨纹、所有噪声去除。综述了学习机制和网络构建方式(比如:卷积神经网络 (convolutional neural network,CNN)结构多分支组合,GAN的生成结构,循环和多阶段结构,多尺度结构,编解码结构,基于注意力,基于Transformer)以及数据模型双驱动的构建方式。综述了单幅图像去雨后续高层任务的研究文献和图像去雨算法性能的评价指标。通过合成数据集和真实数据集上的综合实验对比,证实了领域知识隐式引导网络构建可以有效提升算法性能,领域知识显式引导正则化网络的学习有潜力进一步提升算法的泛化性。最后,指出单幅图像去雨工作目前面临的挑战和未来的研究方向。     

基于双支残差特征融合的图像去雾算法

针对现有的基于卷积神经网络去雾算法无法有效地去除真实雾图非均匀分布的雾霾问题,提出一种基于双支残差特征融合网络的端到端图像去雾算法.上下文空间域注意分支针对有雾图像的高频雾气区域进行像素注意,将空间域注意模块插入多尺度扩张卷积组,对雾霾特征的像素空间进行权重赋值;通道域注意编解码分支针对高频雾霾特征的通道方向进行注意,设置ResNet自编码结构并引入通道注意解码结构对不同通道特征图的权重进行赋值;特征融合模块采用自适应权重融合像素注意和通道注意的雾层特征信息,输出不均匀雾气残差层;将原始雾图和雾气残差层作差实现图像去雾,设计判别网络提高去雾图的视觉观感.采用真实雾气图像数据集NH-Haze进行评估,实验结果表明,所提算法对非均匀分布雾图的去雾视觉效果良好,在峰值信噪比和结构相似度评价上均优于对比算法.     

基于半监督学习的单幅图像去雨算法

在雨天采集的图像通常存在背景物体被雨纹遮挡、图像变形等影响图像质量的现象,对后续图像分析及应用造成严重影响。近年来,已经提出了许多基于深度学习的去雨算法并获得了较好的效果。由于真实雨图的无雨纹干净背景图采集非常困难,大多数算法都采用监督学习即在含有配对标签的合成雨图数据集上进行模型训练。由于合成雨图和真实雨图中雨纹的亮度、透明度、形状等存在巨大差异,基于监督学习的去雨算法对真实雨图的泛化能力普遍较差。为提高去雨模型对真实雨图的去雨效果,提出了一种基于半监督学习的单幅图像去雨算法。该算法在模型训练过程中加入合成雨图和真实雨图并最小化两个输入图像转换成的特征向量的一阶信息和二阶统计信息差异,使两者特征分布一致。同时,针对雨纹复杂多样的特点,引入多尺度网络以获取更丰富的图像特征,并提高模型性能。实验结果表明,所提算法在Rain100H合成雨图测试集上相较JDNet、Syn2Real等算法在峰值信噪比（PSNR）和结构相似度（SSIM）上分别至少提升了0.66 dB、0.01,在去除雨纹的同时能最大限度保留图像细节和颜色信息;并且由于减少了分布差异,该算法在真实雨图测试集上的去雨效果明显优于现有的JDNet、Syn2Real等去雨算法,具有较强的泛化能力。所提算法可以应用于现有的基于监督学习的去雨算法并显著提高其去雨效果,拥有较高的独立性。