基于拉普拉斯金字塔和CNN的医学图像融合算法

医学图像融合技术因其包含多模态的图像信息,在临床应用中起着越来越重要的作用。医学图像融合效果符合人类视觉感知,减少先验知识对融合效果的影响和增强细节表现力一直是努力的方向。提出基于拉普拉斯金字塔和卷积神经网络的医学图像融合方法,针对图像伪影的问题采用区域拉普拉斯金字塔,为保存更多的细节信息并使参数自适应,对卷积神经网络进行改进。将源图像分别输入区域拉普拉斯金字塔进行分解,采用改进的卷积神经网络生成最优权重图指导融合过程,通过逆过程生成融合图像。实验结果表明,提出的方法在主观视觉和客观评价指标上都取得了良好的融合效果。     

基于注意力机制的自适应滤波遥感图像分割网络

遥感图像尺度变化较大,背景类内差异较大以及前景和背景之间的不平衡等问题,增加了遥感图像小目标和目标边缘分割的难度。在卷积神经网络中,下采样引起的混叠效应造成目标信息的失真和损失,容易被忽视。同时,扩张卷积虽然捕获到了丰富的感受野信息,但仍存在冗余的背景信息干扰。据此,提出了一种基于注意力机制自适应滤波分割网络(ARGNet)。在DeepGlobe Road Extraction数据集和Inria Aerial Image Labeling数据集上进行实验,结果表明,所提出的网络能够分割出更加精准的目标。     

融合多维注意力机制CNN皮肤肿瘤图像分割提取

针对卷积神经网络(CNN)在医学图像分割时,受皮肤病损图像多样性、分割目标位置、形状及尺度变化等因素影响,提出了一种基于传统卷积神经网络综合注意力模块图像分割算法。首先利用U-Net主干网络的优势,其目的让图像特征提取更完善；其次,由空间、通道、尺度构成的综合注意力机制对目标病灶区域进行检测识别,利用通道级联把来自编码器中低级图像特征和解码器中高级图像特征注意力结合起来进行权值自适应融合,提升了网络对样本病灶区的关注度和辨识力,突出强调最相关的特征通道和多尺度间最显著的特征图。通过对ISIC2018数据集及医院整形外科提供患者不同类型的皮肤肿瘤图像进行分割测试,并将注意力模块随机组合形成的不同算法进行指标评价比对,所提出算法的平均分割精度可达92.89%。实验结果表明,所提出算法是有效可行的,在多维度下分割处理带复杂背景的皮肤病灶图像时有更高的鲁棒性。     

基于多层融合注意力的乳腺肿瘤图像分割方法

针对超声乳腺肿瘤图像中存在的高散斑噪声较多、肿瘤边缘模糊以及形状复杂多样等问题,提出了一种基于多层融合注意力的超声乳腺肿瘤图像分割方法。首先,在保持U-Net编-解码结构的基础上,采用经过预训练的ResNet-34模型,用于在编码部分提取更深层次的特征;然后,在跳跃连接部分对相邻的浅层特征与深层特征分别进行空间与通道维度上的增强;其次,将经过注意力增强后的不同层次特征进行融合,重点关注肿瘤区域的位置,以避免散斑噪声干扰下的错误分割;最后,利用普通卷积层进行特征还原,得到分割结果。实验结果表明,所提方法对噪声干扰较大的超声乳腺肿瘤图像鲁棒性更强,Dice系数、IoU、Recall和Precision分别能够达到0.852 2、0.768 2、0.877 3和0.863 0。同时,所提方法在模型复杂度上也有较好的表现,较对比方法具有更优的分割性能。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

轻量化卷积注意力特征融合网络的实时语义分割

轻量化卷积神经网络的出现促进了基于深度学习的语义分割技术在低功耗移动设备上的应用.然而,轻量化卷积神经网络一般不考虑融合特征之间的关系,常使用线性方式进行特征融合,网络分割精度有限.针对该问题,提出一种基于编码器-解码器架构的轻量化卷积注意力特征融合网络.在编码器中,基于MobileNetv2给出空洞MobileNet模块,以获得足够大的感受野,提升轻量化主干网络的表征能力;在解码器中,给出卷积注意力特征融合模块,通过学习特征平面通道、高度和宽度3个维度间的关系,获取不同特征平面之间的相对权重,并以此对特征平面进行加权融合,提升特征融合的效果.所提网络仅有0.68×106参数量,在未使用预训练模型、后处理和额外数据的情况下,使用NVIDIA 2080Ti显卡在城市道路场景数据集Cityscapes和CamVid上进行实验的结果表明,该网络的平均交并比分别达到了72.7%和67.9%,运行速度分别为86帧/s和105帧/s,在分割精度、网络规模与运行速度之间达到了较好的平衡.     

遥感图像语义分割的多特征注意力融合网络

针对高分辨率遥感图像中存在背景复杂、目标大小不一、类间具有相似性的问题,提出一种用于遥感图像语义分割的多特征注意力融合网络(Multi-feature Attention Fusion, MAFNet)。MAFNet基于编码和解码结构,在编码阶段,采用空间金字塔池化获取多尺度的上下文信息,同时融合特征通道之间的关联信息,提高特征图的语义表征能力;在解码阶段,基于注意力机制将高层特征与低层特征自适应地融合,逐级恢复目标的细节特征。在公开的数据集Potsdam和Vaihingen上设计了对比实验,PA值分别达到了89.6%和89.1%,验证了该方法的有效性。     

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块:注意力机制融合模块与金字塔融合模块.其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络...     

融合类别注意力的铝硅合金显微图像分割方法

为了提取铝硅合金显微图像的初晶硅区域,提出一种结合类别注意力块（Class attention block, CAB）的改进模型类别注意力网络（Class attention network, CA-Net）。类别注意力块从特征图中计算各通道与每个类别的相关性信息,并将不同类别的相关性信息融合产生注意力权重,以使特征通道的权重与其对任务类别的贡献相关,从而增强重要特征的表达,并抑制无关特征的干扰。在铝硅合金显微图像数据集上进行实验,本文提出的方法在Dice系数、Jaccard相似度、敏感度、特异度和分割准确率上的结果分别为94.82%、90.16%、94.54%、98.80%和97.97%。相比CCNet、SPNet和TA-Net等方法,CA-Net能够有效改进铝硅合金显微图像中初晶硅区域的分割效果。     

融合滤波增强和反转注意力网络用于息肉分割

准确分割结肠镜获取图像中的息肉区域,可辅助医生诊断肠道疾病,但下采样过程中息肉区域结构信息缺失,现有方法存在过度分割和欠分割的问题。为解决以上问题,提出融合滤波增强和反转注意力分割网络（FFRNet）。首先,在跳级连接中加入了滤波增强模块（FEM）,以增强下采样特征中局部病灶区域的结构信息;其次,通过聚合浅层特征来获取全局特征;最后,在上采样过程中采用多尺度反转注意力融合机制（MAFM）,结合全局特征和上采样特征生成反转注意力权重,逐层挖掘特征中的息肉区域信息,引导网络建立目标区域与边界之间的关系,以提高模型对息肉区域分割的完整性。在Kvasir和CVC-ClinicDB数据集上,与不确定性增强上下文注意力网络（UACANet）相比,FFRNet的Dice相似系数（DSC）分别提升了0.22%和0.54%。实验结果表明,FFRNet能够有效提高息肉图像分割精度,同时具有较好的泛化能力。     

基于双分支融合注意力机制的图像分割算法

针对DeepLabV3+在特征提取阶段忽略了不同尺度特征重要程度出现的部分细节信息损失导致图像分割不细致,提出一种融合双分支特征提取和注意力机制的改进算法. ResNet101骨干网络初步提取出的特征图作为注意力机制的输入特征,解决了网络退化及梯度消失的问题,也能够捕获到被DeepLabV3+忽略的图像细节信息;设计双分支特征提取机制扩大特征提取能力,细化图像边缘信息以优化网络对不同尺度特征关注不均的问题;同时,联合采用交叉熵损失和类别不平衡函数两种损失函数作为损失函数,通过聚焦于前景样本降低背景的影响,提高算法分割精度.实验结果表明,改进算法在PASCAL VOC 2012和CityScapes数据集上的平均交并比(MIoU)值分别达到了79.92%和68.59%,与经典算法和基于DeepLabV3+改进的算法相比,特征提取的准确性有所提高,分割效果更优.     

一种基于数据融合的医学图像分割方法

针对一类纹理特征明显的医学图像,提出了一种融合纹理信息和灰度信息的图像分割方法,设计了基于金字塔结构的区域增长分割算法,该方法在区域内部结合使用纹理信息和灰度信息,在区域边缘部分则充分利用灰度信息,计算结果表明,该方法对某一类医学图像能够获得较好的分割效果。     

基于注意力机制的多尺度融合航拍影像语义分割

航拍影像同一场景不同对象尺度差异较大,采用单一尺度的分割往往无法达到最 佳的分类效果。为解决这一问题,提出一种基于注意力机制的多尺度融合模型。首先,利用不 同采样率的扩张卷积提取航拍影像的多个尺度特征;然后,在多尺度融合阶段引入注意力机制, 使模型能够自动聚焦于合适的尺度,并为所有尺度及每个位置像素分别赋予权重;最后,将加 权融合后的特征图上采样到原图大小,对航拍影像的每个像素进行语义标注。实验结果表明, 与传统的 FCN、DeepLab 语义分割模型及其他航拍影像分割模型相比,基于注意力机制的多尺 度融合模型不仅具有更高的分割精度,而且可以通过对各尺度特征对应权重图的可视化,分析 不同尺度及位置像素的重要性。     

基于倒金字塔深度学习网络的三维医学图像分割

基于深度学习的医学图像分割对医学研究和临床疾病诊断具有重要意义。然而,现有三维脑图像分割网络仅依赖单一模态信息,且最后一层网络的特征表达不准确,导致分割精度降低。引入注意力机制,提出一种基于深度学习的多模态交叉重构的倒金字塔网络MCRAIP-Net。以多模态磁共振图像作为输入,通过三个独立的编码器结构提取各模态的特征信息,并将提取的特征信息在同一分辨率级进行初步融合。利用双通道交叉重构注意力模块实现多模态特征的细化与融合。在此基础上,采用倒金字塔解码器对解码器各阶段不同分辨率的特征进行整合,完成脑组织的分割任务。在MRBrainS13和IBSR18数据集上的实验结果表明,相比3D U-Net、MMAN、SW-3D-Unet等网络,MCRAIP-Net能够充分利用多模态图像的互补信息,获取更准确丰富的细节特征且具有较优的分割精度,白质、灰质、脑脊液的Dice系数分别达到91.67%、88.95%、84.79%。     

基于易操纵金字塔的多传感器图像融合

针对目前传统方法在图像未完全配准时融合效果差的问题,提出了一种基于易操纵金字塔的多传感器图像融合方法。首先,对多光谱图像进行易操纵金字塔分解;然后,恰当地合并分解得到子带图像系列来构造融合图像对应的易操纵金字塔,并通过逆变换重构融合后图像。最后利用熵和空间频率对该方法的融合性能进行了评估分析,并与基于拉普拉斯变换和小波变换的图像融合方法进行了比较。实验结果表明,该方法综合性能优于基于拉普拉斯变换和基于小波变换等传统图像融合方法,图像未完全配准情况下也能获得好的融合效果。     

结合双非局部注意力感知的SAR和光学图像金字塔细节融合网络

合成孔径雷达(synthetic aperture radar, SAR)与光学图像融合旨在利用卫星传感器的成像互补性, 生成更全面的地貌信息. 然而, 由于各单一卫星传感器数据分布的异质性和成像物理机制的差异, 现有网络模型在融合过程中往往存在成像精度低的问题. 为了解决上述问题, 本文提出DNAP-Fusion, 一种新的结合双非局部注意力感知的SAR和光学图像金字塔细节融合网络(dual non-local-aware-based pyramid fusion net). 该方法利用双非局部注意力模块, 在空间尺度逐渐减小的多级图像金字塔中提取SAR图像的结构信息和光学图像的纹理细节. 然后在空间和通道维度上融合它们的互补特征. 然后, 通过图像重构将融合特征注入上采样光学图像中, 得到最终的融合结果. 此外, 在网络训练之前, 采用图像封装决策来增强同一场景中SAR和光学图像中目标之间的共性关系. 定性和定量的实验结果表明, 提出的方法优于现有融合方法, 其中客观评价指标中的相关系数(correlation coefficient, CC)为0.990 6, 峰值信噪比(peak signal to noise ratio, PSNR)为32.156 0 dB. 此外, 所提方法有效地融合了SAR图像和可见光图像的互补特征, 为提高遥感图像融合的精度和有效性提供了一种有价值的思路和方法.     

基于注意计算模型的医学图像模糊连接度分割

用模糊连接度分割图像时,种子点多以聚类分析方法自动给定,本文分析了传统聚类法存在的问题,在人类视觉活动机制的启发下,提出新的完全不同于聚类方法的视觉显著点注意引导下的图像分割方法.将图像特征显著点的定位转化为概率密度估计问题,引入新的注意计算模型并结合Mean-Shift处理得到关键特征点.注意模型的特征地图采用图像灰度的对比度构成,迭代计算高斯邻域显著度.从密度估计的角度定位显著点,克服以往偏生理注意模型对定量描述的能力不足,尤其适用医学模糊图像.新的方法能完全自动地定位种子点,有效地分割模糊医学图像,提高准确率.     

基于多阈值融合的图像分割

提出了一种基于知识的多阈值融合图像分割新方法．首先利用一组多阈值分割结果建立连通域生长树．然后判断树叉对应的连通域合并是否合理,为此提出了连通体元、体元生命期、体元体积等概念,结合灰度均匀性定义出通用合并准则．最后将图像各位置的最佳连通域组合为最终图像分割结果．该算法充分利用了目标的灰度和空间属性,对灰度平稳和渐近变化的多目标图像分割非常有效．此外,该算法可以有效融合具体应用的先验知识,具有很高的智能性。     

基于金字塔方法的图像融合原理及性能评价

阐述了基于拉普拉斯金字塔和对比度金字塔图像融合的原理和方法,把这两种方法应用于不同聚焦图像的融合以及蓝光波段和红外波段的卫星遥感图像融合,并对融合图像质量进行了对比评价,得出了这两种融合方法的各自特点。