联合注意力和Transformer的视网膜血管分割网络

视网膜血管分割在许多眼科疾病诊断和治疗方面至关重要。对复杂的视网膜结构及低对比度眼底图像来说,准确地分割视网膜图像的血管特征仍具有挑战性。联合注意力和Transformer的视网膜血管分割网络JAT-Net,通过对编码阶段特征的通道信息和位置信息联合关注增强编码局部细节特征,利用Transformer增强对长距离上下文信息和空间依赖关系建模的能力。在DRIVE和CHASE数据集上进行视网膜血管分割实验,其准确率分别为0.970 6和0.977 4,F1分数分别为0.843 3和0.815 4,在视网膜血管分割方面表现不错。     

基于多尺度高阶注意力机制的视网膜血管分割

视网膜血管分割对于辅助医生诊断糖尿病性视网膜病变、黄斑萎缩、青光眼等眼科疾病具有重要意义.注意力机制被广泛用于U-Net及其变体中以提高血管分割模型的性能.为进一步提高视网膜血管的分割精度,挖掘视网膜图像中的高阶及全局上下文信息,本文提出基于多尺度高阶注意力机制的模型(multi-scale high-order attention network, MHA-Net).首先,多尺度高阶注意力(multi-scale high-order attention, MHA)模块从深层特征图中提取多尺度和全局特征计算初始化注意力图,从而改进模型处理医学图像分割时尺度不变的缺陷.接下来,该模块通过图的传递闭包构建注意力图,进而提取高阶的深层特征.通过将多尺度高阶注意力模块应用于编码器-解码器结构中,在彩色眼底图像数据集DRIVE上进行血管分割,实验结果表明,基于多尺度高阶注意力机制的视网膜血管分割方法有效地提高了分割的精度.     

RCAR-UNet：基于粗糙通道注意力机制的视网膜血管分割网络

眼底图像中视网膜血管的健康状况对早期诊断各种眼科疾病及糖尿病心脑血管疾病等具有重要意义,然而视网膜血管结构细微、边界模糊且分布不规则,对其进行准确分割存在较大的难度.针对视网膜血管的这些特征,提出一种粗糙通道注意力残差U型网——粗糙通道注意力残差U型网络（RCARUNet）.该网络首先引入粗糙集理论中上下近似概念设计粗糙神经元;接着基于粗糙神经元构建粗糙通道注意力模块,该模块在U-Net跳跃连接中采用全局最大池化和全局平均池化构造上下近似神经元,并进行神经元间的加权求和,对所建立的通道依赖关系进行合理的粗糙化,该依赖关系不仅包含全局信息,同时具有局部特性,可有效实现对所提取视网膜血管特征的准确重标定;然后添加残差连接,将特征直接从低层传递给高层,有助于解决网络性能退化问题,并有效提取更加丰富的视网膜血管特征;最后为了验证所提视网膜分割网络的有效性,在3个眼底视网膜公开图像数据集上与U-Net,Attention U-Net等传统网络模型进行对比实验,实验结果表明,所提视网膜分割网络在血管分割准确率、灵敏度和相似度等方面具有较高的优越性.     

基于U-Net的多尺度视网膜血管分割方法

视网膜血管的形态和结构一直是高血压、冠心病、糖尿病等疾病的重要诊断指标之一,其检测和分割具有十分重要的意义。为了解决视网膜血管分割中,血管末梢缺失和细小血管断裂的问题,提出了一种基于U-Net改进模型的多尺度分割方法,通过在编码阶段和解码阶段之间采用增加卷积块的方式来保持对不同尺度下的特征提取,同时对增加的卷积块采用密集连接的方式解决由于网络加深带来的浅层特征缺失和梯度消失问题,从而增强模型的特征提取能力并提高分割性能。此外,采用Dice损失函数解决数据集中正负样本不均衡的问题。实验采用CHASE＿DB1和DRIVE两个数据集进行训练和测试,通过与U-net、Residual U-net、Ladder-Net以及R2U-Net的对比表明,由于保留了多尺度的细节信息,该方法取得了更好的分割效果。实验证明,该方法能够有效提取健康视网膜图像和病变视网膜图像中的血管网络,能够较好地分割细小血管。     

多尺度注意力细化视网膜分割算法

针对现有算法存在因视网膜血管尺寸微小和对比度低等造成细小血管分割缺失以及因病理区域造成血管过分割等问题,提出一种基于U型网络多尺度注意力细化视网膜分割算法。在编码和解码阶段使用改进的密集卷积模块充分提取血管的特征信息,提升特征的利用率。将不同尺度的编码层特征提取的结果拼接后,通过跳跃连接经双向注意力机制将特征增强后传递到解码层。在解码处引入空间细化模块进一步提取微小血管的空间信息,减少背景伪影,细化血管形态。该算法在公开数据集DRIVE和STARE上进行验证,其在评估指标准确率分别为0.964 9和0.966 3,灵敏度分别为0.842 2和0.805 0,特异性分别为0.982 2和0.988 0,AUC分别为0.986 7和0.989 5。     

基于注意力机制的自适应滤波遥感图像分割网络

遥感图像尺度变化较大,背景类内差异较大以及前景和背景之间的不平衡等问题,增加了遥感图像小目标和目标边缘分割的难度。在卷积神经网络中,下采样引起的混叠效应造成目标信息的失真和损失,容易被忽视。同时,扩张卷积虽然捕获到了丰富的感受野信息,但仍存在冗余的背景信息干扰。据此,提出了一种基于注意力机制自适应滤波分割网络(ARGNet)。在DeepGlobe Road Extraction数据集和Inria Aerial Image Labeling数据集上进行实验,结果表明,所提出的网络能够分割出更加精准的目标。     

基于多尺度全局注意力的U型视网膜血管分割网络

眼底视网膜血管分割在多种类型眼科疾病的评估和诊断中起着重要作用。由于眼底图像中血管的拓扑结构复杂多变,现有算法通常存在分割结果中血管特征不连续以及血管边缘分割准确度不高的问题。针对上述问题,本文提出一种用于视网膜血管分割的多尺度全局注意力U型神经网络MSGA-UNet。该网络一方面通过全局特征注意力模块从编码器中较为容易地获得图像的全局表征信息,解决眼底视网膜血管分割中特征不连续的问题;另一方面利用多尺度空洞卷积模块,利用不同膨胀率的空洞卷积扩大感受野并获取图像的多尺度局部特征信息,从而提升血管边缘信息的提取能力。经过在DRIVE、STARE和CHASEDB1数据集上的实验,MSGA-UNet的平均交并比分别为74.06%、78.22%和79.62%;类别平均像素准确率分别为80.39%、84.60%和85.53%;精确度分别为96.32%,96.42%和97.23%;综合分割性能优于其他模型。     

结合注意力机制和多路径U-Net的视网膜血管分割

针对现有算法无法精确分割细微血管末端,且分割结果易受光学造影与病变区域影响的问题,提出一种结合注意力和多路径U-Net的视网膜血管分割算法.首先,设计一个双路径U-Net,通过纹理与结构分支提取粗和细粒度血管,并使用语义指导模块充分融合深浅层特征;其次,采用一种引入注意力机制和DropBlock的残差模块来代替普通卷积模块,改善处于复杂背景区域中血管的分割效果,防止过拟合;最后,将双路径U-Net的输出图与原图传入特征细化模块进行特征提取和融合,进一步细化血管分割结果.在DRIVE, STARE和CHASEDB1数据集上的实验结果表明,该算法的准确率分别为97.01%,96.43%和97.52%;灵敏度分别为80.31%,84.38%和81.61%;受试者工作特性曲线下方的面积(AUC)分别为98.67%, 98.06%和98.83%,综合分割性能优于其他算法.     

注意力机制下密集空洞卷积的肺部图像分割

目的 卷积神经网络（convolutional neural network,CNN）在计算机辅助诊断（computer-aided diagnosis,CAD）肺部疾病方面具有广泛的应用,其主要工作在于肺部实质的分割、肺结节检测以及病变分析,而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此,为了更好地适应计算机辅助诊断系统要求,提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络,进行肺部分割。方法 将注意力机制引入网络的解码部分,通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息,将密集空洞卷积模块部署在网络中间,该模块集合了Inception、残差结构以及多尺度空洞卷积的优点,在不引起梯度爆炸和梯度消失的情况下,获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题,对网络中的上/下采样模块进行改进,利用多个不同尺度的卷积核级联加宽网络,有效避免了特征丢失。结果 在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验,结果表明,本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union,IoU）、准确度（accuracy,ACC）以及敏感度（sensitivity,SE）等评价指标均优于对比方法,相比于性能第2的模型,分别提高了0.443%,0.272%,0.512%以及0.374%。结论 本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络,相对于其他分割网络取得了更好的分割效果。     

基于密集层和注意力机制的快速语义分割

针对传统语义分割网络速度慢、精度低的问题,提出一种基于密集层和注意力机制的快速场景语义分割方法.在ResNet网络中加入密集层和注意力模块,密集层部分采用两路传播方式,以更好地获得多尺度目标,并使用分组卷积减少计算量.同时在特征提取网络中加入注意力模块,以减少精度损失.实验结果表明,该方法在保证分割精度的前提下提升了分割速度,在Cityscapes数据集上得到了81.5%的MIOU,速度为42.3 frame/s,在ADE20K数据集上得到了61.8%的MIOU,速度为27.9 frame/s.     

视网膜血管图像分割及眼底血管三维重建

眼底视网膜图像的血管分布情况为高血压、糖尿病等疾病的早期诊断提供了重要依据. 计算机处理眼底图像可以减少医生的重复劳动. 本文提出了一种新的眼底视网膜血管图像分割算法. 利用构建的局部归一化方法消除视网膜血管图像背景的差异性. 利用期望最大化算法进行聚类, 实现了眼底视网膜血管图像分割. 最后, 根据眼底图像成像原理, 通过投影逆变换构建了眼底视网膜图像的三维模型. 构建的模型可以进行多角度观察分析.     

基于Retina-GAN的视网膜图像血管分割

对于一些可以从视网膜血管观测到的眼科疾病, 眼底图像起着关键的作用, 能够为专业的医科人员提供有效的参考, 然而手工标注血管费时费力, 且工作量较大, 所以实现自动智能的血管分割方法对相关人员大有裨益. 本文将Attention机制与RU-Net结构融合应用到生成对抗网络(generative adversarial network, GAN)的生成器中, 形成了一种新的结构——Retina-GAN. 同时在对眼底图像的预处理步骤上选择了自动色彩均衡 (ACE), 提高图像对比度, 使血管更加清晰. 为了验证所提出的方法, 选用DRIVE数据集, 并把Retina-GAN与其他研究比照, 测量分析了算法准确性、灵敏度和特异度. 实验数据显示Retina-GAN比其他模型具有更好的性能.     

卷积神经网络下的高分二号卫星影像道路提取

本文针对深度神经网络对高分二号遥感影像道路提取时细节信息丢失较多、道路周围环境考虑不充分等情况,在已有的研究成果上,提出一种基于全卷积神经网络遥感影像道路提取的改进方案.方案创新研究了全卷积神经网络的算法原理,将预调色后的高分二号影像按一定尺寸分幅输出,将输出图像及标签对应输入于以全卷积神经网络为基础的改进网络,通过结合残差单元以及增加网络层数得到识别精度较高的道路提取图像.实验表明,该方法在同一样本中对高分二号卫星影像道路提取的效果有所提升,道路的完整性和准确性有所提高.     

基于深度特征聚合网络的医学图像分割

利用卷积神经网络(CNN)进行医学图像分割时,通常将分割问题抽象为特征表示和参数优化问题,但在上采样和下采样过程中容易丢失特征信息,导致分割效果不理想.设计包含三级特征表示层和特征聚合模块的深度特征聚合网络结构DFA-Net.通过三级特征表示层提取基础特征同时聚合中间特征和深层特征,从而以聚合深层特征弥补CNN上采样与...     

基于全卷积网络的图像语义分割方法综述

自全卷积网络(Fully Convolutional Network,FCN)提出以后,应用深度学习技术在图像语义分割领域受到了许多计算机视觉和机器学习研究者的关注,现在这一方向已经成为人工智能方向的研究热点.FCN的核心思想是搭建一个全卷积网络,输入任意尺寸的图像,经过模型的有效学习和推理得到相同尺寸的输出.FCN的...     

基于残差与小波U-Net的视网膜图像分割

视网膜血管分割是医学图像分割中常见的一项任务, 视网膜血管图像有着分割目标小而多的特点, 过去的网络在分割中可以较好地提取粗血管, 但是很容易忽略细血管, 而这部分细血管的提取在一定程度上影响网络的性能, 甚至是诊断的结果. 因此, 为了达到在保证准确提取粗血管的前提下, 提取到更多更连续的细血管的目标, 本文使用对称编解码网络作为基础网络, 使用一种新的卷积模块DR-Conv, 旨在防止过拟合的同时提高网络的学习能力. 同时, 针对最大池化层造成的信息损失问题, 考虑使用小波变换进行图像分解并使用逆小波变换对图像进行恢复, 利用混合损失函数结合不同损失函数的特性以弥补单个损失函数优化能力不足的问题. 为了评估网络的性能, 在3个公共视网膜血管数据集上分别对网络进行了测试, 并与最新方法进行了比较, 实验结果表明本文网络拥有更优的性能.     

结合密集注意力的自适应特征融合图像去雾网络

目前, 大多数图像去雾算法忽视图像的局部细节信息, 无法充分利用不同层次的特征, 导致恢复的无雾图像仍存在颜色失真、对比度下降和雾霾残留现象, 针对这一问题, 提出结合密集注意力的自适应特征融合图像去雾网络. 该网络以编码器-解码器结构为基本框架, 中间嵌入特征增强部分与特征融合部分, 通过在特征增强部分叠加由密集残差网络与CS联合注意模块构成的密集特征注意块, 使网络可以关注图像的局部细节信息, 同时增强特征的重复利用, 有效防止梯度消失; 在特征融合部分构建自适应特征融合模块融合低级与高级特征, 防止因网络加深而造成浅层特征退化. 实验结果表明, 所提算法在合成有雾图像数据集和真实有雾图像数据集上均表现优异, 在SOTS室内合成数据集上的峰值信噪比和结构相似性分别达到了35.81 dB和0.9889, 在真实图像数据集O-HAZE上的峰值信噪比和结构相似性分别达到了22.75 dB和0.7788, 有效解决了颜色失真、对比度下降和雾霾残留等问题.     

基于自适应注意模型的图像描述

结合注意力机制的编解码框架模型已经被广泛地应用在图像描述任务中。大多数方法都强制对生成的每个单词进行主动的视觉注意,然而,解码器很可能不需要关注图像中的任何视觉信息就生成非视觉单词,比如“the”和“of”。本文提出一种自适应注意力模型,编码端采用Faster R-CNN网络提取图像中的显著特征,解码端LSTM网络中引入一个视觉监督信号。在每个时间步长,它可以自动地决定何时依赖于视觉信号,何时仅依赖于语言模型。最后在Flickr30K和MS-COCO数据集进行验证,实验结果表明该模型有效地提升了描述语句的质量。