基于多重注意力机制的多模态脑肿瘤图像分割

本文提出了一种新型的多模态脑肿瘤图像分割方法,该方法将3种注意力机制与传统U-Net模型相结合,从三维多模态MRI医学图像中分割脑肿瘤。所提出的模型分为编码器、解码器、特征融合和瓶颈层4部分,各采用不同的注意力机制,增强了多模态信息提取能力。在特征融合部分,提出了一种新的注意力模块—注意力门控传播模块(AGPM),该模块将通道注意力和注意力门结合起来,沿通道维度和空间维度依次推断注意力映射;瓶颈层部分,在卷积层之间应用了一个多头自注意力层(MHSA)来增强感受野。此外,在模型的瓶颈层部分加入了一种新的注意力模块—多头特征增强模块(MHFEM),来补充多尺度信息。通过在BraTS2020数据集上的实验结果,表明了所提模型的有效性。     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

一种基于TransUnet的臂丛神经超声图像分割网络

在医疗图像分割领域中，以臂丛神经(Brachial Plexus, BP)超声图像为例的部分超声图像中存在对比度低、边缘模糊和噪声多等问题，使得对目标区域的准确分割十分困难。为此，基于TransUnet网络框架将Transformer模块引入U-Net网络编码端，利用其自注意力机制更好地捕捉图像中的全局特征，提高模型的特征提取能力；同时将空洞卷积应用到网络的跳跃连接来增大感受野，降低特征图中的噪声影响，为解码端提供更显著的特征。实验表明，与传统的U-Net、SegNet以及基于Transformer的MedT(Medical Transformer)相比，设计的网络模型具有更高的Dice系数和IoU值，Dice系数较前三者最高提升了13.2%。     

基于双支路特征融合的MRI颅脑肿瘤图像分割研究北大核心CSCD

针对磁共振成像(magnetic resonance imaging, MRI)颅脑肿瘤区域误识别与分割网络空间信息丢失问题,提出一种基于双支路特征融合的MRI脑肿瘤图像分割方法。首先通过主支路的重构VGG与注意力模型(re-parameterization visual geometry group and attention model, RVAM)提取网络的上下文信息,然后使用可变形卷积与金字塔池化模型(deformable convolution and pyramid pooling model, DCPM)在副支路获取丰富的空间信息,之后使用特征融合模块对两支路的特征信息进行融合。最后引入注意力模型,在上采样过程中加强分割目标在解码时的权重。提出的方法在Kaggle_3m数据集和BraTS2019数据集上进行了实验验证,实验结果表明该方法具有良好的脑肿瘤分割性能,其中在Kaggle_3m上,Dice相似系数、杰卡德系数分别达到了91.45%和85.19%。     

基于对抗生成网络的太赫兹安检图像分割算法

为解决太赫兹成像分辨力低,危险品边缘模糊,无法有效对危险品进行分割的问题,提出一种基于对抗式生成网络与多头注意力机制的新型网络架构,并用于太赫兹安检图像智能分割。通过学习深层鉴别器的特征图优化生成器,获得更加真实的生成图像;引入多头注意力机制提升模型对危险品特征的识别能力。分割太赫兹安检图像的大量实验结果表明,相较于传统卷积神经网络,提出的对抗生成网络在相同深度下具有更好的泛化能力;多头注意力机制的引入强化了模型对危险品特征的学习,在未知危险品类别的情况下同样拥有较好的效果,其交并比(IOU)指标相较ResNet-50提高9.6%,相较ResNet-18提高21.3%,相较U-Net提高12.3%。本文研究有利于图像分割算法更准确、高效地处理太赫兹安检图像,有助于拓宽太赫兹智能安检系统的进一步应用。     

融合多层级特征的脑肿瘤图像分割方法北大核心CSCD

针对脑肿瘤图像分割中网络模型信息损耗、上下文信息联系不足及网络泛化能力较差导致分割精度较低的问题,提出了一种新型的脑肿瘤图像分割方法,该方法是通过深度门控卷积模块(depth gate convolution,DGC)和特征增强模块(feature enhancement module,FEM)组成的多层级连接(multi-level connection,MC)脑肿瘤分割模型。采用深度卷积模块降低特征信息在逐层传递的信息损耗;使用控制门单元(control gate unit,CGU)实现各个尺度的特征图的MC,其中组合池化来减少下采样过程中的信息丢失;通过FEM增强分割区域的特征权重。实验结果表明,预测分割脑肿瘤的整体肿瘤区(whole tumor,WT)、核心肿瘤区(tumor core,TC)和增强肿瘤区(enhancement tumor,ET)的Dice系数分别达到了0.92、0.84和0.83,Hausdorff距离达到了0.77、1.50和0.92,脑肿瘤分割精度相较于当前较多方法分割精度和计算效率较高,具有良好的分割性能。     

面向医学图像分割的U型Transformer模型

为了更加准确地根据医学图像进行医学类疾病诊断,可采用U型结构的全卷积神经网络模型对医学图像进行分割,并且可在分割的过程中,引入空间注意力机制和通道注意力机制,分别从空间维度和通道维度提取输入特征图的重要信息和抑制非重要信息。根据该思想,设计了一种基于通道和空间注意力机制的U型Transformer模型（SC U-Transformer）。SC U-Transformer包含编码和解码过程,编码过程使用Swin-Transformer作为编码器,提取上下文特征并实现下采样;解码过程使用包含扩展图像块的对称Swin-Transformer模型,并添加空间注意力模块和通道注意力模块,分别使模型更加关注前景和相关联的特征通道。根据ACDC数据集的实验结果表明,SC U-Transformer能有效提高医学图像分割的准确率。     

基于SF-Unet的高分辨率耕地遥感影像分割

利用深度学习实现遥感影像耕地区域自动化检测,取代人工解译,能有效提升耕地面积统计效率。针对目前存在分割目标尺度大且连续导致分割区域存在欠分割现象,边界区域情况复杂导致边缘分割困难等问题,提出了语义分割算法——Swin Transformer, TransFuse and U-Net (SF-Unet)。为强化网络不同层次特征提取和信息融合能力,提升边缘分割性能,使用U-Net网络替代TransFuse网络中的ResNet50模块;将Vision Transformer (ViT)替换为改进后的Swin Transformer网络,解决大区域的欠分割问题;通过注意力机制构建的Fusion融合模块将2个网络输出特征进行融合,增强模型对目标的语义表示,提高分割的精度。实验表明,SF-Unet语义分割网络在Gaofen Image Dataset (GID)数据集上的交并比(Intersection over Union, IoU)达到了90.57%,分别比U-Net和TransFuse网络提升了6.48%和6.09%,明显提升了耕地遥感影像分割的准确性。     

基于双解码路径DD-UNet的脑肿瘤图像分割算法

针对医学图像中病灶区域尺度不一、边界模糊和周围组织强度不均匀所导致的分割精度降低问题,提出了一种基于双解码器的脑肿瘤图像分割模型。为了增强特征的表征力,提出了高阶微分残差模块并使用不同空洞率的扩张卷积用于提取特征编码,提高了网络模型的分割性能;引入上下文语义信息感知模块(multi scale dilation, MSD),从不同的目标尺度中提取更多的精细信息,提高了对结构细节信息的捕获能力,同时减少了编解码器之间的特征差异;在空间解码路径中使用选择性聚合空间注意力模块(spatial aggregation attention module, SAAM),增加了对有效空间特征的权重比例,减少了无效的特征干扰。在脑肿瘤数据集上进行了实验验证,实验结果表明,所提算法的Dice系数、平均交并比、敏感性、特异性、准确率等指标分别为：93.35%、90.71%、91.15%、99.94%、96.75%。     

改进的全卷积神经网络的脑肿瘤图像分割

针对现有机器学习算法分割脑肿瘤图像精度不高的问题,提出一种基于改进的全卷积神经网络的脑肿瘤图像分割算法。算法首先将FLAIR、T2和T1C三种模态的MR脑肿瘤图像进行灰度归一化,随后利用灰度图像融合技术得到肿瘤信息更加全面的预处理图像;然后采用融合三次脑肿瘤特征信息的改进全卷积神经网络对预处理图像进行粗分割,并且在每个卷积层后加入批量正则化层以加快网络训练的收敛速度,提高训练模型精度;最后融合全连接条件随机场细化粗分割结果中的脑肿瘤边界。实验结果表明,相较于传统的卷积神经网络脑肿瘤图像分割算法,本算法在分割精度和稳定性上有了较大提升,平均Dice可达91.29%,实时性较好,利用训练模型平均1s内可完成单张脑肿瘤图像的分割。      

多尺度特征融合全卷积神经网络脑肿瘤MR图像分割

针对传统以及基于深度学习的脑肿瘤MR图像分割方法存在精度低、特征信息丢失等问题,提出一种多尺度特征融合全卷积神经网络的脑肿瘤MR图像分割算法.该算法首先对脑肿瘤MR图像的4种模态进行归一化处理;将得到的结果通过多尺度特征融合全卷积神经网络(MFF-FCN).该网络是在全卷积神经网络的基础上,引入5×5、7×7大小的卷积核作为其它2种通路,以提高模型的特征信息提取能力.实验结果表明,MFF-FCN网络模型在特征提取和分割精度上都有较好的表现,尤其是在全肿瘤和边缘分割上,Dice、Sensitivity、PPV等指标都有明显的提升;且单幅脑肿瘤MR图像的分割时间平均用时不到1s,实用性较强.     

基于3D U-Net的轻量级脑肿瘤分割网络北大核心CSCD

针对现有脑肿瘤核磁共振成像(magnetic resonance imaging, MRI)分割神经网络的参数量和计算量较大且对肿瘤区域小目标分割精度不高的问题,提出一种改进的轻量级脑肿瘤分割网络MF-RES2Net(multiple fiber residual-like networks)。该网络以3D U-Net为基础架构,将多纤模块(multi-fiber, MF)和类残差模块(RES2)相结合代替传统卷积模块。MF将特征图像的通道进行混合,增加了通道间信息的交流融合;RES2将通道均分,单通道的卷积结果相加到相邻通道,在扩大图像感受野的同时保留了细节特征,同时降低网络参数量。此外,为改善数据不平衡问题,提出一种改进的加权损失函数,提高了网络对小目标的分割精度。将MF-RES2Net在BRATS 2019数据集进行验证,完整肿瘤、核心肿瘤和增强肿瘤分割的平均Dice系数分别为89.98%、84.02%、77.62%,参数量和浮点数分别为3.16 M和16.24 G,结果表明:该网络在降低参数量和计算量的同时进一步提升了分割性能,有效地降低了网络运行时的设备要求。     

基于Transformer编码器的金融文本情感分析方法

目前针对文本情感分析的研究大多集中在商品评论和微博的情感分析领域,对金融文本的情感分析研究较少。针对该问题,文中提出一种基于Transformer编码器的金融文本情感分析方法。Transformer编码器是一种基于自注意力机制的特征抽取单元,在处理文本序列信息时可以把句中任意两个单词联系起来不受距离限制,克服了长程依赖问题。文中所提方法使用Transformer编码器构建情感分析网络。Transformer编码器采用多头注意力机制,对同一句子进行多次计算以捕获更多的隐含在上下文中的语义特征。文中在以金融新闻为基础构建的平衡语料数据集上进行实验,并与以卷积神经网络和循环神经网络为基础构建的模型进行对比。实验结果表明,文中提出的基于Transformer编码器的方法在金融文本情感分析领域效果最好。     

基于Vision Transformer的小儿肺炎辅助诊断

为改善基层医疗机构儿童肺炎诊疗水平，提高基层医生分析临床医学影像的效率和质量，提出了一种基于Vision Transformer(ViT)的小儿肺炎辅助诊断模型。首先利用ResUNet对儿童胸片进行肺区域分割，将左右肺区域从胸片中分割出来以降低其他组织对肺炎诊断的干扰。然后，将分割后的图像输入改进的混合ViT模型进行诊断，该模型使用传统卷积神经网络的特征映射作为Transformer的输入，并在卷积神经网络中引入自注意力机制，增强卷积以加强其获取全局相关性的能力。最后，对卷积神经网络的骨干网络和Transformer模型进行端到端的训练，使模型能够达到良好的图像分类结果。在Chest X-Ray Images肺炎标准数据集上进行了实验，实验结果表明，所提模型的肺炎识别准确率、精确率和召回率分别达到97.27%、97.69%和98.60%。即该模型具有较好的可行性，可使基层儿童肺炎的临床诊断准确率得到很大提升。     

ConvFormer：基于Transformer的视觉主干网络

针对主流Transformer网络仅对输入像素块做自注意力计算而忽略了不同像素块间的信息交互,以及输入尺度单一导致局部特征细节模糊的问题,本文提出一种基于Transformer并用于处理视觉任务的主干网络ConvFormer. ConvFormer通过所设计的多尺度混洗自注意力模块（Channel-Shuffle and Multi-Scale attention,CSMS）和动态相对位置编码模块（Dynamic Relative Position Coding,DRPC）来聚合多尺度像素块间的语义信息,并在前馈网络中引入深度卷积提高网络的局部建模能力.在公开数据集ImageNet-1K,COCO 2017和ADE20K上分别进行图像分类、目标检测和语义分割实验,ConvFormer-Tiny与不同视觉任务中同量级最优网络RetNetY-4G,Swin-Tiny和ResNet50对比,精度分别提高0.3%,1.4%和0.5%.     

结合自注意力与卷积神经网络的腺体及息肉分割方法

腺体和息肉的自动分割是人工智能辅助结直肠腺癌诊断的基础，但医学图像中的分割目标大小、形状多变，基于单一的卷积神经网络的自动分割方法已陷入瓶颈。基于此，提出了一种卷积神经网络和自注意力相结合的双分支网络（LG UNet），用以提升分割的精度。首先，基于U-Net设计了Local UNet分支，利用卷积神经网络的优势，学习分割目标的局部信息。然后在Global Transformer分支中，利用Transformer全局依赖关系的学习能力来优化分割细节。最后在编码过程中通过交叉融合模块将Local分支和Global分支的特征图进行融合，将两者优势互补。在腺体分割挑战数据集Glas的两个测试子集Test A和Test B上，以Dice系数和交并比（IOU）系数为主要评价指标，LG UNet的测试结果分别为93.62%、88.44%和88.17%、80.49%。在息肉分割数据集Kvasir-SEG上，LG UNet的Dice系数和IOU系数分别为85.63%和77.82%。实验结果表明，结合Transformer和卷积神经网络优势的LG UNet在腺体和息肉分割上取得了更好的性能。     

基于改进U-Net网络的腺体细胞图像分割算法

针对腺体图像在自动分割过程中由于多尺度目标和信息丢失影响导致准确率降低的问题,文中采用了一种引入注意力模块的全卷积神经网络模型。该模型遵循编码器-解码器结构,在编码网络中用空洞残差卷积层代替原有的普通卷积层,并添加空洞金字塔池;再在解码网络中加入注意力模块,使模型输出高分辨率特征图,提高对多尺度目标的分割精度。实验结果表明,提出的网络模型参数少分割精度高,对腺体图像的平均分割精度高达89.7%,具有较好的鲁棒性。     

基于改进DeepLabV3+的遥感影像语义分割方法

针对普通卷积神经网络在遥感图像分割中小目标识别度不高、分割精度低的问题，提出了一种结合特征图切分模块和注意力机制模块的遥感影像分割网络AFSM-Net。首先在编码阶段引入特征图切分模块，对每个切分的特征图进行放大，通过参数共享的方式进行特征提取；然后，将提取的特征与网络原输出图像进行融合；最后，在网络模型中引入注意力机制模块，使其更关注图像中有效的特征信息，忽略无关的背景信息，从而提高模型对小目标物体的特征提取能力。实验结果表明，所提方法的平均交并比达到86.42%，相比于DeepLabV3+模型提升了3.94个百分点。所提方法充分考虑图像分割中小目标的关注度，提升了遥感图像的分割精度。     

基于字符注意力的自然场景文本识别

自然场景文本识别中采用固定大小的卷积核提取视觉特征,后仅进行字符分类的方法,其全局建模能力弱且忽视了文本语义建模的重要性,因此,本文提出一种基于字符注意力的自然场景文本识别方法。首先构建不同于卷积网络的多级efficient Swin Transformer提取特征,其可使不同窗口的特征进行信息交互;其次设计了字符注意力模块(character attention module, CAM),使网络专注于字符区域的特征,以提取识别度更高的视觉特征;并设计语义推理模块(semantic reasoning module, SRM),根据字符的上下文信息对文本序列进行建模,获得语义特征来纠正不易区分或模糊的字符;最后融合视觉和语义特征,分类得到字符识别结果。实验结果表明,在规则文本数据集IC13上识别准确率达到了95.2%,在不规则的弯曲文本数据集CUTE上达到了85.8%,通过消融及对比实验证明了本文提出的方法可行。     

基于改进Swin-Unet的遥感图像分割方法

针对遥感图像数据本身存在分辨率高、背景复杂和光照不均等特性导致边界分割不连续、目标错分漏分以及存在孔洞等问题,提出了一种基于改进Swin-Unet的遥感图像分割方法。在编码器末端引入空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模块,用于捕获多尺度特征,增强网络获取不同尺度的能力,充分提取上下文信息;将解码器端的Swin Transformer Block替换为残差Swin Transformer Block,不仅保留了原始信息,又能够缓解模型出现梯度弥散现象;在跳跃连接中引入残差注意力机制,可以让模型更加关注特征图中的重要特征信息,抑制无效信息,从而提高模型分割的准确率。在自建数据集上进行实验,结果表明,改进后的网络平均交并比(mean Intersection over Union, mIoU)达到了80.55%,提高了4.13个百分点,证明改进后的网络可以有效提高遥感图像分割的精度。