多级特征交互Transformer的多器官图像分割

多器官医学图像分割有助于医生做出临床诊断. 针对CNN提取全局特征能力弱, Transformer提取局部特征能力弱, 以及Transformer具有二次方计算复杂度的问题, 提出了用于多器官医学图像分割的多级特征交互Transformer模型. 所提模型采用CNN提取局部特征, 局部特征经Swin Transformer输出全局特征; 通过下采样分别产生多级局部和全局特征, 每级局部和全局特征经过交互并增强; 每级增强后的特征经多级特征融合模块进行交叉融合; 再次融合后的特征经过上采样和分割头输出分割掩码. 所提模型在Synapse和ACDC数据集上进行实验, 平均DSC和平均HD95系数值为80.16%和19.20 mm, 均优于LGNet和RFE-UNet等代表性模型. 该模型对多器官医学图像分割是有效的.     

基于双分支特征融合的医学报告生成方法

医学图像的全局特征在基于深度学习的医学影像报告自动生成任务中发挥着重要作用,传统方法通常仅使用单分支卷积神经网络提取图像语义特征,注重局部细节特征的提取,但缺乏对医学图像全局特征的关注。提出一种新的医学影像报告生成方法 DBFFN,基于双分支特征融合,结合卷积神经网络与视觉Transformer各自在图像特征提取上的优势,分别提取给定医学图像的全局特征和局部特征,在计算图像全局关系的同时关注局部细微的语义信息。针对医学图像的特征融合问题,设计一种多尺度特征融合模块,对来自两个分支的图像特征进行自适应尺度对齐,并结合矩阵运算方法和空间信息增强方法有效融合全局特征与局部特征内部包含的语义信息。在IU-X-Ray数据集上的实验结果表明,DBFFN方法的BLEU-1～BLEU-4,METEOR,ROUGE-L指标平均值分别为0.496,0.331,0.234,0.170,0.214,0.370,优于HRNN、HRGR、CMAS-RL等方法,在医学影像报告自动生成任务上具有有效性。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

基于多特征融合卷积神经网络的显著性检测

随着深度学习技术的发展以及卷积神经网络在众多计算机视觉任务中的突出表现,基于卷积神经网络的深度显著性检测方法成为显著性检测领域的主流方法。但是,卷积神经网络受卷积核尺寸的限制,在网络底层只能在较小范围内提取特征,不能很好地检测区域内不显著但全局显著的对象;其次,卷积神经网络通过堆叠卷积层的方式可获得图像的全局信息,但在信息由浅向深传递时,会导致信息遗失,同时堆叠太深也会导致网络难以优化。基于此,提出一种基于多特征融合卷积神经网络的显著性检测方法。使用多个局部特征增强模块和全局上下文建模模块对卷积神经网络进行增强,利用局部特征增强模块增大特征提取范围的同时,采用全局上下文建模获得特征图的全局信息,有效地抑制了区域内显著而全局不显著的物体对显著性检测的干扰; 能够同时提取多尺度局部特征和全局特征进行显著性检测,有效地提升了检测结果的准确性。最后,通过实验对所提方法的有效性进行验证并和其它11种显著性检测方法进行对比,结果表明所提方法能提升显著性检测结果的准确性且优于参与比较的11种方法。     

面向肺炎CT图像识别的DL-CTNet模型

肺炎常缺乏明显呼吸系症状,症状多不典型,易发生漏诊、错诊.利用深度学习技术辅助医务人员安全、高效地检测感染者是一种有效途径.针对COVID-19感染者CT图像的磨玻璃影、铺路石征、血管扩张等特点,提出一种可有效地提取CT图像中的局部与全局特征的轻量级模型——DL-CTNet.输入预处理的CT图像后,首先采用空洞卷积和动态双路径多尺度特征融合(D-DMFF)模块的2个支路提取浅层特征;然后使用局部与全局特征拼接模块(LGFC)中的D-DMFF模块提取局部特征、Swin Transformer提取全局特征,并通过拼接获得深层特征;最后经过全连接层输出分类标签.实验结果表明,在2个CT图像数据集上,验证了LGFC模块以及DL-CTNet的低复杂度与有效性; DL-CTNet的分类准确率高达98.613%,与其他方法相比,其能更准确地识别肺炎的CT图像.     

基于伪全局Swin Transformer的遥感图像识别算法

如何在多目标并列的情况下，确定符合人类思维习惯的核心目标是遥感图像识别的关键之一.因此，在全局视野下，为各目标分配符合人类视觉习惯的注意力，是甄选核心目标的有效途径之一.文中结合Transformer提取全局特征的思想和Swin Transformer对图像栅格化处理可降低计算量的优点，提出基于伪全局Swin Transformer的遥感图像识别算法.构建伪全局Swin Transformer模块，将遥感图像栅格化后的各局部信息聚合为一个特征值，替代以像素为基础的全局信息，以较小计算量为代价，获取全局特征，有效提升模型对所有目标的感知能力.同时，通过以可变形卷积为基础的感受野自适应缩放模块，使感受野向核心目标偏移，提高网络对核心目标信息的关注，从而实现对遥感图像的精确识别.在RSSCN7、AID和OPTIMAL-31遥感图像数据集上的实验表明，文中算法取得较高的识别精度和参数识别效率.     

融合3D注意力和Transformer的图像去雨网络

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题。现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分。针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimension attention and Transformer deraining network,TDATDN)。方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练。结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验。其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.927 8。实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果。结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作。     

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来, RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息, 取得了比RGB显著性检测模型更好的性能, 受到学术界的高度关注. 然而, 现有的RGB-D检测模型仍面临着持续提升检测性能的需求. 最近兴起的Transformer擅长建模全局信息, 而卷积神经网络(CNN)擅长提取局部细节. 因此, 如何有效结合CNN和Transformer两者的优势, 挖掘全局和局部信息, 将有助于提升显著性目标检测的精度. 为此, 提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法, 通过将Transformer网络嵌入U-Net中, 从而将全局注意力机制与局部卷积结合在一起, 能够更好地对特征进行提取. 首先借助U-Net编码-解码结构, 高效地提取多层次互补特征并逐级解码生成显著特征图. 然后, 使用Transformer模块学习高级特征间的全局依赖关系增强特征表示, 并针对输入采用渐进上采样融合策略以减少噪声信息的引入. 其次, 为了减轻低质量深度图带来的负面影响, 设计一个跨模态交互融合模块以实现跨模态特征融合. 最后, 5个基准数据集上的实验结果表明, 所提算法与其他最新的算法相比具有显著优势.     

局部全局特征耦合与交叉尺度注意的医学图像融合

现有基于深度学习的多模态医学图像融合方法存在全局特征表示能力不足的问题。对此,提出一种基于局部全局特征耦合与交叉尺度注意的医学图像融合方法。该方法由编码器、融合规则和解码器三部分组成。编码器中采用并行的卷积神经网络(CNN)和Transformer双分支网络分别提取图像的局部特征与全局表示。在不同尺度下,通过特征耦合模块将CNN分支的局部特征嵌入Transformer分支的全局特征表示中,最大程度地结合互补特征,同时引入交叉尺度注意模块实现对多尺度特征表示的有效利用。编码器提取待融合原始图像的局部、全局以及多尺度特征表示,根据融合规则融合不同源图像的特征表示后再输入到解码器中生成融合图像。实验结果表明,与CBF、PAPCNN、IFCNN、DenseFuse和U2Fusion方法相比,该方法在特征互信息、空间频率、边缘信息传递因子、结构相似度、感知图像融合质量这5个评价指标上分别平均提高6.29%、3.58%、29.01%、5.34%、5.77%,融合图像保留了更清晰的纹理细节和更高的对比度,便于疾病的诊断与治疗。     

基于Swin Transformer和三维残差多层融合网络的高光谱图像分类

卷积神经网络(CNNs)具有出色的局部上下文建模能力，被广泛用于高光谱图像分类中，但由于其固有网络主干的局限性，CNNs未能很好地挖掘和表示光谱特征的序列属性。为了解决此问题，提出了一种基于Swin Transformer和三维残差多层融合网络的新型网络(ReSTrans)用于高光谱图像分类。在ReSTrans网络中，为了尽可能地挖掘高光谱图像的深层特征，采用三维残差多层融合网络来提取空谱特征，然后由基于自注意机制的Swin Transformer网络模块近一步捕获连续光谱间的关系，最后由多层感知机根据空谱联合特征完成最终的分类任务。为了验证ReSTrans网络模型的有效性，改进的模型在IP,UP和KSC 3个高光谱数据集上进行实验验证，分类精度分别达到了98.65%,99.64%,99.78%。与SST方法相比，该网络模型的分类性能分别平均提高了3.55%,0.68%,1.87%。实验结果表明该模型具有很好的泛化能力，可以提取更深层的、判别性的特征。     

红外与可见光图像分组融合的视觉Transformer

目的 针对传统红外与可见光图像融合方法中人工设计特征提取和特征融合的局限性,以及基于卷积神经网络(convolutional neural networks, CNN)的方法无法有效提取图像中的全局上下文信息和特征融合过程中融合不充分的问题,本文提出了基于视觉Transformer和分组渐进式融合策略的端到端无监督图像融合网络。方法 首先,将在通道维度上进行自注意力计算的多头转置注意力模块和通道注意力模块组合成视觉Transformer,多头转置注意力模块解决了自注意力计算量随像素大小呈次方增大的问题,通道注意力可以强化突出特征。其次,将CNN和设计的视觉Transformer并联组成局部—全局特征提取模块,用来提取源图像中的局部细节信息和全局上下文信息,使提取的特征既具有通用性又具有全局性。此外,为了避免融合过程中信息丢失,通过将特征分组和构造渐进残差结构的方式进行特征融合。最后,通过解码融合特征得到最终的融合图像。结果 实验在TNO数据集和RoadScene数据集上与6种方法进行比较。主观上看,本文方法能够有效融合红外图像和可见光图像中的互补信息,得到优质的融合图像。从客观定量分析...     

基于卷积神经网络的全景分割Transformer模型

提出一种基于卷积神经网络的Transformer模型来解决全景分割任务,方法借鉴CNN在图像特征学习方面的先天优势,避免了Transformer被移植到视觉任务中所导致的计算量增加.基于卷积神经网络的Transformer模型由执行特征域变换的映射器和负责特征提取的提取器这两种基本结构构成,映射器和提取器的有效结合构成了该模型的网络框架.映射器由一种Lattice卷积模型实现,通过对卷积滤波器进行设计和优化来模拟图像的空间关系.提取器由链式网络实现,通过链式单元堆叠提高特征提取能力.基于全景分割的结构和功能,构建了基于CNN的全景分割Transformer网络.在MS COCO和Cityscapes数据集的实验结果表明,所提方法具有优异的性能.     

基于通道注意力和Transformer的图像标题生成方法

图像标题生成是指通过计算机将图像翻译成描述该图像的标题语句。针对现有图像标题生成任务中，未充分利用图像的局部和全局特征以及时间复杂度较高的问题，本文提出一种基于卷积神经网络（Convolution Neural Networks,CNN）和Transformer的混合结构图像标题生成模型。考虑卷积网络所具有的空间和通道特性，首先将轻量化高精度的注意力ECA与卷积网络CNN进行融合构成注意力残差块，用于从输入图像中提取视觉特征；然后将特征输入到序列模型Transformer中，在编码器端借助自注意学习来获得所参与的视觉表示，在语言解码器中捕获标题中的细粒度信息以及学习标题序列间的相互作用，进而结合视觉特征逐步得到图像所对应的标题描述。将模型在MSCOCO数据集上进行实验，BLEU-1、BLEU-3、BLEU-4、Meteor和CIDEr指标分别提高了0.3、0.5、0.7、0.4、1.6个百分点。     

基于多尺度多粒度特征的行人重识别

针对现有的基于卷积神经网络的行人重识别方法所提取的特征辨识力不足的问题,提出了一种基于多尺度多粒度特征的行人重识别方法.在训练阶段,该方法在卷积神经网络的不同尺度提取特征;然后对获得的多尺度特征图进行分块和池化,从而得到不同尺度的全局特征和局部特征的多粒度特征,使用不确定性权重调节Softmax损失和三元组损失来对特征向量进行监督训练.在推理阶段,对所获得的多尺度多粒度的特征进行融合,使用融合特征在图像库中进行相似度匹配.在Mar-ket-1501和DukeMTMC-ReID数据集上的实验表明,所提方法相比基准网络ResNet-50在Rank-1评价指标上分别提升了4.3％和3.6％,在mAP评价指标上分别提升了6.2％和6.6％.实验结果表明,所提方法能够增强提取特征的辨识力,提高行人重识别的性能.     

多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

基于双向长短时记忆和卷积Transformer的声学词嵌入模型

示例查询语音关键词检测中,卷积神经网络（CNN）或者循环神经网络（RNN）提取到的声学词嵌入语音信息有限,为更好地表示语音内容以及改善模型的性能,提出一种基于双向长短时记忆（Bi-LSTM）和卷积Transformer的声学词嵌入模型。首先,使用Bi-LSTM提取特征、对语音序列进行建模,并通过叠加方式来提高模型的学习能力;其次,为了能在捕获全局信息的同时学习到局部信息,将CNN和Transformer编码器并联连接组成卷积Transformer,充分利用它在特征提取上的优势,聚合更多有效的信息,提高嵌入的区分性。在对比损失约束下,所提模型平均精度达到了94.36%,与基于注意力的Bi-LSTM模型相比,平均精度提高了1.76%。实验结果表明,所提模型可以有效改善模型性能,更好地实现示例查询语音关键词检测。     

基于双阶段特征解耦网络的单幅图像去雨方法

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57 dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展.     

融合局部与全局特征的DCE-MRI乳腺肿瘤良恶分类

目的 基于计算机辅助诊断的乳腺肿瘤动态对比增强磁共振成像（dynamic contrast-enhanced magnetic resonance imaging,DCE-MRI）检测和分类存在着准确度低、缺乏可用数据集等问题。方法 针对这些问题,建立一个乳腺DCE-MRI影像数据集,并提出一种将面向局部特征学习的卷积神经网络（convolutional neural network, CNN）和全局特征学习的视觉Transformer(vision Transformer,ViT)方法相融合的局部—全局跨注意力融合网络（local global cross attention fusion network,LG-CAFN）,用于实现乳腺肿瘤DCE-MRI影像自动诊断,以提高乳腺癌的诊断准确率和效率。该网络采用跨注意力机制方法,将CNN分支提取出的图像局部特征和ViT分支提取出的图像全局特征进行有效融合,从而获得更具判别性的图像特征用于乳腺肿瘤DCE-MRI影像良恶性分类。结果 在乳腺癌DCE-MRI影像数据集上设置了两组包含不同种类的乳腺DCE-MRI序列实验,并与VGG16(Vis...     

结合Transformer与对称型编解码器的噪声虹膜图像分割方法EI北大核心CSCD

针对少约束场景下采集的虹膜图像容易受到镜面反射、睫毛和头发遮挡、运动和离焦模糊等噪声的干扰,导致难以准确地分割有效的虹膜区域的问题,提出一种结合Transformer与对称型编解码器的噪声虹膜图像分割方法.首先,使用Swin Transformer作为编码器,将输入图像的区块序列送入分层Transformer模块中,通过自注意力机制建模像素间的长距离依赖,增强上下文信息的交互;其次,构建与编码器对称的Transformer解码器,对所提取的高阶上下文特征进行多层解码,解码过程中与编码器跳跃连接进行多尺度特征融合,减少下采样造成的空间位置信息丢失;最后,对解码器每个阶段的输出进行监督学习,提升不同尺度特征的抽取质量.基于3个公开的噪声近红外和可见光虹膜数据集NICE.I,CASIA.v4-distance和MICHE-I,与若干包括传统方法、基于卷积神经网络的方法和基于现有Transformer的方法在内的基准方法进行对比实验,实验结果表明,所提方法在E_(1),E_(2),F_(1)和MIOU定量评价指标上均取得了比基准方法更优的分割性能,尤其是在减少噪声的干扰上具有明显的优势.此外,在CASIA.v4-distance数据集上的虹膜识别实验表明,文中方法可以有效地提升虹膜识别的性能,显示了良好的应用潜力.