医学图像处理技术综述

医学影像已成为医学技术中发展最快的领域之一,临床医生在医学图象处理技术的帮助下,对人体内部病变部住的观察更直接、更清晰．确诊率也更高。本文对图像分割、图像配准和图像融合等医学图像处理技术的现状和发展进行了综述。     

卷积神经网络中的注意力机制综述

注意力机制因其优秀的效果与即插即用的便利性,在深度学习任务中得到了越来越广泛的应用。主要着眼于卷积神经网络,对卷积网络注意力机制发展过程中的各种主流方法进行介绍,并对其核心思想与实现过程进行提取与总结,同时对每种注意力机制方法进行实现,针对同型号辐射源设备实测数据进行对比实验与结果分析,并依据主流方法的思想与实验的结果总结并阐述了卷积网络中的注意力机制的研究现状与未来其发展方向。     

基于加权层级注意力机制的疾病预测模型

近年来,针对电子病历文本的研究受到越来越多的关注,而相关疾病预测模型很少注意到病历文本中记录独立分布的半结构化形式以及语义关系复杂的特点,故该文提出了一种基于加权层级注意力机制的辅助诊断方法,设计加权累加法将普通句向量转换为结构弱关联句向量,并构成词、句、文档层级结构注意力机制来提高模型结构学习能力,此外,设计监督层用于缓解语义关系复杂造成的学习偏置问题,以辅助模型的训练效果。在真实数据集中进行验证表明,该文模型优于当前主流的深度学习模型,取得了较好效果。     

结合注意力机制的深度神经网络综述

注意力机制已成为改进神经网络学习能力的研究热点之一。鉴于注意力机制受到的广泛关注,本文旨在从注意力机制的分类、与深度神经网络的结合方式,以及在自然语言处理和计算机视觉领域的具体应用3个方面对深度神经网络中的注意力机制给出较全面的分析和阐述。具体地,分析比较了软注意力、硬注意力和自注意力这3种机制的优缺点;并分别讨论了递归神经网络和卷积神经网络中结合注意力机制的常用方式及其代表性模型结构;然后,以自然语言处理、计算机视觉领域为例,说明了其应用情况;最后,分析了注意力机制的发展趋势,期望为后续研究提供线索和方向。     

多媒体技术在医学图像处理系统中的应用

介绍了多媒体技术在医学图像处理中的应用及其所需的计算机硬件和软件的设计思想。     

深度学习推荐模型中的注意力机制研究综述

探讨注意力机制如何帮助推荐模型动态关注有助于执行当前推荐任务输入的特定部分.分析注意力机制网络框架及其输入数据的权重计算方法,分别从标准注意力机制、协同注意力机制、自注意力机制、层级注意力机制和多头注意力机制这五个角度出发,归纳分析其如何采用关键策略、算法或技术来计算当前输入数据的权重,并通过计算出的权重以使推荐模型可...     

注意力机制综述

现在注意力机制已广泛地应用在深度学习的诸多领域.基于注意力机制的结构模型不仅能够记录信息间的位置关系,还能依据信息的权重去度量不同信息特征的重要性.通过对信息特征进行相关与不相关的抉择建立动态权重参数,以加强关键信息弱化无用信息,从而提高深度学习算法效率同时也改进了传统深度学习的一些缺陷.从图像处理、自然语言处理、数据...     

基于注意力机制的两阶段纵膈淋巴结自动分割算法

判断淋巴结分区是否存在淋巴结转移以及准确分割恶性淋巴结对于肺癌诊断以及治疗意义重大.针对纵膈淋巴结尺寸差异大、正负样本不平衡、与周边软组织和肺肿瘤特征相似等问题,提出了一个新颖的用于纵膈淋巴结分割的基于注意力机制的级联算法.首先,根据医学先验设计了两阶段分割算法剔除纵膈干扰组织后对疑似淋巴结进行分割,减少负样本的影响和...     

SA-TF-UNet：基于空间注意力机制和Transformer的MRI海马体分割

目的 海马体内嗅皮层的像素体积较小,这些特征给医学影像的分割任务带来很大挑战。综合海马体的形态特点以及医生的分割流程,提出一种新的海马体分割方法,以实现在临床医学影像处理中对海马体的精确分割,辅助阿尔兹海默症的早期诊断。方法 提出一个基于自注意力机制与空间注意力机制的U型网络模型SA-TF-UNet （hippocampus segmentation network based on Transformer and spatial attention mechanisms）。该网络为端到端的预测网络,输入任意大小的3维MRI （magnetic resonance imaging）影像,输出类别标签。SA-TF-UNet采用编码器—解码器结构,编码器采用纯Transformer模块,不包含卷积模块。多头自注意力机制为Transformer模块中的特征提取器,自注意力模块基于全局信息建模,并提取特征。因此,使用Transformer提取特征符合医生分割海马体的基本思路。解码器采用简单的卷积模块进行上采样。使用AG （attention gate）模块作为跳跃连接的方式,自动增加前景的权重,代替了传统网络中的直接连接。为了验证AG的有效性,分别做了只在单层加入AG的实验,与在4层网络中全部加入AG的实验结果进行对比。为了进一步探讨AG模块中门控信号的来源,设计了两个SA-TF-UNet的变体,它们的网络结构中AG门控信号分别为比AG中的特征图深两层的Transformer模块输出和深3层的Transformer模块输出。结果 为了验证SA-TF-UNet在临床数据集中分割海马体的有效性,在由阿尔兹海默症患者的MRI影像组成的脑MRI数据集上进行实验。4层网络全部加入AG,且AG的门控信号是由比AG特征图更深一层的Transformer模块输出的SA-TF-UNet模型分割效果最好。SA-TF-UNet对于左海马体、右海马体的分割Dice系数分别为0.900 1与0.909 1,相较于对比的语义分割网络有显著提升,Dice系数提升分别为2.82%与3.43%。结论 加入空间注意力机制的以纯Transformer模块为编码器的分割网络有效提升了脑部MRI海马体的分割精度。     

基于注意力机制的群组行为识别方法

在基于视频图像的群组行为识别方法中,传统的深度学习方法大多使用标准（最大/平均）池化操作对卷积特征进行处理,并且未考虑群组行为中的关键人物对群组行为分类的重要性。针对以上问题,本文提出一种基于注意力机制的模型来检测群组行为视频中的行为,重点关注活动中的关键人物,根据注意力权重的不同分配动态地对卷积特征进行池化,最终正确识别视频图像中的群组行为。此模型在群组行为数据集CAD（Collective activity dataset）和CAE（Collective activity extended dataset）上的识别准确率优于许多使用标准池化结构的现有模型。     

基于注意力机制多任务的肺结节癌变风险判断方法

对于CT影像中检测出的肺部结节, 需要自动判断其是否有癌变风险. 不同于大多数现有的研究方法只区分结节良恶性, 本文提出了一个基于注意力机制的多任务学习模型, 将与结节良恶性相关的语义特征属性一并判断输出, 通过判断9个结节特征(对比度、分叶征、毛刺征、球形度、边缘、纹理、钙化程度、大小以及恶性程度)的同时实现内在特征的共享, 以达到提高各子任务性能的目的. 选择视觉转换器(ViT)模型作为多任务共享特征提取层, 整体模型采用动态加权平均方法来对各子任务的Loss函数进行优化. 在LUNA16数据集上的实验表明, 该学习框架可以提升肺结节癌变风险判断的性能, 且同时对其他语义特征的判断也能提升结果的可解释性.     

基于类时序注意力机制的图像描述方法

近年来, 注意力机制已经广泛应用于计算机视觉领域, 图像描述常用的编码器-解码器框架也不例外. 然而,当前的解码框架并未较清楚地分析图像特征与长短期记忆神经网络(LSTM)隐藏状态之间的相关性, 这也是引起累积误差的原因之一. 基于该问题, 本文提出一个类时序注意力网络(Similar Temporal Attenti...     

基于全局注意力信息交互的高光谱图像分类

近年来,研究者们发现基于双分支结构的高光谱图像分类方法可以更有效地提取图像的光谱特征和空间特征用于分类.但在双分支结构中,各分支只侧重于细化、提取光谱特征或空间特征,忽略了对光谱-空间跨维特征交互的研究,且两分支各自提取的部分交互不明显,因此影响了分类的性能.针对这一问题,本文提出了一种基于全局注意力信息交互的高光谱图像分类方法.首先采用密集连接网络分两个分支分别细化图像的光谱特征和空间特征,然后结合全局注意力机制(GAM)得到通道全局注意力特征和空间全局注意力特征,最后通过一个信息交互的模块实现光谱和空间信息的交互,更充分地利用光谱和空间信息实现分类.本文提出的方法分别在Pavia University(PU)和Salinas Valley (SV)两个数据集上进行了实验,相较于其他的4种方法,本文提出的方法在分类性能上取得了明显的提升.     

基于注意力机制的弱监督细粒度图像分类

针对细粒度图像分类任务中难以对图中具有鉴别性对象进行有效学习的问题,本文提出了一种基于注意力机制的弱监督细粒度图像分类算法.该算法能有效定位和识别细粒度图像中语义敏感特征.首先在经典卷积神经网络的基础上通过线性融合特征得到对象整体信息的表达,然后通过视觉注意力机制进一步提取特征中具有鉴别性的细节部分,获得更完善的细粒度特征表达.所提算法实现了线性融合和注意力机制的结合,可看作是多网络分支合作训练共同优化的网络模型,从而让网络模型对整体信息和局部信息都有更好的表达能力.在3个公开可用的细粒度识别数据集上进行了验证,实验结果表明,所提方法有效性均优于基线方法,且达到了目前先进的分类水平.     

基于注意力机制的高容量通用图像隐写模型

随着深度学习与隐写技术的发展,深度神经网络在图像隐写领域的应用越发广泛,尤其是图像嵌入图像这一新兴的研究方向.主流的基于深度神经网络的图像嵌入图像隐写方法需要将载体图像和秘密图像一起输入隐写模型生成含密图像,而最近的研究表明,隐写模型仅需要秘密图像作为输入,然后将模型输出的含密扰动添加到载体图像上,即可完成秘密图像的嵌入过程.这种不依赖载体图像的嵌入方式极大地扩展了隐写的应用场景,实现了隐写的通用性.但这种嵌入方式目前仅验证了秘密图像嵌入和恢复的可行性,而对隐写更重要的评价标准,即隐蔽性,未进行考虑和验证.提出一种基于注意力机制的高容量通用图像隐写模型USGAN,利用注意力模块, USGAN的编码器可以在通道维度上对秘密图像中像素位置的扰动强度分布进行调整,从而减小含密扰动对载体图像的影响.此外,利用基于CNN的隐写分析模型作为USGAN的目标模型,通过与目标模型进行对抗训练促使编码器学习生成含密对抗扰动,从而使含密图像同时成为攻击隐写分析模型的对抗样本.实验结果表明,所提模型不仅可以实现不依赖载体图像的通用嵌入方式,还进一步提高了隐写的隐蔽性.     

注意力机制海洋场景图像理解算法

针对复杂海洋场景(目标多尺度、对象多样化、风格差异大、时空强关联且存在不确定性目标)特点,研究基于注意力机制的复杂图像有效特征提取方法,提出一种基于卷积神经网络(convolutional neural network,CNN)和长短时记忆网络(long short-term memory,LSTM)相结合的复杂海洋场...     

注意力机制在单图像超分辨率中的分析研究

基于卷积神经网络的单图像超分网络性能已经远超传统算法,为进一步提升网络表征能力及网络性能,许多研究在网络架构中使用了注意力机制。该文首先回顾注意力机制在单图像超分中的研究,并将其划分为基于一阶注意力机制和基于高阶注意力机制两类方法;然后,对比基于注意力机制的超分网络在网络规模、内存占用、计算量、网络损失类型和注意力机制架构差异,验证了不同注意力机制模块的性能差异,并使用最新的超分可视化分析工具为实验提供侧面证明;最后,分析和讨论基于注意力机制的算法研究在处理真实退化图像方面存在的挑战,指出超分技术发展的关键瓶颈及未来发展方向。     

基于内卷U-Net的医学图像分割模型

图像分割技术的主要对象为自然图像和医学图像,相对于自然图像而言,医学图像的语义分割通常需要较高的精度以进行下一步的临床分析、诊断和规划治疗。目前用于医学图像语义分割的深度神经网络模型由于仅考虑位置的平移不变性,存在局部感受野较小、无法表达长范围依赖关系的问题。设计一种面向医学图像的分割模型,基于内卷U-Net网络,使用内卷操作代替传统的卷积操作,并将内卷结构作为基本的网络结构,提升模型对医学图像局部特征的学习能力。在模型的瓶颈层引入注意力机制模块来学习图像长范围的依赖关系,以提高医学图像语义分割的精度。在肺部CT数据集上的实验结果表明,该模型的Dice系数为0.998,较基于卷积神经网络的分割模型约提高5%,并且大幅缩短Hausdorff距离,具有更高的分割准确度以及较好的稳健性。     

基于视觉关联与上下文双注意力的图像描述生成方法

图像描述生成有着重要的理论意义与应用价值,在计算机视觉与自然语言处理领域皆受到广泛关注.基于注意力机制的图像描述生成方法,在同一时刻融合当前词和视觉信息以生成目标词,忽略了视觉连贯性及上下文信息,导致生成描述与参考描述存在差异.针对这一问题,本文提出一种基于视觉关联与上下文双注意力机制的图像描述生成方法（visual relevance and context dual attention,简称VRCDA）.视觉关联注意力在传统视觉注意力中增加前一时刻注意力向量以保证视觉连贯性,上下文注意力从全局上下文中获取更完整的语义信息,以充分利用上下文信息,进而指导生成最终的图像描述文本.在MSCOCO和Flickr30k两个标准数据集上进行了实验验证,结果表明本文所提出的VRCDA方法能够有效地生成图像语义描述,相比于主流的图像描述生成方法,在各项评价指标上均取得了较高的提升.