CoT-TransUNet:轻量化的上下文Transformer医学图像分割网络

针对以往医学图像分割网络中卷积的感受野太小以及Transformer的特征丢失问题,提出了一种端到端的轻量化上下文Transformer医学图像分割网络（lightweight context Transformer medical image segmentation network,CoT-TransUNet)。该网络由编码器、解码器以及跳跃连接三部分组成。对于输入图像,编码器使用CoTNet-Transformer的混合模块,采用CoTNet作为特征提取器来生成特征图。Transformer块则把特征图编码为输入序列。解码器通过一个级联上采样器,将编码后的特征进行上采样。该上采样器级联了多个上采样块,每个上采样块都采用CARAFE上采样算子。通过跳跃连接实现编码器与解码器在不同分辨率上的特征聚合。CoT-TransUNet通过在特征提取阶段采用全局与局部上下文信息相结合的CoTNet;在上采样阶段采用具有更大感受野的CARAFE算子。实现了生成更好的输入特征图,以及基于内容的上采样,并保持轻量化。在多器官分割任务的实验中,CoT-TransUNet取得了优于其他网络的性能。     

基于互信息的N维多模医学图像配准

目前多模医学图像配准都定位在两幅图像配准的研究,很少涉及N维(3维及3维以上)图像的配准.当用扩展的N维互信息测度(E-NMIM)进行多个图像配准时,不能保证互信息(MI)值的非负性,并且运算速度慢,达不到临床要求.本文提出一种新的N维互信息测度(N-NMIM),不仅保证了MI值的非负性,而且在[1,2]有界范围内,也提高了配准的速度.通过腰椎部位的CT,T1加权的MRI和T2加权的MRI图像进行实验,验证了这种配准方法的有效性.     

集成注意力增强和双重相似性引导的多模态脑部图像配准

目的 医学图像配准是医学图像处理和分析的关键环节,由于多模态图像的灰度、纹理等信息具有较大差异,难以设计准确的指标来量化图像对的相似性,导致无监督多模态图像配准的精度较低。因此,本文提出一种集成注意力增强和双重相似性引导的无监督深度学习配准模型（ensemble attention-based and dual similarity guidance registration network,EADSG-RegNet）,结合全局灰度相似性和局部特征相似性共同引导参数优化,以提高磁共振T2加权图像和T1加权模板图像配准的精度。方法 EADSG-RegNet模型包含特征提取、变形场估计和重采样器。设计级联编码器和解码器实现图像对的多尺度特征提取和变形场估计,在级联编码器中引入集成注意力增强模块（integrated attention augmentation module,IAAM）,通过训练的方式学习提取特征的重要程度,筛选出对配准任务更有用的特征,使解码器更准确地估计变形场。为了能够准确估计全局和局部形变,使用全局的灰度相似性归一化互信息（normalized mutual information,NMI）和基于SSC （self-similarity context）描述符的局部特征相似性共同作为损失函数训练网络。在公开数据集和内部数据集上验证模型的有效性,采用Dice分数对配准结果在全局灰质和白质以及局部组织解剖结构上作定量分析。结果 实验结果表明,相比于传统配准方法和深度学习配准模型,本文方法在可视化结果和定量分析两方面均优于其他方法。对比传统方法ANTs （advanced normalization tools）、深度学习方法voxelMorph和ADMIR （affine and deformable medical image registration）,在全局灰质区域,Dice分数分别提升了3.5%,1.9%和1.5%。在全局白质区域分别提升了3.4%,1.6%和1.3%。对于局部组织结构,Dice分数分别提升了5.2%,3.1%和1.9%。消融实验表明,IAAM模块和SSC损失分别使Dice分数提升1.2%和1.5%。结论 本文提出的集成注意力增强的无监督多模态医学图像配准网络,通过强化有用特征实现变形场的准确估计,进而实现图像中细小区域的准确配准,对比实验验证了本文模型的有效性和泛化能力。     

形变医学图像配准方法设计与仿真

利用目前方法对形变医学图像进行配准时，没有提取形变医学图像特征，存在特征点获取结果与实际结果相差大、医学图像配准效果差和医学图像配准时间长的问题。为此提出基于角点检测与SIFT的形变医学图像配准方法。采用角点检测与SIFT相结合的方法对医学图像的特征点进行提取，在图像特征提取前，优先对尺度空间的极值点进行检测，其次生成角点特征，通过检测结果与最终特征点的方向完成医学图像特征点的提取，提升了医学图像配准精度。将提取的特征输入到构建的深度学习模型中，根据提取特征的训练及损失函数的优化实现形变医学图像配准。实验结果表明，通过对上述方法进行特征点获取结果与实际结果对比测试、医学图像配准效果测试和配准时间测试，验证了上述方法的准确性与有效性。     

基于SIFT与Contourlet变换的高分辨遥感图像配准

针对高分辨遥感图像特征量较多的情况,提出一种基于SIFT与Contourlet变换相结合的图像配准算法。首先将图像进行Contourlet变换分解成低频和高频子带,对高频子带通过设定合适的阈值来提取图像边缘特征点,对低频子带进行SIFT特征点提取。将两者提取到的特征点分别匹配后得到粗匹配点对,利用随机抽样一致性(RANSAC)选择出精匹配点对,实现图像配准。实验表明:在多源遥感图像配准过程中,与基于非采样Contourlet变换(NSCT)和基于SIFT特征提取相比,该算法能够更准确地提取到特征点,具有更高的运算效率以及匹配率。     

结合SIFT和Delaunay三角网的遥感图像配准算法

针对高分辨率遥感图像中提取的特征点数目过大且易存在误匹配点的问题,提出了一种粗配准和精配准相结合的高分辨率遥感图像配准算法.首先对图像降采样处理后,提取大尺度空间下的SIFT特征点,求得仿射变换模型完成图像粗配准;然后对图像进行分块,利用SIFT方法对每幅子块图像提取特征点,并找到对应子块图像之间的匹配点对;之后利用特征点构建Delaunay三角网,计算每对子块图像之间的三角形相似度,构成相似矩阵,从中挑选相似度大的三角形对以构成精确匹配点对;最后利用得到的精确匹配点对实现最终的图像配准.该算法能够减少提取的特征点数且剔除更多的错误匹配点,从而进一步提高精确匹配点率.实验结果表明了算法的有效性.     

使用特征点与曲线配准医学图像

针对单一特征引导医学图像配准的准确度有限性,提出一种使用多种特征的图像配准方法.特征提取采用半自动化方式,使操作者能够精确地获得图像特征.对提取的曲线对采用非均匀三次B样条建立模型,使曲线对具有相同的参数区间;非均匀的曲线离散机制保证了离散后的点集在尽可能忠实于原曲线,同时又满足图像配准的要求;通过不断地改善曲线间差异最大的区域并持续添加的约束条件,迭代地求解变换函数.实验结果表明:该算法结合了基于特征点与曲线2种配准算法的优点,既保证了基于点配准的精确性,又兼有基于曲线配准的鲁棒性,是一种有效的医学图像配准方法.     

图像配准中的一种特定区域轮廓提取算法

多模态医学图像的配准在医学诊断和治疗计划中起着重要的作用，特定区域轮廓提取是图像配准的重要基础，常规的轮廓提取算法不能满足多模态图像配准的要求。提出了一种用于多模态医学图像处理的特定区域轮廓提取算法。该方法首先对图像进行预处理，去除噪音，对图像进行平滑，采用Canny算子进行边缘提取之后，提出了延伸权的概念，并采用一种新的基于延伸权概念的边缘连接算法对边缘结果进行连接，最后采用填充算法获得特定的辅助区域并在该区域的基础上向外或者向内获取特定区域的轮廓。实验结果表明，该方法能够满足多模态图像配准的要求。     

基于Co-motion的可见光--热红外图像序列自动配准算法

提出了一种基于Co-motion的可见光--热红外图像序列自动配准方法, 引入Co-motion运动统计特征来解决异源图像序列配准问题, 从而避开了异源图像相似图像特征提取和精确运动检测的难题. 由于可见光和热红外成像机理不同, 在运用运动统计特征时, 会面临与同源配准不同的诸多问题, 如难以提取相似前景、大量外点干扰和易受大尺度变化的影响等. 本文通过对所面临难题的分析 提出了适合于异源图像序列配准的同名点对选取方法和外点去除方法, 并精确迭代优化变换模型. 对俄亥俄州大学红外--可见光数据库和自建数据库共8组数据的实验分析结果表明, 该算法在大尺度、旋转、平移及视场角变化下均能精确配准.     

医学图像的配准的关键技术与研究现状

医学图像融合技术是影像学技术在医学上极具特色的应用,它在医学图像有效配准基础上将解剖影像、功能影像两者有机的结合起来.本文对近年来医学图像配准中的关键技术和主要方法进行综述,比较各种算法的特点,并分析当前该领域在医学图像配准方面存在的技术难点以及发展前景.     

自适应感受野机制遥感图像分割模型

目的 遥感图像中存在大小、形态不一的目标,增加了目标分割任务的困难性。感受野代表了特征图中每个像素对应输入图像的区域,若感受野与目标形状的契合度较高,则特征图中包含的目标特征更加完整,有利于分割。在现有的分割方法中,通常采用的是正方形的感受野,而遥感图像中目标形状多变,导致感受野无法较好地契合目标形状,在提取目标特征时会引入过多的无用特征,从而影响分割精度。为此,本文提出基于自适应感受野机制的遥感图像分割模型。方法 在编码—解码网络结构的基础上,引入自适应感受野机制。首先在编码器上提取不同大小和宽高比的感受野特征,然后在特征融合时使用通道注意力模块自适应地获取通道权重,通过加权强化与目标形状契合度高的感受野的特征,弱化与目标形状契合度低的感受野的特征,在保留目标特征的同时减少背景特征的干扰,进而提升模型的分割精度。结果 在Inria Aerial Image Labeling数据集与DeepGlobe Road Extraction数据集上进行实验并与相关方法比较,在两个数据集上的平均交并比分别为76.1%和61.9%,平均F1值分别为86.5%和76.5%。结论 本文模型能够提取不同形状感受野的特征,并自适应地获取通道权重,使模型能提取更加完整的目标特征,从而提升目标分割效果。     

MSPRL：面向图像逆半色调的多尺度渐进式残差学习网络

目的 图像逆半色调的目的是从二值半色调图像中恢复出连续色调图像。半色调图像丢失了大量原始图像内容信息,因此逆半色调成为一个经典的图像重建病态问题。现有的逆半色调算法重建效果无法满足对图像细节和纹理的需求。此外,已有方法大多忽略了训练策略对模型优化的重要影响,导致模型性能较差。针对上述问题,提出一个逆半色调网络以提高半色调图像重建质量。方法 首先提出一个端到端的多尺度渐进式残差学习网络（multiscale progressivoly residual learning network,MSPRL）以恢复出更高质量的连续色调图像。该网络基于UNet架构并以多尺度图像作为输入;为充分利用不同尺度输入图像的信息,设计一个浅层特征提取模块以捕获多尺度图像的注意力信息;同时探讨不同学习策略对模型训练和性能的影响。结果 实验在7个数据集上与6种方法进行对比。在Place365和Kodak数据集上,相比性能第2的方法,峰值信噪比（peak signal-to-noise ratio,PSNR）分别提高0.12dB和0.18dB;在其他5个常用于图像超分辨率的测试数据集Set5、Set14、BSD100（Berkeley segmentation dataset 100）、Urban100和Manga109上,相比性能第2的方法,PSNR值分别提高0.11dB、0.25dB、0.08dB、0.39dB和0.35dB。基于本文的训练策略,重新训练的渐进式残差学习网络相比未优化训练模型在7个数据集上PSNR平均提高1.44dB。本文方法在图像细节和纹理重建上实现最优效果。实验表明选用合适的学习策略能够优化模型训练,对性能提升具有重要帮助。结论 本文提出的逆半色调模型,综合UNet架构和多尺度图像信息的优点,选用合适的训练策略,使得图像重建的细节与纹理更加清晰,视觉效果更加细致。本文算法代码公布在https://github.com/Feiyuli-cs/MSPRL。     

U-Net通道变换网络在腺体图像分割中的应用

目的 腺体医学图像分割是将医学图像中的腺体区域与周围组织分离出来的过程,对分割精度有极高要求。传统模型在对腺体医学图像分割时,因腺体形态多样性和小目标众多的特点,容易出现分割不精细或误分割等问题,对此根据腺体医学图像的特点对U-Net型通道变换网络分割模型进行改进,实现对腺体图像更高精度分割。方法 首先在U-Net型通道变换网络的编码器前端加入ASPP_SE （spatial pyramid pooling_squeeze-and-excitation networks）模块与ConvBatchNorm模块的组合,在增强编码器提取小目标特征信息能力的同时,防止模型训练出现过拟合现象。其次在编码器与跳跃连接中嵌入简化后的密集连接,增强编码器相邻模块特征信息融合。最后在通道融合变换器（channel cross fusion with Transformer,CCT）中加入细化器,将自注意力图投射到更高维度,提高自注意机制能力,增强编码器全局模块特征信息融合。简化后的密集连接与CCT结合使用,模型可以达到更好效果。结果 改进算法在公开腺体数据集MoNuSeg （multi-organ nuclei segmentation challenge）和Glas （gland segmentation）上进行实验。以Dice系数和IoU （intersection over union）系数为主要指标,在MoNuSeg的结果为80.55%和67.32%,在Glas数据集的结果为92.23%和86.39%,比原U-Net型通道变换网络分别提升了0.88%、1.06%和1.53%、2.43%。结论 本文提出的改进算法在腺体医学分割上优于其他现有分割算法,能满足临床医学腺体图像分割要求。     

红外与可见光图像渐进融合深度网络

目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果。此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息。基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion, ProFuse)。方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像。结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D’optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information, MI)上相比FusionGAN(generative adversarial ...     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

基于卷积块注意力模块的图像描述生成模型

图像描述生成模型是使用自然语言描述图片的内容及其属性之间关系的算法模型.对现有模型描述质量不高、图片重要部分特征提取不足和模型过于复杂的问题进行了研究,提出了一种基于卷积块注意力机制模块(CBAM)的图像描述生成模型.该模型采用编码器-解码器结构,在特征提取网络Inception-v4中加入CBAM,并作为编码器提取图片的重要特征信息,将其送入解码器长短期记忆网络(LSTM)中,生成对应图片的描述语句.采用MSCOCO2014数据集中训练集和验证集进行训练和测试,使用多个评价准则评估模型的准确性.实验结果表明,改进后模型的评价准则得分优于其他模型,其中Model2实验能够更好地提取到图像特征,生成更加准确的描述.     

多尺度分解和八度卷积相结合的红外与可见光图像融合

目的 在基于深度学习的红外与可见光图像融合方法中,多尺度分解是一种提取不同尺度特征的重要方式。针对传统多尺度分解方法里尺度设置粗糙的问题,提出了一种基于八度(octave)卷积的改进图像融合算法。方法 融合方法由4部分组成：编码器、特征增强、融合策略和解码器。首先,使用改进后的编码器获取源图像的多尺度上的低频、次低频和高频特征。这些特征会被从顶层到底层进行强化。其次,将这些特征按照对应的融合策略进行融合。最后,融合后的深度特征由本文设计的解码器重构为信息丰富的融合图像。结果 实验在TNO和RoadScene数据集上与9种图像融合算法进行比较。主观评价方面,所提算法可以充分保留源图像中的有效信息,融合结果也符合人的视觉感知;客观指标方面,在TNO数据集上所提算法在信息熵、标准差、视觉信息保真度、互信息和基于小波变换提取局部特征的特征互信息5个指标上均有最优表现,相较于9种对比方法中最优值分别提升了0.54%,4.14%,5.01%,0.55%,0.68%。在RoadScene数据集上所提算法在信息熵、标准差、视觉信息保真度和互信息4个指标上取得了最优值,相较9种对比方法的最优值分别提升了...     

残差密集注意力网络多模态MR图像超分辨率重建

目的 现有医学图像超分辨率方法主要针对单一模态图像进行设计,然而在磁共振成像(magnetic resonance imaging, MRI)技术的诸多应用场合,往往需要采集不同成像参数下的多模态图像。针对单一模态的方法无法利用不同模态图像之间的关联信息,很大程度上限制了重建性能。目前超分辨率网络模型参数量往往较大,导致计算和存储代价较高。为此,本文提出了一个轻量级残差密集注意力网络,以一个统一的网络模型同时实现多模态MR图像的超分辨率重建。方法 首先将不同模态的MR图像堆叠后输入网络,在低分辨率空间中提取共有特征,之后采用设计的残差密集注意力模块进一步精炼特征,再通过一个亚像素卷积层上采样到高分辨率空间,最终分别重建出不同模态的高分辨率图像。结果 本文采用MICCAI (medical image computing and computer assisted intervention) BraTS (brain tumor segmentation) 2019数据集中的T1和T2加权MR图像对网络进行训练和测试,并与8种代表性超分辨率方法进行对比。实验结果表明,本文方法可以取得优于...     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.