Seg-CapNet:A Capsule-Based Neural Network for the Segmentation of Left Ventricle from Cardiac Magnetic Resonance Imaging

Deep neural networks (DNNs) have been extensively studied in medical image segmentation.However,existing DNNs often need to train shape models for each object to be segmented,which may yield results that violate cardiac anatomical structure when segmenting cardiac magnetic resonance imaging (MRI).In this paper,we propose a capsule-based neural network,named Seg-CapNet,to model multiple regions simultaneously within a single training process.The Seg-CapNet model consists of the encoder and the decoder.The encoder transforms the input image into feature vectors that represent objects to be segmented by convolutional layers,capsule layers,and fully-connected layers.And the decoder transforms the feature vectors into segmentation masks by up-sampling.Feature maps of each down-sampling layer in the encoder are connected to the corresponding up-sampling layers,which are conducive to the backpropagation of the model.The output vectors of Seg-CapNet contain low-level image features such as grayscale and texture,as well as semantic features including the position and size of the objects,which is beneficial for improving the segmentation accuracy.The proposed model is validated on the open dataset of the Automated Cardiac Diagnosis Challenge 2017 (ACDC 2017) and the Sunnybrook Cardiac Magnetic Resonance Imaging (MRI) segmentation challenge.Experimental results show that the mean Dice coefficient of Seg-CapNet is increased by 4.7％ and the average Hausdorff distance is reduced by 22％.The proposed model also reduces the model parameters and improves the training speed while obtaining the accurate segmentation of multiple regions.     

A novel weight initialization with adaptive hyper-parameters for deep semantic segmentation

The semantic segmentation process divides an image into its constituent objects and background by assigning a corresponding class label to each pixel in the image. Semantic segmentation is an important area in computer vision with wide practical applications. The contemporary semantic segmentation approaches are primarily based on two types of deep neural networks architectures i.e., symmetric and asymmetric networks. Both types of networks consist of several layers of neurons which are arranged in two sections called encoder and decoder. The encoder section receives the input image and the decoder section outputs the segmented image. However, both sections in symmetric networks have the same number of layers and the number of neurons in an encoder layer is the same as that of the corresponding layer in the decoder section but asymmetric networks do not strictly follow such one-one correspondence between encoder and decoder layers. At the moment, SegNet and ESNet are the two leading state-of-the-art symmetric encoder-decoder deep neural network architectures. However, both architectures require extensive training for good generalization and need several hundred epochs for convergence. This paper aims to improve the convergence and enhance network generalization by introducing two novelties into the network training process. The first novelty is a weight initialization method and the second contribution is an adaptive mechanism for dynamic layer learning rate adjustment in training loop. The proposed initialization technique uses transfer learning to initialize the encoder section of the network, but for initialization of decoder section, the weights of the encoder section layers are copied to the corresponding layers of the decoder section. The second contribution of the paper is an adaptive layer learning rate method, wherein the learning rates of the encoder layers are updated based on a metric representing the difference between the probability distributions of the input images and encoder weights. Likewise, the learning rates of the decoder layers are updated based on the difference between the probability distributions of the output labels and decoder weights. Intensive empirical validation of the proposed approach shows significant improvement in terms of faster convergence and generalization.

     

卷积神经网络结合可变模型的MRI图像自动分割方法

利用心脏核磁共振成像技术对左心室进行分割,可以准确计算出心室容积等重要临床指标。针对左心室位置检测、形状推断与分割问题,提出一种基于卷积网络和可变模型算法的左心室图像处理方法。利用稀疏自动编码和卷积网络实现左心室图像位置的高精度检测;基于堆栈稀疏编码器和多层神经网络推断出左心室图像的基本形状;利用可变模型和推断出的形状组合对心脏图像进行精确分割。在30个心脏核磁共振数据库中采集图像数据进行实验分析,实验结果表明,相比其他几种较新的分割算法,该方法在计算轮廓比例和一致性两个指标上均获得了最优结果。     

改进U-Net的新冠肺炎图像分割方法

新型冠状病毒肺炎（COVID-19）大流行疾病正在全球范围内蔓延。计算机断层扫描（CT）影像技术,在抗击全球 COVID-19 的斗争中起着至关重要的作用,诊断新冠肺炎时,如果能够从CT图像中自动准确分割出新冠肺炎病灶区域,将有助于医生进行更准确和快速的诊断。针对新冠肺炎病灶分割问题,提出基于U-Net改进模型的自动分割方法。在编码器中运用了在 ImageNet 上预训练好的 EfficientNet-B0网络,对有效信息进行特征提取。在解码器中将传统的上采样操作换成DUpsampling结构,以此来充分获取病灶边缘的细节特征信息,最后通过模型快照的集成提高分割的精度。在公开数据集上的实验结果表明,所提算法的准确率、召回率和Dice系数分别为84.24%、80.43%和85.12%,与其他的语义分割算法相比,该方法能有效分割新冠肺炎病灶区域,具有良好的分割性能。     

基于深度学习高分辨率遥感影像语义分割

高分辨率遥感影像含有丰富的地理信息.目前基于传统神经网络的语义分割模型不能够对遥感影像中小物体进行更高维度的特征提取,导致分割错误率较高.本文提出一种基于编码与解码结构特征连接的方法,对DeconvNet网络模型进行改进.模型在编码时,通过记录池化索引的位置并应用于上池化中,能够保留空间结构信息;在解码时,利用编码与解码对应特征层连接的方式使模型有效地进行特征提取.在模型训练时,使用设计的预训练模型,可以有效地扩充数据,来解决模型的过拟合问题.实验结果表明,在对优化器、学习率和损失函数适当调整的基础上,使用扩充后的数据集进行训练,对遥感影像验证集的分割精确度达到95%左右,相对于DeconvNet和UNet网络模型分割精确度有显著提升.     

基于BM-TransUNet的咽后壁识别分割

图像分割经历了从基于传统的阈值分割等方法逐步发展到基于卷积神经网络的方法. 传统的卷积神经网络在分割领域中表现突出, 但训练速度慢、分割精度不够高等局限性也逐渐显现. 为了克服这些局限性, 本文在TransUNet网络的基础上进行改进, 提出了基于BM-TransUNet网络的图像分割识别方法, 在TransUNet网络的在第1层之后加上深度可分离卷积模块, 并在编码器下采样的卷积层后引入注意力机制模块, 让算法更好地探索分割对象特征, 同时在编码器与解码器之间引入多尺度特征融合模块FPN. 本文基于自制的咽后壁数据集, 用于图像分割训练, 并将训练后的BM-TransUNet网络与多种传统分割网络的效果进行对比. 实验结果表明, 相比于其他传统的深度学习模型, BM-TransUNet网络的识别方法具有较高的分类准确性和泛化能力, 精确度Precision和Dice系数分别达到了93.61%和90.76%, 显示出较好的计算效率, 能有效地应用于分割任务.     

CoT-TransUNet:轻量化的上下文Transformer医学图像分割网络

针对以往医学图像分割网络中卷积的感受野太小以及Transformer的特征丢失问题,提出了一种端到端的轻量化上下文Transformer医学图像分割网络（lightweight context Transformer medical image segmentation network,CoT-TransUNet)。该网络由编码器、解码器以及跳跃连接三部分组成。对于输入图像,编码器使用CoTNet-Transformer的混合模块,采用CoTNet作为特征提取器来生成特征图。Transformer块则把特征图编码为输入序列。解码器通过一个级联上采样器,将编码后的特征进行上采样。该上采样器级联了多个上采样块,每个上采样块都采用CARAFE上采样算子。通过跳跃连接实现编码器与解码器在不同分辨率上的特征聚合。CoT-TransUNet通过在特征提取阶段采用全局与局部上下文信息相结合的CoTNet;在上采样阶段采用具有更大感受野的CARAFE算子。实现了生成更好的输入特征图,以及基于内容的上采样,并保持轻量化。在多器官分割任务的实验中,CoT-TransUNet取得了优于其他网络的性能。     

基于光流场与语义特征融合的心脏Cine-MRI左心室心肌分割方法

由于运动原因会造成活体心脏MRI图像中左心室心内膜与心肌边缘轮廓模糊,进而导致分割不准确以及分割精度较低,针对这些问题,本文提出一种基于光流场与语义特征融合的心脏4D Cine-MRI (magnetic resonance imaging)左心室心肌分割模型OSFNet.该模型包含了光流场计算和语义分割网络:将光流场计算得到的运动特征与图像语义特征进行融合,通过网络学习达到了最优的分割效果.模型采用编码器-解码器结构,本文提出的多感受野平均池化模块用于提取多尺度语义特征,减少了特征丢失;解码器部分使用了多路上采样方法和跳跃连接,保证了语义特征被有效还原.本文使用ACDC公开数据集对模型进行训练与测试,并分别与DenseNet和U-Net在左心室内膜分割、左心室内膜和心肌分割目标上进行对比.实验结果表明, OSFNet在Dice和HD等多个指标上取得了最佳效果.     

基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割

人体肾脏存在形状的多样性和解剖学的复杂性,囊肿病变也会导致肾脏形状发生大幅变化。为应对CT图像囊肿肾脏自动分割存在的诸多挑战,提出一种新型深度分割网络模型。该模型设计有带残差连接的双注意力模块,在残差结构的基础上,联合空间注意力和通道注意力机制自适应学习更加有效的特征表达。依据U-Net架构,以残差双注意力模块为基础模块构建编码器和解码器,设置层级间的跳跃连接,使网络能够更加关注肾脏区域特征,有效应对肾脏的形状变化。为了验证所提模型的有效性,从医院共采集79位肾囊肿患者的CT图像进行训练和测试,实验结果表明该模型能够准确分割CT图像切片中的肾脏区域,且各项分割指标优于多个经典分割网络模型。     

基于区域分割的水下目标实时识别系统

提出了一种基于最优阈值分割算法的水下目标自动实时识别系统。该系统首先运用去噪、图像均衡等方法对实时摄取的水下图像进行预处理。然后运用基于遗传算法优化的 Otsu(即大津方法)最优阈值分割算法对所得图像进行区域分割并提取图像的特征向量。最后采用 BP 神经网络对提取的特征向量进行自动分类从而最终确定了水下目标的类型。水槽仿真试验表明该方法能够在恶劣的环境下自动地检测水下目标,而且该方法具有较强的抗光线干扰能力和较高的准确度。     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

注意力机制下密集空洞卷积的肺部图像分割

目的 卷积神经网络（convolutional neural network,CNN）在计算机辅助诊断（computer-aided diagnosis,CAD）肺部疾病方面具有广泛的应用,其主要工作在于肺部实质的分割、肺结节检测以及病变分析,而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此,为了更好地适应计算机辅助诊断系统要求,提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络,进行肺部分割。方法 将注意力机制引入网络的解码部分,通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息,将密集空洞卷积模块部署在网络中间,该模块集合了Inception、残差结构以及多尺度空洞卷积的优点,在不引起梯度爆炸和梯度消失的情况下,获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题,对网络中的上/下采样模块进行改进,利用多个不同尺度的卷积核级联加宽网络,有效避免了特征丢失。结果 在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验,结果表明,本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union,IoU）、准确度（accuracy,ACC）以及敏感度（sensitivity,SE）等评价指标均优于对比方法,相比于性能第2的模型,分别提高了0.443%,0.272%,0.512%以及0.374%。结论 本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络,相对于其他分割网络取得了更好的分割效果。     

融合空洞卷积与注意力的胃癌组织切片分割

目的 病理组织切片检查是诊断胃癌的金标准,准确发现切片中的病变区域有助于及时确诊并开展后续治疗。然而,由于病理切片图像的复杂性、病变细胞与正常细胞形态差异过小等问题,传统的语义分割模型并不能达到理想的分割效果。基于此,本文提出了一种针对病理切片的语义分割方法ADEU-Net （attention-dilated-efficient U-Net++）,提高胃癌区域分割的精度,实现端到端分割。方法 ADEU-Net使用经过迁移学习的EfficientNet作为编码器部分,增强图像特征提取能力。解码器采用了简化的U-Net++短连接方式,促进深浅层特征融合的同时减少网络参数量,并重新设计了其中的卷积模块提高梯度传递能力。中心模块使用空洞卷积对编码器输出结果进行多尺度的特征提取,增强模型对不同尺寸切片的鲁棒性。编码器与解码器的跳跃连接使用了注意力模块,以抑制背景信息的特征响应。结果 在2020年“华录杯”江苏大数据开发与应用大赛（简称“SEED”大赛）数据集中与其他经典方法比较,验证了一些经典模型在该分割任务中难以拟合的问题,同时实验得出修改特征提取方式对结果有较大提升,本文方法在分割准确度上比原始U-Net提高了18.96%。在SEED数据集与2017年中国大数据人工智能创新创业大赛（brain of things,BOT）数据集中进行了消融实验,验证了本文方法中各个模块均有助于提高病理切片的分割效果。在SEED数据集中,本文方法ADEU-Net比基准模型在Dice系数、准确度、敏感度和精确度上分别提升了5.17%、2.7%、3.69%、4.08%;在BOT数据集中,本文方法的4项指标分别提升了0.47%、0.06%、4.30%、6.08%。结论 提出的ADEU-Net提升了胃癌病理切片病灶点分割的精度,同时具有良好的泛化性能。     

基于多尺度特征融合双U型皮肤病变分割算法

针对皮肤病分割问题中皮肤病变区域大小不一且形状各异问题,提出一种基于多尺度特征融合的双U型皮肤病分割算法.该算法由粗分U型网络和细分U型网络两部分组成.首先粗分U型网络编码部分采用预训练VGG-19模型对相关特征进行多尺度特征提取;在解码阶段利用改进注意力残差块将底层与高层信息进行有效的映射融合,得到初步的Mask;然后将初步生成的Mask与原图像聚合,并输入多路特征提取编码器中进行二次特征蒸馏;而细分U型网络解码器同时与粗分U型网络编码部分和细分U型网络的编码部分特征映射进行融合,保证网络可以聚合更多的有效特征;最后利用Focal Tversky损失函数进一步提升分割效果.实验表明,所提算法在ISBI2016数据集上实验分割精度为96.11％、敏感度为93.59％、特异性为97.10％、Dice系数为93.14％、Jaccard系数为87.17％,能够有效地分割皮肤病病变区域.     

深度迭代融合的脑部磁共振图像颅骨去除网络

目的 去除颅骨是脑部磁共振图像处理和分析中的重要环节。由于脑部组织结构复杂以及采集设备噪声的影响导致现有方法不能准确分割出脑部区域,为此提出一种深度迭代融合的卷积神经网络模型实现颅骨的准确去除。方法 本文DIFNet（deep iteration fusion net）模型的主体结构由编码器和解码器组成,中间的跳跃连接方式由多个上采样迭代融合构成。其中编码器由残差卷积组成,以便浅层语义信息更容易流入深层网络,避免出现梯度消失的现象。解码器网络由双路上采样模块构成,通过具有不同感受野的反卷积操作,将输出的特征图相加后作为模块输出,有效还原更多细节上的特征。引入带有L2正则的Dice损失函数训练网络模型,同时采用内部数据增强方法,有效提高模型的鲁棒性和泛化能力。结果 为了验证本文模型的分割性能,分别利用两组数据集与传统分割算法和主流的深度学习分割模型进行对比。在训练数据集同源的NFBS（neurofeedback skull-stripped）测试数据集上,本文方法获得了最高的平均Dice值和灵敏度,分别为99.12%和99.22%。将在NFBS数据集上训练好的模型直接应用于LPBA40（loni probabilistic brain atlas 40）数据集,本文模型的Dice值可达98.16%。结论 本文提出的DIFNet模型可以快速、准确地去除颅骨,相比于主流的颅骨分割模型,精度有较高提升,并且模型具有较好的鲁棒性和泛化能力。     

基于多尺度注意力机制的道路场景语义分割模型

通过对道路场景进行语义分割可以辅助车辆感知周边环境,达到避让行人、车辆以及各类小目标物体障碍的目的,提高行驶的安全性。针对道路场景语义分割中小目标物体识别精度不高、网络参数量过大等问题,提出一种基于多尺度注意力机制的语义分割模型。利用小波变换的多尺度多频率信息分析特性,设计一种多尺度小波注意力模块,并将其嵌入到编码器结构中,通过融合不同尺度及频率的特征信息,保留更多的边缘轮廓细节。使用编码器与解码器之间的层级连接,以及改进的金字塔池化模块进行多方面特征提取,在保留上下文特征信息的同时获得更多的图像细节。通过设计多级损失函数训练网络模型,从而加快网络收敛。在剑桥驾驶标注视频数据集上的实验结果表明,该模型的平均交并比为60.21%,与DeepLabV3+和DenseASPP模型相比参数量减少近30%,在不额外增加参数量的前提下提升了模型的分割精度,且在不同场景下均具有较好的鲁棒性。     

基于全卷积编解码网络的单目图像深度估计

针对传统方法在单目图像深度估计时精度低、速度慢等问题,提出一种全卷积编码-解码网络模型,该模型将稀疏的深度样本集和RGB图像作为输入,编码层由Resnet和一个卷积层组成,解码层由两个上采样层和一个双线性上采样层组成,上采样层采用上卷积模块和上投影模块交叉使用,有效降低了棋盘效应并保留了预测深度图像的边缘信息。同时,模型中使用了全卷积,使得参数减少,提升了预测速度。在NYU-Depth-v2数据集上验证了网络模型的有效性与优越性。实验结果表明,在仅使用RGB图像进行深度预测的情况下,与多尺度卷积神经网络相比,该模型在精度[δ<1.25]上提高约4%,均方根误差指标降低约11%;与仅使用RGB图像相比,添加100个空间随机深度样本,均方根误差降低约26%。     

基于深度学习的涂层织物折皱识别与检测

涂层织物在生产制造和使用中易产生折皱损伤,人工折皱检测效率较低,传统图像处理方法的检测精度无法满足要求。提出一种基于深度卷积神经网络的涂层织物折皱识别和检测方法。通过标准揉搓试验建立数据集,网络编码和解码器分别采用多尺度特征融合结构和优化上采样模块,使用形态学方法进行折皱几何信息的实时统计。当前检测方法准确率达到95.78%,比传统语义分割技术及其他深度学习模型有很大的提升。     

心脏MRI图像快速分割方法

在分析心脏MR图像特点的基础上,提出了先对心脏MRI图像进行K均值聚类,把K均值聚类后的图像作为特征图像,在特征上用Song和Chan提出的快速分割方法进行粗分割,再用粗分割的曲线作为水平集的初始曲线,在心脏MRI图像上用Chan和Vese方法进行细分割的心脏MR图像分割方法.并对Song和Chan快速算法中扫描图像的区域进行了改进,提高了分割速度.分割实验证明,用该方法能够快速、准确地分割心脏MRI图像.     

融合隐向量对齐和Swin Transformer的OCTA血管分割

目的 光学相干断层扫描血管造影（optical coherence tomography angiography,OCTA）是一种非侵入式的新兴技术,越来越多地应用于视网膜血管成像。与传统眼底彩照相比,OCTA技术能够显示黄斑周围的微血管信息,在视网膜血管成像邻域具有显著优势。临床实践中,医生可以通过OCTA图像观察不同层的血管结构,并通过分析血管结构的变化来判断是否存在相关疾病。大量研究表明,血管结构的任何异常变化通常都意味着存在某种眼科疾病。因此,对OCTA图像中的视网膜血管结构进行自动分割提取,对众多眼部相关疾病量化分析和临床决策具有重大意义。然而,OCTA图像存在视网膜血管结构复杂、图像整体对比度低等问题,给自动分割带来极大挑战。为此,提出了一种新颖的融合隐向量对齐和Swin Transformer的视网膜血管结构的分割方法,能够实现血管结构的精准分割。方法 以ResU-Net为主干网络,通过Swin Transformer编码器获取丰富的血管特征信息。此外,设计了一种基于隐向量的特征对齐损失函数,能够在隐空间层次对网络进行优化,提升分割性能。结果 在3个OCTA图像数据集上的...