基于特定领域解码的域泛化医学图像分割方法

多源域领域泛化是模型利用多个不同领域中的语义信息，并且能够很好地泛化到未知领域上。在医学图像中，不同领域之间的跨度比较大，模型泛化性能在未知域上会有较大程度的下降。为了解决这一问题，本文提出了一种编码特征再针对特定领域进行解码的网络结构。该模型使用一个通用编码器来学习所有领域上的领域不变特征，并通过特定领域解码器还原原有图像以加强其对图像特征的复原能力。此外，该模型还通过生成特征迁移图像与源域图像进行对抗学习来加强编码器学习领域不变特征的能力。 同时，本文在模型中还引入了特殊构造的分割融合预处理步骤来扩充数据集以增强模型的泛化能力，并进一步提高了本文提出网络结构的性能。在两个医学图像的分割任务中，大量实验数据表明，本文提出的模型相比现有先进模型表现出了优异的性能，此外本文还进行了一系列消融实验，证明了模型的有效性。     

细化Transformer网络的弱监督图像语义分割

图像级标签的弱监督图像语义分割方法是目前比较热门的研究方向,类激活图生成方式是最为常用的解决该类问题的主要工作方法。由于类激活图的稀疏性,导致判别区域的准确性降低。针对上述问题,提出了一种改进的Transformer网络弱监督图像学习方法。首先,引入空间注意力交换层来扩大类激活图的覆盖范围;其次,进一步设计了一个注意力自适应模块,来指导模型增强弱区域的类响应;特别地,在类生成过程中,构建了一个自适应跨域来提高模型分类性能。该方法在Pascal VOC 2012 验证集和测试集上分别达到了73.5%和73.0%。实验结果表明,细化Transformer网络学习方法有助于提高弱监督图像的语义分割性能。     

结合超分辨率和域适应的遥感图像语义分割方法

基于卷积神经网络的图像语义分割方法依赖于有真实标签的监督学习,但不能很好地推广到来源不同的无标签数据集中,目前无监督域适应给出了解决无标签目标域数据和有标签源域数据特征分布不一致的思路.但是在遥感图像处理领域,当源域和目标域的空间分辨率不相同时,无监督域适应方法应用效果不佳.本文结合图像超分辨率设计了一个新的端到端语义分割深度网络——结合超分辨率和域适应的语义分割模型(Semantic Segmentation Model Combining Super Resolution and Domain Adaption,SSM-SRDA),它可以缩小低分辨率源域和高分辨率目标域遥感图像的空间分辨率差异和特征分布差异,并完成无监督超分辨率和域适应语义分割任务.SSM-SRDA模型包括三个部分:结合超分辨率的语义分割网络,将低分辨率的源域图像通过超分辨率模块生成带有目标域风格的高分辨率图像,缩小空间分辨率差异的同时帮助特征提取网络学习域不变特征,并通过特征相似性FA-Loss模块增强语义分割深层网络高分辨率特征的细节结构信息;像素级域判别器,用来缩小超分辨后源域和目标域间的像素级特征差异;输出...     

显著性引导及不确定性监督的深度编解码网络

基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能.然而,网络在特征提取过程中丢失了部分空间细节信息,影响了分割精度.另一方面,在多模态的医学图像语义分割任务中,这些模型的泛化能力和鲁棒性不理想.针对以上问题,本文提出一种显著性引导及不确定性监督的深度卷积编解码网络,以解决多模态医学图像语义分割问题.该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数.首先,通过显著性检测网络生成显著图,初步定位图像中的目标区域;然后,根据显著图计算不确定分类的像素点集合,生成不确定概率图;最后,将显著图和不确定概率图与原图像一同送入多尺度特征融合网络,引导网络关注目标区域特征的学习,同时增强网络对不确定分类区域和复杂边界的表征能力,以提升网络的分割性能.实验结果表明,本文算法能够捕获更多的语义信息,在多模态医学图像语义分割任务中优于其他的语义分割算法,并具有较好的泛化能力和鲁棒性.     

多尺度深度监督的高度近视萎缩病变分割方法

为提升眼底图像的高度近视萎缩病变分割精度,针对不同个体的眼底图像质量良莠不齐及因萎缩病变与相邻组织之间边界较为模糊等引起分割困难的问题,提出具有多尺度深度监督思想的高度近视萎缩病变分割方法。首先开发优化算法使得眼底图像组织结构清晰、风格统一,降低复杂特征的区分难度。由于利用V-Net只能够得到较低的分割精度,因此,通过融合高层与低层的特征形成多尺度特征学习的MS-V-Net,能够提取不同尺度图像中语义信息。更为重要的是,最终对MS-V-Net每个多尺度模块的深度监督形成紧密监督的MSS-V-Net,与原始 V-Net 分割方法相比,提高了网络对重要语义信息的判别性及泛化性能力。实验结果表明,本文方法的Dice盒图呈现出异常值变少,中位数变大,盒子长度变短,上下间隔变小,盒外的2条线变短的趋势,说明有效提升了高度近视萎缩病变图像的分割精度。     

基于域对抗学习的可泛化虚假人脸检测方法研究

随着生成式对抗网络(generative adversarial networks,GAN)的快速发展,虚假人脸生成技术取得了显著进展.为了降低以假乱真的人脸生成技术给社会带来的危害,虚假人脸鉴别成为一个非常重要的课题,吸引了国内外研究者的广泛关注.然而,目前虚假人脸鉴别的研究工作相对较少,仍然有许多问题需要被解决.其中如何提升鉴别模型的迁移泛化能力是至关重要的问题,也是虚假人脸检测任务能否实际投入使用的关键所在.如何提升虚假人脸鉴别方法的泛化能力,即做到在没有见过的生成方法产生的数据上仍然准确有效非常重要.对此,提出了基于域对抗学习的可泛化虚假人脸检测模型,通过引入领域对抗分支,弱化特征提取器对于特定生成模型非鲁棒性特征的提取,模型能够抽取鲁棒性更强、泛化能力更高的特征,从而在没有见过的生成方法产生的虚假人脸图片上具有更好的鉴别表现.实验结果表明:所提出的方法能够提升鉴别模型的泛化能力,显著提升虚假人脸鉴别模型在未知生成模型产生的虚假图像上的性能.     

基于弱监督学习的医学图像分割方法研究

为提升针对医学图像的弱监督语义分割性能,本文从种子线索的生成出发,在CAM网络训练中引入多空洞卷积率的空洞卷积,以从图像级别的标注中产生密集位置预测,扩大响应范围.实验证明本文提出的分割模型在CAMELYON16数据集上能得到10个百分点的提升,并通过实验结果图证明本文模型可在仅有图像及标签已知的情况下为医生的诊断提供...     

多源域混淆的双流深度迁移学习

目的 针对深度学习严重依赖大样本的问题,提出多源域混淆的双流深度迁移学习方法,提升了传统深度迁移学习中迁移特征的适用性。方法 采用多源域的迁移策略,增大源域对目标域迁移特征的覆盖率。提出两阶段适配学习的方法,获得域不变的深层特征表示和域间分类器相似的识别结果,将自然光图像2维特征和深度图像3维特征进行融合,提高小样本数据特征维度的同时抑制了复杂背景对目标识别的干扰。此外,为改善小样本机器学习中分类器的识别性能,在传统的softmax损失中引入中心损失,增强分类损失函数的惩罚监督能力。结果 在公开的少量手势样本数据集上进行对比实验,结果表明,相对于传统的识别模型和迁移模型,基于本文模型进行识别准确率更高,在以DenseNet-169为预训练网络的模型中,识别率达到了97.17%。结论 利用多源域数据集、两阶段适配学习、双流卷积融合以及复合损失函数,构建了多源域混淆的双流深度迁移学习模型。所提模型可增大源域和目标域的数据分布匹配率、丰富目标样本特征维度、提升损失函数的监督性能,改进任意小样本场景迁移特征的适用性。     

基于域自适应均值网络的素描人脸识别方法

针对素描图像和光学图像间模态差异大，以及传统深度学习方法在少量训练数据情况下易过拟合的问题，提出一种基于域自适应均值网络的素描人脸识别方法。该方法设计元学习训练策略将学习水平从数据提升至任务，来提升模型的泛化能力；提出一种均值损失来辅助特征提取器提取判别性特征；在训练集的素描图像域和光学图像域之间引入一种域自适应模块来减少二者模态差异。在UoM-SGFS素描人脸数据库和e-PRIP素描人脸数据库上进行实验，结果表明该方法优于其他算法。     

基于CLIP和双空间自适应归一化的图像翻译

现有的图像翻译方法大多依赖数据集域标签来完成翻译任务,这种依赖往往限制了它们的应用范围。针对完全无监督图像翻译任务的方法能够解决域标签的限制问题,但是普遍存在源域信息丢失的现象。为了解决上述2个问题,提出一种基于对比学习语言-图像预训练(CLIP)的无监督图像翻译模型。首先,引入CLIP相似性损失对图像的风格特征施加约束,以在不使用数据集域标签的情况下增强模型传递图像风格信息的能力和准确性;其次,对自适应实例归一化(AdaIN)进行改进,设计一个新的双空间自适应归一化(DSAdaIN)模块,在特征的风格化阶段添加网络的学习和自适应交互过程,以加强对内容源域信息的保留;最后,设计一个鉴别器对比损失来平衡对抗网络损失的训练和优化过程。在多个公开数据集上的实验结果表明,与Star GANv2、Style DIS等模型相比,该模型可在准确传递图像风格信息的同时保留一定的源域信息,且在定量评估指标FID分数和KID分数上分别提升了近3.35和0.57×10²,实现了较好的图像翻译性能。     

单域泛化X-ray乳腺肿瘤检测

目的 由于乳腺肿瘤病灶的隐蔽性强且极易转移,目前采用医学辅助诊断（computer-aided diagnosis,CAD）来尽早地发现肿瘤并诊断。然而,医学图像数据量少且标注昂贵,导致全监督场景下的基于深度学习的X-ray乳腺肿瘤检测方法的性能非常有限,且模型泛化能力弱;此外,噪声产生的域偏移（domain shift）也降低了不同环境下肿瘤检测的性能。针对上述挑战,提出一种单域泛化X-ray乳腺肿瘤检测方法。方法 提出了一种单域泛化模型（single-domain generalization model, SDGM）进行X-ray乳腺肿瘤检测,采用ResNet-50(residual network-50)作为主干特征提取网络,设计了域特征增强模块（domain feature enhancement module, DFEM）来有效融合上采样与下采样中的全局信息以抑制噪声,然后在检测头处设计了实例泛化模块（instance generalization module,IGM）,对每个实例的类别语义信息进行正则化与白化处理来提升模型的泛化性能,通过学习少量的有标注医学图像对不可预...     

多描述子活动轮廓模型的医学图像分割

目的 医学图像分割结果可帮助医生进行预测、诊断及制定治疗方案。医学图像在采集过程中受多种因素影响,同一组织往往具有不同灰度,且伴有强噪声。现有的针对医学图像的分割方法,对图像的灰度分布描述不够充分,不足以为精确的分割图像信息,且抗噪性较差。为实现医学图像的精确分割,提出一种多描述子的活动轮廓（MDAC）模型。方法 首先,引入图像的熵,结合图像的局部均值和方差共同描述图像的灰度分布。其次,在贝叶斯框架下,引入灰度偏移因子,建立活动轮廓模型的能量泛函。最后,利用梯度下降流法得到水平集演化公式,演化的最后在完成分割的同时实现偏移场的矫正。结果 利用合成图像和心脏、血管和脑等医学图像进行了仿真实验。利用MDAC模型对加噪的灰度不均图像进行分割,结果显示,在完成精确分割的同时实现了纠偏。通过对比分割前后图像的灰度直方图,纠偏图像只包含对应两相的两个峰,且界限更加清晰;与经典分割算法进行对比,MDAC在视觉效果和定量分析中,分割效果最好,比LIC的分割精度提高了30%多。结论 实验结果表明,利用均值、方差和局部熵共同描述图像灰度分布,保证了算法的精度。局部熵的引入,在保证算法精度的同时,提高了算法的抗噪性。能泛中嵌入偏移因子,保证算法精确分割的同时实现偏移场纠正,进一步提高分割精度。     

用于CD56图像分割的细胞标注精细化与自适应加权损失

CD56是神经细胞黏附分子,可用于多种肿瘤细胞的诊断与研究。CD56是目前最新的肿瘤分子标记物之一,计算机医学图像处理领域目前对CD56图像的研究刚刚起步。随着诸如语义分割深度学习技术的发展,越来越多的研究人员将语义分割技术应用到医学图像处理中,以实现辅助医疗诊断。CD56图像中的背景、阴性细胞和阳性细胞像素点个数的比例非常不平衡,大致为70∶10∶1,这会影响语义分割技术用于CD56图像分割的效果。对不同类别的像素点添加损失权重且对每个像素点添加自适应权重,改进了相关语义分割模型的损失函数,使得模型能更关注细胞,特别是阳性细胞。同时使用聚类的方法,在模型训练之前精细化对CD56图像的标注,进一步提升了模型的分割精度。针对CD56图像数据集的实验结果表明,对图像标注的精细化和对相关语义分割模型的损失函数的改进有效提升了模型对CD56图像的分割精度。     

EnGAN：医学图像分割中的增强生成对抗网络

原始采集的医学图像普遍存在对比度不足、细节模糊以及噪声干扰等质量问题,使得现有医学图像分割技术的精度很难达到新的突破。针对医学图像数据增强技术进行研究,在不明显改变图像外观的前提下,通过添加特定的像素补偿和进行细微的图像调整来改善原始图像质量问题,从而提高图像分割准确率。首先,设计引入了一个新的优化器模块,以产生一个连续分布的空间作为迁移的目标域,该优化器模块接受数据集的标签作为输入,并将离散的标签数据映射到连续分布的医学图像中;其次,提出了一个基于对抗生成网络的EnGAN模型,并将优化器模块产生的迁移目标域用来指导对抗网络的目标生成,从而将改善的医学图像质量知识植入模型中实现图像增强。基于COVID-19数据集,实验中使用U-Net、U-Net+ResNet34、U-Net+Attn Res U-Net等卷积神经网络作为骨干网络,Dice系数和交并比分别达到了73.5%和69.3%、75.1%和70.5%,以及75.2%和70.3%。实验的结果表明,提出的医学图像质量增强技术在最大限度保留原始特征的条件下,有效地提高了分割的准确率,为后续的医学图像处理研究提供了一个更为稳健和高效的解决方案。     

A scalable region-based level set method using adaptive bilateral filter for noisy image segmentation

Image segmentation plays an important role in the computer vision . However, it is extremely challenging due to low resolution, high noise and blurry boundaries. Recently, region-based models have been widely used to segment such images. The existing models often utilized Gaussian filtering to filter images, which caused the loss of edge gradient information. Accordingly, in this paper, a novel local region model based on adaptive bilateral filter is presented for segmenting noisy images. Specifically, we firstly construct a range-based adaptive bilateral filter, in which an image can well be preserved edge structures as well as resisted noise. Secondly, we present a data-driven energy model, which utilizes local information of regions centered at each pixel of image to approximate intensities inside and outside of the circular contour. The estimation approach has improved the accuracy of noisy image segmentation. Thirdly, under the premise of keeping the image original shape, a regularization function is used to accelerate the convergence speed and smoothen the segmentation contour. Experimental results of both synthetic and real images demonstrate that the proposed model is more efficient and robust to noise than the state-of-art region-based models.

     

结合分段频域和局部注意力的超声甲状腺分割

目的 超声检查是诊断甲状腺疾病的主要影像学方法之一,但由于超声图像中斑点强度具有随机性、组织器官复杂等问题,导致甲状腺在不同数据源间的形态、大小和纹理差异性较大,容易导致观察者视觉疲劳。针对甲状腺超声成像存在斑点强度随机性以及周边组织复杂性的问题,为了更准确地描述出器官与病理性病变的解剖边界,提出一种基于频域增强和局部注意力机制的甲状腺超声分割网络。方法 针对原始数据采用高低通滤波器获取高低频段的图像信息,整合高频段细节特征与低频段边缘特征,增强图像前背景的对比度,降低图像间的差异性。根据卷积网络中网络深度所提取特征信息量的不同,采用局部注意力机制对高低维特征信息进行自适应激活,增强低维特征的细节信息,弱化对非目标区域的关注,增强高维特征的全局信息,弱化冗余信息对网络的干扰,增强前背景分类以及对非显著性目标检测的能力。采用金字塔级联空洞卷积获取不同感受野的特征信息,解决数据源间图像差异较大的问题。结果 实验结果表明,本文方法在11~16 MHz时采集的16个手绘甲状腺超声公开数据集中,通过10折交叉验证显示准确率为0.989,召回率为0.849,精准率为0.940,Dice系数为0.812,效果优于当前其他医学图像分割网络。通过消融实验,证明本文的几个模块对超声图像分割确实具有一定的提升效果。结论 本文所提分割网络,结合深度学习模型及传统图像处理模型的优点,能较好地处理超声图像随机斑点并且提升非显著性组织分割效果。     

Random forest-based scheme using feature and decision levels information for multi-focus image fusion

Often captured images are not focussed everywhere. Many applications of pattern recognition and computer vision require all parts of the image to be well-focussed. The all-in-focus image obtained, through the improved image fusion scheme, is useful for downstream tasks of image processing such as image enhancement, image segmentation, and edge detection. Mostly, fusion techniques have used feature-level information extracted from spatial or transform domain. In contrast, we have proposed a random forest (RF)-based novel scheme that has incorporated feature and decision levels information. In the proposed scheme, useful features are extracted from both spatial and transform domains. These features are used to train randomly generated trees of RF algorithm. The predicted information of trees is aggregated to construct more accurate decision map for fusion. Our proposed scheme has yielded better-fused image than the fused image produced by principal component analysis and Wavelet transform-based previous approaches that use simple feature-level information. Moreover, our approach has generated better-fused images than Support Vector Machine and Probabilistic Neural Network-based individual Machine Learning approaches. The performance of proposed scheme is evaluated using various qualitative and quantitative measures. The proposed scheme has reported 98.83, 97.29, 98.97, 97.78, and 98.14 % accuracy for standard images of Elaine, Barbara, Boat, Lena, and Cameraman, respectively. Further, this scheme has yielded 97.94, 98.84, 97.55, and 98.09 % accuracy for the real blurred images of Calendar, Leaf, Tree, and Lab, respectively.     

基于改进能量泛函模型的噪声图像分割算法

针对噪声图像的分割难,分割不准确,以及现有模型无法适应多种噪声环境的问题,提出了一种基于改进的能量泛函模型的噪声图像分割算法,该算法结合各向异性扩散方程和灰度水平集算法,通过对能量泛函的改进实现对噪声图像的准确、快速分割。将非凸泛函引入能量泛函模型,并通过证明不存在全局最小值,利用获得的能量泛函模型得到光滑的目标图像边界。将各向异性扩散模型得到的光滑图像与水平集模型相结合,得到改进的能量泛函模型。通过求解在能量泛函的最小值,得到前景目标的水平集演化的最佳位置。该算法与同类模型的对比实验表明该模型对噪声图像具有较高的分割精度和鲁棒性。     

语义分割和HSV色彩空间引导的低光照图像增强

目的 低光照图像增强是图像处理中的基本任务之一。虽然已经提出了各种方法,但它们往往无法在视觉上产生吸引人的结果,这些图像存在细节不清晰、对比度不高和色彩失真等问题,同时也对后续目标检测、语义分割等任务有不利影响。针对上述问题,提出一种语义分割和HSV（hue,saturation and value）色彩空间引导的低光照图像增强方法。方法 首先提出一个迭代图像增强网络,逐步学习低光照图像与增强图像之间像素级的最佳映射,同时为了在增强过程中保留语义信息,引入一个无监督的语义分割网络并计算语义损失,该网络不需要昂贵的分割注释。为了进一步解决色彩失真问题,在训练时利用HSV色彩空间设计HSV损失;为了解决低光照图像增强中出现细节不清晰的问题,设计了空间一致性损失,使增强图像与对应的低光照图像尽可能细节一致。最终,本文的总损失函数由5个损失函数组成。结果 将本文方法与LIME（low-light image enhancement）、RetinexNet（deep retinex decomposition）、EnlightenGAN（deep light enhancement using generative adversarial networks）、Zero-DCE（zero-reference deep curve estimation）和SGZ（semantic-guided zero-shot learning）5种方法进行了比较。在峰值信噪比（peak signal-to noise ratio,PSNR）上,本文方法平均比Zero-DCE（zero-reference deep curve estimation）提高了0.32dB;在自然图像质量评价（natural image quality evaluation,NIQE）方面,本文方法比EnlightenGAN提高了6%。从主观上看,本文方法具有更好的视觉效果。结论 本文所提出的低光照图像增强方法能有效解决细节不清晰、色彩失真等问题,具有一定的应用价值。