C2 Transformer U-Net:面向跨模态和上下文语义的医学图像分割模型

跨模态的医学图像可以在同一病灶处提供更多的语义信息,针对U-Net网络主要使用单模态图像用于分割,未充分考虑跨模态、上下文语义相关性的问题,该文提出面向跨模态和上下文语义的医学图像分割C2 Transformer U-Net模型。该模型的主要思想是:首先,在编码器部分提出主干、辅助U-Net网络结构,来提取不同模态的语义信息;然后,设计了多模态上下文语义感知处理器(MCAP),有效地提取同一病灶跨模态的语义信息,跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器,增强模型对病灶的表达能力;其次,在编-解码器中采用预激活残差单元和Transformer架构,一方面提取病灶的上下文特征信息,另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息;最后,使用临床多模态肺部医学图像数据集验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的Acc, Pre, Recall, Dice, Voe与Rvd分别为:97.95%, 94.94%, 94.31%, 96.98%, 92.57%与93.35%。对于形状复杂肺部病灶的分割,具有较高的精度和相对较低的冗余度,总体上优于现有的先进方法。     

一种基于GMM的图像语义标注方法

针对图像语义概念具体语义描述的问题,提出了一种基于GMM的图像语义标注方法。该方法对于每一个语义概念分别建立基于颜色特征和纹理特征的GMM模型,利用EM算法获取关键词内容,最后融合两个GMM模型求取的概率排序结果,对未知图像进行标注。实验结果表明,提出的方法能够准确地为待标注的图像预测出若干文本关键字,有效提高图像标注的查准率和查全率。     

基于潜在主题融合的跨媒体图像语义标注

图像语义标注是图像语义分析研究中的一个重要问题.在主题模型的基础上,本文提出一种新颖的跨媒体图像标注方法来进行图像间语义的传播.首先,对训练图像使用主题模型,抽取视觉模态和文本模态信息的潜在语义主题.然后,通过使用一个权重参数来融合两种模态信息的主题分布,从而学习到一种融合主题分布.最后,在融合主题分布的基础上训练一个标注模型来给目标图像赋予合适的语义信息.在标准的MSRC和Corel5K数据集上将提出的方法与最近著名的标注方法进行比较实验.标注性能的详细评价结果表明提出方法的有效性.     

基于堆叠交叉注意力的图像文本跨模态匹配方法

图像文本跨模态匹配是计算机视觉与自然语言处理交叉领域的一项重要任务,然而传统的图像文本跨模态匹配方法要么只考虑到全局图像与全局文本匹配,要么只考虑到局部图像与局部文本匹配,无法全面有效的考虑局部和全局信息,导致提取出来的特征信息不完善.或者只是简单的对全局图像与全局文本特征进行提取,局部细节信息无法凸显,导致全局特征无...     

面向图像语义分析的JSEG改进分割算法

JSEG算法是一种经典的被广泛应用于图像处理的图像分割算法,但是它存在着严重的过分割问题,因而不适用于对图像的语义分析处理。针对这个问题提出了两个方面的改进,一是改进了原算法中初始种子点的选取方法,二是在区域聚合过程中增加考虑了区域纹理特征的信息。实验表明,改进后的方法有效地改善了原算法中的过分割现象,分割后的图像区域更加符合对图像进行语义分析的要求。     

一种基于潜在语义分析的迁移学习方法

迁移学习是研究如何利用大量的源领域标记数据,帮助少量标记甚至无标记的相关领域来解决特征稀疏问题的一种方法。针对迁移学习的研究大多只是从特征项表层对数据进行分析并没有考虑到源领域与目标领域之间的语义相关性问题,提出一种基于潜在语义分析的迁移学习方法。通过实验表明,本文算法可以较大提高分类器的精确度。     

基于粒子群算法寻最优属性关联下的零样本语义自编码器

针对零样本图像分类构建共享属性层时造成的信息缺失问题,该文提出一种嵌入属性关联性的补偿方法。通过语义自编码器构建特征到属性的映射,然后以最大后验概率估计在类高斯模型构建的基础上实现零样本图像分类。为弥补SAE对属性关系学习的不足,引入加性因子与乘性因子对属性相关性进行嵌入,并利用粒子群算法搜寻最优的因子参数,实现属性相...     

基于共享特征相对属性的零样本图像分类

在利用相对属性学习实现零样本图像分类中,现有的方法并没有考虑属性与类别之间的关系,为此该文提出一种基于共享特征相对属性的零样本图像分类方法。该方法采用多任务学习的思想来共同学习类别分类器和属性分类器,获得一个低维的共享特征子空间,挖掘属性与类别之间的关系。同时,利用共享特征来学习属性排序函数,得到基于共享特征的相对属性模型,解决了相对属性学习过程中丢失属性与类别关系的问题。另外,将基于共享特征的相对属性模型用于零样本图像分类中,有效提高了零样本图像分类的识别率。实验数据集上的结果表明,该方法具有较高的相对属性学习性能和零样本图像分类精度。     

基于粒子群算法寻最优属性关联下的零样本语义自编码器

针对零样本图像分类构建共享属性层时造成的信息缺失问题,该文提出一种嵌入属性关联性的补偿方法.通过语义自编码器构建特征到属性的映射,然后以最大后验概率估计在类高斯模型构建的基础上实现零样本图像分类.为弥补SAE对属性关系学习的不足,引入加性因子与乘性因子对属性相关性进行嵌入,并利用粒子群算法搜寻最优的因子参数,实现属性相关性信息的补偿.实验结果表明采取相同映射方法的情况下,基于属性相关性嵌入的零样本图像分类在Pubfig数据集和OSR数据集上的分类效果较之其他方法得到了显著提升.     

基于U-Net和胶囊网络的合成孔径雷达图像语义分割

图像语义分割作为一种像素级分类技术,已应用于合成孔径雷达(SAR)图像的解译领域中.U-Net是一种端到端的图像语义分割网络,具有典型的编码-解码结构.其中,编码部分主要由卷积层和池化层组成,可以有效提取图像中的目标特征,但难以获取目标的位置和方向等信息.胶囊网络是一种能够获取目标姿态(位置、大小、方向)等信息的神经网络,因此,提出了一种基于U-Net和胶囊网络的SAR图像语义分割方法.此外,考虑到SAR图像数据集较小的特点,将U-Net的编码部分设计成视觉几何组(VGG16)结构,将预训练的VGG16模型直接迁移至编码部分.为了验证本方法的有效性,在两个极化SAR图像数据集上开展了建筑物目标的分割实验.结果 表明,相比U-Net,本方法的精确率、召回率、F1分数和交并比更高,且能减少网络模型的训练时间.     

基于迁移学习与权重支持向量机的图像多标签标注算法

为解决图像的多标签自动标注中标签不平衡性的问题,提出了一种基于迁移学习与权重支持向量机的图像自动标注方法。为了解决所选数据集规模较小无法训练出最优的卷积神经网络的问题,文中采用迁移学习的方法,将通过Imagenet数据集训练出的Alexnet的参数迁移到文中所用的卷积神经网络模型中,并对最后一层全连接层进行微调,利用多标签分类多合页损失函数构成多分类的支持向量机。最后,文中对低频标签进行权重排序以得到图像的多标签标注结果。在Corel-5k、Esp-Game和IAPR-TC12共3个数据集上进行了实验,权重支持向量机获得的平均召回率分别提升了10%、9%和6%,低频标签对其平均精确率均提升了12%。实验结果表明,基于迁移学习的权重支持向量机的图像多标签标注方法可在有效提高数据集的召回率的同时提升低频标签的平均精确度。