基于u-wordMixup的半监督深度学习模型

当标注样本匮乏时,半监督学习利用大量未标注样本解决标注瓶颈的问题,但由于未标注样本和标注样本来自不同领域,可能造成未标注样本存在质量问题,使得模型的泛化能力变差,导致分类精度下降.为此,基于wordMixup方法,提出针对未标注样本进行数据增强的u-wordMixup方法,结合一致性训练框架和Mean Teacher模型,提出一种基于u-wordMixup的半监督深度学习模型(semi-supervised deep learning model based on u-wordMixup,SD-uwM).该模型利用u-wordMixup方法对未标注样本进行数据增强,在有监督交叉熵和无监督一致性损失的约束下,能够提高未标注样本质量,减少过度拟合.在AGNews、THUCNews和20 Newsgroups数据集上的对比实验结果表明,所提出方法能够提高模型的泛化能力,同时有效提高时间性能.     

面向3维心脏MRI分割的半监督双任务交叉一致性约束网络

目的 针对人体组织器官及病灶区域的3维图像分割是计算机辅助医疗诊断的重要前提,是医学影像3维可视化的重要技术基础。深度学习方法在医学图像分割任务中的成功通常取决于大量有标注数据。半监督学习利用未标注数据容易获取的优点,在模型训练过程中使用少量标注数据和大量未标注数据进行学习,缓解了数据标注昂贵耗时的问题,在医学图像分割中受到了广泛关注。为更好地利用无标注数据,提升医学图像分割效果,提出一种新的一致性正则方法用于半监督3维医学图像分割。方法 模型以V-Net为基础架构,通过扩展网络结构,在均带有分割任务及回归任务属性的双任务主副解码器之间添加了用于正则化约束的交叉损失,构建了具有形状感知的基于双任务的交叉一致性正则网络SACC-Net(shape-aware cross-consistency regular network based on dual tasks),实现将数据层面和模型层面的扰动融合进多任务机制的一致性正则方法,使模型能够更好地利用未标注数据的有效先验信息,并且具有更好的泛化性能。结果 在MICCAI 2018(Medical Image Computing and C...     

基于双模型交互学习的半监督医学图像分割

在医学图像中,器官或病变区域的精准分割对疾病诊断等临床应用有着至关重要的作用,然而分割模型的训练依赖于大量标注数据.为减少对标注数据的需求,本文主要研究针对医学图像分割的半监督学习任务.现有半监督学习方法广泛采用平均教师模型,其缺点在于,基于指数移动平均(Exponential moving average, EMA)的参数更新方式使得老师模型累积学生模型的错误知识.为避免上述问题,提出一种双模型交互学习方法,引入像素稳定性判断机制,利用一个模型中预测结果更稳定的像素监督另一个模型的学习,从而缓解了单个模型的错误经验的累积和传播.提出的方法在心脏结构分割、肝脏肿瘤分割和脑肿瘤分割三个数据集中取得优于前沿半监督方法的结果.在仅采用30%的标注比例时,该方法在三个数据集上的戴斯相似指标(Dice similarity coefficient, DSC)分别达到89.13%, 94.15%, 87.02%.     

基于图卷积网络的谣言鉴别研究

随着大数据时代的演进,互联网中的谣言成井喷状涌现。目前网络谣言鉴别方法中,基于监督学习的模型在训练过程中需要大量标注数据,同时网络谣言的人工标注用时较长,故提出采用半监督学习的图卷积神经网络,可有效利用无标注数据。通过在有标注节点上训练模型,更新所有节点共享的权重矩阵,将有标注节点信息传播给无标注节点,同时解决监督学习模型泛化能力不强和无监督学习模型不稳定的问题。与基于SVM算法、逻辑回归算法和BiLSTM模型的三种网络谣言鉴别方法相比,该方法在召回率、F1值两个评价指标上分别达到86.1%、85.3%,进一步提升了网络谣言鉴别的准确性和稳定性。该方法可有效减少人工标注代价,鉴别社交媒体和网络新闻中的谣言,为网络谣言的治理提供新思路。     

面向电网设备故障报告的半监督命名实体识别方法

针对电网领域命名实体识别(NER)对人工标注的依赖问题,提出了一种面向电网设备故障报告的半监督命名实体识别方法Semi-supervised PGTBC.首先使用基于多头自注意力机制的深度自注意力网络进行特征抽取,然后结合双向长短记忆神经网络(BiLSTM)和条件随机场模型(CRF)建立电网领域命名实体识别模型,最后基于半监督思想,引入基于深度自注意力网络的实体类别综合描述相似度计算,结合PGTBC的置信度作为半监督阈值筛选依据,减少对电网设备故障报告实体标注的依赖.数据集使用来源于1256篇的电网故障报告的10301条标注样本数和30829条无标注样本数.在有标注电网领域数据上的实验结果表明,基于PGTBC模型的预测F1为96.43％,相对于传统的BiLSTM-CRF模型提高了7.09个百分点.在无标注样本上,半监督方法Semi-supervised PGTBC取得了93.16％的F1,相对半监督CRF模型的F1提高了23.4个百分点,并对无标注样本进行了自动标注,识别出1661条新实体,有效减少电网设备故障报告命名实体任务对人工标注的依赖.     

基于跨任务一致性的半监督肝脏CT图像分割

目前基于深度学习的医学图像分割方法往往需要大量带标记数据训练网络模型,然而医学影像的标记数据获取通常非常昂贵,半监督学习能使模型利用大量未标记数据和少量标记数据学习。该文提出了一种基于跨任务一致性的半监督学习框架来降低神经网络模型训练时需要的标记数据成本。该方法利用V-Net网络作为主干框架并添加两个辅助解码器,同时在解码器中引入一个辅助回归任务,提高模型分割性能,并在主副解码器的分割任务和回归任务之间施加正则化约束的跨任务一致性损失,该框架能够学习到大量未标记数据的几何先验信息。在LiTS2017 Challenges数据集上验证了该方法的有效性。在使用20%标记数据的实验中,该方法的Dice系数和Jaccard指数分别达到了93.95%和88.87%,相比全监督V-Net网络模型训练下的Dice系数和Jaccard系数分别提高了3.60百分点和5.78百分点。实验结果表明,该方法在使用少量带标记数据情况下达到接近100%带标记数据训练分割肝脏的精度,与其他的半监督方法相比分割精度更优。     

基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

面向医学图像分割的半监督条件生成对抗网络

医学图像分割是计算机辅助诊断的关键技术.青光眼作为全球第二大致盲眼病,其早期筛查和临床诊断依赖于眼底图的视盘和视杯的准确分割.但传统的视盘和视杯分割方法采用人工构建特征,模型泛化能力差.近年来,基于卷积神经网络的端对端学习模型可通过自动发现特征来分割视盘和视杯,但由于标注样本有限,模型难以训练.提出一个基于半监督条件生成对抗网络的视盘和视杯两阶段分割模型——CDR-GANs.该模型的每个分割阶段均由语义分割网络、生成器和判别器构成,通过对抗学习,判别器引导语义分割网络和生成器学习眼底图及其分割图的联合概率分布.在真实数据集ORIGA上的实验结果表明,CDR-GANs在均交并比（mean intersection over union,简称MIoU）、CDR绝对误差（absolute CDR error）和实际分割效果这些指标上明显优于现有模型.     

结合伪标签生成与噪声标签学习的弱监督点云分割

针对当前基于深度学习的点云分割技术对点级别标注训练数据的依赖问题,提出一种基于伪标签生成与噪声标签学习的弱监督点云分割框架.首先,利用点云具有非局部相似性的特点,基于局部-非局部图对点云数据进行建模;其次,基于关系图卷积网络,以半监督的方式为稀疏标注的点云训练集数据生成高质量的伪标签;最后,针对生成的伪标签中存在噪声标签的问题,设计一种利用含噪声标签数据准确训练现有点云分割网络的渐进式噪声鲁棒损失函数.在ShapeNet Part与S3DIS等公开点云分割数据集上的实验结果表明,该框架在推理阶段不增加模型额外运算量的情况下,当使用10%的标签时,在ShapeNet Part数据集上的分割精度与全监督方法相差0.1%;当使用1%的标签时,在S3DIS数据集上的分割精度与全监督方法相差5.2%.     

基于集成学习的半监督情感分类方法研究

情感分类旨在对文本所表达的情感色彩类别进行分类的任务。该文研究基于半监督学习的情感分类方法,即在很少规模的标注样本的基础上,借助非标注样本提高情感分类性能。为了提高半监督学习能力,该文提出了一种基于一致性标签的集成方法,用于融合两种主流的半监督情感分类方法:基于随机特征子空间的协同训练方法和标签传播方法。首先,使用这两种半监督学习方法训练出的分类器对未标注样本进行标注;其次,选取出标注一致的未标注样本;最后,使用这些挑选出的样本更新训练模型。实验结果表明,该方法能够有效降低对未标注样本的误标注率,从而获得比任一种半监督学习方法更好的分类效果。     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

基于局部-全局自适应信息学习的脑肿瘤磁共振图像分割

针对脑肿瘤磁共振成像(MRI)勾画数据少、类别不平衡以及各个私有的数据库具有较大差异导致脑肿瘤MRI图像分割困难的问题,提出了一种基于局部—全局自适应信息学习(ALGIL)分割算法.该方法只需要少量的勾画数据,解决了传统监督学习中对勾画数据数量的依赖问题.通过融合图像的空间域信息和频域信息,利用小波变换将图像从空间域转...     

基于局部-全局一致性学习的弱监督人手分割

随着可穿戴设备的日益普及,人的上肢行为数据急剧增长,而自然场景下的人手分割研究较少。针对现有的算法对手工设计特征、像素级标签、设备、环境等的依赖,造成的精度有限或设备、人工标注成本较高的问题,提出一种弱监督人手分割算法,并将其应用到人手操作行为分割中。在像素级标签的源数据集上,利用全卷积神经网络(FCN)预训练。在只有类别标签的目标数据集上,实现基于超像素的局部-全局一致性学习的分割优化,进而实现FCN网络训练和分割优化的交替迭代。使用全连接条件随机场(CRF)进行后处理。提出基于边界框的弱监督分割,以及半监督分割方法。与其他方法的对比实验表明,该方法具有较高的召回率和区域交叠率。     

基于深度学习的医学影像分割研究综述

医学影像分割是计算机辅助诊断中的一项基础且关键的任务,目的在于从像素级别准确识别出目标器官、组织或病变区域。不同于自然场景下的图像,医学影像往往纹理复杂,同时受限于成像技术和成像设备,医学影像噪声大,边界模糊而不易判断。除此之外,对医学影像进行标注极大依赖于医疗专家的认知和经验,因此可用于训练中的标注数据少且存在标注误差。由于上述的医学影像边缘模糊不清、训练数据较少和标注误差较大等特点,基于传统图像分割算法搭建的辅助诊断系统难以满足临床应用的要求。近年来随着卷积神经网络（CNN）在计算机视觉和自然语言处理领域的广泛应用,基于深度学习的医学影像分割算法取得了极大的成功。首先概述了近几年基于深度学习的医学影像分割的研究进展,包括这些医学影像分割算法的基本结构、目标函数和优化方法。随后针对医学影像标注数据有限的问题,对目前半监督条件下医学影像分割的主流工作进行了整理归纳和分析。此外,还介绍了针对标注误差进行不确定度分析的相关工作。最后,总结分析了深度学习医学影像分割的特点并展望了未来的研究趋势。     

基于边缘增强的遥感图像弱监督语义分割方法

随着弱监督学习被应用于遥感图像语义分割,大大降低了模型训练的数据成本。然而,由于监督信息不足,类激活图难以准确激活出遥感图像中不同尺度大小的目标,这使得基于类激活图获得的伪分割掩码边缘粗糙,从而导致最终的分割结果不准确。此外,大部分的弱监督语义分割方法都是基于可视化的两阶段方法,模型复杂繁琐。针对上述问题,设计了一种基于边缘增强的端到端弱监督语义分割网络。在特征空间边缘增强模块中,以自监督方式引导网络学习遥感图像中尺寸不一的目标,并且,细化伪分割掩码的边缘;在输出空间边缘增强模块中,通过端到端训练提升分割精度,同时降低模型训练的繁琐度。在ISPRS 2D数据集上的实验结果表明,该方法在仅使用图像级标签的情况下MIoU分别为57.72%和59.45%,与其他方法相比,效果较好。     

基于多影像中心磁共振成像数据的半监督膝盖异常分类

针对大量数据手工标记的繁重性和单一影像中心磁共振成像(MRI)数据的有限性问题,提出了一种利用多影像中心有标签与无标签MRI数据的用于磁共振的半监督学习(MRSSL)方法,并将其应用在膝盖异常分类任务中.首先,运用了数据扩增方法来提供模型所需的归纳偏置;接着,融合了分类损失项和一致性损失项来约束人工神经网络并使之从数据...     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络(CNN)在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution(SSSConv);该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

基于反绎学习的裁判文书量刑情节识别

针对司法领域标记数据匮乏、标注质量不高、存在强逻辑性导致裁判文书量刑情节识别效果不佳的问题,提出一种基于反绎学习的量刑情节识别模型ABL-CON。首先结合神经网络与领域逻辑推理,通过半监督学习方法,使用置信学习方法表征情节识别置信度;然后修正无标签数据经过神经网络产生的不合逻辑的错误情节,重新训练识别模型,以提高识别精度。在自构建的司法数据集上的实验结果表明,使用50%标注数据与50%无标注数据的ABL-CON模型在Macro_F1值和Micro_F1值上分别达到了90.35%和90.58%,优于同样条件下的BERT和SS-ABL,也超越了使用100%标注数据的BERT模型。ABL-CON模型通过逻辑反绎修正不符合逻辑的标签能够有效提高标签的逻辑合理性以及标签的识别能力。     

面向手术器械语义分割的半监督时空Transformer网络

基于内窥镜的微创手术机器人在临床上的应用日益广泛,为医生提供内窥镜视频中精准的手术器械分割信息,对提高医生操作的准确度、改善患者预后有重要意义.现阶段,深度学习框架训练手术器械分割模型需要大量精准标注的术中视频数据,然而视频数据标注成本较高,在一定程度上限制了深度学习在该任务上的应用.目前的半监督方法通过预测与插帧,可...     

噪声可容忍的标记组合半监督学习算法

针对传统机器学习方法在完成分类任务时多数存在人工标记成本较高、泛化能力较弱的问题,提出一种标记组合半监督学习算法。基于集成学习的思想,利用有标记数据训练多个弱模型并进行组合,增强模型的泛化能力。对无标记数据进行预测,生成有噪声的标记并组合建模。在风险最小化的框架下,使模型收敛达到最优。实验结果表明,在2种有监督场景下与现有的支持向量机、分类与回归树、神经网络等算法相比,该算法具有较优的泛化能力。