迁移学习在医学图像分类中的研究进展

医学影像作为医疗数据的主要载体,在疾病预防、诊断和治疗中发挥着重要作用。医学图像分类是医学影像分析的重要组成部分。如何提高医学图像分类效率是一个持续的研究问题。随着计算机技术进步,医学图像分类方法已经从传统方法转到深度学习,再到目前热门的迁移学习。虽然迁移学习在医学图像分类中得到较广泛应用,但存在不少问题,本文对该领域的迁移学习应用情况进行综述,从中总结经验和发现问题,为未来研究提供线索。1)对基于迁移学习的医学图像分类研究的重要文献进行梳理、分析和总结,概括出3种迁移学习策略,即迁移模型的结构调整策略、参数调整策略和从迁移模型中提取特征的策略;2)从各文献研究设计的迁移学习过程中提炼共性,总结为5种迁移学习模式,即深度卷积神经网络(deep convolution neural network, DCNN)模式、混合模式、特征组合分类模式、多分类器融合模式和二次迁移模式。阐述了迁移学习策略和迁移学习模式之间的关系。这些迁移学习策略和模式有助于从更高的抽象层次展现迁移学习应用于医学图像分类领域的情况;3)阐述这些迁移学习策略和模式在医学图像分类中的具体应用,分析这些策略及模式的优点、局...     

深度强化学习中的知识迁移方法研究综述

深度强化学习是人工智能研究中的热点问题，随着研究的深入，其中的短板也逐渐暴露出来，如数据利用率低、泛化能力弱、探索困难、缺乏推理和表征能力等，这些问题极大地制约着深度强化学习方法在现实问题中的应用。知识迁移是解决此问题的非常有效的方法，文中从深度强化学习的视角探讨了如何使用知识迁移加速智能体训练和跨领域迁移过程，对深度强化学习中知识的存在形式及作用方式进行了分析，并按照强化学习的基本构成要素对深度强化学习中的知识迁移方法进行了分类总结，最后总结了目前深度强化学习中的知识迁移在算法、理论和应用方面存在的问题和发展方向。     

基于深度学习的图像风格迁移研究综述

图像风格迁移是一种用不同风格渲染图像语义内容的图像处理方法。随着深度学习的兴起,图像风格迁移获得了进一步的发展,并取得了一系列突破性的研究成果。其出色的风格迁移能力引起了学术界和工业界的广泛关注,具有重要的研究价值。为推进基于深度学习的图像风格迁移的技术研究,本文对目前的主要方法和代表性工作进行了归纳与探讨。首先回顾了非参数的图像风格迁移,详细介绍了目前主要的基于深度学习的图像风格迁移的基本原理和方法,分析了图像风格迁移在相关领域中的应用前景,最后总结了基于深度学习的图像风格迁移目前存在的问题与未来的研究方向。     

命名实体识别的迁移学习研究综述

命名实体识别(NER)是自然语言处理的核心应用任务之一.传统和深度命名实体识别方法严重依赖于大量具有相同分布的标注训练数据,模型可移植性差.然而在实际应用中数据往往都是小数据、个性化数据,收集足够的训练数据是非常困难的.在命名实体识别中引入迁移学习,利用源域数据和模型完成目标域任务模型构建,提高目标领域的标注数据量和降...     

多源域分布下优化权重的无监督迁移学习Boosting方法

深度决策树迁移学习Boosting方法（DTrBoost）可以有效地实现单源域有监督情况下向一个目标域迁移学习,但无法实现多个源域情况下的无监督迁移场景。针对这一问题,提出了多源域分布下优化权重的无监督迁移学习Boosting方法,主要思想是根据不同源域与目标域分布情况计算出对应的KL值,通过比较选择合适数量的不同源域样本训练分类器并对目标域样本打上伪标签。最后,依照各个不同源域的KL距离分配不同的学习权重,将带标签的各个源域样本与带伪标签的目标域进行集成训练得到最终结果。对比实验表明,提出的算法实现了更好的分类精度并对不同的数据集实现了自适应效果,分类错误率平均下降2.4%,在效果最好的marketing数据集上下降6%以上。     

基于交叉层级数据共享的多任务模型

针对多任务学习模型中相关度低的任务之间存在的负迁移现象和信息共享困难问题,提出了一种基于交叉层级数据共享的多任务模型。该模型关注细粒度的知识共享,且能保留浅层共享专家的记忆能力和深层特定任务专家的泛化能力。首先,统一多层级共享专家,以获取复杂相关任务间的公共知识;然后,将共享信息分别迁移到不同层级的特定任务专家之中,从而在上下层之间共享部分公共知识;最后,利用基于数据样本的门控网络自主选择不同任务所需信息,从而减轻样本依赖性对模型的不利影响。相较于多门控混合专家（MMOE）模型,所提模型在UCI census-income数据集上对两个任务的F1值分别提高了7.87个百分点和1.19个百分点;且在MovieLens数据集上的回归任务的均方误差（MSE）值降低到0.004 7,分类任务的AUC值提高到0.642。实验结果表明,所提出的模型适用于改善负迁移现象的影响,且能更高效地学习复杂相关任务之间的公共信息。     

一种基于局部分类精度的多源在线迁移学习算法

近年来,迁移学习得到越来越多的关注.现有的在线迁移学习算法一般从单个源领域迁移知识,然而,当源领域与目标领域相似度较低时,很难进行有效的迁移学习.基于此,提出了一种基于局部分类精度的多源在线迁移学习方法——LC-MSOTL.LC-MSOTL存储多个源领域分类器,计算新到样本与目标领域已有样本之间的距离以及各源领域分类器对其最近邻样本的分类精度,从源领域分类器中挑选局部精度最高的分类器与目标领域分类器加权组合,从而实现多个源领域知识到目标领域的迁移学习.在人工数据集和实际数据集上的实验结果表明,LC-MSOTL能够有效地从多个源领域实现选择性迁移,相对于单源在线迁移学习算法OTL,显示出了更高的分类准确率.     

面向机器人系统的虚实迁移强化学习综述

近年来,基于环境交互的强化学习方法在机器人相关应用领域取得巨大成功,为机器人行为控制策略优化提供一个现实可行的解决方案.但在真实世界中收集交互样本存在高成本以及低效率等问题,因此仿真环境被广泛应用于机器人强化学习训练过程中.通过在虚拟仿真环境中以较低成本获取大量训练样本进行策略训练,并将学习策略迁移至真实环境,能有效缓解真实机器人训练中存在的安全性、可靠性以及实时性等问题.然而,由于仿真环境与真实环境存在差异,仿真环境中训练得到的策略直接迁移到真实机器人往往难以获得理想的性能表现.针对这一问题,虚实迁移强化学习方法被提出用以缩小环境差异,进而实现有效的策略迁移.按照迁移强化学习过程中信息的流动方向和智能化方法作用的不同对象,提出一个虚实迁移强化学习系统的流程框架,并基于此框架将现有相关工作分为3大类:基于真实环境的模型优化方法、基于仿真环境的知识迁移方法、基于虚实环境的策略迭代提升方法,并对每一分类中的代表技术与关联工作进行阐述.最后,讨论虚实迁移强化学习研究领域面临的机遇和挑战.     

浅析迁移对语言学习的影响--以英语学习为例

迁移现象广泛存在于学习过程之中,有正负迁移之分。语言学习受迁移的影响同样是不可避免的,就英语学习而言,母语对英语学习的正负迁移并存。本文主要通过对母语迁移在英语学习中影响的分析,说明迁移在语言学习过程中的重要作用,以及掌握迁移理论的重要意义。     

学习迁移在C++教学中的运用

学习迁移是一种学习对其他学习或行为的影响.本文从学习迁移的概念、分类以及促进策略出发探讨了在C 教学中学习迁移的运用,以提高教学效果.     

一种面向多源领域的实例迁移学习

在迁移学习最大的特点就是利用相关领域的知识来帮助完成目标领域中的学习任务,它能够有效地在相似的领域或任务之间进行信息的共享和迁移,使传统的从零开始的学习变成可积累的学习,具有成本低、效率高等优点.针对源领域数据和目标领域数据分布类似的情况,提出一种基于多源动态TrAdaBoost的实例迁移学习方法.该方法考虑多个源领域知识,使得目标任务的学习可以充分利用所有源领域信息,每次训练候选分类器时,所有源领域样本都参与学习,可以获得有利于目标任务学习的有用信息,从而避免负迁移的产生.理论分析验证了所提算法较单源迁移的优势,以及加入动态因子改善了源权重收敛导致的权重熵由源样本转移到目标样本的问题.实验结果验证了此算法在提高识别率方面的优势.     

基于图像的城市场景垃圾自动检测

基于城市场景照片快速准确地自动检测垃圾在“智慧城管”等应用中具有重要的研究价值。城市垃圾在颜色纹理、几何形态上具有极大的多样性,甚至部分垃圾的认定具有一定的主观性,这给垃圾自动检测带来很大的挑战。文章提出了一种基于高速区域卷积神经网络的垃圾检测方法,通过使用数据融合、数据扩充、迁移学习等方法解决训练样本不足的问题,实现了城市场景图片中垃圾的自动、快速、准确检测。文章最后基于深圳市道路垃圾照片构建了一个包含多种形态类型垃圾的垃圾图片数据库,在该库中垃圾检测准确度高达89.07%。     

一种基于伪标签的深度迁移学习算法

深度学习的成功依赖于海量的训练数据，然而获取大规模有标注的数据并不容易，成本昂贵且耗时；同时由于数据在不同场景下的分布有所不同，利用某一特定场景的数据集所训练出的模型往往在其他场景表现不佳。迁移学习作为一种将知识从一个领域转移到另一个领域的方法，可以解决上述问题。深度迁移学习则是在深度学习框架下实现迁移学习的方法。提出一种基于伪标签的深度迁移学习算法，该算法以ResNet-50为骨干，通过一种兼顾置信度和类别平衡的样本筛选机制为目标域样本提供伪标签，然后进行自训练，最终实现对目标域样本准确分类，在Office-31数据集上的三组迁移学习任务中，平均准确率较传统算法提升5.0%。该算法没有引入任何额外网络参数，且注重源域数据隐私，可移植性强，具有一定的实用价值。     

一种异构直推式迁移学习算法

目标领域已有类别标注的数据较少时会影响学习性能,而与之相关的其他源领域中存在一些已标注数据.迁移学习针对这一情况,提出将与目标领域不同但相关的源领域上学习到的知识应用到目标领域.在实际应用中,例如文本-图像、跨语言迁移学习等,源领域和目标领域的特征空间是不相同的,这就是异构迁移学习.关注的重点是利用源领域中已标注的数据来提高目标领域中未标注数据的学习性能,这种情况是异构直推式迁移学习.因为源领域和目标领域的特征空间不同,异构迁移学习的一个关键问题是学习从源领域到目标领域的映射函数.提出采用无监督匹配源领域和目标领域的特征空间的方法来学习映射函数.学到的映射函数可以把源领域中的数据在目标领域中重新表示.这样,重表示之后的已标注源领域数据可以被迁移到目标领域中.因此,可以采用标准的机器学习方法(例如支持向量机方法)来训练分类器,以对目标领域中未标注的数据进行类别预测.给出一个概率解释以说明其对数据中的一些噪声是具有鲁棒性的.同时还推导了一个样本复杂度的边界,也就是寻找映射函数时需要的样本数.在4个实际的数据库上的实验结果,展示了该方法的有效性.     

基于相似度学习的多源迁移算法

针对与测试数据分布相同的训练数据不足,相关领域中存在大量的、与测试数据分布相近的训练数据的场景,提出一种基于相似度学习的多源迁移学习算法(SL-MSTL).该算法在经典SVM分类模型的基础上提出一种新的迁移分类模型,增加对多源域与目标域之间的相似度学习,可以有效地利用各源域中的有用信息,提高目标域的分类效果.实验的结果表明了SL-MSTL 算法的有效性和实用性.     

基于压缩编码的迁移学习算法研究

在生产实际中,一个新的任务通常和已有任务存在一定的联系。迁移学习方法可以将已有数据集中的有用信息,迁移到新的任务,以减少重新建模过程中大量的时间和费用消耗。然而,由于任务之间的分布差异,在异构环境下如何避免负面迁移问题,仍未得到有效的解决。除了要衡量数据间的相似性,还需要衡量实例间的相关性,而大多数传统方法仅在一个层面进行操作。提出了基于压缩编码的迁移学习方法（TLCC）,建立了两个层面的算法模型,具体来说,在数据层面,数据间的相似性可以表示为超平面分类器的编码长度,而在实例层面,通过进一步挑选出有价值的实例进行迁移,提升算法性能,避免负面迁移的发生。实验结果表明,提出的算法相比其他算法具有明显的优势,在噪声环境下也有较高的准确度。     

基于迁移学习的蛋白质交互关系抽取

作为生物医学信息抽取领域的重要分支,蛋白质交互关系(Protein-Protein Interaction,PPI)抽取具有重要的研究意义。目前的研究大多采用统计机器学习方法,需要大规模标注语料进行训练。训练语料过少,会降低关系抽取系统的性能,而人工标注语料需要耗费巨大的成本。该文采用迁移学习的方法,用大量已标注的源领域(其它领域)语料来辅助少量标注的目标领域语料(本领域)进行蛋白质交互关系抽取。但是,不同领域的数据分布存在差异,容易导致负迁移,该文借助实例的相对分布来调整权重,避免了负迁移的发生。在公共语料库AIMed上实验,两种迁移学习方法获得了明显优于基准算法的性能;同样方法在语料库IEPA上实验时,TrAdaboost算法发生了负迁移,而改进的DisTrAdaboost算法仍保持良好迁移效果。     

基于特征迁移的多物种鸟声识别方法

针对多物种鸟声识别中多物种鸟声样本不足的问题,尝试采用单物种鸟声样本训练多物种鸟声识别模型,并提出一种基于特征迁移的多物种鸟声识别方法。该方法引入特征迁移学习算法,利用最大均值差异（Maximum mean discrepancy,MMD）度量鸟声样本特征分布差异,将不同分布的单物种鸟声和多物种鸟声的音频特征映射为同分布的潜在音频特征,再基于同分布的音频特征构造识别模型。使得单物种鸟声样本训练的识别模型也能够适用于多物种鸟声识别 。在自然形成的多物种鸟声数据集上,算法在4项多标记评价指标上都取得了较好的识别效果;在人工构造的多物种鸟声数据集上对比试验表明,基于特征迁移的识别算法在单个物种上的正确识别率相较于对比算法最高提升了20%。     

目标不同视角下观察信息的迁移和再利用

基于视觉信息的目标检测和识别模型在训练时往往依赖于来自于训练样本的视角信息,然而附带了视角信息的训练样本通常只有很少的数据库可以提供。当此类信息缺失时,传统的通用目标检测系统通常通过一些非监督学习方法来对样本的视角信息进行粗略估计。本文改进并引入了一种选择性迁移学习方法即TransferBoost方法来解决目标视角信息缺失的问题。本文TransferBoost方法基于GentleBoost框架实现,该方法通过重新利用其它类别样本中的先验信息来提升当前类别样本的学习质量。当给定一个标定完善的样本集作为源数据库时,TransferBoost通过同时调整每个样本的权值和每个源任务的权值实现样本级和任务级的两级知识迁移。这种双层迁移学习更有效地从混合了相关源数据和不相关源数据的数据集中提取了有用的信息。实验结果表明,和直接使用传统的机器学习方法相比较,迁移学习方法所需要的训练样本数大大减少,从而降低了目标检测与识别系统的训练代价,扩展了现有系统的应用范围。     

基于深度学习和迁移学习的水果图像分类

图像识别作为深度学习领域内的一项重要应用,水果图像的分类识别在智慧农业以及采摘机器人等方面具有重要应用。针对以往传统图像分类算法存在泛化能力差、准确率不高等问题,提出一种在TensorFlow框架下基于深度学习和迁移学习的水果图像分类算法。该算法采用Inception-V3的部分模型结构对水果图像数据进行特征提取,采用Softmax分类器对图像特征进行分类,并通过迁移学习方式进行训练得到迁移训练模型。测试结果表明,该算法与传统水果分类算法对比,具有较高识别准确率。