域自适应学习研究进展

传统的机器学习假设测试样本和训练样本来自同一概率分布. 但当前很多学习场景下训练样本和测试样本可能来自不同的概率分布. 域自 适应学习能够有效地解决训练样本和测试样本概率分布不一致的学习问题,作为 机器学习新出现的研究领域在近几年受到了广泛的关注. 鉴于域自适应学习技术 的重要性,综述了域自适应学习的研究进展. 首先概述了域自适应学习的基本问 题,并总结了近几年出现的重要的域自适应学习方法. 接着介绍了近几年提出的 较为经典的域自适应学习理论和当下域自适应学习的热门研究方向,包括样例加 权域自适应学习、特征表示域自适应学习、参数和特征分解域自适应学习和多 源域自适应学习. 然后对域自适应学习进行了相关的理论分析,讨论了高效的度 量判据,并给出了相应的误差界. 接着对当前域自适应学习在算法、模型结构和 实际应用这三个方面的研究新进展进行了综述. 最后分别探讨了域自适应学习在 特征变换和假设、训练优化、模型和数据表示、NLP 研究中存在的问题这四个方面 的有待进一步解决的问题.     

离散时间非线性系统的数据驱动无模型自适应迭代学习控制

本文基于迭代域的动态线性化方法,提出了一类单入单出离散时间非线性系统的数据驱动无模型自适应迭代学习控制方案.无模型自适应迭代学习控制本质上属于一种数据驱动控制方法,仅利用被控对象的输入输出数据即可实现控制方案的设计.理论分析表明无模型自适应迭代学习控制方案可以保证最大学习误差的单调收敛性.数值仿真和快速路交通控制应用验证了无模型自适应迭代学习控制方案的有效性.     

基于深度学习的医学图像分析域自适应研究

深度学习技术的广泛应用有力推动了医学图像分析领域的发展,然而大多数深度学习方法通常假设训练集和测试集是独立同分布的,这个假设在模型临床部署时很难保证实现,因此常出现模型性能下降、场景泛化能力不强的困境。基于深度学习的域自适应技术是提升模型迁移能力的主流方法,其目的是使在一个数据集上训练的模型,能够在另一个没有或只有少量标签的数据集上也获得较好结果。由于医学图像存在着样本获取和标注困难、图像性质特殊、模态差异等情况,这给域自适应技术带来很多现实挑战。首先将介绍域自适应的定义及面临的主要挑战,进而从技术角度分类总结了近年来的相关算法,并对比分析其优缺点;然后详细介绍了域自适应常用的医学图像数据集以及相关算法结果情况;最后,从发展瓶颈、技术手段、交叉领域等方面,展望了面向医学图像分析的域自适应的未来研究方向。     

领域自适应研究综述

经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和数据分布,但在很多现实应用中这一假设通常并不成立,导致经典机器学习算法失效。领域自适应是一种新的机器学习策略,其关键技术在于通过学习新的特征表达来对齐源域和目标域的数据分布,使得在有标签源域中训练的模型可以直接迁移到没有标签的目标域上,且不会引起模型性能的明显下降。介绍领域自适应的定义、分类和代表性算法,讨论基于度量学习和基于对抗学习的两类领域自适应算法。在此基础上,分析领域自适应的典型应用和现存挑战,并对其发展趋势及未来研究方向进行展望。     

基于域理论的自适应谐振神经网络分类器

提出了一种基于域理论的自适应谐振神经网络模型FTART2(field theory based adaptive resonance theory 2).该模型结合了自适应谐振理论和域理论的优点,学习速度快,归纳能力强,效率高,可以根据输入样本自适应地调整拓扑结构,克服了前馈型网络需要人为设置隐层神经元的缺点.基准测试表明,FTART2在学习精度和速度上都远远优于标准BP算法.     

基于加权分类损失和核范数的领域自适应模型

领域自适应将源域上学习到的知识迁移到目标域上,使得在带标签数据少的情况下也可以有效地训练模型。采用伪标签的领域自适应模型未考虑错误伪标签的影响,并且在决策边界处样本的分类准确率较低,针对上述问题提出了基于加权分类损失和核范数的领域自适应模型。该模型使用带有伪标签的可信样本特征与带有真实标签的源域样本特征构建辅助域,在辅助域上设计加权分类损失函数,降低错误伪标签在训练过程中产生的影响;加入批量核范数最大化损失,提高决策边界处样本的分类准确率。在Office31、Office-Home、Image-CLEFDA基准数据集上与之前模型的对比实验表明,该模型有更高的精确度。     

《软件工程》关于“人工智能赋能大规模在线教学和自适应学习”专刊约稿通知

<正>中国在线2019年全国在线教育用户已超过2.61亿人,在线课程开设已达94.2万门,参加在线课程学习的学生已达11.8亿人次教育现状预计2020年全国在线教育用户将超过3.09亿人,在线教育的市场规模将达4,538亿元新冠肺炎疫情防控期间,在线教育成为各大中小学的重要选择。在线教育是教育服务的重要组成部分,它与传统MOOC课程相比,需要提供更多的在线教育系统的功能与服务,沉浸式、群体化的学习环境,涵盖的教育活动包括教程、实验、测试和实验室练习等。在线学习给学生带来了新的挑战,既要适应在线学习环境,又要实现学习目标,且要应对因无法面对面教学而失去的学习体验。本期专刊旨在讨论教育机构提供大规模在线课程时所面临的挑战,以及如何了解学生在线学习活动,从而提高学生自适应在线学习活动的效果和效率的新技术。人工智能可以对规模化线上教育的各环节赋能。     

面向在线教育领域的大数据研究及应用

随着互联网和视频通信技术的发展,在线教育如火如荼地展开,在线教育平台产生的数据日益增多.面向在线教育领域的大数据研究及应用对于在线教育的高效性至关重要.首先明确了在线教育平台上大数据的基本概念、分类及特点,其次介绍教育数据挖掘、学习分析和知识图谱等有关技术,然后构建面向在线教育领域的大数据模型,最后按照服务对象的分类重点描述有关大数据的功能,勾勒出未来在线教育平台上大数据应用的基本轮廓,为之后在线教育领域大数据的研发起到指导性作用.     

一种融合注意力机制的自适应实体识别方法

为了解决命名实体识别任务在面向新兴应用领域时,需要面对烦琐的模型重构过程和语料严重不足的问题,该文提出了一种基于注意力机制的领域自适应命名实体识别方法。首先,在通用领域数据集上构建了基于BERT(bidirectional encoder representations from transformers)预训练语言模型的双向长短时记忆条件随机场(BERT-BiLSTM-CRF)命名实体识别模型;接着,在古代汉语语料集上对原有模型进行微调的同时插入了基于注意力机制的自适应神经网络层;最后,在目标域内应用迁移学习方法训练模型进行对比实验。实验结果表明,自适应迁移学习方法减少了对目标域语料的依赖。该文提出的基于注意力机制的自适应神经网络模型相比通用域BERT-BiLSTM-CRF模型的命名实体识别结果F₁值提高了4.31%,相比古代汉语域BERT-BiLSTM-CRF模型的命名实体识别结果F₁值提高了2.46%,实验表明,该文方法能够提升源域模型迁移学习的效果,并完成跨领域命名实体识别模型的构建。     

基于自步学习的开放集领域自适应

领域自适应的目的是将从源领域获得的知识泛化到具有不同数据分布的目标领域.传统的领域自适应方法假设源域和目标域的类别是相同的，但在现实世界的场景中并非总是如此.为了解决这个缺点，开放集领域自适应在目标域中引入了未知类以代表源域中不存在的类别.开放集领域自适应旨在不仅识别属于源域和目标域共享的已知类别样本，还要识别未知类别样本.传统的领域自适应方法旨在将整个目标域与源域对齐以最小化域偏移，这在开放集领域自适应场景中不可避免地导致负迁移.为了解决开放集领域自适应带来的挑战，提出了一种基于自步学习的新颖框架SPL-OSDA (self-paced learning for openset domain adaptation)，用于精确区分已知类和未知类样本，并进行领域自适应.为了利用未标记的目标域样本实现自步学习，为目标域样本生成伪标签，并为开放集领域自适应场景设计一个跨领域混合方法.这种方法最大程度地减小了伪标签的噪声，并确保模型逐步从简单到复杂的例子中学习目标域的已知类特征.为了提高模型在开放场景的可靠性以满足开放场景可信人工智能的要求，引入了多个准则以区分已知类和未知类样本.此外，与现有...     

融合动态残差的多源域自适应算法研究

多源域自适应问题通常是指拥有多个源域与单个目标域的场景.常见做法是依据域标签两两对齐源域与目标域分布,通过减小域间距离,将分布映射到共同隐空间内,去预测未知目标域的数据分类.源数据集通常需要域标签,且模型在经过训练阶段后,参数固定,这就很难达到拟合未知目标域分布的目的.基于动态残差块的多源域自适应算法不是从域的角度而是...     

域自适应城市场景语义分割

目的 域自适应分割网（AdaptSegNet）在城市场景语义分割中可获得较好的效果,但是该方法直接采用存在较大域差异（domain gap）的源域数据集GTA（grand theft auto）5与目标域数据集Cityscapes进行对抗训练,并且在网络的不同特征层间的对抗学习中使用固定的学习率,所以分割精度仍有待提高。针对上述问题,提出了一种新的域自适应的城市场景语义分割方法。方法 采用SG-GAN（semantic-aware grad-generative adversarial network（GAN））方法对虚拟数据集GTA5进行预处理,生成新的数据集SG-GTA5,其在灰度、结构以及边缘等信息上都更加接近现实场景Cityscapes,并用新生成的数据集代替原来的GTA5数据集作为网络的输入。针对AdaptSegNet加入的固定学习率问题,在网络的不同特征层引入自适应的学习率进行对抗学习,通过该学习率自适应地调整不同特征层的损失值,达到动态更新网络参数的目标。同时,在对抗网络的判别器中增加一层卷积层,以增强网络的判别能力。结果 在真实场景数据集Cityscapes上进行验证,并与相关的域自适应分割模型进行对比,结果表明：提出的网络模型能更好地分割出城市交通场景中较复杂的物体,对于sidewalk、wall、pole、car、sky的平均交并比（mean intersection over union, mIoU）分别提高了9.6%、5.9%、4.9%、5.5%、4.8%。结论 提出方法降低了源域和目标域数据集之间的域差异,减少了训练过程中的对抗损失值,规避了网络在反向传播训练过程中出现的梯度爆炸问题,从而有效地提高了网络模型的分割精度;同时提出基于该自适应的学习率进一步提升模型的分割性能;在模型的判别器网络中新添加一个卷积层,能学习到图像的更多高层语义信息,有效地缓解了类漂移的问题。     

局部一致性主动学习的源域无关开集域自适应

无监督域自适应在解决训练集(源域)和测试集(目标域)分布不一致的问题上已经取得了一定的成功.在面向低能耗场景和开放动态任务环境时,在资源约束和开放类别出现的情况下,现有的无监督域自适应方法面临着严峻的挑战.源域无关开集域自适应(SF-ODA)旨在将源域模型中的知识迁移到开放类出现的无标签目标域,从而在无源域数据资源的限制下辨别公共类和检测开放类.现有的源域无关开集域自适应的方法聚焦于设计准确检测开放类别的源域模型或增改模型的结构.但是,这些方法不仅需要额外的存储空间和训练开销,而且在严格的隐私保护场景下难以实现.提出了一个更加实际的场景:主动学习的源域无关开集域自适应(ASF-ODA),目标是基于一个普通训练的源域模型和少量专家标注的有价值的目标域样本来实现鲁棒的迁移.为了达成此目标,提出了局部一致性主动学习(LCAL)算法.首先,利用目标域中局部特征标签一致的特点,LCAL设计了一种新的主动选择方法:局部多样性选择,来挑选更有价值的阈值模糊样本来促进开放类和公共类分离.接着,LCAL基于信息熵初步筛选出潜在的公共类集合和开放类集合,并利用第一步得到的主动标注样本对这两个集合进行匹配纠...     

基于伪标签的无监督领域自适应分类方法

现有的领域自适应方法在匹配分布时并未完全考虑伪标签置信度或伪标签损失计算问题,针对此类问题,提出循环选择伪标签分类模型（CSPL）。利用深度网络提取图像特征,为目标域打上高置信度伪标签使得训练数据增强,采用MMD距离度量方法对齐源域和目标域的概率分布,同时设计伪标签损失同步迭代学习,更新模型作为下一次循环的训练模型直至模型收敛。在常用的领域自适应数据集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上实验表明,该模型相比之前域适应模型在准确度方面平均提升4%~8%且模型的鲁棒性也明显增加。     

遥感图像语义分割中的弱监督域自适应算法

近年来,遥感图像的语义分割得到广泛应用。虽然基于深度学习的方法极大程度地提高了遥感图像的语义分割精度,但由于遥感图像的多样性（不同的地理位置、地形和天气条件）以及像素级标签的缺乏,该算法难以适用于跨多个域的任务。而若重新训练新的域则需要消耗大量人力资源来收集相应的像素级标签。为了解决这一跨域问题,基于对抗学习提出了一种目标域图像级标签已知的弱监督域自适应方法：利用图像级标签,提出多类域判别器,使目标域各个类别自适应地对齐到源域;为保持训练过程的平稳,一种基于熵值产生目标域像素级伪标签的方法被提出以监督特征提取器,提升模型表现。在ISPRS Vaihingen与ISPRS Potsdam数据集上的大量实验表明,改进后的算法优于其他遥感图像语义分割中的基于对抗学习域自适应算法。     

融入学习者模型在线学习资源协同过滤推荐方法

在线教育存在“信息迷航”问题,而传统的信息推荐方法往往忽视教育的主体—学习者的特征。本文依据教育教学理论,根据在线教育平台中的学习者相关数据,研究构建了适用于在线学习资源个性化推荐的学习者模型。以协同过滤推荐方法为切入点,融合学习者模型中的静态特征和动态特征对协同过滤方法进行改进,建立融入学习者模型的在线学习资源协同过滤推荐方法。以2020年3~7月时间段的东北石油大学“C程序设计”课程学生的真实学习数据和行为数据为数据集,对本文提出的方法进行验证和对比,最后证明本文提出的方法在性能上均优于对比方法。     

模型参数自适应迁移的多源域适应

在新领域中,常常存在样本不充分或标记不足的问题。针对此问题,人们提出了域适应,该方法利用相关领域（源域）的知识来提高当前领域（目标域）学习性能。单个源域的知识往往不充分且类别完全相同的多个源域难以满足,同时域之间存在漂移问题。而现有的多源域适应模型难以解决类别不完全一致的问题,因此给多源域适应带来了较大的挑战。为此提出了一种基于模型参数自适应迁移的方法（Adaptive Transfer for ModelParameter,ATMP）,通过对每个源域的模型参数进行私有和公有模型参数字典学习,同时将多个源域中所学的模型参数字典作为目标域的模型参数字典,然后通过对字典系数的行稀疏约束实现源域和目标域模型参数的自适应选择。除此之外,该方法迁移的是模型参数而不是数据本身,因此有效实现了对源域数据的隐私保护。经过一系列实验表明,在相关数据集上的实验显示了本文所提方法在聚类性能上的显著有效性。     

运动想象脑电信号的跨域特征学习方法

运动想象脑电信号采集成本高且个体差异大,跨个体域构建脑电信号模式识别模型属于典型的小样本跨域学习任务。针对该任务,提出了一种运动想象脑电信号的跨域特征学习方法。该方法首先选择最优度量方法对齐协方差并提取共同空间模式特征;其次,在该特征基础上采用领域自适应方法学习目标域的最优跨域特征。为验证所提方法的可行性与有效性,采用经典模型识别跨域特征,在两个公开的数据集上进行对比实验。实验结果表明,通过所提方法学习到的跨域特征,在运动想象模式识别中,明显优于现有方法学习到的特征。此外,还详细对比了跨域特征学习方法的各项参数设置、性能及效率。     

民办本科院校学生在线教育学习绩效调查分析

在线教育是信息技术和教育融合的产物,能够满足随时随地碎片化学习需求,深受广大学生欢迎.该文首先针对民办院校学生在线教育认识、在线学习上课情况、在线教育学习评价、在线教育学习绩效影响因素等进行调研,其次对调查问卷分析,发现评价方式、在线辅导和自我控制力对学习绩效有重大影响,最后提出几点建议,促进在线教育发展.     

国内学习者模型研究热点与趋势分析

在智能教育背景下,如何为学习者提供精准化、个性化学习服务成为研究热点,而学习者模型作为实现个性化学习的核心部分,受到学者广泛关注。本文以中国知网(CNKI)数据库中学习者模型相关文献为研究对象,采用Bicomb 2.0、SPSS 22.0、Ucinet 6.0工具对其进行聚类分析和网络分析。结果表明,学习者模型主要应用于自适应学习系统中,学习者模型、学习资源推荐、学习路径推荐等是构建自适应学习系统的研究热点。最后,文章从完善学习者模型和搭建自适应学习系统两方面对未来研究趋势进行预测。