对不平衡目标域的多源在线迁移学习

多源在线迁移学习已经广泛地应用于相关源域中含有大量的标记数据且目标域中数据以数据流的形式达到的应用中.然而,目标域的类别分布有时是不平衡的,针对目标域每次以在线方式到达多个数据的不平衡二分类问题,本文提出了一种可以对目标域样本过采样的多源在线迁移学习算法.该算法从前面批次的样本中寻找当前批次的样本的k近邻,先少量生成多...     

基于变权重迁移学习的BN参数学习算法

针对小数据集条件下的贝叶斯网络(Bayesian network,BN)参数估计困难问题,提出了一种基于变权重迁移学习(DWTL)的BN参数学习算法。首先,利用MAP和MLE方法学习得到目标域初始参数和各源域参数;然后根据不同源域数据样本贡献的不同计算源权重因子;接着基于目标域样本统计量与小数据集样本阈值的关系设计了目标域初始参数和源域参数的平衡系数;最后,基于上述参数、源权重因子和平衡系数计算得到新的目标参数。在实验研究中,通过对经典BN模型的参数学习问题验证了DWTL算法的有效性;针对小数据集下的轴承故障诊断问题,相较于传统迁移学习(LP)算法,DWTL算法学习精度提高了10%。实验结果表明:所提出的算法能够较好地解决样本数据集在相对稀缺条件下的目标参数建模问题。     

基于元学习的双目深度估计在线适应算法

双目深度估计的在线适应是一个有挑战性的问题, 其要求模型能够在不断变化的目标场景中在线连续地自我调整并适应于当前环境. 为处理该问题, 提出一种新的在线元学习适应算法(Online meta-learning model with adaptation, OMLA), 其贡献主要体现在两方面: 首先引入在线特征对齐方法处理目标域和源域特征的分布偏差, 以减少数据域转移的影响; 然后利用在线元学习方法调整特征对齐过程和网络权重, 使模型实现快速收敛. 此外, 提出一种新的基于元学习的预训练方法, 以获得适用于在线学习场景的深度网络参数. 相关实验分析表明, OMLA和元学习预训练算法均能帮助模型快速适应于新场景, 在KITTI数据集上的实验对比表明, 本文方法的效果超越了当前最佳的在线适应算法, 接近甚至优于在目标域离线训练的理想模型.     

迁移学习引导的变源域长短时记忆网络建筑负荷预测

历史数据不足会严重影响到长短时记忆网络(long short-term memory,LSTM)预测建筑负荷的精度.迁移并利用源域中其他相似建筑的用能数据,可以提高LSTM处理目标域中建筑的预测精度,但现有方法没有考虑预测过程中数据增加所导致的源域匹配关系变化问题.鉴于此,提出迁移学习引导的变源域LSTM建筑负荷预测方法.在执行过程中,根据源域建筑负荷与目标建筑负荷在最新窗口的关联度,实时调整要选择的源域建筑及其能耗数据,以确保源域与目标域始终保持较高的相似程度.在多个典型实例上的应用表明,相比传统的定源域迁移学习方法,所提变源域LSTM负荷预测方法可以始终保持较高的预测精度.     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

基于样本迁移的在线脑电分类方法

在线分类是脑机接口应用中的一个重要研究方向,传统的在线学习算法需要大量样本来适应脑电信号变化,这增加了计算和内存成本。为此,本文提出一种基于样本迁移的在线脑电分类方法。首先利用源域数据训练离线分类器,然后将目标域数据逐个放入进行在线欧式空间预对齐以减小个体差异性,进而提取CSP特征,最后采用加权组合的在线迁移学习分类器进行标签预测。在 BCI 竞赛 Ⅳ 数据集Ⅰ和Ⅱa的跨受试者在线模拟实验中,与4种最先进的算法相比,本文方法表现最好,在线平均分类准确率最高达到了86.02%和75.74%,表明了所提方法的有效性。     

多域SFC部署中基于强化学习的多目标优化方法

随着网络虚拟化技术的发展,多域网络中的服务功能链部署为服务功能链优化部署问题带来了新的挑战.传统的部署方法通常对单一目标进行优化,不适用于多目标优化问题,且无法对优化目标间权重进行衡量及平衡.因此,为了对大规模服务功能链部署请求下的时延、网络负载均衡性及接受率进行同步优化,提出了一种数据归一化处理方案,并设计了基于强化学习的两步SFC部署算法.该算法以传输时延与负载均衡性为反馈参数,平衡了两者的权重关系,并对其进行了同步优化,同时利用强化学习框架优化了SFC接受率.实验结果表明,所提算法在大规模请求数下,相比时延感知方法时延降低了71.8％,相比多域部署方法接受率提高了4.6％,相比贪心算法平均负载均衡性提高了39.1％,保证了多目标优化效果.     

基于智能学习的在线学习系统探索

本系统充分融合大数据与人工智能技术来整合在线学习资源,结合在线教学活动中的教学内容创造学习环境.以老师为中心,建立稳定有序的心理场域.实现大数据分布式在线教学、第一人称虚拟现实教室同步在线教学和人工智能引导在线实验教学.以此支持学习者随时随地利用PC端或移动端进行在线课程学习.     

多源域分布下优化权重的无监督迁移学习Boosting方法

深度决策树迁移学习Boosting方法（DTrBoost）可以有效地实现单源域有监督情况下向一个目标域迁移学习,但无法实现多个源域情况下的无监督迁移场景。针对这一问题,提出了多源域分布下优化权重的无监督迁移学习Boosting方法,主要思想是根据不同源域与目标域分布情况计算出对应的KL值,通过比较选择合适数量的不同源域样本训练分类器并对目标域样本打上伪标签。最后,依照各个不同源域的KL距离分配不同的学习权重,将带标签的各个源域样本与带伪标签的目标域进行集成训练得到最终结果。对比实验表明,提出的算法实现了更好的分类精度并对不同的数据集实现了自适应效果,分类错误率平均下降2.4%,在效果最好的marketing数据集上下降6%以上。     

基于联邦学习和重要性加权的疾病得分预测

在考虑用户隐私的保护多源域数据背景下预测疾病得分的问题中,来自不同源域的数据分散存储无法合并,且可能服从不同的分布,因此传统的机器学习方法无法合理地利用源域数据的信息.本文结合联邦学习的思想和基于样本的迁移学习方法,提出了联邦重要性加权方法,通过将源域的样本重用于目标域的预测任务,而且不需要进行源域之间的数据共享,实现了在保护源域的数据隐私的情况下利用分布不同的多源域的信息提升目标域预测的精度.并且基于提出的方法,本文构造了一种加权模型并提供了一个简洁通用的算法用于求解目标域的预测模型.数值模拟以及实证结果表明,相对于未考虑分布迁移的传统方法,联邦重要性加权方法可以有效地利用多源域数据的信息,在目标域的预测精度上具有优势,以及在帕金森疾病数据中做出精准的疾病得分预测.     

基于卷积注意力特征迁移学习的滚动轴承故障诊断

针对变工况条件下因源域和目标域样本数据分布差异大造成滚动轴承故障诊断准确率较低的问题,提出一种新的迁移学习方法——卷积注意力特征迁移学习(Convolutional Attention-based Feature Transfer Learning, CAFTL),并用于变工况条件下的滚动轴承故障诊断。在所提出的CAFTL中,将源域和目标域样本经过多头自注意力计算再经过归一化之后,输入到卷积神经网络中得到对应的源域和目标域特征;然后通过域自适应迁移学习网络将两域特征投影到同一个公共特征空间内;接着,利用由源域有标签样本构建的分类器进行分类;最后,利用随机梯度下降(Stochastic Gradient Descent, SGD)方法对CAFTL进行训练和参数更新,得到CAFTL的最优参数集后将参数优化后的CAFTL用于滚动轴承待测样本的故障诊断。滚动轴承故障诊断实例验证了所提出的方法的有效性。     

基于深度迁移自编码器的变工况下滚动轴承故障诊断方法

在实际工业场景下的轴承故障诊断,存在轴承故障样本不足,训练样本与实际信号样本存在分布差异的问题;文章提出一种新的基于深度迁移自编码器的故障诊断方法FS-DTAE,应用于不同工况下的轴承故障诊断;该方法首先采用小波包变换进行信号处理与特征提取;其次,采用提出的基于朴素贝叶斯与域间差异的特征选取(FSBD)方法对统计特征进行评估,选取更有利于跨域故障诊断和迁移学习的特征;然后,利用源域特征数据训练深度自编码器,将训练得到的模型参数迁移至目标域,再利用目标域正常状态样本对深度迁移自编码器模型进行微调,微调后的模型用于目标域无标签特征数据的故障分类;最后,基于CWRU轴承故障数据开展不同工况下故障诊断实验,结果表明,所提出的FS-DTAE方法能够有效提高不同工况下的故障诊断准确率。     

Research on fault diagnosis method of MS-CNN rolling bearing based on local central moment discrepancy

Transfer learning is an excellent approach to deal with the problem that the target domain label can not be adequately obtained when rolling bearing cross-condition fault detection. A transfer learning fault diagnosis method of multi-scale CNN rolling bearings based on local central moment discrepancy is presented in this research. The method maps bearing vibration data to a shared space by building a shared multi-scale feature extraction structure and fully connected layers. The source domain label and target domain pseudo-label are used to divide the category subspace in the shared space. And then the local central moment discrepancy is used to match source and target domain in the category subspace to realize fault knowledge transfer under different conditions. The experimental findings reveal that multi-scale CNN migration diagnosis based on local central moment discrepancy has superior accuracy and stability in diverse diagnostic tasks when compared to classic transfer learning approaches.     

Online transfer learning by leveraging multiple source domains

Transfer learning aims to enhance performance in a target domain by exploiting useful information from auxiliary or source domains when the labeled data in the target domain are insufficient or difficult to acquire. In some real-world applications, the data of source domain are provided in advance, but the data of target domain may arrive in a stream fashion. This kind of problem is known as online transfer learning. In practice, there can be several source domains that are related to the target domain. The performance of online transfer learning is highly associated with selected source domains, and simply combining the source domains may lead to unsatisfactory performance. In this paper, we seek to promote classification performance in a target domain by leveraging labeled data from multiple source domains in online setting. To achieve this, we propose a new online transfer learning algorithm that merges and leverages the classifiers of the source and target domain with an ensemble method. The mistake bound of the proposed algorithm is analyzed, and the comprehensive experiments on three real-world data sets illustrate that our algorithm outperforms the compared baseline algorithms.     

一种基于局部分类精度的多源在线迁移学习算法

近年来,迁移学习得到越来越多的关注.现有的在线迁移学习算法一般从单个源领域迁移知识,然而,当源领域与目标领域相似度较低时,很难进行有效的迁移学习.基于此,提出了一种基于局部分类精度的多源在线迁移学习方法——LC-MSOTL.LC-MSOTL存储多个源领域分类器,计算新到样本与目标领域已有样本之间的距离以及各源领域分类器对其最近邻样本的分类精度,从源领域分类器中挑选局部精度最高的分类器与目标领域分类器加权组合,从而实现多个源领域知识到目标领域的迁移学习.在人工数据集和实际数据集上的实验结果表明,LC-MSOTL能够有效地从多个源领域实现选择性迁移,相对于单源在线迁移学习算法OTL,显示出了更高的分类准确率.     

Deep Domain-Adversarial Anomaly Detection With One-Class Transfer Learning

Despite the big success of transfer learning techniques in anomaly detection, it is still challenging to achieve good transition of detection rules merely based on the preferred data in the anomaly detection with one-class classification, especially for the data with a large distribution difference. To address this challenge,a novel deep one-class transfer learning algorithm with domain-adversarial training is proposed in this paper. First, by integrating a hypersphere adaptation constraint into...     

Sequential Recommendation via Cross-Domain Novelty Seeking Trait Mining

Transfer learning has attracted a large amount of interest and research in last decades, and some effort has been made to build more precise recommendation systems. Most previous transfer recommendation systems assume that the target domain shares the same/similar rating patterns with the auxiliary source domain, which is used to improve the recommendation performance. However, almost all existing transfer learning work does not consider the characteristics of sequential data. In this paper, we study the new cross-domain recommendation scenario by mining novelty-seeking trait. Recent studies in psychology suggest that novelty-seeking trait is highly related to consumer behavior, which has a profound business impact on online recommendation. Previous work performed on only one single target domain may not fully characterize users' novelty-seeking trait well due to the data scarcity and sparsity, leading to the poor recommendation performance. Along this line, we propose a new cross-domain novelty-seeking trait mining model (CDNST for short) to improve the sequential recommendation performance by transferring the knowledge from auxiliary source domain. We conduct systematic experiments on three domain datasets crawled from Douban to demonstrate the effectiveness of our proposed model. Moreover, we analyze the directed influence of the temporal property at the source and target domains in detail.     

Conditional distribution-guided adversarial transfer learning network with multi-source domains for rolling bearing fault diagnosis

The application of transfer learning to effectively identify rolling bearing fault has been attracting much attention. Most of the current studies are based on single-source domain or multi-source domains constructed from different working conditions of the same machine. However, in practical scenarios, it is common to obtain multiple source domains from different machines, which brings new challenges to how to use these source domains to complete fault diagnosis. To solve the issue, a conditional distribution-guided adversarial transfer learning network with multi-source domains (CDGATLN) is developed for fault diagnosis of bearing installed on different machines. Firstly, the knowledge of multi-source domains from different machines is transferred to the single target domain by decreasing data distribution discrepancy between each source domain and target domain. Then, a conditional distribution-guided alignment strategy is introduced to decrease conditional distribution discrepancy and calculate the importance per source domain based on the conditional distribution discrepancy, so as to promote the knowledge transfer of each source domain. Finally, a monotone importance specification mechanism is constructed to constrain each importance to ensure that the source domain with low importance will not be discarded, which enables the knowledge of each source domain to participate in the construction of the model. Extensive experimental results verify the effectiveness and superiority of CDGATLN.