引入迁移学习的癫痫EEG信号自适应识别

在脑电图( EEG)信号识别中,EEG信号的采样环境、病人状态的多样性导致分类器训练所用的源域与分类器测试所用的目标域不匹配,分类器在目标域上表现不佳。为此,引入邻域适应策略,提出一种基于子空间相似度的改进主成分分析特征提取方法( SSM-PCA),在选择主成分时,考虑源域和目标域数据的几何和统计特性,并结合迁移学习分类器大间隔投射迁移支持向量机( LMPROJ),给出以SSM-PCA为基础的LMPROJ分类识别方法。实验结果表明,与结合PCA特征抽取技术和K近邻分类器实现的识别方法相比,该方法在识别正确率方面得到较大提升。     

联合类间及域间分布适配的迁移学习方法

在域间分布适配的过程中,容易丢失一些重要的域自身信息,在源域上难以训练获得一个有效的分类器,影响其在目标域上的泛化与标注性能.基于此种情况,文中提出联合类间及域间分布适配的迁移学习方法.通过学习一个公共投影矩阵,分别将源域与目标域映射到一个公共子空间上.采用最大均值差异方法分别度量类间及域间分布距离.在目标函数的优化过程中,不但显式地使域间分布差异变小,而且增大不同类别间的差异性,提高源域与目标域之间知识迁移的性能.在迁移学习数据集上的实验表明文中方法的有效性.     

基于集成一致性的多源跨领域情感分类模型

现有的跨领域情感分类方法大多只利用了单个源领域到目标域的迁移特征,没有充分考虑目标域实例与不同源域之间的联系。针对此问题,本文提出一种无监督的多源跨领域情感分类模型。首先利用单个源域到目标域的迁移特征训练基分类器,并对不同的基分类器加权;然后将不同基分类器对目标域实例预测的集成一致性作为目标函数,优化该目标函数,得到不同基分类器的权重;最后利用加权后的基分类器得到目标域的情感分类结果。该模型在Amazon数据集上进行了多源域情感迁移实验,取得了较好的实验结果,相对其他基线模型,在4组实验中平均提升了0.75%。     

基于边际Fisher准则和迁移学习的小样本集分类器设计算法

如何利用大量已有的同构标记数据（源域）设计小样本训练数据（目标域）的分类器是一个具有很强应用意义的研究问题. 由于不同域的数据特征分布有差异,直接使用源域数据对目标域样本进行分类的效果并不理想. 针对上述问题,本文提出了一种基于迁移学习的分类器设计算法. 首先,本文利用内积度量的边际Fisher准则对源域进行特征映射,提高源域中类内紧凑性和类间区分性. 其次,为了筛选合理的训练样本对,本文提出一种去除边界奇异点的算法来选择源域密集区域样本点,与目标域中的标记样本点组成训练样本对. 在核化空间上,本文学习了目标域特征到源域特征的非线性转换,将目标域映射到源域. 最后,利用邻近算法（k-nearest neighbor,kNN）分类器对映射后的目标域样本进行分类. 本文不仅改进了边际Fisher准则方法,并且将基于自适应样本对 筛选的迁移学习应用到小样本数据的分类器设计中,提高域间适应性. 在通用数据集上的实验结果表明,本文提出的方法能够有效提高小样本训练域的分类器性能.     

基于SVC 和SVR 约束组合的迁移学习分类算法

根据迁移学习思想,针对分类问题,以支持向量机(SVM)模型为基础提出一种新的迁移学习分类算法CCTSVM.该方法以邻域间的分类超平面为纽带实现源域对目标域的迁移学习.具体地,以支持向量分类的约束条件完成对目标域数据的学习,获取分类超平面参数,再以支持向量回归的约束条件有效利用源域数据矫正目标域超平面参数,并在上述组合约束的共同作用下实现邻域间迁移,提高分类器性能.在人工和真实数据集上的实验表明,所提出算法具有良好的迁移能力和优越的分类性能.     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

基于自动数据增强的不变性跨域行人重识别

针对随机数据增强的不确定性和模型迁移过程中自身性能受限的问题,提出一种基于自动数据增强的不变性跨域行人重识别模型。利用自动数据增强策略对源域和目标域数据进行增强,在ResNet-50中引入外观不变形使图像的外观变化不会影响模型输出,联合交叉熵损失函数和圆损失函数对源域进行监督学习,通过学习目标域内的变化适应源域与目标域数据分布差异。所提模型在公共数据集Market-1501、DukeMTMC-reID和MSMT17上进行比较分析,验证了模型的有效性,结果表明,相比目前一些跨域行人重识别先进算法,所提算法效果有明显提升。     

一种基于局部分类精度的多源在线迁移学习算法

近年来,迁移学习得到越来越多的关注.现有的在线迁移学习算法一般从单个源领域迁移知识,然而,当源领域与目标领域相似度较低时,很难进行有效的迁移学习.基于此,提出了一种基于局部分类精度的多源在线迁移学习方法——LC-MSOTL.LC-MSOTL存储多个源领域分类器,计算新到样本与目标领域已有样本之间的距离以及各源领域分类器对其最近邻样本的分类精度,从源领域分类器中挑选局部精度最高的分类器与目标领域分类器加权组合,从而实现多个源领域知识到目标领域的迁移学习.在人工数据集和实际数据集上的实验结果表明,LC-MSOTL能够有效地从多个源领域实现选择性迁移,相对于单源在线迁移学习算法OTL,显示出了更高的分类准确率.     

基于域自适应的肿瘤识别模型

关注人的生命健康,定期进行癌症筛查是一项极为重要的工作。针对肿瘤图像数据集数量较少且存在部分无标签的问题,提出了一种基于域自适应算法的肿瘤识别模型。其主干网络包括特征提取器、标签分类器和域判别器。其中,特征提取器对源域和目标域的特征进行提取,学习肿瘤特征;标签分类器对肿瘤图像进行分类输出;域判别器对数据特征的来源进行判定。标签分类器与域判别器博弈,获取源域和目标域的数据分布,直到二者在特征空间上的分布趋于一致,此时得到的分类器可对目标域的数据进行分类。在BreakHis数据集上的实验结果表明,所提算法的平均准确率达到了87.6%,与两种经典域自适应方法相比,其准确率分别提高了16.2%和14.1%,并且在无标签的数据集上显示出了良好的性能。     

基于样本迁移的在线脑电分类方法

在线分类是脑机接口应用中的一个重要研究方向,传统的在线学习算法需要大量样本来适应脑电信号变化,这增加了计算和内存成本。为此,本文提出一种基于样本迁移的在线脑电分类方法。首先利用源域数据训练离线分类器,然后将目标域数据逐个放入进行在线欧式空间预对齐以减小个体差异性,进而提取CSP特征,最后采用加权组合的在线迁移学习分类器进行标签预测。在 BCI 竞赛 Ⅳ 数据集Ⅰ和Ⅱa的跨受试者在线模拟实验中,与4种最先进的算法相比,本文方法表现最好,在线平均分类准确率最高达到了86.02%和75.74%,表明了所提方法的有效性。     

基于极限学习机的无监督领域适应分类器

在构建基于极限学习机的无监督自适应分类器时, 隐含层的参数通常都是随机选取的, 而随机选取的参数不具备领域适应能力. 为了增强跨领域极限学习机的知识迁移能力,提出一种新的基于极限学习机的无监督领域适应分类器学习方法, 该方法主要利用自编码极限学习机对源域和目标域数据进行重构学习, 从而可以获得具有领域不变特性的隐含层参数. 进一步, 结合联合概率分布匹配和流形正则的思想, 对输出层权重进行自适应调整. 所提出算法能对极限学习机的两层参数均赋予领域适应能力,在字符数据集和对象识别数据集上的实验结果表明其具有较高的跨领域分类精度.     

多源域混淆的双流深度迁移学习

目的 针对深度学习严重依赖大样本的问题,提出多源域混淆的双流深度迁移学习方法,提升了传统深度迁移学习中迁移特征的适用性。方法 采用多源域的迁移策略,增大源域对目标域迁移特征的覆盖率。提出两阶段适配学习的方法,获得域不变的深层特征表示和域间分类器相似的识别结果,将自然光图像2维特征和深度图像3维特征进行融合,提高小样本数据特征维度的同时抑制了复杂背景对目标识别的干扰。此外,为改善小样本机器学习中分类器的识别性能,在传统的softmax损失中引入中心损失,增强分类损失函数的惩罚监督能力。结果 在公开的少量手势样本数据集上进行对比实验,结果表明,相对于传统的识别模型和迁移模型,基于本文模型进行识别准确率更高,在以DenseNet-169为预训练网络的模型中,识别率达到了97.17%。结论 利用多源域数据集、两阶段适配学习、双流卷积融合以及复合损失函数,构建了多源域混淆的双流深度迁移学习模型。所提模型可增大源域和目标域的数据分布匹配率、丰富目标样本特征维度、提升损失函数的监督性能,改进任意小样本场景迁移特征的适用性。     

基于深度学习和迁移学习的领域自适应中文分词

为了提高专业领域中文分词性能,以及弥补专业领域大规模标注语料难以获取的不足,该文提出基于深度学习以及迁移学习的领域自适应分词方法。首先,构建包含词典特征的基于深度学习的双向长短期记忆条件随机场(BI-LSTM-CRF)分词模型,在通用领域分词语料上训练得到模型参数;接着,以建设工程法律领域文本作为小规模分词训练语料,对通用领域语料的BI-LSTM-CRF分词模型进行参数微调,同时在模型的词典特征中加入领域词典。实验结果表明,迁移学习减少领域分词模型的迭代次数,同时,与通用领域的BI-LSTM-CRF模型相比,该文提出的分词方法在工程法律领域的分词结果F1值提高了7.02%,与预测时加入领域词典的BI-LSTM-CRF模型相比,分词结果的F1值提高了4.22%。该文提出的分词模型可以减少分词的领域训练语料的标注,同时实现分词模型跨领域的迁移。     

基于多尺度特征多对抗网络的雾天图像识别

目的 当前的大型数据集,例如ImageNet,以及一些主流的网络模型,如ResNet等能直接高效地应用于正常场景的分类,但在雾天场景下则会出现较大的精度损失。雾天场景复杂多样,大量标注雾天数据成本过高,在现有条件下,高效地利用大量已有场景的标注数据和网络模型完成雾天场景下的分类识别任务至关重要。方法 本文使用了一种低成本的数据增强方法,有效减小图像在像素域上的差异。基于特征多样性和特征对抗的思想,提出多尺度特征多对抗网络,通过提取数据的多尺度特征,增强特征在特征域分布的代表性,利用对抗机制,在多个特征上减少特征域上的分布差异。通过缩小像素域和特征域分布差异,进一步减小领域偏移,提升雾天场景的分类识别精度。结果 在真实的多样性雾天场景数据上,通过消融实验,使用像素域数据增强方法后,带有标签的清晰图像数据在风格上更趋向于带雾图像,总的分类精度提升了8.2%,相比其他的数据增强方法,至少提升了6.3%,同时在特征域上使用多尺度特征多对抗网络,相比其他的网络,准确率至少提升了8.0%。结论 像素域数据增强以及多尺度特征多对抗网络结合的雾天图像识别方法,综合考虑了像素域和特征域的领域分布差异,结合了多尺度的丰富特征信息,同时使用多对抗来缩小雾天数据的领域偏移,在真实多样性雾天数据集上获得了更好的图像分类识别效果。     

Predicting the probability of ice storm damages to electricity transmission facilities based on ELM and Copula function

In this paper, a novel method based on extreme learning machine (ELM) and Copula function is proposed to predict the damages to electricity transmission facilities during ice storms. The ELM is firstly trained based on the historical data of wind speed, freezing precipitation, temperature, as well as the distribution parameters of wind and ice loads. The ELM can then be employed to predict the distributions of the real-time wind and ice loads on electricity transmission facilities. Furthermore, the correlation between wind load and ice load is modeled with Copula functions. On the basis of ELM and Copula function, the joint probability distribution of wind and ice loads can be finally formulated and applied to predict the potential damages to electricity transmission facilities such as transmission lines and towers. The proposed method is tested with a real dataset to demonstrate its effectiveness.     

迁移学习引导的变源域长短时记忆网络建筑负荷预测

历史数据不足会严重影响到长短时记忆网络(long short-term memory,LSTM)预测建筑负荷的精度.迁移并利用源域中其他相似建筑的用能数据,可以提高LSTM处理目标域中建筑的预测精度,但现有方法没有考虑预测过程中数据增加所导致的源域匹配关系变化问题.鉴于此,提出迁移学习引导的变源域LSTM建筑负荷预测方法.在执行过程中,根据源域建筑负荷与目标建筑负荷在最新窗口的关联度,实时调整要选择的源域建筑及其能耗数据,以确保源域与目标域始终保持较高的相似程度.在多个典型实例上的应用表明,相比传统的定源域迁移学习方法,所提变源域LSTM负荷预测方法可以始终保持较高的预测精度.     

基于样本平衡策略的多源迁移学习方法及其在乙烯精馏塔质量指标预测的应用

基于数据驱动的工业过程建模需要依赖大量的标记良好的数据集,但与目标任务直接相关的标注数据往往是有限的。因此,可以利用与其具有相关性的辅助训练数据进行建模以实现任务迁移。然而,样本的不平衡问题一定程度上影响了迁移学习的性能表现。因此,提出了一种基于样本平衡策略的多源迁移学习方法,首先,对于同一源域内样本,采用最小二乘方法融合多个候选预测器得到单个源预测器,以协同利用域内不同样本包含的可迁移信息。此外,对于不同源域间样本,基于误差函数将多个源预测器加权组合得到多源预测模型。最后以乙烯精馏塔为对象进行案例分析,验证了所提出方法的有效性。     

Extreme learning machine and its applications

Recently, a novel learning algorithm for single-hidden-layer feedforward neural networks (SLFNs) named extreme learning machine (ELM) was proposed by Huang et al. The essence of ELM is that the learning parameters of hidden nodes, including input weights and biases, are randomly assigned and need not be tuned while the output weights can be analytically determined by the simple generalized inverse operation. The only parameter needed to be defined is the number of hidden nodes. Compared with other traditional learning algorithms for SLFNs, ELM provides extremely faster learning speed, better generalization performance and with least human intervention. This paper firstly introduces a brief review of ELM, describing the principle and algorithm of ELM. Then, we put emphasis on the improved methods or the typical variants of ELM, especially on incremental ELM, pruning ELM, error-minimized ELM, two-stage ELM, online sequential ELM, evolutionary ELM, voting-based ELM, ordinal ELM, fully complex ELM, and symmetric ELM. Next, the paper summarized the applications of ELM on classification, regression, function approximation, pattern recognition, forecasting and diagnosis, and so on. In the last, the paper discussed several open issues of ELM, which may be worthy of exploring in the future.     

基于深度在线迁移的变负载下滚动轴承故障诊断方法

针对变负载条件下滚动轴承源域与目标域中相同状态的数据特征分布差异性较大,目标域数据按照序列方式在线获取时,数据更新需重新训练模型的问题,提出一种深度在线迁移的CNN-ISVM(convolutional neural networks-incremental support vector machine)变负载下滚动轴...