TL-SVM:一种迁移学习算法

迁移学习旨在利用大量已标签源域数据解决相关但不相同的目标域问题.当与某领域相关的新领域出现时,若重新标注新领域,则样本代价昂贵,丢弃所有旧领域数据又十分浪费.对此,基于SVM算法提出一种新颖的迁移学习算法—–TL-SVM,通过使用目标域少量已标签数据和大量相关领域的旧数据来为目标域构建一个高质量的分类模型,该方法既继承了基于经验风险最小化最大间隔SVM的优点,又弥补了传统SVM不能进行知识迁移的缺陷.实验结果验证了该算法的有效性.     

一种异构直推式迁移学习算法

目标领域已有类别标注的数据较少时会影响学习性能,而与之相关的其他源领域中存在一些已标注数据.迁移学习针对这一情况,提出将与目标领域不同但相关的源领域上学习到的知识应用到目标领域.在实际应用中,例如文本-图像、跨语言迁移学习等,源领域和目标领域的特征空间是不相同的,这就是异构迁移学习.关注的重点是利用源领域中已标注的数据来提高目标领域中未标注数据的学习性能,这种情况是异构直推式迁移学习.因为源领域和目标领域的特征空间不同,异构迁移学习的一个关键问题是学习从源领域到目标领域的映射函数.提出采用无监督匹配源领域和目标领域的特征空间的方法来学习映射函数.学到的映射函数可以把源领域中的数据在目标领域中重新表示.这样,重表示之后的已标注源领域数据可以被迁移到目标领域中.因此,可以采用标准的机器学习方法(例如支持向量机方法)来训练分类器,以对目标领域中未标注的数据进行类别预测.给出一个概率解释以说明其对数据中的一些噪声是具有鲁棒性的.同时还推导了一个样本复杂度的边界,也就是寻找映射函数时需要的样本数.在4个实际的数据库上的实验结果,展示了该方法的有效性.     

TL-SVM:一种迁移学习新算法

迁移学习旨在利用大量已标签源域数据解决相关但不相同的目标域问题. 当与某领域相关的新领域出现时, 若重新标注新领域, 则样本代价昂贵, 丢弃所有旧领域数据又十分浪费. 对此, 基于SVM算法提出一种新颖的迁移学习算法—–TL-SVM, 通过使用目标域少量已标签数据和大量相关领域的旧数据来为目标域构建一个高质量的分类模型, 该方法既继承了基于经验风险最小化最大间隔SVM的优点, 又弥补了传统SVM不能进行知识迁移的缺陷. 实验结果验证了该算法的有效性.     

基于SVC 和SVR 约束组合的迁移学习分类算法

根据迁移学习思想,针对分类问题,以支持向量机(SVM)模型为基础提出一种新的迁移学习分类算法CCTSVM.该方法以邻域间的分类超平面为纽带实现源域对目标域的迁移学习.具体地,以支持向量分类的约束条件完成对目标域数据的学习,获取分类超平面参数,再以支持向量回归的约束条件有效利用源域数据矫正目标域超平面参数,并在上述组合约束的共同作用下实现邻域间迁移,提高分类器性能.在人工和真实数据集上的实验表明,所提出算法具有良好的迁移能力和优越的分类性能.     

迁移学习数据分类中的ESVM算法

在迁移学习中对变化后的数据集进行分类时,噪音导致分类结果不合理。为此,提出一种迁移学习数据分类中的扩展支持向量机(ESVM)算法。使用变化前数据集的概率分布信息及学习经验,指导缓慢变化后的数据集进行分类,使分割面既可以准确分割现有数据集,同时也保留原先数据集的一些属性。实验结果表明,该算法具有一定的抗噪性能。     

安全迁移支持向量机

迁移学习方法是一种新的机器学习框架,它将源领域数据通过学习迁移到相似的目标领域中,减弱了对已标记数据的依赖。但迁移学习方法中一个重大问题是使用目标领域数据与源领域数据得到的分类器很可能比仅利用目标领域数据得到的分类器的效果更差,从而造成一种“负迁移”现象。针对此问题,提出一种基于目标领域已标记数据知识的安全控制机制,并通过结合近年出现的一种迁移学习分类器(TL-SVM)提出了一种安全迁移支持向量机(SATL-SVM),从理论上解决了TL-SVM的负迁移问题,在人工数据集和真实数据集上的实验结果表明了所提方法的有效性。     

基于迁移共享空间的分类新算法

为解决来自不同但相关领域的大量无标签数据和少量带标签数据的分类问题,首先构造一个联系源域到目标域的共享特征空间,并将该空间引入经典的支持向量机算法使其获得迁移能力,最终得到一种新的基于支持向量机的迁移共享空间的分类新算法,即迁移共享空间支持向量机.具体地,该方法以迁移学习理论为基础,结合分类器最大间隔原理,通过最大化无标签数据和带标签数据的联合概率分布来构建无标签数据和带标签数据的共享空间;为充分考虑少量带标签数据之数据分布,在其原始特征空间和共享空间组成的扩展空间中训练分类模型.相关实验结果验证了该迁移学习分类器的有效性.     

TrSVM:一种基于领域相似性的迁移学习算法

迁移学习是对传统监督学习的扩展,试图利用其他相关领域中的现存数据来帮助完成当前领域的学习任务.对于归纳式迁移学习算法,当目标领域只有少量数据时,已有的算法容易受到选择性偏差的影响,不能充分发挥相关领域数据的作用.为解决该问题,提出一种利用领域相似性的新途径:通过定义领域弱相似性的概念,将相似性的约束与目标分类器联系起来,能在训练过程中有效利用相关领域的大量数据,设计出一种基于支持向量机的迁移学习算法TrSVM,并给出求解过程.在大量数据集上的实验结果表明了新算法的有效性.     

共享隐空间迁移SVM

在机器学习中,迁移学习被证明能有效使用一个领域信息提高另一个领域中受训模型的分类精度. 迁移学习总是假设相关领域间共享某些隐含因素,但在当前的迁移学习方法中,该部分隐含因素依然未得到充分 探讨.本研究引入低维共享隐空间的迁移学习方法,基于经典支持向量机(Support vector machine, SVM)分类模型得到融入共享隐空间的迁移支持向量机,该模型较以往相关方法能更好地利用隐空间这一有效信息,从而提高所得分类器 的泛化性能.相关实验结果亦验证了所提方法的有效性.     

基于LDA主题相似度的SVM迁移学习

针对文本分类领域中的迁移学习方法,提出了一种基于LDA(Latent Dirichlet Allocation)主题生成模型相似度的支持向量机(SVM)迁移学习新思路。基于此思想,提出了迁移学习算法LDA-TSVM。本算法通过对目标域的主题进行分类,依据主题分类信息熵对训练数据进行筛选,分别计算每个训练样本的权重,使得训练集与目标集有很高的相似度,从而达到迁移学习的目的。本算法不仅未引入辅助集,而且还考虑了样本本身的差异,有效地提高了源域数据集与目标域数据集的相似性。实验结果表明了新迁移算法的有效性。     

结合超像元和子空间投影支持向量机的高光谱图像分类

目的 高光谱图像包含了丰富的空间、光谱和辐射信息,能够用于精细的地物分类,但是要达到较高的分类精度,需要解决高维数据与有限样本之间存在矛盾的问题,并且降低因噪声和混合像元引起的同物异谱的影响。为有效解决上述问题,提出结合超像元和子空间投影支持向量机的高光谱图像分类方法。方法 首先采用简单线性迭代聚类算法将高光谱图像分割成许多无重叠的同质性区域,将每一个区域作为一个超像元,以超像元作为图像分类的最小单元,利用子空间投影算法对超像元构成的图像进行降维处理,在低维特征空间中执行支持向量机分类。本文高光谱图像空谱综合分类模型,对几何特征空间下的超像元分割与光谱特征空间下的子空间投影支持向量机（SVMsub）,采用分割后进行特征融合的处理方式,将像元级别转换为面向对象的超像元级别,实现高光谱图像空谱综合分类。结果 在AVIRIS（airbone visible/infrared imaging spectrometer）获取的Indian Pines数据和Reflective ROSIS（optics system spectrographic imaging system）传感器获取的University of Pavia数据实验中,子空间投影算法比对应的非子空间投影算法的分类精度高,特别是在样本数较少的情况下,分类效果提升明显;利用马尔可夫随机场或超像元融合空间信息的算法比对应的没有融合空间信息的算法的分类精度高;在两组数据均使用少于1%的训练样本情况下,同时融合了超像元和子空间投影的支持向量机算法在两组实验中分类精度均为最高,整体分类精度高出其他相关算法4%左右。结论 利用超像元处理可以有效融合空间信息,降低同物异谱对分类结果的不利影响;采用子空间投影能够将高光谱数据变换到低维空间中,实现有限训练样本条件下的高精度分类;结合超像元和子空间投影支持向量机的算法能够得到较高的高光谱图像分类精度。     

一种SVM增量学习算法α-ISVM

基于SVM(support vector machine)理论的分类算法,由于其完善的理论基础和良好的试验结果,目前已逐渐引起国内外研究者的关注.深入分析了SVM理论中SV(support vector,支持向量)集的特点,给出一种简单的SVM增量学习算法.在此基础上,进一步提出了一种基于遗忘因子α的SVM增量学习改进算法α-ISVM.该算法通过在增量学习中逐步积累样本的空间分布知识,使得对样本进行有选择地遗忘成为可能.理论分析和实验结果表明,该算法能在保证分类精度的同时,有效地提高训练速度并降低存储空间的占用.     

一种主动学习式P2P流识别方法

P2P流的识别对于网络的维护与运营都具有重要意义,基于机器学习的流识别技术是目前研究的热点和难点内容,但目前仍然存在着建立分类模型需要大量适用的训练数据、训练数据的标记需要依赖领域专家以及因此而导致的工作量及难度过大和实用性不强等问题,而当前的研究工作很少涉及到这些问题的解决办法。针对这一问题,采用主动学习技术提取少量高质量的训练样本进行建模,并结合SVM分类算法提出了一种基于锦标赛选择的样本筛选方法。实验结果表明,其相对于已有的流识别方法,能够在仅依赖少量高质量训练样本的前提下,保证较高召回率及较低误报率,更适用于现实网络环境。     

基于商空间粒度理论的大规模SVM分类算法*

利用商空间粒度理论对已有的SVM分类算法进行改进,给出了一种新的SVM分类算法——SVMG。该算法将SVM分类问题划分成两个或多个子问题,从而降低了SVM分类复杂度。实验表明,改进的算法适用于处理大数据量的样本,能在保持分类精度的情况下有效地提高支持向量机的学习和分类速度。     

基于几何思想的快速支持向量机算法

为了快速地进行分类,根据几何思想来训练支持向量机,提出了一种快速而简单的支持向量机训练算法——几何快速算法。由于支持向量机的最优分类面只由支持向量决定,因此只要找出两类样本中所有支持向量,那么最优分类面就可以完全确定。该新的算法根据两类样本的几何分布,先从两类样本的最近点开始;然后通过不断地寻找违反KKT条件的样本点来找出支持向量;最后确定最优分类面。为了验证新算法的有效性,分别利用两个公共数据库,对新算法与SMO算法及DIRECTSVM算法进行了实验对比,实验结果显示,新算法的分类精度虽与其他两个方法相当,但新算法的运算速度明显比其他两个算法快。     

基于改进的深度残差网络的表情识别研究

提出了一种基于改进的深度残差网络(residual network,ResNet)的表情识别算法。采用小卷积核和深网络结构,利用残差模块学习残差映射解决了随着网络深度增加网络精度下降的问题,通过迁移学习方法克服了因数据量不足导致训练不充分的缺点;网络架构使用了线性支持向量机(SVM)进行分类。实验中首先利用ImageNet数据库进行网络参数预训练,使网络具有良好的提取特征能力,根据迁移学习方法,利用FER-2013数据库以及扩充后的CK+数据库进行参数微调和训练。该算法克服了浅层网络需要依靠手工特征,深层网络难以训练等问题,在CK+数据库以及GENKI-4K数据库上分别取得了91. 333%和95. 775%识别率。SVM在CK+数据库的分类效果较softmax提高了1%左右。     

一种新的基于SVM的多层分类方法

本文提出了一种新的基于SVM多类问题的策略Half-Against-Half,用该方法训练的基本思想是从多个类别中选择相近或相似的类别,相近的类别放在一个子集里,把多个类别分成两个子集,一直递归地使用这种思想,用类似决策树的思想构造,直到通过多个二分SVM分类器能把每个类别分开。从理论上看,该方法在训练时间、速度、训练集大小等方面比传统的方法OVA、OVO、DAG有一定的优势,并在实践方面得到了实验数据的支持。     

基于流形正则化极限学习机的语种识别系统

支持向量机 (Support vector machine, SVM) 在语种识别中已经起到了重要的作用.近些年来,极限学习机 (Extreme learning machine, ELM) 在很多领域取得了成功的应用.相比于 SVM, ELM 最大的优点在于极易实现、训练速度快,而且通常可以取得与 SVM 相近甚至优于 SVM 的识别性能. 鉴于 ELM 这些优异的特点,本文将 ELM 引入到语种识别中,并针对 ELM 由于随机初始化模型参 数所带来的潜在问题,提出了流形正则化极限学习机 (Manifold regularized extreme learning machine, MRELM) 算法.实验结果表明,在高斯超矢量(Gaussian supervector, GSV)特征空间上,相对于 SVM 基线系统,该算法对30秒语音的识别性能有明显的提升. 同时该算法也可以成功地应用到 i-vector 特征空间中,取得与当前主流的打分算法相近的识别性能.