TL-SVM:一种迁移学习算法

迁移学习旨在利用大量已标签源域数据解决相关但不相同的目标域问题.当与某领域相关的新领域出现时,若重新标注新领域,则样本代价昂贵,丢弃所有旧领域数据又十分浪费.对此,基于SVM算法提出一种新颖的迁移学习算法—–TL-SVM,通过使用目标域少量已标签数据和大量相关领域的旧数据来为目标域构建一个高质量的分类模型,该方法既继承了基于经验风险最小化最大间隔SVM的优点,又弥补了传统SVM不能进行知识迁移的缺陷.实验结果验证了该算法的有效性.     

一种异构直推式迁移学习算法

目标领域已有类别标注的数据较少时会影响学习性能,而与之相关的其他源领域中存在一些已标注数据.迁移学习针对这一情况,提出将与目标领域不同但相关的源领域上学习到的知识应用到目标领域.在实际应用中,例如文本-图像、跨语言迁移学习等,源领域和目标领域的特征空间是不相同的,这就是异构迁移学习.关注的重点是利用源领域中已标注的数据来提高目标领域中未标注数据的学习性能,这种情况是异构直推式迁移学习.因为源领域和目标领域的特征空间不同,异构迁移学习的一个关键问题是学习从源领域到目标领域的映射函数.提出采用无监督匹配源领域和目标领域的特征空间的方法来学习映射函数.学到的映射函数可以把源领域中的数据在目标领域中重新表示.这样,重表示之后的已标注源领域数据可以被迁移到目标领域中.因此,可以采用标准的机器学习方法(例如支持向量机方法)来训练分类器,以对目标领域中未标注的数据进行类别预测.给出一个概率解释以说明其对数据中的一些噪声是具有鲁棒性的.同时还推导了一个样本复杂度的边界,也就是寻找映射函数时需要的样本数.在4个实际的数据库上的实验结果,展示了该方法的有效性.     

TL-SVM:一种迁移学习新算法

迁移学习旨在利用大量已标签源域数据解决相关但不相同的目标域问题. 当与某领域相关的新领域出现时, 若重新标注新领域, 则样本代价昂贵, 丢弃所有旧领域数据又十分浪费. 对此, 基于SVM算法提出一种新颖的迁移学习算法—–TL-SVM, 通过使用目标域少量已标签数据和大量相关领域的旧数据来为目标域构建一个高质量的分类模型, 该方法既继承了基于经验风险最小化最大间隔SVM的优点, 又弥补了传统SVM不能进行知识迁移的缺陷. 实验结果验证了该算法的有效性.     

基于SVC 和SVR 约束组合的迁移学习分类算法

根据迁移学习思想,针对分类问题,以支持向量机(SVM)模型为基础提出一种新的迁移学习分类算法CCTSVM.该方法以邻域间的分类超平面为纽带实现源域对目标域的迁移学习.具体地,以支持向量分类的约束条件完成对目标域数据的学习,获取分类超平面参数,再以支持向量回归的约束条件有效利用源域数据矫正目标域超平面参数,并在上述组合约束的共同作用下实现邻域间迁移,提高分类器性能.在人工和真实数据集上的实验表明,所提出算法具有良好的迁移能力和优越的分类性能.     

迁移学习数据分类中的ESVM算法

在迁移学习中对变化后的数据集进行分类时,噪音导致分类结果不合理。为此,提出一种迁移学习数据分类中的扩展支持向量机(ESVM)算法。使用变化前数据集的概率分布信息及学习经验,指导缓慢变化后的数据集进行分类,使分割面既可以准确分割现有数据集,同时也保留原先数据集的一些属性。实验结果表明,该算法具有一定的抗噪性能。     

基于迁移共享空间的分类新算法

为解决来自不同但相关领域的大量无标签数据和少量带标签数据的分类问题,首先构造一个联系源域到目标域的共享特征空间,并将该空间引入经典的支持向量机算法使其获得迁移能力,最终得到一种新的基于支持向量机的迁移共享空间的分类新算法,即迁移共享空间支持向量机.具体地,该方法以迁移学习理论为基础,结合分类器最大间隔原理,通过最大化无标签数据和带标签数据的联合概率分布来构建无标签数据和带标签数据的共享空间;为充分考虑少量带标签数据之数据分布,在其原始特征空间和共享空间组成的扩展空间中训练分类模型.相关实验结果验证了该迁移学习分类器的有效性.     

安全迁移支持向量机

迁移学习方法是一种新的机器学习框架,它将源领域数据通过学习迁移到相似的目标领域中,减弱了对已标记数据的依赖。但迁移学习方法中一个重大问题是使用目标领域数据与源领域数据得到的分类器很可能比仅利用目标领域数据得到的分类器的效果更差,从而造成一种“负迁移”现象。针对此问题,提出一种基于目标领域已标记数据知识的安全控制机制,并通过结合近年出现的一种迁移学习分类器(TL-SVM)提出了一种安全迁移支持向量机(SATL-SVM),从理论上解决了TL-SVM的负迁移问题,在人工数据集和真实数据集上的实验结果表明了所提方法的有效性。     

TrSVM:一种基于领域相似性的迁移学习算法

迁移学习是对传统监督学习的扩展,试图利用其他相关领域中的现存数据来帮助完成当前领域的学习任务.对于归纳式迁移学习算法,当目标领域只有少量数据时,已有的算法容易受到选择性偏差的影响,不能充分发挥相关领域数据的作用.为解决该问题,提出一种利用领域相似性的新途径:通过定义领域弱相似性的概念,将相似性的约束与目标分类器联系起来,能在训练过程中有效利用相关领域的大量数据,设计出一种基于支持向量机的迁移学习算法TrSVM,并给出求解过程.在大量数据集上的实验结果表明了新算法的有效性.     

共享隐空间迁移SVM

在机器学习中,迁移学习被证明能有效使用一个领域信息提高另一个领域中受训模型的分类精度. 迁移学习总是假设相关领域间共享某些隐含因素,但在当前的迁移学习方法中,该部分隐含因素依然未得到充分 探讨.本研究引入低维共享隐空间的迁移学习方法,基于经典支持向量机(Support vector machine, SVM)分类模型得到融入共享隐空间的迁移支持向量机,该模型较以往相关方法能更好地利用隐空间这一有效信息,从而提高所得分类器 的泛化性能.相关实验结果亦验证了所提方法的有效性.     

基于LDA主题相似度的SVM迁移学习

针对文本分类领域中的迁移学习方法,提出了一种基于LDA(Latent Dirichlet Allocation)主题生成模型相似度的支持向量机(SVM)迁移学习新思路。基于此思想,提出了迁移学习算法LDA-TSVM。本算法通过对目标域的主题进行分类,依据主题分类信息熵对训练数据进行筛选,分别计算每个训练样本的权重,使得训练集与目标集有很高的相似度,从而达到迁移学习的目的。本算法不仅未引入辅助集,而且还考虑了样本本身的差异,有效地提高了源域数据集与目标域数据集的相似性。实验结果表明了新迁移算法的有效性。     

仿射子空间最近点分类算法

为了取得更好的识别效果,受支持向量机的几何解释和最近点问题启发,提出了一种新的模式分类算法——仿射子空间最近点算法。该算法是将支持向量机最近点法的最近点搜索区域由两类训练集凸包推广到两类训练样本各自张成的仿射子空间,并以仿射子空间作为样本分布的粗略估计,通过仿射子空间中的最近点对来构造平分仿射子空间间隔的最优分类超平面。该算法在ORL人脸识别数据库上进行的比较实验中取得了较好的识别效果,从而证实了该方法的可行性和有效性。     

基于子空间增量学习的视频中人脸图像检索

提出一种以电影视频中人脸图像为依据的视频检索方法.首先通过AdaBoost检测视频序列中的人脸图像,将检测到的人脸做标准化处理后投影到增量特征人脸子空间中,得到人脸图像的向量表述;然后应用单类支持向量机进行训练和分类,根据分类的结果动态地调整前面得到的最优分类超平面,实现对电影视频中特定演员的检索功能.由于不同镜头中同一人的人脸图像通常差别很大,该方法随时间序列动态地调整特征人脸空间,以适应人脸分布的变化.对电影《小花》、《Notting hill》等的实验表明,该方法在视频环境下可以较准确地检索出特定人像.     

基于改进多核学习的语音情感识别算法

提出一种基于改进多核学习的语音情感识别算法.算法以高斯径向基核函数为基准,通过采样不同的样本,采用不同的评价标准并获得不同的参数,来提高分类性能.此外,通过引入多核技术,将得到的高斯核函数构建多核学习的基核,并通过利用松弛因子构建的软间隔多核学习的目标函数改善了学习效率.对比仿真实验结果表明,本文提出的基于多核学习语音情感识别算法有效提高了语音情感识别性能.     

一种适合于增量学习的支持向量机的快速循环算法

当样本数量大到计算机内存中放不下时，常规支持向量机方法就失去了学习能力，为了解决这一问题，提高支持向量机的训练速度，文章分析了支持向量机分类的本质特征，根据支持向量机分类仅与支持向量有关的特点，提出了一种适合于支持向量机增量学习的快速循环算法(PFI-SVM)，提高了支持向量机的训练速度和大样本学习的能力，而支持向量机的分类能力不受任何影响，取得了较好的效果。     

基于几何思想的快速支持向量机算法

为了快速地进行分类,根据几何思想来训练支持向量机,提出了一种快速而简单的支持向量机训练算法——几何快速算法。由于支持向量机的最优分类面只由支持向量决定,因此只要找出两类样本中所有支持向量,那么最优分类面就可以完全确定。该新的算法根据两类样本的几何分布,先从两类样本的最近点开始;然后通过不断地寻找违反KKT条件的样本点来找出支持向量;最后确定最优分类面。为了验证新算法的有效性,分别利用两个公共数据库,对新算法与SMO算法及DIRECTSVM算法进行了实验对比,实验结果显示,新算法的分类精度虽与其他两个方法相当,但新算法的运算速度明显比其他两个算法快。