一种结合LPA半监督学习的排序学习算法

针对有监督排序学习所需训练集的大量标注数据不易获得的情况,引入基于图的标签传播半监督学习。利用有限的已标记数据和大量未标记数据来完成训练数据的自动标注工作,解决大量训练数据集标注工作耗时耗力的难题。首先以训练数据为节点建立εNN图模型实现标签传播算法进行训练数据的自动标注,再基于得到的训练集使用Ranking SVM实现排序学习,在OHSUMED数据集上衡量该方法在MAP和NDCG@n评价准则下的性能。实验结果表明,该方法的性能优于普通pointwise排序学习方法,略低于普通pairwise排序学习方法,能够在达到可用性要求的前提下节省接近60%的训练集标注工作量。     

基于Listwise的新型排序算法

基于Pairwise的排序算法得到的判别式模型准确率较低。为此,提出一种基于Listwise的新型排序算法。采用判别式模型,将基于1-slack的支持向量机作为算法框架,定义算法的优化目标。由于该目标的约束条件太多,难以直接优化,因此使用割平面法求解。对于算法内部寻找最违背排列的子问题,将其看作一个线性指派问题,采用匈牙利法求解。在基准数据集上的实验结果验证该算法的有效性和稳定性。     

一种结合众包的排序学习算法

针对有监督排序学习所需带标记训练数据集不易获得的情况,引入众包这种新型大众网络聚集模式来完成标注工作,为解决排序学习所需大量训练数据集标注工作耗时耗力的难题提供了新的思路。首先介绍了众包标注方法,着重提出两种个人分类器模型来解决众包结果质量控制问题,同时考虑标注者能力和众包任务的难度这两个影响众包质量的因素。再基于得到的训练集使用RankingSVM进行排序学习并在微软OHSUMED数据集上衡量了该方法在NDCG@n评价准则下的性能。实验结果表明该众包标注方法能够达到95%以上的正确率,所得排序模型的性能基本和RankingSVM算法持平,从而验证了众包应用于排序学习的可行性和优越性。     

一种快速SVM学习算法

在对两种SVM学习算法(SMO和SVMlight)进行分析的基础上,提出了一种改进的基于集合划分和SMO的算法SDBSMO。该算法根据样本违背最优化条件的厉害程度将训练集划分为多个集合,每次迭代后利用集合信息快速更新工作集和相关参数,从而减少迭代开销,提高训练速度。实验结果表明该算法能很好地提高支持向量机的训练速度。     

一种并行结构化支持向量机次梯度投影算法

支持向量机的次梯度投影算法是解决支持向量机优化求解问题的一种简单有效的迭代算法。该算法通过梯度下降和投影两个步骤的多轮迭代,找到两类最大间隔的分类面。针对该算法忽略了对寻找分类面同样有指导意义的样本分布信息这一问题,在分类器设计中融入结构信息,并且采用MapReduce并行计算框架,提出了一种并行结构化支持向量机的次梯度投影算法,该算法能够充分利用集群的计算和存储能力,适用于海量数据的优化问题。在NASA的两个软件模块缺陷度量数据集CM1和PC1上的实验结果表明,该算法能够加快收敛速度,提高分类性能,有效地解决海量数据的优化求解问题。     

基于改进的排序学习的图片检索算法研究

图片检索是图片共享社会网络中的重要研究内容之一。传统的图片检索方法往往通过对用户输入的关键字和图片的文本描述加以匹配来进行图片检索。由于文本信息存在歧义性,图片的文本描述十分困难,因此检索结果的准确性低。为了提高图片检索的准确性,提出了基于排序学习的图片检索方法。将每幅图片通过多种特征描述符进行描述,当用户的输入为图片时,通过对比查询图片和图片库中图片的相似性进行图片检索。采用支持向量机和关联规则两种学习方法对特征描述符的权重组合进行学习,并提出了相应的学习算法。实验表明,提出的基于学习的图片检索方法与相关图片检索方法相比具有更高的准确性。此外,应用支持向量机和关联规则两种方法对分类函数进行学习时,由于两种算法通过相同的数据实例对图片描述符的权重进行学习,因此得到的结果是相关的。     

排序学习研究进展与展望

排序学习利用机器学习技术去训练排序模型以解决排序问题,是信息检索与机器学习交叉领域的一个新兴研究热点.越来越多的排序学习方法已经应用于实际系统中,如搜索引擎和推荐系统等.本文概括了排序学习的研究进展,并进行展望.首先,阐述了排序学习问题.然后,对排序学习方法进行了分类,并重点分析了依据训练排序模型时所采用的不同机器学习技术的排序学习方法类别.本文还介绍了一些代表性的标准排序学习数据集,对排序学习方法在若干领域的成功应用进行了总结,并归纳了一些排序学习方法软件包.最后,对排序学习的未来发展趋势和挑战进行了展望和探讨.     

一种基于统计的排序算法

本文提出了一种基于统计的快速排序算法 ,并对该算法的时间复杂度和空间复杂度进行了分析 .该算法要求排序关键字满足一定的约束条件 ,其时间复杂度为 O(n) .对该算法做一些简单的修改 ,还可以将其推广到对一般关键字的排序问题 .     

地址排序的一种新算法—链缓冲排序

本文针对传统地址排序算法的两个缺点,设计了一个新的地址排序算法,本算法用PASCAL语言在IBM PC机上实现,并与快速排序算法进行了排序时间的比较,结果表明本算法优于快速排序算法。     

基于最小样本平面距离的支持向量机增量学习算法

支持向量机增量算法的关键是对历史样本集的剪辑,在历史样本集中选择出尽可能少又能表示尽可能多历史样本集信息的子集,再把这个子集与新增训练样本集放在一起进行训练.Liva Ralaivola[1]提出保留新增样本最近邻样本来表示历史样本集,而这样的最近邻样本中可能存在冗余样本.根据历史样本与分类平面间的距离可以去除新增样本最近邻样本集中的冗余样本.根据样本平面距离提出了MSPDISVM (minimum sample plane distance incremental support vector machines)算法.实验结果表明,MSPDISVM比Liva Ralaivola提出的算法有更快的速度,而精度没有太大的差异.使用样本平面距离可以有效地去除新增样本最近邻中的冗余样本.     

改进的概率选择主动支持向量机算法

针对大多数主动学习支持向量机（ASVM）的主动学习策略只注重考察超平面附近的样本,忽略了有些距离超平面远但是支持向量的样本,而且没有考虑当前超平面是否接近实际的超平面。提出一种基于概率的主动支持向量机算法,采用一个置信因子来衡量当前的超平面接近实际的超平面的程度。实验结果都验证了该算法在分类精度与计算量方面都有了较大改进。     

基于半监督学习的多示例多标记E-MIMLSVM+算法

多示例多标记是一种新的机器学习框架,在该框架下一个对象用多个示例来表示,同时与多个类别标记相关联。MIMLSVM+算法将多示例多标记问题转化为一系列独立的二类分类问题,但是在退化过程中标记之间的联系信息会丢失,而E-MIMLSVM+算法则通过引入多任务学习技术对MIMLSVM+算法进行了改进。为了充分利用未标记样本来提高分类准确率,使用半监督支持向量机TSVM对E-MIMLSVM+算法进行了改进。通过实验将该算法与其他多示例多标记算法进行了比较,实验结果显示,改进算法取得了良好的分类效果。     

基于类边界壳向量的快速SVM增量学习算法

为进一步提高SVM增量训练的速度,在有效保留含有重要分类信息的历史样本的基础上,对当前增量训练样本集进行了约简,提出了一种基于类边界壳向量的快速SVM增量学习算法,定义了类边界壳向量。算法中增量训练样本集由壳向量集和新增样本集构成,在每一次增量训练过程中,首先从几何角度出发求出当前训练样本集的壳向量,然后利用中心距离比值法选择出类边界壳向量后进行增量SVM训练。分别使用人工数据集和UCI标准数据库中的数据进行了实验,结果表明了方法的有效性。     

基于SVM主动学习的音乐分类

提出了一种改进的SVM（支持向量机）主动学习方法,通过多次迭代提供给用户信息量最大的样本并将其加入训练集,可以大大减少人工标记样本所耗费的代价。为了评估分类器的性能,实验中对包含了五种音乐流派类别（舞曲、抒情、爵士、民乐、摇滚）的801首音乐样本进行了分类,并在分类准确率的收敛速度和达到同等准确率下需要标注的样本数目两个方面验证了提出的SVM主动学习方法的有效性。     

基于神经网络的支持向量机学习方法研究

针对支持向量机（Support Vector Machine,SVM）对大规模样本分类效率低下的问题,提出了基于自适应共振理论（Adaptive Resonance Theory,ART）神经网络与自组织特征映射（Self-Organizing feature Map,SOM）神经网络的SVM训练算法,分别称为ART-SVM算法与SOM-SVM算法。这两种算法通过聚类压缩数据集,使SVM训练的速度大大提高,同时可获得令人满意的泛化能力。     

十折交叉检验的支持向量机参数优化算法

针对支持向量机结构参数的选取在没有理论支持,选取又比较困难的情况下,提出了一种基于遗传算法和十折交叉检验相结合的遗传支持向量机(GA-SVM)算法,利用遗传算法的全局搜索特性得到SVM的最优参数值,有效提高了分类的精度和效率。     

自适应模糊支持向量机算法研究

一个有效的核方法通常取决于选择一个合适的核函数。目前研究核方法的热点是从数据中自动地进行核学习。提出基于最优分类标准的核学习方法,这个标准类似于线性鉴别分析和核Fisher判别式。并把此算法应用于模糊支持向量机多类分类器设计上,在ORL人脸数据集和Iris数据集上的实验验证了该算法的可行性。     

基于支持向量机协同训练的半监督回归

将支持向量机与半监督学习理论相结合,提出基于支持向量机协同训练的半监督回归模型,使用两个支持向量机回归模型相互影响,协同训练。利用实验数据集进行实验,并与监督支持向量机回归模型、半监督自训练支持向量机回归模型作比较。实验结果表明,基于支持向量机协同训练的半监督回归模型在缺少标记样本的情况下,提高了回归估计的精度。     

一种新的SVM对等增量学习算法

在分析支持向量机（SVM）寻优问题的KKT条件和样本分布之间关系的基础上,分析了新增样本的加入对SV集的影响,定义了广义KKT条件。基于原训练样本集和新增训练样本集在增量训练中地位等同,提出了一种新的SVM增量学习算法。算法在及时淘汰对后继分类影响不大的样本的同时保留了含有重要分类信息的样本。对标准数据集的实验结果表明,算法获得了较好的性能。