最大间隔椭球形多类分类算法

针对多类分类问题中现有算法精度不高的问题,基于一类分类马氏椭球学习机,提出一种最大间隔椭球形多类分类算法,将每一类数据用超椭球来界定,数据空间由若干个超椭球组成,每个超椭球包围一类样本点,并以最大间隔排除不属于该类的样本点,该算法同时考虑了不同类样本点的协方差矩阵,即分布信息。真实数据上的实验结果表明该方法能提高分类精度。     

最大间隔椭球形多类分类算法

针对多类分类问题中现有算法精度不高的问题,基于一类分类马氏椭球学习机,提出一种最大间隔椭球形多类分类算法,将每一类数据用超椭球来界定,数据空间由若干个超椭球组成,每个超椭球包围一类样本点,并以最大间隔排除不属于该类的样本点,该算法同时考虑了不同类样本点的协方差矩阵,即分布信息。真实数据上的实验结果表明该方法能提高分类精度。     

基于马氏椭球学习机的监督野点探测

针对有少量野点出现的情况,提出一种基于马氏椭球学习机的监督野点探测（supervised outlier detection based on Mahalanobis ellipsoidal learning machine,SODMELM）方法。这种方法通过一个超椭球对正常类进行较好的描述的同时,将野点排除在该椭球外面,继承了马氏椭球学习机（Mahalanobis Ellipsoidal Learning Machine,MELM）将样本点的协方差矩阵即样本点的分布信息考虑进去的优点。真实数据上的实验表明了所提的方法在一般意义上能提高野点探测的效率。     

基于超椭球支持向量机的兼类文本分类算法

提出一种基于超椭球支持向量机的多类文本分类算法。对每一类样本,利用超椭球支持向量机方法在特征空间求得一个超椭球,使其包含该类尽可能多的样本,同时将噪音点排除在外。分类时,利用待分类样本映射到每个超椭球球心的马氏距离确定其类别。在标准数据集Reuters 21578上的实验结果表明,该算法有效地提高了分类精度。     

基于增量学习的直推式支持向量机算法

针对直推式支持向量机在进行大数据量分类时出现精度低、学习速度慢和回溯式学习多的问题,提出了一种基于增量学习的直推式支持向量机分类算法,将增量学习引入直推式支持向量机,使其在训练过程中仅保留有用样本而抛弃无用样本,从而减少学习时间,提高分类速度。实验结果表明,该算法具有较快的分类速度和较高的分类精度。     

基于SVDD的渐进直推式支持向量机学习算法

针对半监督学习中渐进直推支持向量机(PTSVM)算法每次标注的样本数太少、训练速度慢、回溯式学习多、学习性能不稳定的问题,提出一种快速的渐进直推支持向量机学习算法.该算法利用支持向量的信息,基于支持向量域描述(SVDD)选择新标注、无标签的样本点,以区域标注法代替PTSVM的成对标注法,不仅继承了其渐进赋值和动态调整的规则,而且在保持甚至提高算法精度的同时,大大提高算法速度.在人工模拟数据和真实数据上的实验结果表明该算法的有效性.     

近邻渐进直推式支持向量机算法

针对渐进直推式支持向量机箅法训练速度慢和学习性能不稳定的问题,提出一种近邻渐进直推式支持向量机算法.该算法利用支持向量机中支持向量信息,选择支持向量附近的无标签样本点进行标注,采用支持向量预选取的方法减少训练集的规模,提高算法的速度.实验结果表明了该算法的有效性.     

一种新的类增量学习方法

提出一种新的基于超椭球的类增量学习算法。对每一类样本,在特征空间求得一个包围该类尽可能多样本的最小超椭球,使得各类样本之间通过超椭球隔开。类增量学习过程中,只对新增类样本进行训练。分类时,通过计算待分类样本是否在超椭球内判定其所属类别。实验结果证明,该方法较超球方法提高了分类精度和分类速度。     

一类分类马氏椭球学习机的改进

针对一类分类马氏椭球学习机(Mahalanobis ellipsoidai learning machine for one class classification,MELM)方法中选取参数C比较困难的问题,提出一种改进的方法v-MELM.这种方法通过引入一个具有明确物理意义的参数v,即v是超椭球外部的样本点数(野点数)占总样本点数的份额的上界,是支持向量的个数所占总样本点数的份额的下界,使参数可以灵活地根据实际问题的精度要求来选取,从而可以快速选取最有效的参数.     

结合Tri-training半监督学习和凸壳向量的SVM主动学习算法*

为解决监督学习过程中难以获得大量带有类标记样本且样本数据标记代价较高的问题,结合主动学习和半监督学习方法,提出基于Tri-training半监督学习和凸壳向量的SVM主动学习算法.通过计算样本集的壳向量,选择最有可能成为支持向量的壳向量进行标记.为解决以往主动学习算法在选择最富有信息量的样本标记后,不再进一步利用未标记样本的问题,将Tri-training半监督学习方法引入SVM主动学习过程,选择类标记置信度高的未标记样本加入训练样本集,利用未标记样本集中有利于学习器的信息.在UCI数据集上的实验表明,文中算法在标记样本较少时获得分类准确率较高和泛化性能较好的SVM分类器,降低SVM训练学习的样本标记代价.     

一种新的兼类样本类增量学习算法

提出了一种基于超椭球的兼类样本类增量学习算法。对兼有同一类别的样本,在特征空间构建一个能包围该类尽可能多样本的最小超椭球,使各类样本之间通过超椭球球面分开。增量学习过程中,对新增样本中的每一新类别构建超椭球,对新增样本中的各历史类别重新构建超椭球,使得算法在很小的空间代价下实现了兼类样本类增量学习,同时保留了与新增样本类别无关的历史类训练结果。分类过程中,根据待分类样本是否在超椭球内或隶属度来确定其所属类别。实验结果表明,该算法较超球方法具有较快的分类速度和较高的分类精度。     

基于两阶段学习的半监督支持向量机分类算法

提出了一种基于两阶段学习的半监督支持向量机(semi-supervised SVM)分类算法.首先使用基于图的标签传递算法给未标识样本赋予初始伪标识,并利用k近邻图将可能的噪声样本点识别出来并剔除;然后将去噪处理后的样本集视为已标识样本集输入到支持向量机(SVM)中,使得SVM在训练时能兼顾整个样本集的信息,从而提高SVM的分类准确率.实验结果证明,同其它半监督学习算法相比较,本文算法在标识的训练样本较少的情况下,分类性能有所提高且具有较高的可靠性.     

基于多模态的在线序列极限学习机研究

单一模态包含的物体信息有限,导致在物体材质识别分类中表现不佳,而传统多模态融合方法在样本训练过程中需要输入所有数据。提出一种多模态的多尺度局部感受野在线序列极限学习机方法。对物体不同模态样本运用改进的特征提取框架,利用多尺度局部感受野感知样本信息提取特征,并将不同模态特征融合后通过在线序列极限学习机进行训练学习。在线序列极限学习机在训练过程中增量式地输入样本进行训练,当有新数据需要训练时无需对所有数据重新训练。在TUM触觉纹理数据库上进行验证,实验结果表明,多模态融合的分类精度高于单模态的分类精度,且改进的特征提取框架可以显著提升分类性能。     

一种新的不平衡数据学习算法PCBoost

现实世界中广泛存在不平衡数据,其分类问题是机器学习研究中的一个热点.多数传统分类算法假定类分布平衡或误分类代价均衡,在处理不平衡数据时,效果不够理想.文中提出一种不平衡数据分类算法-PCBoost.算法以信息增益率为分裂准则构建决策树,作为弱分类器.在每次迭代初始,利用数据合成方法添加合成的少数类样例,平衡训练信息;在子分类器形成后,修正“扰动”,删除未被正确分类的合成样例.文中讨论了数据合成方法,给出了训练误差界的理论分析,并分析了集成学习参数的选择.实验结果表明,PCBoost算法具有处理不平衡数据分类问题的优势.     

A Novel Active Learning Method Using SVM for Text Classification

Support vector machines (SVMs) are a popular class of supervised learning algorithms, and are particularly applicable to large and high-dimensional classification problems. Like most machine learning methods for data classification and information retrieval, they require manually labeled data samples in the training stage. However, manual labeling is a time consuming and errorprone task. One possible solution to this issue is to exploit the large number of unlabeled samples that are easily accessible via the internet. This paper presents a novel active learning method for text categorization. The main objective of active learning is to reduce the labeling effort, without compromising the accuracy of classification, by intelligently selecting which samples should be labeled. The proposed method selects a batch of informative samples using the posterior probabilities provided by a set of multi-class SVM classifiers, and these samples are then manually labeled by an expert. Experimental results indicate that the proposed active learning method significantly reduces the labeling effort, while simultaneously enhancing the classification accuracy.     

基于最大间隔理论的组合距离学习算法

从已知数据集中学习距离度量在许多机器学习应用中都起着重要作用。传统的距离学习方法通常假定目标距离函数为马氏距离的形式,这使得学习出的距离度量在应用上具有局限性。提出了一种新的距离学习方法,将目标距离函数表示为若干候选距离的线性组合,依据最大间隔理论利用数据集的边信息学习得到组合距离中各距离分量的权值,从而得到新的距离度量。通过该距离度量在模糊C均值聚类算法中的表现来对其进行评价。在UCI数据集上,与其他已有的距离学习算法的对比实验结果证明了该文算法的有效性。