最小距离分类器的改进算法--加权最小距离分类器

最小距离分类器是一种简单而有效的分类方法。为了提高最小距离分类器的分类性能,主要的改进方法是选择更有效的距离度量。通过分析多重限制分类器和决策树分类器的分类原则,提出了基于标准化欧式距离的加权最小距离分类器。该分类器通过对标称型和字符串型属性的距离的加权定义。以及增加属性值的范围约束,扩大了最小标准化欧式距离分类器的适用范围,同时提高了其分类准确率。实验结果表明,加权最小距离分类器具有较高的分类准确率。     

基于最小样本平面距离的支持向量机增量学习算法

支持向量机增量算法的关键是对历史样本集的剪辑,在历史样本集中选择出尽可能少又能表示尽可能多历史样本集信息的子集,再把这个子集与新增训练样本集放在一起进行训练.Liva Ralaivola[1]提出保留新增样本最近邻样本来表示历史样本集,而这样的最近邻样本中可能存在冗余样本.根据历史样本与分类平面间的距离可以去除新增样本最近邻样本集中的冗余样本.根据样本平面距离提出了MSPDISVM (minimum sample plane distance incremental support vector machines)算法.实验结果表明,MSPDISVM比Liva Ralaivola提出的算法有更快的速度,而精度没有太大的差异.使用样本平面距离可以有效地去除新增样本最近邻中的冗余样本.     

一种改进的最小距离分类器NN-MDC

为了提高最小距离分类器的性能,在其基础上提出了一种改进MDC——NN-MDC:它先对训练样本进行修剪,根据每个样本与其最近邻类标的异同决定其取舍,然后再用剩余的训练样本训练得到分类器。采用UCI标准数据集实验,结果表明本文所提出的NN-MDC与MDC相比具有较高的分类精度。     

基于自适应距离度量的最小距离分类器集成

提出了一种基于自适应距离度量的最小距离分类器集成方法,给出了个体分类器的生成方法。首先用Bootstrap技术对训练样本集进行可重复采样,生成若干个子样本集,应用生成的子样本集建立自适应距离度量模型,根据建立的模型对子样本集进行训练,生成个体分类器。在集成中,将结果用相对多数投票法集成最终的结论。采用UCI标准数据集实验,将该方法与已有方法进行了性能比较,结果表明基于自适应距离度量的最小距离分类器集成是最有效的。     

朴素贝叶斯分类器增量学习序列算法研究

首先介绍了一种朴素贝叶斯增量分类模型,然后提出了一种新的序列学习算法以弥补其学习序列中存在的不足训练实例的先验知识得不到充分利用,测试实例的完备性对分类的影响在学习过程中得不到体现等。该算法引入一个分类损失权重系数λ,用于计算分类损失大小。引入该系数的作用在于充分利用先验知识对分类器进行了优化;通过选择合理的学习序列强化了较完备数据对分类的积极影响,弱化了噪音数据的消极影响,从而提高分类精度;弥补了独立性假设在实际问题中的不足等。     

基于最小距离的多中心向量的增量分类算法

分类是数据挖掘的一项重要研究内容。在分析了现有分类方法后,提出了基于最小距离的多中心向量的增量分类算法。该方法首先按照属性类聚类训练样本,通过类间调整,消除类域空间重叠。针对增量分类,提出了多中心向量的分类算法,通过空间区域划分的方法,减少增量分类选取的代表样本数量。实验结果表明,与文献[14]提出的增量分类算法相比,分类精度近似相同,但所需时间复杂度和存储空间则有不同程度的下降,这对大数据的处理是具有重要意义的。     

基于异构分类器集成的增量学习算法

将集成学习的思想引入到增量学习之中可以显著提升学习效果,近年关于集成式增量学习的研究大多采用加权投票的方式将多个同质分类器进行结合,并没有很好地解决增量学习中的稳定-可塑性难题。针对此提出了一种异构分类器集成增量学习算法。该算法在训练过程中,为使模型更具稳定性,用新数据训练多个基分类器加入到异构的集成模型之中,同时采用局部敏感哈希表保存数据梗概以备待测样本近邻的查找;为了适应不断变化的数据,还会用新获得的数据更新集成模型中基分类器的投票权重;对待测样本进行类别预测时,以局部敏感哈希表中与待测样本相似的数据作为桥梁,计算基分类器针对该待测样本的动态权重,结合多个基分类器的投票权重和动态权重判定待测样本所属类别。通过对比实验,证明了该增量算法有比较高的稳定性和泛化能力。     

基于最小距离分类器的Android恶意软件检测方案

针对Android手机应用商店对大规模软件的安全性检测问题,提出了一套轻量级恶意软件检测方案。该方案首先分析大量恶意软件和正常软件样本的权限信息,再对权限频率特征去冗余,最后利用最小距离分类器进行软件分类。实验结果表明该方案的可行性,通过与其他方案对比,在方案复杂度和检测效果上表现出优越性,可以应用于大规模恶意软件的初步检测。     

最小海明距离分类器的字符识别方法研究

应用最小海明距离(Hamming Distance,缩写HD)分类器,研制了一种新型的基于最小海明分类器的字符识别方法。讨论了该字符识别方法实现的技术路线,较好解决了理论的工程化应用问题,对500帧连续图像的时间字符进行实验,时间字符识别准确率为99.8%,达到了字符比较准确识别的目的。     

基于自适应距离度量的分类器设计方法

通过对欧氏距离度量的分析,提出了自适应距离度量.首先利用训练样本建立自适应距离度量模型,该模型保证了训练样本到相同模式类的距离最近,到不同模式类的距离最远,根据该模型建立目标函数,求解目标函数,得到最优权重.基于最小距离分类器和K近邻分类器,采用UCI标准数据库中部分数据,对提出的自适应距离度量和欧氏距离度量进行了实验比较,实验结果表明自适应距离度量更有效.     

支持在线学习的增量式极端随机森林分类器

提出了一种增量式极端随机森林分类器(incremental extremely random forest,简称IERF),用于处理数据流,特别是小样本数据流的在线学习问题.IERF算法中新到达的样本将被存储到相应的叶节点,并通过Gini系数来确定是否对当前叶节点进行分裂扩展,在给定有限数量,甚至是少量样本的情况下,I...     

自适应的SVM增量算法

支持向量机(support vector machine,SVM)算法因其在小样本训练集上的优势和较好的鲁棒性,被广泛应用于处理分类问题。但是对于增量数据和大规模数据,传统的SVM分类算法不能满足需求,增量学习是解决这些问题的有效方法之一。基于数据分布的结构化描述,提出了一种自适应SVM增量学习算法。该算法根据原样本和新增样本与当前分类超平面之间的几何距离,建立了自适应的增量样本选择模型,该模型能够有效地筛选出参与增量训练的边界样本。为了平衡增量学习的速度和性能,模型分别为新增样本和原模型样本设置了基于空间分布相似性的调整系数。实验结果表明,该算法在加快分类速度的同时提高了模型性能。     

面向分类的增量字典学习算法

针对面向分类的传统字典学习方法在大数据集上批量学习时计算代价较高的问题,提出一种类特定的增量式字典学习算法。该算法在初始训练集上进行类特定的字典学习得到初始字典,通过增量数据集选取增量字典原子初始值。根据不能在初始字典上稀疏表示且互信息最大的原则,从增量样本集中选取若干样本作为增量字典原子的初始值。在保持原有字典原子不变的情况下,迭代更新编码系数和增量字典原子,直至收敛得到新的字典。利用稀疏表示分类器,在Eclipse数据集和ORL人脸图像数据库上的实验结果验证了该算法的分类有效性和计算代价上的优越性。     

一种具有增量学习能力的PU主动学习算法

在正例和无标记样本增量学习中,初始正例样本较少且不同类别正例的反例获取困难,使分类器的分类和泛化能力不强,为解决上述问题,提出一种具有增量学习能力的PU主动学习算法,在使用3个支持向量机进行协同半监督学习的同时,利用基于网格的聚类方法进行无监督学习,当分类与聚类结果不一致时,引入主动学习对无标记样本进行标记。实验结果表明,将该算法应用于Deep Web入口的在线判断和分类能有效提高入口判断的准确性及分类的正确性。     

基于KNN模型的增量学习算法

KNN模型是公式但其属于非增量学习算法,从而限制它在一些应用领域的推广。文中提出一个基于KNN模型的增量学习算法,它通过对模型簇引进“层”的概念,对新增数据建立不同“层”的模型簇的方式对原有模型进行优化,达到增量学习的效果。实验结果验证该方法的有效性。     

动态增殖流形学习算法

流形学习的主要目标是发现高维观测数据空间中的低维光滑流形.目前,流形学习已经成为机器学习和数据挖掘领域的研究热点.为了从高维数据流和大规模海量数据集中探索有价值的信息,迫切需要增殖地发现内在低维流形结构.但是,现有流形学习算法不具有增殖能力,并且不能有效处理海量数据集.针对这些问题,系统定义了增殖流形学习的概念,这有利于解释人脑中稳态感知流形的动态形成过程,且可以指导符合人脑增殖学习机理的流形学习算法的研究.以此为指导原则,提出了动态增殖流形学习算法,并在实验中验证了算法的有效性.     

Parameter Incremental Learning Algorithm for Neural Networks

In this paper, a novel stochastic (or online) training algorithm for neural networks, named parameter incremental learning (PIL) algorithm, is proposed and developed. The main idea of the PIL strategy is that the learning algorithm should not only adapt to the newly presented input-output training pattern by adjusting parameters, but also preserve the prior results. A general PIL algorithm for feedforward neural networks is accordingly presented as the first-order approximate solution to an optimization problem, where the performance index is the combination of proper measures of preservation and adaptation. The PIL algorithms for the multilayer perceptron (MLP) are subsequently derived. Numerical studies show that for all the three benchmark problems used in this paper the PIL algorithm for MLP is measurably superior to the standard online backpropagation (BP) algorithm and the stochastic diagonal Levenberg-Marquardt (SDLM) algorithm in terms of the convergence speed and accuracy. Other appealing features of the PIL algorithm are that it is computationally as simple as the BP algorithm, and as easy to use as the BP algorithm. It, therefore, can be applied, with better performance, to any situations where the standard online BP algorithm is applicable     

使用模拟切削算法的SVM增量学习机制

提出使用模拟切削算法的SVM增量学习机制。模拟切削算法在核函数映射的特征空间中计算每个样本的预期贡献率, 仅选取预期贡献率较高的样本参与SVM增量学习, 有效解决传统SVM增量学习代价高、目标样本选取准确性低、分类器缺乏鲁棒性的问题。一个样本的预期贡献率采用通过该样本的映射目标的合适分离面对两类样本的识别率来表示。对目标样本的选取酷似果蔬削皮的过程, 所提算法由此得名。基准数据实验表明, 文中算法在学习效率和分类器泛化性能上具有突出优势。在有限资源学习问题上的应用表明该算法在大规模学习任务上的良好性能。     

一种新的兼类样本类增量学习算法

提出了一种基于超椭球的兼类样本类增量学习算法。对兼有同一类别的样本,在特征空间构建一个能包围该类尽可能多样本的最小超椭球,使各类样本之间通过超椭球球面分开。增量学习过程中,对新增样本中的每一新类别构建超椭球,对新增样本中的各历史类别重新构建超椭球,使得算法在很小的空间代价下实现了兼类样本类增量学习,同时保留了与新增样本类别无关的历史类训练结果。分类过程中,根据待分类样本是否在超椭球内或隶属度来确定其所属类别。实验结果表明,该算法较超球方法具有较快的分类速度和较高的分类精度。