基于欧氏距离的支持向量机拒识区域解决方案

为克服传统多分类支持向量机中存在的拒识区域问题,提高算法的分类性能和泛化能力,提出一种基于欧氏距离的拒识区域解决方案。该方法直接计算落入拒识区域中的样本点到每类中心的欧氏距离,然后选择较小的欧氏距离对应的类为样本的所属类。基于标准数据集的实验结果表明,欧氏距离法实现了零拒识,有效提高了算法的分类性能和泛化能力。     

用于支持向量机拒识区域的加权k近邻法

为解决1-v-r和1-v-1支持向量机中存在的拒识区域问题,提出一种加权k近邻法。该方法计算落入拒识区域中的样本,即拒识样本到所有训练样本的距离,选择最近的k个样本为拒识样本的类别投票,并根据距离大小进行加权,得票多的类即拒识样本的所属类。实验结果表明,加权k近邻法实现了零拒识,提高了传统多分类支持向量机的分类性能。     

基于改进的ISODATA的超球覆盖仿生模式分类算法

现有仿生模式识别分类器难以解决含有多个聚集点、非线性和稀疏性样本的分类问题。因此,引入特征分类贡献度,提出了基于改进的迭代自组织数据分析(M-ISODATA)的超球覆盖仿生模式识别算法。首先引入马氏距离对自组织数据分析方法(ISODATA)的欧氏距离替换,并引入熵权法对马氏距离进行加权以赋予各特征不同的贡献度;同时为了去除干扰样本点,引入改进的局部离群因子检测方法(M-LOF)对样本进行训练,减少了不同类别流形之间的重叠区域。再利用改进的自组织数据分析方法(M-ISODATA)对每类训练样本点动态聚类,寻找到同一类的多个小类覆盖区中心后,用超球进行该类的有效覆盖,并对落入重叠区域的测试样本点进行二次划分,实现测试样本的正确分类。最后在iris数据集上验证该算法的有效性,并将该算法应用于雷达辐射源信号的分类识别。实验结果表明,该算法具有很好的拒识、免重训能力,对于雷达信号的识别率能达到97.29%,相比于传统典型模式识别算法具有更好的识别能力。     

KSVDD及其在拒识判别中的应用

为提高支持向量域分类器(SVDC)的分类精度和鲁棒性,提出基于K近邻(KNN)和支持向量域描述(SVDD)的分类器KNN-SVDD (KSVDD)。该分类器对单类内部的样本采用SVDD的判别准则,对类交叉区域及描述边界外的样本采用KNN的判别准则。通过拒绝描述边界外的样本,KSVDD可应用于拒识判别。UCI数据集上的数值实验表明,KSVDD分类精度与支持向量机(SVM)相当且均比SVDC高,训练时间比SVM短,鲁棒性强,在拒识判别中有良好表现。     

一种基于支持向量机决策树多类分类器

提出一种基于支持向量机决策树的多类分类器SVMDT（Support Vector Machines based Decision Tree）。训练时,SVMDT采用样本类间最小距离原则进行决策树分叉,综合考虑局部类簇,生成一棵平衡的分类二叉树。分类时,SVMDT采用最大距离原则匹配决策。SVMDT训练时采用的距离为等效距离,综合考虑特征空间中样本类的中心距离以及样本类自身的分布特点,使得训练过程中确定各个SVM的优先级别更加合理,由此生成的决策树将特征空间严格划分开,避免了拒识区域的出现。UCI样本数据集实验结果表明,和传统的1对多SVM分类器相比,SVMDT具有训练速度快、分类速度快,分类精度高的特点。     

基于马氏距离的局部边界Fisher分析降维算法

针对人脸识别应用中的高维数据图像以及欧氏距离不能准确体现样本间的相似度的问题,提出了一种基于马氏距离的局部边界Fisher分析(MLMFA)降维算法。该算法从现有的样本中学习得到一个马氏度量,然后在近邻选择以及新样本降维过程中用马氏距离作为相似性度量。同时,通过马氏度量构造出类内“相似”图和类间“代价”图来描述数据集的类内紧凑性和类间分离性。MLMFA很好地保持了数据集的局部结构。用YALE和FERET人脸库进行实验,MLMFA的最大识别率比传统基于欧氏距离算法的最大识别率平均分别提高了1.03%和6%。实验结果表明,算法MLMFA具有很好的分类和识别性能。     

基于有序分割的支持向量机多分类方法

针对模拟电路多故障分类中存在拒识区域,分类效果不理想的问题,提出基于有序分割最佳偏二叉树结构的模拟电路故障诊断方法;首先分析多分类中分割次序对结果的影响,通过样本类中心欧式距离对故障分割进行排序,以此构造偏二叉树结构;然后对采样数据进行主成份分析降维压缩,最后采用支持向量机作为分类器,对故障数据进行分类;该方法可以使样本类间距离最大,提高了支持向量机模拟电路故障分类的效率和准确度;故障诊断结果表明文章提出的诊断方法在精度提高的情况下,所需训练时间和支持向量数目大大减少,更具稀疏性。     

低分辨雷达目标分类的最小代价拒判算法

为解决低分辨雷达目标自动识别中,干扰目标、虚假目标的存在以及不同类别目标样本集混叠的问题,提出了一种基于最小代价的拒判K近邻识别算法.该算法根据雷达识别系统最小代价的原则,利用Fisher判别函数,确定拒判门限.设计了基于两类拒判域的K近邻识别算法,第一类拒判根据训练样本集特征值的波动范围,对干扰目标和虚假目标进行拒判;第二类拒判根据测试样本与最近邻、次近邻的距离差,实现混叠区域的目标样本拒判.算法先对测试样本进行拒判分析,再利用K近邻算法识别分类.实验结果表明,基于以上算法的低分辨雷达目标识别系统具有较好的鲁棒性和识别性能.     

基于轮廓和统计特征的手写体数字识别

提出了数字规范化模板特征,并利用这一特征与轮廓分段特征相结合对手写体数字进行识别。首先使用基于轮廓分段特征的分类器进行识别,通过提高拒识率获得高可靠性的分类结果。然后由基于数字规范化模板特征的分类器对前一级分类器的拒识样本分类。实验结果表明分别基于这两个特征的分类器在分类结果上具有较强的互补性。实验的数据为真实支票上采集的10000个手写体数字样本,该方法的识别率为98.06%。     

基于马氏距离的孪生多分类支持向量机

孪生支持向量机(TWSVM)的研究是近来机器学习领域的一个热点。TWSVM具有分类精度高、训练速度快等优点,但训练时没有充分利用样本的统计信息。作为TWSVM的改进算法,基于马氏距离的孪生支持向量机(TMSVM)在分类过程中考虑了各类样本的协方差信息,在许多实际问题中有着很好的应用效果。然而TMSVM的训练速度有待提高,并且仅适用于二分类问题。针对这两个问题,将最小二乘思想引入TMSVM,用等式约束取代TMSVM中的不等式约束,将二次规划问题的求解简化为求解两个线性方程组,得到基于马氏距离的最小二乘孪生支持向量机(LSTMSVM),并结合有向无环图策略(DAG)设计出基于马氏距离的最小二乘孪生多分类支持向量机。为了减少DAG结构的误差累积,构造了基于马氏距离的类间可分性度量。人工数据集和UCI数据集上的实验均表明,所提算法不仅有效,而且相对于传统多分类SVM,其分类性能有明显提高。