一种新的二叉树多类支持向量机算法

采用二叉树结构对多个二值支持向量机(SVM)子分类器组合,可实现多类问题的分类,并且还可克服传统多类SVM算法存在的不可分区域的情况。针对现有二叉树多类SVM方法未采用有效的二叉树生成算法,该文采用聚类分析中的类距离思想,提出了一种新的基于二叉树的多类SVM分类方法。实验结果表明,新算法具有较高的推广性能。     

基于WPA-SVM的多分类故障混合诊断模型

针对目前机械故障诊断中难以进行特征提取和常规SVM算法诊断多类分类问题时存在困难等问题,提出了结合了WPA理论和基于二叉树的多级SVM分类器的WPA-SVM多分类故障混合诊断模型。采用小波包分析对机械信号提取频域能量特征向量,通过训练多个依赖故障优先级的基于二叉树的多级SVM分类器中,找到样本中的支持向量,并以此决定超平面。然后根据最优分类平面,对测试集的样本进行故障诊断。通过对两种不同特征提取方法、三种不同SVM识别策略的实验比较结果可知,该方法是有效的。     

基于支持向量机的改进分类算法

为了进一步提高支持向量机分类的准确性和泛化能力,提出一种基于支持向量机的改进二叉树分类算法.首先介绍支持向量机的基本原理,总结了常见的多分类器分类算法及其特点,结合现有分类算法的优点,为分类器引入了不同的权值,提出二叉树改进分类算法,有效避免了常用分类算法不足.通过仿真实验,与典型的多类分类算法对比,验证该算法的有效性,为多类分类预测研究提供了一条有效的途径.     

基于不同权重的多标签分类器准确性评估方法

分类问题是数据挖掘领域的研究热点之一。多标签分类器可以将数据对象预测为多个类别,训练集中属性相同但对应类标签不同的对象的数目是不平衡的,而现有的评估算法并未能区分其代价。提出了一种基于不同权重的准确性评估方法EMOWDIF,根据多标签数据对象属于相同属性不同类别的数目之间的比值计算相应的权重,对分类器模型给予不同程度的奖惩,从而区分不同分类器的性能。方法用编程实现,并对多标签数据集的分类结果进行评估。实验结果表明该方法能有效评估分类器。     

基于SVM的新多类分类算法

给出了一种基于编码二叉树的支持向量的多类分类算法。先定义了一种构造编码二叉树的方法,在此基础上合理的使用每个训练样本对应的编码来对多类样本进行划分,使之转化为两类分类问题。可以看出该算法可以大大减少子分类器的构造个数,从而简化了多类SVM分类算法。     

一种新的双层多分类器组合算法

多分类器组合是解决复杂模式识别问题的有效办法。文章提出了一种新的双层多分类器组合算法,首先利用分类对象的主次特征构建了多个差异的融合方案,然后对这些融合方案进行最终的组合决策。实验结果表明,对于复杂分类问题,本文算法具有较高的正确识别率。     

基于SVM的新多类分类算法

给出了一种基于编码二叉树的支持向量的多类分类算法.先定义了一种构造编码二叉树的方法,在此基础上合理的使用每个训练样本对应的编码来对多类样本进行划分,使之转化为两类分类问题.可以看出该算法可以大大减少子分类器的构造个数,从而简化了多类SVM分类算法.     

基于对支持向量机的多类分类算法在入侵检测中的应用

针对基于传统支持向量机(SVM)的多类分类算法在处理大规模数据时训练速度上存在的弱势,提出了一种基于对支持向量机(TWSVM)的多类分类算法。该算法结合二叉树SVM多类分类思想,通过在二叉树节点处构造基于TWSVM的分类器来达到分类目的。为减少二叉树SVM的误差累积,算法分类前首先通过聚类算法得到各类的聚类中心,通过比较各聚类中心之间的距离来衡量样本的差异以决定二叉树节点处类别的分离顺序,最后将算法用于网络入侵检测。实验结果表明,该算法不仅保持了较高的检测精度,在训练速度上还表现了一定优势,尤其在处理稍大规模数据时,这种优势更为明显,是传统二叉树SVM多类分类算法训练速度的近两倍,为入侵检测领域大规模数据处理提供了有效参考价值。     

基于球结构的完全二叉树SVM多类分类算法*

针对一般的SVM方法不能有效地处理不平衡样本数据及现有的偏二叉树结构SVM分类器速度慢的这两个问题,提出了一种基于球结构的完全二叉树SVM多分类算法。该算法利用球结构的SVM考虑了每个类的分布情况,能有效地处理不平衡样本数据;构建完全二叉树结构,使得同层节点所代表的SVM分类器可以并行工作,能提高其训练和分类速度,分类速度相当于折半查找。实例验证两者结合后的算法可实现准确且高效的多类分类。     

基于二叉树多类支持向量机的文本分类研究

文本分类是文本数据挖掘的基础和核心,为解决在文本分类中二值支持向量机不能进行多类分类的问题,论文提出采用二叉树对多个二值支持向量机(SVM)子分类器进行组合,并运用聚类分析中类距离方法规范二叉树生成过程的基于二叉树的多类支持向量机(MSVM)分类算法。实验数据表明,相对于KNN 算法和朴素贝叶斯算法,基于二叉树的MSVM 算法在文本分类上更具优越性。该算法已应用于科技奖励信息检索系统中,取得了良好的效果。     

基于证据推理融合的网络数据流识别方法

针对多分类器决策融合研究中利用有限的训练数据对分类器概率参数估计时存在较大偏差的问题,提出一种基于D-S证据推理(ER)的多分类器决策融合算法。利用不确定性描述分类器性能,并针对D-S组合规则在分类器结果高冲突情形下易出现决策融合悖论的问题,提出基于分类器信度加权融合算法实现流量识别决策融合。实验结果表明,多数投票法和Bayes最大后验概率法识别准确率分别为78.3%和81.7%,证据推理决策融合的识别准确率提高到82.2%~91.6%,而拒识率则保持在4.1%~6.2%。     

云南香格里拉地区森林优势树种决策融合分类

基于Google Earth Engine（GEE）云计算平台,协同Sentinel-2影像、WordClim生物气候数据、SRTM地形数据、森林资源二类调查数据等数据,以随机森林（Random Forest, RF）,支持向量机（Support Vector Machine, SVM）和最大熵（Maximum Entropy, MaxEnt）3种机器学习算法为组件分类器,开展多源特征、多分类器决策融合的优势树种分类研究。通过3种组件分类器分别构建了两种串行集成和3种贝叶斯并行集成模型,用于确定云南香格里拉地区10种主要优势树种的空间分布。分类结果显示：3个组件分类器的总体精度均低于67.17%;3种并行集成方法总体精度相当,约为72%;两种串行集成方法精度高于78.48%,其中MaxEnt-SVM串行集成方法获得最佳精度（OA：80.66%, Kappa：0.78）,与组件分类器相比精度至少提高了13.49%。研究表明：决策融合方法在优势树种分类中比组件分类器精度更高,并且有效改善了小样本树种的分类精度,可用于大范围山区优势树种分类。     

基于字符匹配度的SVM多分类器设计简

本文介绍了常用的SVM多分类器的构造思路,并且分析比较了各种思路的优缺点。针对二叉树决策法中强制分类存在的误判情况,提出了基于字符匹配度的SVM多分类器设计方案。通过实验对比各种多分类器的分类器数量、平均分类次数、训练和判断时间、识别正确率,证明了该构造方案的优越性。     

基于GA的多分类器融合算法

为了提高单一分类器的识别性能,在模式识别领域经常采用多分类器集成的方法。提出了一种基于GA的多分类器融合算法,首先通过GA算法对特征集的分割进行优化选择,形成了较优的成员分类器;然后通过对成员分类器分辨能力的度量,提出了一种加权系数矩阵的多分类器组合方法。在UCI数据库上进行了实验,结果表明所提出的算法具有较高的识别率。     

CSBF: A static ensemble fusion method based on the centrality score of complex networks

Ensemble of classifiers can improve classification accuracy by combining several models. The fusion method plays an important role in the ensemble performance. Usually, a criterion for weighting the decision of each ensemble member is adopted. Frequently, this can be done using some heuristic based on accuracy or confidence. Then, the used fusion rule must consider the established criterion for providing a most reliable ensemble output through a kind of competition among the ensemble members. This article presents a new ensemble fusion method, named centrality score-based fusion, which uses the centrality concept in the context of social network analysis (SNA) as a criterion for the ensemble decision. Centrality measures have been applied in the SNA to measure the importance of each person inside of a social network, taking into account the relationship of each person with all others. Thus, the idea is to derive the classifier weight considering the overall classifier prominence inside the ensemble network, which reflects the relationships among pairs of classifiers. We hypothesized that the prominent position of a classifier based on its pairwise relationship with the other ensemble members could be its weight in the fusion process. A robust experimental protocol has confirmed that centrality measures represent a promising strategy to weight the classifiers of an ensemble, showing that the proposed fusion method performed well against the literature.     

MFA-DMFS：一种新的多分类器融合方法及其应用研究*

针对分类器的构建,在保证基分类器准确率和差异度的基础上,提出了采用差异性度量特征选择的多分类器融合算法(multi-classifier fusion algorithm based on diversity measure for feature selection,MFA-DMFS)。该算法的基本思想是在原始特征集中采用Relief特征评估结果按权值大小选择特征,构造特征子集,通过精调使各特征子集间满足一定的差异性,从而构建最优的基分类器。MFA-DMFS不但能提高基分类器的准确率,而且保持基分类器间的差异,克服差异性和平均准确率之间存在的相互制约,并实现这两方面的平衡。在UCI数据集上与基于Bagging、Boosting算法的多分类器融合系统进行了对比实验,实验结果表明,该算法在准确率和运行速度方面优于Bagging和Boosting算法,此外在图像数据集上的检索实验也取得了较好的分类效果。     

高光谱图像分类的自适应决策融合方法

目的 目前高光谱图像决策融合方法主要采用以多数票决（majority vote，MV）为代表的硬决策融合和以对数意见池（logarithmic opinion pool，LOGP）为代表的软决策融合策略。由于这些方法均使用统一的权重系数进行决策融合，没有对子分类器各自的分类性能进行评估而优化分配权重系数，势必会影响最终的分类精度。针对该问题，本文对多数票决和对数意见池融合策略进行了改进，提出了面向高光谱图像分类的自适应决策融合方法。方法 根据相关系数矩阵对高光谱图像进行波段分组，对每组波段进行空谱联合特征提取；利用高斯混合模型（Gaussian mixture model，GMM）或支持向量机（support vector machine，SVM）分类器对各组空谱联合特征进行分类；最后，采用本文研究的两种基于权重系数优化分配的自适应融合策略对子分类器的分类结果进行决策融合，使得分类精度低的波段组和异常值对最终分类结果的影响达到最小。结果 对两个公开的高光谱数据集分别采用多种特征和两种分类器组合进行实验验证。实验结果表明，在相同特征和分类器条件下，本文提出的自适应多数票决策融合策略（adjust majority vote，adjustMV）、自适应对数意见池决策融合策略（adjust logarithmic opinion pool，adjustLOGP）比传统的MV决策融合策略、LOGP决策融合策略对两个数据集的分类精度均有大幅度提高。Indian Pines数据集上，adjustMV算法的分类精度比相应的MV算法平均提高了1.2%，adjustLOGP算法的分类精度比相应的LOGP算法平均提高了7.38%；Pavia University数据集上，adjustMV算法的分类精度比相应的MV算法平均提高了2.1%，adjustLOGP算法的分类精度比相应的LOGP算法平均提高了4.5%。结论 本文提出的自适应权重决策融合策略为性能较优的子分类器（即对应于分类精度高的波段组）赋予较大的权重，降低了性能较差的子分类器与噪声波段对决策融合结果的影响，从而大幅度提高分类精度。所研究的决策融合策略的复杂度和计算成本均较低，在噪声环境中具有更强的鲁棒性，同时在一定程度上解决了高光谱图像分类应用中普遍存在的小样本问题。     

基于半监督技术的多分类器融合策略研究

提出一种新颖的多分类器构造方法,它以最大纠错能力作为分类器选择标准。实现时,采用半监督协同训练技术,充分利用单分类器的互补性,同时最大化仲裁器的仲裁能力,以提高多分类器系统的分类精度。在毒性数据集上的实验结果表明了方法的可行性和有效性。     

Automated design of linear tree classifiers

An automated method is presented for the design of linear tree classifiers, i.e. tree classifiers in which a decision based on a linear sum of features is carried out at each node. The method exploits the discriminability of Tomek links joining opposed pairs of data points in multidimensional feature space to produce a hierarchically structured piecewise linear decision function. The corresponding decision surface is optimized by a gradient descent that maximizes the number of Tomek links cut by each linear segment of the decision surface, followed by training each node's linear decision segment on the data associated with that node. Experiments on real data obtained from ship images and character images suggest that the accuracy of the tree classifier designed by this scheme is comparable to that of the k-NN classifier while providing much greater decision speeds, and that the trade-off between the speed and the accuracy in pattern classification can be controlled by bounding the number of features to be used at each node of the tree. Further experiments comparing the classification errors of our tree classifier with the tree classifier produced by the Mui/Fu technique indicate that our tree classifier is no less accurate and often much faster than the Mui/Fu classifier.     

基于多分类器融合算法的3D人脸年龄识别

为了提高人脸识别中待测人脸图像年龄估计的正确率,提出了一种基于多分类器融合的3D人脸年龄识别算法.首先.利用人脸的纹理信息将二维图像映射到标准三维模型上,并以贝叶斯决策理论为基础,对Kittler提出的多分类器融合算法理论框架及其组合规则进行了详细的研究、讨论和改进,然后应用改进后的多分类器组合规则将多个单独识别分类器加以融合以达到分类未知年龄目标人脸的目的,并估计人脸年龄.实验结果表明,算法可有效估计日标人脸年龄,并减小估计误差.