组合代价敏感支持向量机及其应用

标准的分类器设计大多都是基于整体最小化错误率.在入侵检测、医疗诊断等领域中,不同类别的误分类通常具有不等的损失.文中采用支持向量机建立模型,在组合算法的思想下引入组合代价敏感支持向量机,弥补传统代价敏感支持向量机在分类精度上的不可控.在模型对比中引入了更为实际的对比方式,从而能更好地选取模型,以减少总体误分代价.文中考虑不同类别的误分代价的前提下建立合适的支持向量机模型,并成功地应用在个人信用分类上     

客户价值细分的代价敏感支持向量机方法*

为了解决客户细分中由于客户价值不同和不同价值客户数量的悬殊差异造成对客户错误分类的代价不同和不平衡的数据样本,研究了客户价值细分问题中错误分类代价形成机理,建立基于客户价值的动态代价函数,在此基础上设计了代价敏感的支持向量机分类器。实验结果说明,该方法可以更精确地控制代价敏感性,降低总体的错误分类代价,使模型能更准确地反映分类的代价,有效地识别客户价值。     

基于SVM-KNN的半监督托攻击检测方法

针对支持向量机方法在标记用户数据不充分的情况下无法有效实现托攻击检测的不足,提出一种基于SVM-KNN的半监督托攻击检测方法。根据少量标记用户数据训练一个初始SVM分类器,利用初始SVM对大量未标记用户数据进行分类,挑选出分类边界附近有可能成为支持向量的样本点,利用KNN分类器优化边界向量的标记质量,再将重新标注过的边界向量融入训练集,迭代训练逐步改善SVM的分类边界,最终获得系统决策函数。实验结果表明在标记用户数据较少的情况下,方法能有效提高托攻击的检测精度和效率,具有较强的推广能力。     

一种基于属性加权的代价敏感支持向量机算法

针对实际中存在的各类别样本错分造成不同危害程度的分类问题,提出了一种基于属性加权的代价敏感支持向量机分类算法,即在计算各个样本特征属性对分类的重要度之后,对相应的属性进行重要度加权,所得的数据用于训练和测试代价敏感支持向量机。数值实验的结果表明,该方法提高了误分代价高的类别的分类精度,同时属性重要度的引入提高了分类器的整体分类性能。该方法对错分代价不对称的数据分类问题具有重要的现实意义。     

代价敏感相关向量机

相关向量机(RVM)是在稀疏贝叶斯框架下提出的稀疏模型,由于其强大的稀疏性和泛化能力,近年来在机器学习领域得到了广泛研究和应用,但和传统的决策树、神经网络算法及支持向量机一样,RVM不具有代价敏感性,不能直接用于代价敏感学习。针对监督学习中错误分类带来的代价问题,提出代价敏感相关向量分类(CS-RVC)算法,在相关向量机的基础上,通过赋予每类样本不同的误分代价,使其更加注重误分类代价较高的样本分类准确率,使得整体误分类代价降低以实现代价敏感挖掘。实验结果表明,该算法具有良好的稀疏性并能够有效地解决代价敏感分类问题。     

基于ICSVM的风电机组齿轮箱故障诊断

针对风电机组齿轮箱运行过程中故障样本缺乏、正常样本充裕的特点,提出基于增量代价敏感支持向量机（Incremental Cost-sensitive Support Vector Machine,ICSVM）的风电机组齿轮箱故障诊断方法。由于齿轮箱故障样本缺乏,建立以误分类代价最小化为目标的代价敏感支持向量机故障诊断模型;在增量训练代价敏感支持向量机阶段,利用KKT条件,以增量样本和初始样本训练增量代价敏感支持向量机。实验结果表明,该方法能有效地减少平均误分类代价和训练时间,提高齿轮箱故障识别率。     

代价敏感支持向量机在入侵检测中的应用

入侵检测系统在最大化计算机安全性的同时,着手减小其代价也是关键点之一.标准的分类器设计一般基于精度,在入侵检测等实际应用问题中,不同的类别对应的错分代价也不同,在此类问题中直接使用标准分类方法就无法取得良好的分类和预测效果.代价敏感算法通过改变代价矩阵,可使高代价样本的错分率得到有效的控制,并尽量减少总体错分代价.本文时代价敏感支持向量机在入侵检测中的应用进行了研究,并用KDDCUP99标准数据集对文中算法进行了测试评估.     

基于CS-SVM的氧化铝蒸发过程故障检测

针对氧化铝蒸发过程样本集中的类不平衡和故障难以实时检测问题,提出线性权重递减粒子群代价敏感支持向量机故障检测方法.深入分析氧化铝蒸发过程机理,选择合适输入条件、操作参数、状态参数作为代价敏感支持向量机的输入向量,工况样本类别作为其输出代价敏感支持向量机以最小化误分类代价为目标,利用线性权重递减粒子群优化代价敏感支持向量...     

代价敏感支持向量机

以分类精度为目标的传统分类算法通常假定：每个样本的误分类具有同样的代价且每类样本数大致相等．但现实数据挖掘中该假定不成立时，这些算法的直接应用不能取得理想的分类和预测．针对此缺隙，并基于标准的SVM，通过在SVM的设计中集成样本的不同误分类代价，提出代价敏感支持向量机（CS-SVM）的设计方法．实验结果表明CS-SVM是有效的．     

基于融合分类和支持向量机的入侵检测研究

为了在提高入侵检测的检测率的同时降低虚警率,基于融合分类和支持向量机的异常检测利用融合分类器进行入侵检测.融合分类器包含三个不同的分类器:基于属性选择的支持向量机,基于样本剔除的支持向量机以及标准支持向量机.仿真实验由三部分组成:首先,预处理数据,然后,对完成预处理的数据分别用三个分类器进行预分类,最后,由这三个分类器实际输出的加权和进行融合决策.权值的最优化是一个NP-hard问题,在实验中,利用各分类器预分类的检测率作为其对应的权值简化了权值寻优的过程.实验结论表明,基于融合分类和支持向量机的异常检测可提高入侵检测的整体性能.     

基于代价敏感支持向量机的软件缺陷预测研究

软件缺陷预测是典型的非平衡学习问题。基于CS SVM和聚类算法改进代价敏感支持向量机（SVM）算法,提出了CCS SVM软件缺陷预测模型。在CCS SVM预测模型中,将SVM与类别误分代价结合起来,以非平衡数据评价指标作为目标函数,优化错分代价因子,提升少数类样本的识别率。通过聚类找到每类样本的中心点,根据样本到其中心点的距离定义每个样本的类别置信度,给每个样本分配不同的误分代价系数,并把样本的置信度引入到代价敏感SVM优化问题中,提高算法鲁棒性,提升SVM分类性能。此外,为了提高模型的泛化能力,使用遗传算法优化特征选择和模型参数。通过美国航空航天局NASA MDP数据集实验表明,本文方法的G mean和F measure模型评价值有明显的提升。     

A loan default discrimination model using cost-sensitive support vector machine improved by PSO

This study proposes a novel PSO–CS-SVM model that hybridizes the particle swarm optimization (PSO) and cost sensitive support vector machine (CS-SVM) to deal with the problem of unbalanced data classification and asymmetry misclassification cost in loan default discrimination problem. Cost sensitive learning is applied to the standard SVM by integrating misclassification cost of each sample into standard SVM and PSO is employed for parameter determination of the CS-SVM. Meantime, the financial data are discretized by using the self-organizing mapping neural network. And the evaluation indices are reduced without information loss by genetic algorithm for decreasing the complexity of the model. The effectiveness of integrated model of CS-SVM and PSO is verified by three experiments comparing with traditional CS-SVM, PSO–SVM, SVM and BP neural network through real loan default data of companies in China. The corresponding results indicate that the accuracy rate, hit rate, covering rate and lift coefficient are improved dramatically by the developed approach. The proposed method can control the different types of errors distribution with various cost of misclassification accurately, reduce the total misclassification cost largely, and distinguish the loan default problems effectively.     

基于支持向量机的代价敏感挖掘

针对一些数据挖掘应用中反例样本和正例样本具有不同误分类代价的情况，提出一种代价敏感支持向量机算法CS-SVM．CS-SVM包括3个步骤：首先，引入Sigmoid函数，根据样本到分类超平面的距离估计其后验概率；然后，根据误分类代价最小原则重构训练样本的类标号；最后，在重构后的训练集上使用标准SVM进行学习即得到嵌入误分类代价的最优分类超平面．基于CS-SVM的思路，提出一个通用的嵌入误分类代价的代价敏感分类算法G-CSC．试验结果表明：相比于SVM，CS-SVM大大降低测试集上的平均误分类代价．     

一种基于重取样的代价敏感学习算法

大多数非均衡数据集的研究集中于纯重构数据集或者纯代价敏感学习,本文针对数据集类分布非均衡和不相等误分类代价往往同时发生这一事实,提出了一种以最小误分类代价为目标的基于混合重取样的代价敏感学习算法。该算法将两种不同类型解决方案有机地融合在一起,先用样本类空间重构的方法使原始数据集的两类数据达到基本均衡,然后再引入代价敏感学习算法进行分类,能提高少数类分类精度,同时有效降低总的误分类代价。实验结果验证了该算法在处理非均衡类问题时比传统算法要优越。     

基于代价敏感SVM的电信客户流失预测研究*

针对客户流失数据集的非平衡性问题和错分代价的差异性问题,将代价敏感学习应用于Veropoulos提出的采用不同惩罚系数的支持向量机,建立客户流失预测模型,对实际的电信客户流失数据进行验证。通过与传统SVM、C4.5和ANN对比研究,结果显示此方法在精确度、命中率、覆盖率和提升度均有所改善,表明此方法有效地解决了数据集的非平衡性和错分代价问题,是进行客户流失预测的有效方法。     

一种基于流行度分类特征的托攻击检测算法

基于协同过滤的推荐系统容易受到托攻击的危害, 如何检测托攻击成为推荐系统可靠性的关键. 针对现有托攻击检测手段使用基于评分的分类特征易受混淆技术干扰的局限, 本文从用户选择评分项目方式入手, 分析由此造成的用户概貌中已评分项目的流行度分布情况的不同, 提出用于区分正常用户与虚假用户基于流行度的分类特征, 进而得到基于流行度的托攻击检测算法. 实验表明该算法在托攻击检测中具有更强的检测性能与抗干扰性.     

基于深度自动编码器的托攻击集成检测方法

在采用协同过滤技术的推荐系统中,恶意用户通过注入大量虚假概貌使系统的推荐结果产生偏离,达到其攻击目的。为了检测托攻击,根据用户的评分值或基于攻击时间的集中性假设,从不同视角提取攻击概貌的特征。但是,这些基于人工特征的检测方法严重依赖于特征工程的质量,而且人工提取的检测特征多限于特定类型的攻击,提取特征也需要较高的知识成本。针对这些问题,从用户评分项目的时间偏好信息入手,提出一种利用深度稀疏自动编码器自动提取检测特征的托攻击集成检测方法。利用小波变换将项目在不同时间间隔内的流行度设定为多个等级,对用户的评分数据预处理得到用户-项目时间流行度等级矩阵。然后,采用深度稀疏自动编码器对用户-项目时间流行度等级矩阵自动进行特征提取,得到用户评分模式的低层特征表达,消除了传统的人工特征工程。以SVM作为基分类器,在深度稀疏自动编码器的每层提取特征并进行攻击检测,生成最终的集成检测结果。在Netflix数据集上的实验表明,提出的检测方法对均值攻击、AoP攻击、偏移攻击、高级项目攻击、高级用户攻击具有较好的检测效果。