基于异构代价敏感决策树的分类器算法

代价敏感学习方法常常假设不同类型的代价能够被转换成统一单位的同种代价,显然构建适当的代价敏感属性选择因子是个挑战。设计了一种新的异构代价敏感决策树分类器算法,该算法充分考虑了不同代价在分裂属性选择中的作用,构建了一种基于异构代价的分裂属性选择模型,设计了基于代价敏感的剪枝标准。实验结果表明,该方法处理代价机制和属性信息的异质性比现有方法更有效。     

代价敏感分类器的比较研究

简要地回顾了代价敏感学习的理论和现有的代价敏感学习算法.将代价敏感学习算法分为两类,分别是直接代价敏感学习和代价敏感元学习,其中代价敏感元学习可以将代价不敏感的分类器转换为代价敏感的分类器.提出了一种简单、通用、有效的元学习算法,称为经验阈值调整算法(简称ETA).评估了各种代价敏感元学习算法和ETA的性能.ETA几乎总是得到最低的误分类代价,而且它对误分类代价率最不敏感.还得到了一些关于元学习的其它有用结论.     

基于相对等待时间的代价敏感决策树

首先引入相对等待时间代价,将它与测试代价一起称为有形代价,利用单位有形代价中无形代价(即误分类代价)降低最多的原则选择分裂属性;然后结合序列测试策略和批量测试策略建立相对等待时间代价敏感决策树。实验结果显示,该方法无论在误分类代价的减少量上还是所需有形代价的数量上都优于存在的算法,并且实验地分析了建立代价敏感决策树考虑相对等待时间是必要的。     

取样方法与代价敏感方法的比较

传统的方法中,标准的分类器设计一般基于精度,但是许多实际应用问题中,不同的类别对应的错分代价也不同,往往少数类样本更加值得关注。对于不平衡的数据集处理,最直接的方法就是改变学习算法的本身使之成为代价敏感算法,当然相对于改变数据集的结构,这也是稍难实现的方法。除此之外,改变数据集的分布也是常用办法,本文采用的办法是过取样和欠取样。本文将对以上所提到的三种方法在不同的数据集上比较其性能,以了解不同解决策略的特性与适用的环境。     

代价敏感分类的软件缺陷预测方法

软件缺陷预测是提高软件测试效率,保证软件可靠性的重要途径。考虑到软件缺陷预测模型对软件模块错误分类代价的不同,提出了代价敏感分类的软件缺陷预测模型构建方法。针对代码属性度量数据,采用Bagging方式有放回地多次随机抽取训练样本来构建代价敏感分类的决策树基分类器,然后通过投票的方式集成后进行软件模块的缺陷预测,并给出模型构建过程中代价因子最优值的判定选择方法。使用公开的NASA软件缺陷预测数据集进行仿真实验,结果表明该方法在保证缺陷预测率的前提下,误报率明显降低,综合评价指标AUC和F值均优于现有方法。     

代价敏感相关向量机

相关向量机(RVM)是在稀疏贝叶斯框架下提出的稀疏模型,由于其强大的稀疏性和泛化能力,近年来在机器学习领域得到了广泛研究和应用,但和传统的决策树、神经网络算法及支持向量机一样,RVM不具有代价敏感性,不能直接用于代价敏感学习。针对监督学习中错误分类带来的代价问题,提出代价敏感相关向量分类(CS-RVC)算法,在相关向量机的基础上,通过赋予每类样本不同的误分代价,使其更加注重误分类代价较高的样本分类准确率,使得整体误分类代价降低以实现代价敏感挖掘。实验结果表明,该算法具有良好的稀疏性并能够有效地解决代价敏感分类问题。     

基于动态代价敏感的数据挖掘算法探讨

信息时代的到来,数据作为信息的载体其重要性也愈加突出,随着人们对不确定数据研究的深入,代价敏感数据挖掘技术被应用于不确定数据挖掘中。本文介绍了不确定数据,分析了现有不确定数据挖掘方法,在介绍代价敏感学习的基础上,介绍了一种针对不确定数据的代价敏感决策树算法,并通过实验验证了这一算法的合理可行。     

基于Cascade结构的代价敏感的医学图像ROI检测方法

医学图像中感兴趣区域(ROI)通常包含重要的信息,对医生分析和诊断具有重大意义。文中结合医学图像特点,运用机器学习方法和图像处理技术,提出一种基于Cascade结构的代价敏感的医学图像的ROI检测方法。该方法将代价敏感的分类算法和Cascade结构有效结合,具有高敏感性和高效率。对数字乳腺图像中的肿块ROI进行实际检测的实验结果表明,与基于像素的方法相比计算量小、效率高;与基于区域的方法相比避免了直接使用传统的图像分割和滤波技术难以有效检测ROI的问题。     

基于Boosting的代价敏感软件缺陷预测方法

Boosting重抽样是常用的扩充小样本数据集的方法,首先针对抽样过程中存在的维数灾难现象,提出随机属性子集选择方法以进行降维处理;进而针对软件缺陷预测对于漏报与误报的惩罚因子不同的特点,在属性选择过程中添加代价敏感算法。以多个基本k-NN预测器为弱学习器,以代价最小为属性删除原则,得到当前抽样集的k值与属性子集的预测器集合,采用代价敏感的权重更新机制对抽样过程中的不同数据实例赋予相应权值,由所有预测器集合构成自适应的集成k-NN强学习器并建立软件缺陷预测模型。基于NASA数据集的实验结果表明,在小样本情况下,基于Boosting的代价敏感软件缺陷预测方法预测的漏报率有较大程度降低,误报率有一定程度增加,整体性能优于原来的Boosting集成预测方法。     

入侵检测系统的代价平衡模型

入侵检测系统必须在最小代价的情况下达到最大的安全效果。研究了入侵检测响应的高效模型。将入侵检测的代价分类,分别为损害代价、反应代价和执行代价,并在此基础上对各种入侵进行了分类;分析了这些代价因素的代价规则,建立了入侵检测代价平衡模型,对模型进行模拟分析,找出了代价最优的多规则库的模型。     

基于潜在语义分析的Large Class检测

Large Class(上帝类)是面向对象设计中的一种设计瑕疵。为了弥补传统Large Class检测中使用面向代码结构度量的不足,提出基于潜在语义分析的平均概念相似性度量。根据源代码中提取的标识符和注释形成词-文档矩阵,在潜在语义空间下计算方法间的相似度,进而得到类的平均概念相似性;并将概念性度量与代码圈复杂度结合以对Large Class进行识别。在开源的Code Smell检测数据集Landfill上进行实验,结果表明,与传统上使用结构信息对Large Class进行检测相比,使用该方法时检测的准确率和召回率均得到了一定提升。     

基于新型不纯度度量的代价敏感随机森林分类器

针对不平衡数据集的有效分类问题,提出一种结合代价敏感学习和随机森林算法的分类器。首先提出了一种新型不纯度度量,该度量不仅考虑了决策树的总代价,还考虑了同一节点对于不同样本的代价差异;其次,执行随机森林算法,对数据集作K次抽样,构建K个基础分类器;然后,基于提出的不纯度度量,通过分类回归树(CART)算法来构建决策树,从而形成决策树森林;最后,随机森林通过投票机制做出数据分类决策。在UCI数据库上进行实验,与传统随机森林和现有的代价敏感随机森林分类器相比,该分类器在分类精度、AUC面积和Kappa系数这3种性能度量上都具有良好的表现。     

代价敏感学习方法综述

分类是机器学习的重要任务之一.传统的分类学习算法追求最低的分类错误率,假设不同类型的错误分类具有相等的损失.然而,在诸如人脸识别门禁系统、软件缺陷预测、多标记学习等应用领域中,不同类型的错误分类所导致的损失差异较大.这要求学习算法对可能导致高错分损失的样本加以重点关注,使得学习模型的整体错分损失最小.为解决该问题,代价敏感学习方法引起了研究者的极大关注.以代价敏感学习方法的理论基础作为切入点,系统阐述了代价敏感学习的主要模型方法以及代表性的应用领域.最后,讨论并展望了未来可能的研究趋势.     

代价敏感的序贯三支决策方法

在现实决策中,代价敏感问题是影响人类决策的重要因素之一,许多研究者致力于降低决策的代价。现阶段,在粗糙集领域中,研究者多基于DTRS模型且仅考虑某一种代价,不够全面。针对以上问题,利用序贯三支决策模型对两种代价的敏感性,通过多层次粒结构可以有效降低决策总代价,且能够更好地模拟人类动态渐进的决策过程。在序贯三支决策模型的基础上,构造了多层次粒结构;将各个属性的测试代价与其分类能力相关联,从信息熵的角度为其设置测试代价;与此同时,将属性约简与序贯三支决策相结合,利用基于代价最小准则的属性约简去除冗余属性及不相关属性对代价的影响。在7个UCI数据集上的实验结果显示,在保证较高准确度的同时,决策的总代价平均下降了26%左右,充分验证了该方法的有效性。     

基于支持向量机的误分类代价敏感模糊推理系统

在一定的约束条件下,提出并证明误分类代价敏感SVM(MC-SVM)与一类基于规则的FIS的函数具有等效性.在此基础上,提出了基于MC-SVM学习过程的FIS(MC-MBFIS)的设计方法.MC-MBFIS继承了基于规则的FIS的显式推理能力,也继承了MC-SVM的代价敏感性.Benchmark数据实验表明,MC-MBFIS能降低平均误分类代价.     

基于Bagging-SVM集成分类器的网页作弊检测

网页作弊不仅造成信息检索质量下降,而且给互联网的安全也带来了极大的挑战.提出了一种基于Bag-ging-SVM集成分类器的网页作弊检测方法.在预处理阶段,首先采用K-means方法解决数据集的不平衡问题,然后采用CFS特征选择方法筛选出最优特征子集,最后对特征子集进行信息熵离散化处理.在分类器训练阶段,通过Bagging方法构建多个训练集并分别对每个训练集进行SVM学习来产生弱分类器.在检测阶段,通过多个弱分类器投票决定测试样本所属类别.在数据集WEBSPAM-UK2006上的实验结果表明,在使用特征数量较少的情况下,本检测方法可以获得非常好的检测效果.     

基于LSTM的设备故障在线检测方法

在工业4.0时代,随着IoT的广泛应用,工业设备的故障检测对于提高设备的可靠性具有重要的意义。在实际的工业场景中,由于设备之间的关系复杂多变,难以用统一的模型来表示设备的运行状态。近年来,随着深度学习技术的不断发展与进步,深度学习技术成为故障检测的主流解决方案。提出了一种基于长短记忆神经网络的在线故障检测模型,采用曲线排齐方法对传感器数据进行特征提取,基于长短时记忆神经网络（LSTM）开发故障检测模型,最后借助滑动窗口技术实现了设备故障的在线检测以及模型的在线更新。基于真实的发电厂传感数据进行了实验验证,实验结果表明了该方法的有效性。