面向不平衡数据集的应用系统识别方法

针对油田局域网络环境中,传统基于流量的分析方法无法实现应用系统的有效识别问题,本文设计一种面向不平衡数据集的应用系统识别框架WEBCLA,该框架采用基于基尼增益的SMOTE改进算法（GSMOTE）与XGBoost分类算法相结合的方式对基于网页的应用系统进行有效识别。具体地,本文提出的GSMOTE算法对少数类进行过采样,有效缓解识别样本不平衡问题,并结合XGBoost分类算法进行应用系统的识别。通过在真实数据集上进行实验,结果表明,本文提出的方法在召回率上较传统方法有较明显的提升,比普通集成方法提高约112.8%,比未经过采样处理的方法提升约10.8%,可有效解决油田局域网中的应用系统识别问题。     

面向不平衡微博数据集的转发行为预测方法

针对微博转发预测方法研究中的数据集不平衡问题,提出了一种融合过采样技术和随机森林(RF)算法的微博转发行为预测方法。首先,定义了个体信息、社交关系和微博主题3类与微博转发行为相关的特征,并基于信息增益算法实现了关键特征选取;其次,综合微博特征数据的特点来改进少数类样本合成过采样技术(SMOTE),对原始数据集进行非参数概率分布估计,并根据近似概率分布对数据集进行过采样处理,从而使正反例数据量达到平衡;最后,利用随机森林算法,依据微博转发关键特征进行分类器训练,并利用袋外(OOB)数据误差估计来分析和设置随机森林算法的相关参数。通过与基于决策树(DT)、支持向量机(SVM)、朴素贝叶斯(NB)和随机森林等算法的微博转发预测方法进行对比,所提方法整体性能优于基准方法中性能最优的SVM方法,召回率提高了8%,F值提高了5%。实验结果表明,所提方法在实际应用中能够有效提高微博转发行为预测的准确率。     

一种基于SMOTE的不平衡数据集重采样方法

不平衡数据集是指在数据集中,某一类样本的数量远大于其他类样本的数量,其会影响分类结果,使基本分类器偏向多数类.合成少数样本过采样技术(SMOTE)是处理数据不平衡问题的一种经典过采样方法,以两个少数样本对应的线段为端点生成一个合成样本.提出一种基于SMOTE的少数群体过采样方法,改进生成新样本的方式,在合成样本的过程中...     

面向不平衡数据集的机器学习分类策略

由于不平衡数据集的内在固有特性,使得分类结果常受数量较多的类别影响,造成分类性能下降。近年来,为了能够从类别不平衡的数据集中学习数据的内在规律并且挖掘其潜在的价值,提出了一系列基于提升不平衡数据集机器学习分类算法准确率的研究策略。这些策略主要是立足于数据层面、分类模型改进层面来解决不平衡数据集分类难的困扰。从以上两个方面论述面向不平衡数据集分类问题的机器学习分类策略,分析和讨论了针对不平衡数据集机器学习分类器的评价指标,总结了不平衡数据集分类尚存在的问题,展望了未来能够深入研究的方向。特别的,这些讨论的研究主要关注类别极端不平衡场景下的二分类问题所面临的困难。     

一种改进的不平衡数据集分类方法

传统的机器学习方法在解决不平衡分类问题时,得到的分类器具有很大的偏向性,表现为少数类识别率远低于多数类。为此,在旋转森林分类方法的基础上,提出一种改进的不平衡数据处理方法——偏转森林。通过对少数类进行过抽样改变训练数据的分布以减小数据的不平衡,采用随机抽取的方式确保生成偏转矩阵的样本间存在差异,从而提高集成分类器的分类精度。实验结果表明,该方法能取得较好的分类性能,具有较高的少数类识别正确率和较低的多数类识别错误率。     

不平衡数据集分类方法研究综述

社会发展的同时带来大量数据的产生,不平衡成为众多数据集的显著特点,如何使不平衡数据集得到更好的分类效果成为了机器学习的研究热点。基于此,对目前存在的不平衡数据集分类方法进行综述研究,从不平衡数据采样方法、基于机器学习的改进算法以及组合方法三个层面对目前存在的方法进行全面的梳理与总结,对各方面方法所解决的问题、算法思想、应用场景以及各自的优缺点进行归纳和分析,同时对不平衡数据集分类方法存在的问题和未来研究方向提出一些总结和展望。     

一种面向类别不平衡SSL VPN加密流量识别方法

传统方法在处理不平衡的海量高维数据时存在特征提取困难、检测率低的问题。对此,提出一种先使用基于遗传染色体理论的数据合成过采样技术(NEDIL)平衡原始数据集,再利用基于注意力机制的双向GRU网络流量识别模型识别SSL VPN流量的方法。不仅解决了样本不平衡造成的模型拟合问题,同时能够增强关键特征的区分度,解决一般识别模型无法区分时间序列数据重要程度的差异性的问题。对比实验结果表明,该方法在公开的流量数据集上取得了比当前典型方法更好的识别精度,实现了整体高于92%的应用识别准确度。     

Evolutionary under-sampling based bagging ensemble method for imbalanced data classification

In the class imbalanced learning scenario, traditional machine learning algorithms focusing on optimizing the overall accuracy tend to achieve poor classification performance especially for the minority class in which we are most interested. To solve this problem, many effective approaches have been proposed. Among them, the bagging ensemble methods with integration of the under-sampling techniques have demonstrated better performance than some other ones including the bagging ensemble methods integrated with the over-sampling techniques, the cost-sensitive methods, etc. Although these under-sampling techniques promote the diversity among the generated base classifiers with the help of random partition or sampling for the majority class, they do not take any measure to ensure the individual classification performance, consequently affecting the achievability of better ensemble performance. On the other hand, evolutionary under-sampling EUS as a novel undersampling technique has been successfully applied in searching for the best majority class subset for training a good-performance nearest neighbor classifier. Inspired by EUS, in this paper, we try to introduce it into the under-sampling bagging framework and propose an EUS based bagging ensemble method EUS-Bag by designing a new fitness function considering three factors to make EUS better suited to the framework. With our fitness function, EUS-Bag could generate a set of accurate and diverse base classifiers. To verify the effectiveness of EUS-Bag, we conduct a series of comparison experiments on 22 two-class imbalanced classification problems. Experimental results measured using recall, geometric mean and AUC all demonstrate its superior performance.     

煤矿瓦斯监测系统异常数据识别技术研究与应用

详细分析了瓦斯监测系统在日常运行中产生异常数据的原因,阐述了异常数据辨识原则,建立了异常数据识别模型,并根据该模型设计了异常数据分析识别软件。实际应用结果表明,该分析软件能够有效减少瓦斯监测系统误报警、误断电情况的发生,提高了监测数据的真实性和可靠性。     

基于样本密度峰值的不平衡数据欠抽样方法

不平衡数据分类是数据挖掘和机器学习领域的一个重要问题,其中数据重抽样方法是影响分类准确率的一个重要因素。针对现有不平衡数据欠抽样方法不能很好地保持抽样样本与原有样本的分布一致的问题,提出一种基于样本密度峰值的不平衡数据欠抽样方法。首先,应用密度峰值聚类算法估计多数类样本聚成的不同类簇的中心区域和边界区域,进而根据样本所处类簇区域的局部密度和不同密度峰值的分布信息计算样本权重;然后,按照权重大小对多数类样本点进行欠抽样,使所抽取的多数类样本尽可能由类簇中心区域向边界区域逐步减少,在较好地反映原始数据分布的同时又可抑制噪声;最后,将抽取到的多数类样本与所有的少数类样本构成平衡数据集用于分类器的训练。多个数据集上的实验结果表明,与现有的RBBag、uNBBag和KAcBag等欠抽样方法相比,所提方法在F1-measure和G-mean指标上均取得一定的提升,是有效、可行的样本抽样方法。     

不平衡数据集的分类方法研究

传统的分类算法在处理不平衡数据分类问题时会倾向于多数类,而导致少数类的分类精度较低。针对不平衡数据的分类,首先介绍了现有不平衡数据分类的性能评价;然后介绍了现有常用的基于数据采样的方法及现有的分类方法;最后介绍了基于数据采样和分类方法结合的综合方法。     

剪枝与欠采样相结合的不平衡数据分类方法*

通过剪枝技术与欠采样技术相结合来选择合适数据,以提高少数类分类精度,研究欠采样技术在不平衡数据集环境下的影响。结果表明,与直接欠采样算法相比,本文算法不仅在accuracy值上有所提高,更重要的是大大改善了g-means值,特别是对非平衡率较大的数据集效果会更好。     

结构健康监测系统的数据异常识别

结合机器学习方法对结构健康监测系统采集的原始数据进行初步的自动化分析,以达到降低进一步分析的计算量、提高分析子系统精度的目的.以上海中心和兰州西站监测系统为背景,利用机器学习方法研究数据异常识别问题,优化数据分析预警子系统.使用单变量特征选择提取利于识别的特征向量, 对比分析在结构健康监测中各类支持向量机（Support Vector Machine,SVM）的优劣,组合利用不同SVM的优势减少异常数据的漏报和误报.该方法已被应用于上海中心和兰州西站的结构健康监测系统中.     

基于QTP的煤矿安全监控系统测试方法

针对现有煤矿安全监控系统测试方法无法自动添加基础数据的问题,提出一种基于自动化测试工具QTP的煤矿安全监控系统测试方法,介绍了采用QTP自动添加测点数据以及进行自动化功能测试的具体操作步骤。     

基于球边界的不平衡数据分类方法

现有分类算法对不平衡数据挖掘通常表现出有偏性,即正类样本(通常是更重要的一类)的分类和预测性能差于负类样本的分类和预测性能,为此提出一种不平衡数据的分类方法。该方法对不同类引入不同的惩罚参数来灵活控制两类错分率的上界,通过一个超球面将两类数据以最大分离比率分离,从而提高不平衡数据对正类分类和预测的性能。实验结果表明,该方法可以有效提高不平衡数据的分类性能。     

基于门控循环单元的非均衡数据驱动异常用电检测方法

异常用电检测能够及时发现异常用电行为,在减少能源浪费和经济损失的同时能够维持安全、稳定的电网运行环境。智能电表的普及使得用电数据获取十分容易,为数据驱动的异常用电检测方法提供了充足的数据支持。然而,在实际应用过程中,异常数据较少导致的数据非均衡问题严重影响了模型的训练效果。因此,针对上述问题提出了一种针对非均衡数据的门控循环单元异常用电检测方法。该方法利用边界合成少数类过采样技术实现了对少数类数据的有效扩充。为了更好的捕捉用电数据的时序特征,采用了门控循环单元实现对用电数据的分类。为了验证该方法的有效性,基于非均衡数据集进行了对比实验。实验结果表明,该方法能够更好的数据扩充效果以及更准确的异常用电检测效果。     

基于云计算的煤矿安全监测预警系统研究

针对传统煤矿安全监测系统存在无法提前预测井下事故等问题,提出一种基于云计算的煤矿安全监测预警系统,介绍了云计算、SaaS、数据挖掘等相关技术,并详细阐述了系统总体架构及云数据中心的设计。该系统可以有效地预报井下瓦斯事故、机电事故、火灾事故、水害事故等,降低发生安全事故的风险。