基于DBN-XGBDT的入侵检测模型研究

在分布均匀的海量数据情况下,现有的入侵检测模型均具备良好的检测性能。但网络中产生的海量入侵数据的分布通常具有不均衡特点,而大多数检测模型针对罕见攻击类型的检测率低。针对上述问题,提出了一种深度信念网络（Deep Belief Networks,DBN）融合极限梯度提升（eXtreme Gradient Boosting,XGBoost）基于决策树算法（Decision Tree,DT）的入侵检测模型（DBN-XGBDT）。该模型将预处理后的数据集输入深度信念网络中,实现对入侵检测数据的降维处理,将得到的特征数据根据攻击类别任两类为一组,通过XGBoost算法逐一构建梯度提升树并细化为二分类;最后运用控制变量法和XGBoost内置的交叉验证进行调参,择优调整模型参数,对未知网络攻击实现有效检测。基于NSL-KDD数据集对DBN-XGBDT模型与XGBoost、DBN-BP、DBN-MSVM等优越模型进行了检测实验。实验结果表明,DBN-XGBDT模型较上述3个单一、混合分类模型的正确率分别提升2.07个百分点、1.14个百分点,对U2R的检测率提升至75.37%,平均误报率降至56.23%,为入侵检测处理不均衡数据且提高对罕见攻击的检测性能提供了新方法。     

基于经验模态分解自回归组合模型的网络舆情预测

随着大数据时代的到来,网络舆情数据呈现信息量大和领域覆盖广等特征。面对复杂的网络舆情数据时,传统单一模型预测能力有限,不能对舆情趋势进行有效预测。针对此问题,提出一种基于经验模态分解-自回归（EMD-AR）改进的组合模型——EMD-ARXG模型,应用于复杂网络舆情的预测。该模型利用经验模态分解算法对时间序列进行分解,然后通过自回归模型对分解后的时间序列进行各自趋势拟合,建立子模型。最后再对各个子模型进行重构,完成建模。另外,在利用自回归（AR）模型拟合过程中,为了减少拟合误差,采用极限梯度提升算法对残差进行学习,并使预测模型迭代更新,提高各个子模型预测精度。为验证EMD-ARXG模型的预测效果,该模型与小波神经网络模型和基于经验模态分解的神经网络模型进行实验对比。实验结果表明,在均方根误差（RMSE）、平均绝对百分误差（MAPE）和希尔不等系数（TIC）三项指标上,EMD-ARXG模型获得的结果均优于小波神经网络模型和基于经验模态分解的神经网络模型的结果。     

基于XGBoost算法的Webshell检测方法研究

为解决加密型Webshell与非加密型Webshell的代码特征不统一、难以提取的问题,提出一种基于XGBoost算法的Webshell检测方法。首先,对Webshell进行功能分析,发现绝大部分Webshell都具有代码执行、文件操作、数据库操作和压缩与混淆编码等特点,这些特征全面地描述了Webshell的行为。因此,对于非加密型的Webshell,将其主要特征划分为相关函数出现的次数。对于加密型的Webshell,根据代码的静态特性,将文件重合指数、信息熵、最长字符串长度、压缩比4个参数作为其特征。最后,将两种特征统一起来作为Webshell特征,改善了Webshell特征覆盖不全的问题。实验结果表明,所提方法能有效地对两种Webshell进行检测;与传统的单一类型Webshell检测方法相比,该方法提高了Webshell检测的效率与准确率。     

基于XGBoost和LSTM加权组合模型在销售预测的应用

针对多变量的商品销售预测问题,为了提高预测的精度,提出了一种ARIMA-XGBoost-LSTM加权组合方法,对具有多个影响因素的商品销售序列进行预测,本文采用ARIMA做单变量预测,将预测值作为新变量同其他变量一起放入XGBoost模型中进行不同属性的挖掘,并将XGBoost的预测值合并到多变量序列中,然后通过将新的多维数据转换为监督学习序列后利用LSTM模型进行预测,将3种模型预测结果进行加权组合,通过多次实验得出最佳组合的权值,以此计算出最终的预测值.数据结果表明,基于XGBoost和LSTM的加权组合的多变量预测方法比单一的预测方法所得到的预测值更为精准.     

面向5G MEC基于行为的用户异常检测方案

5G边缘计算靠近用户侧提供服务,而边缘侧汇聚着用户的敏感信息,用户非法接入或合法用户自身的恶意行为威胁到整个边缘网络的安全。将机器学习算法应用于边缘计算架构,提出一种基于行为的用户异常检测方案。对用户行为进行建模,采用独热编码和互信息进行数据预处理和特征选择,并利用极限梯度提升算法训练一个多分类器分类识别进入园区的用户,根据识别结果与用户身份是否一致来判定用户是否异常。在此基础上,通过孤立森林算法对授权用户历史行为数据进行模型训练,从而检测可信任用户的行为是否异常,实现对小型固定园区内未授权用户的识别以及对授权用户异常行为的检测。实验结果表明,该方案可满足边缘计算场景的时间复杂度要求,并且能够有效区分不同用户,分类准确率达到0.953,而对异常行为样本的误报率仅为0.01。     

基于梯度提升决策模型的空间占用检测研究

随着绿色建筑和绿色生态城区经济激励机制基本形成,面对大量多维空间占用数据,“大数据绿色建筑”节能体系应运而生。然而大量多维的建筑数据却没有被充分利用,且传统空间占用检测模型分类精度还不够准确,模型时间复杂度较高。利用UCI占用检测数据集,在原始数据集上加入时间戳,使模型分类精度均获得提高,同时利用MCMR（最大相关最小冗余）方法进行特征选择,通过随机森林作为分类器验证分类效果,获取最优特征子集。且利用选取的特征子集构建占用检测模型,其中XGBoost模型与随机森林模型（RF）进行比对,分类精度较高,且时间复杂度更低。     

一种面向高维缺失不平衡数据的信用评估方法

传统随机森林填补方法并未考虑高维不平衡问题导致填补没有针对性,且使用0值预填补的方式可能会引入噪声并导致预测精度降低,因此提出一种基于Q学习和随机森林的缺失值填补方法(QL-RF).该方法在特征选择后使用Q-learning权衡填补精度和填补数量,通过计算奖励筛选出具有填补价值的样本和特征组合,然后利用冗余特征填补重要特征中的缺失,并重点填补了少数类样本.此外,为提高不平衡数据下的分类效果,基于Bagging框架提出一种融合量子粒子群算法(QPSO)和XGBoost的集成分类模型(QXB).实验表明:QL-RF在G-means、F1-measure、AUC指标下均优于传统RF填补法,QXB显著优于SMOTE-RF和SMOTE-XGBoost,所提方法能够有效地处理高维不平衡数据下的缺失和分类问题.     

基于XGBOOST-DNN的中期电力负荷预测

精准的负荷预测是电力工作者重要的工作之一,而负荷预测以预测周期的不同,一般可以划分为短期电力负荷预测与中长期电力负荷预测.其中中长期电力负荷预测相较短期电力负荷预测而言,该领域缺乏大量前沿工作者的探索.因此本文提出一种可应用于中期电力负荷预测领域且基于XGBoost-DNN的算法.该算法将树模型和深度神经网络相结合,并将短期电力负荷预测引入到了中期电力负荷预测的工作中,基于树模型自身特点,将数据特征加工成高阶的交叉特征,同时结合原有数据利用深度神经网络可学习到丰富的特征信息.这里是以2017全球能源预测竞赛的数据进行算法分析,其中实验表明,在中期电力负荷预测领域,该方法提出的XGBoost-DNN模型相较于DNN,LSTM而言,其具备更加精准的准确性.     

基于XGBoost算法的电力系统暂态稳定评估

针对暂态稳定评估问题的特点,在改进极限梯度提升(XGBoost)算法的基础上进行暂态稳定评估。根据电网物理特点,定义能够反映电力系统稳态运行状态的特征集;研究XGBoost算法用于暂态稳定评估的过程:针对暂态稳定预测中2类错误严重程度不同的特点,定义包含注意力系数的对数损失函数,使得模型对不稳定样本的误预测情况减少;使用Logistic函数将模型输出概率化,用于衡量XGBoost模型输出的可靠程度,预防部分误预测;给出针对任意系统随机产生样本集的方法。IEEE 39节点系统仿真结果表明,XGBoost算法在准确率上均高于其他几类常用机器学习算法,优化后的损失函数降低了不稳定样本错误分类的可能性,使该算法的召回率较优于其他方法,且概率化输出的形式有助于评估模型输出的可靠程度,降低了误预测的概率。     

基于XGBoost的车身尺寸装配质量智能预测模型

针对汽车多级制造系统中传统机器学习方法处理多元数据样本时间久、精度低等问题,提出一种基于XGboost的车身尺寸装配质量智能预测模型,解决多级制造系统的车身装配精准预测控制问题。首先,通过对车身多级装配过程的分析,对数据样本进行预处理,建立基于Spearman系数的不同特征要素的绝对相关性矩阵;其次,对生产流程的相关数据实时采集、清洗及挖掘分析,提出数据分析流程与数据处理框架,建立基于XGBoost的车身尺寸装配质量智能预测模型,并通过对模型性能的有效评估实现对车身尺寸装配的精准控制;最后,仿真实例对比分析表明,基于XGboost的质量智能预测模型能精准地解决多级制造系统中的车身装配质量控制问题。