Fast network intrusion detection system using adaptive binning feature selection

Aiming at the problems of the low detection rate of traditional intrusion detection systems and the long training and detection time of intrusion detection systems based on deep learning,an adaptive binning feature selection algorithm using the information gain is proposed,which is combined with LightGBM to design a fast network intrusion detection system.First,the original data set is preprocessed to standardize the data;then the redundant features and noise in the original data are removed through the adaptive binning feature selection algorithm,and the original high-dimensional data are reduced to the low-dimensional data,thereby improving the accuracy of the system and reducing the training and detection time;finally,LightGBM is used for model training on the training set selected by the characteristics to train an intrusion detection system that can detect attack traffic.Through verification on the NSL-KDD data set,the proposed feature selection algorithm only takes 27.35 seconds in feature selection,which is 96.68% lower than that by the traditional algorithm.The designed intrusion detection system has an accuracy rate of 93.32% on the test set,and its training time is low.Compared with the existing network intrusion detection system,the accuracy rate of the proposed system is higher,and its model training speed is faster.     

基于LightGBM算法的光伏并网系统孤岛检测及其集成的可解释研究

针对智能孤岛检测方法欠缺对数据集划分过程中标签分布不均问题的考虑,以及该领域尚未对复杂智能孤岛检测模型的决策进行可解释性分析,提出了一种基于轻梯度提升机(LightGBM)算法的孤岛检测模型。采用分层抽样的K折交叉验证检测模型的分类性能,解决数据标签分布不均的问题;提出基于决策树的Shapley值加性解释方法为主干,融合累计局部效应图和局部代理模型的集成可解释分析框架,从全局性和局部性角度对光伏并网系统的孤岛状态检测进行归因分析。算例仿真结果表明,所提模型能在传统检测方法的检测盲区中实现精确且快速的动态孤岛检测,且在电压波动、系统故障等情况下均未发生误判。基于集成的归因分析方法解决了单一可解释方法的欠合理性问题,揭示了模型输入电气特征自变量与孤岛检测响应因变量之间的关系,提高了模型的可信度。     

基于稀疏采样传播数据和决策树算法的蒸发波导反演

蒸发波导的超视距传播特性是影响海上无线电系统性能的重要因素,准确预测蒸发波导是进行系统 评估的基础。文中提出一种基于稀疏采样传播数据和决策树轻量梯度提升机(Light Gradient Boosting Machine, LightGBM)算法的蒸发波导反演方法。首先,采用抛物方程方法仿真得到稀疏采样传播数据并构建训练集和测试 集;其次,使用决策树LightGBM 算法搭建反演模型,通过不断调参改进模型的精度以达到较高的反演准确度;最后, 调用训练好的LightGBM 模型进行蒸发波导反演,并对反演结果的概率分布进行了分析。结果表明,基于稀疏采样 传播数据的蒸发波导反演方法能够有效且快速地实现蒸发波导反演,为海上蒸发波导预测提供了一种新途径。     

基于LightGBM的EAST杂质破裂预警

对全超导托卡马克核聚变实验装置东方超环(EAST)运行放电期间发生的杂质破裂进行预测对未来的聚变装置的长脉冲稳态放电有重要意义. 根据杂质破裂的物理特性筛选出的2018年的334炮杂质破裂炮数据以及2021年的1628炮非破裂炮作为训练炮, 再由等离子体平衡、密度、电流以及辐射等8种诊断信号组成的训练样本以LightGBM算法训练出杂质破裂预测模型. 实验结果表明LightGBM算法模型可以对杂质破裂进行准确预测(成功预测率96.29%), 非破裂炮的误判率6.87%. 研究结果证明利用LightGBM进行EAST等离子体杂质破裂预警是可行的方案.     

融合CNN-BiLSTM-Attention的集成学习价格预测

价格预测对于大宗农产品市场的稳定具有重要意义,但是大宗农产品价格与多种因素有着复杂的相关关系.针对当前价格预测中对数据完整性依赖性强与单一模型难以全面利用多种数据特征等问题,提出了一种将基于注意力机制的卷积双向长短期记忆神经网络(CNN-BiLSTM-Attention)、支持向量机回归(SVR)与LightGBM组合的增强式集成学习方法,并分别在包含历史交易、天气、汇率、油价等多种特征数据的数据集上进行了实验.实验以小麦和棉花价格预测为目标任务,使用互信息法进行特征选择,选择误差较低的CNN-BiLSTM-Attention模型作为基模型,与机器学习模型通过线性回归进行增强式集成学习.实验结果表明该集成学习方法在小麦及棉花数据集上预测结果的均方根误差(RMSE)值分别为12.812, 74.365,较之3个基模型分别降低11.00%, 0.94%、4.44%,1.99%与13.03%, 4.39%,能够有效降低价格预测的误差.     

基于BERT和LightGBM的文本关键词提取方法

传统的文本关键词提取方法忽略了上下文语义信息,不能解决一词多义问题,提取效果并不理想。基于LDA和BERT模型,文中提出LDA-BERT-LightG BM(LB-LightG BM)模型。该方法选择LDA主题模型获得每个评论的主题及其词分布,根据阈值筛选出候选关键词,将筛选出来的词和原评论文本拼接在一起输入到BERT模型中,进行词向量训练,得到包含文本主题词向量,从而将文本关键词提取问题通过LightG BM算法转化为二分类问题。通过实验对比了textrank算法、LDA算法、LightG BM算法及文中提出的LB-LightG BM模型对文本关键词提取的准确率P、召回率R以及F1。结果表明,当Top N取3～6时,F1的平均值比最优方法提升3.5%,该方法的抽取效果整体上优于实验中所选取的对比方法,能够更准确地发现文本关键词。     

基于 X 射线图像和激光点云的煤矸识别方法

煤矸高效分选是实现煤炭资源绿色开采的重要手段,其核心技术是煤和矸石的快速精准识别。 因此,本文提出了基于 X 射线图像和激光点云融合的煤矸识别方法。 首先,设计了基于局部熵和全局均差加权的改进 Otsu 分割算法,以此提高 X 射 线图像的分割精度和分割效率;同时,利用直通滤波和体素栅格降采样简化了煤矸激光点云数据,进而提取了 X 射线图像和激 光点云的煤矸组合特征。 然后,针对传统麻雀搜索算法( SSA)易陷入局部最优和种群多样性差等问题,提出了多策略改进的 SSA 算法(ISSA),并用于轻量梯度提升机(LightGBM)参数的寻优,进而设计了基于 ISSA-LightGBM 的煤矸快速识别模型。 最 后,搭建了煤矸识别实验平台,开展了相应的实验对比分析,结果表明:ISSA-LightGBM 模型的煤矸识别准确达 99. 00% ,综合性 能优于其它模型,满足了煤矸高效识别的需求。     

面向电力客户侧终端网络的高效入侵检测模型研究

针对电力客户侧终端网络逐渐开放、设备分散和不易进行安全监测的现状,提出了一种基于LightGBM的高效率网络入侵检测模型。文章在目标编码中引入改进的平滑映射方法,提升了模型的检测效果;利用BPSO算法进行特征选择,设计目标函数,在保障检测准确率的前提下,实现对低价值特征的去除,降低模型的时间开销,并通过设计速度变异策略提升BPSO算法的效率;利用LightGBM算法实现入侵检测和攻击分类,并利用PSO算法实现LightGBM参数的自动选取。基于多个开源数据集的实验表明,所提模型具有较高的自适应能力,在攻击检测上具有较高的准确率、较少的误报和漏报情况,并且可以提升19%的训练和检测效率。     

Differentiation between COVID‐19 and bacterial pneumonia using radiomics of chest computed tomography and clinical features

To develop and validate an effective model for distinguishing COVID‐19 from bacterial pneumonia. In the training group and internal validation group, all patients were randomly divided into a training group (n = 245) and a validation group (n = 105). The whole lung lesion on chest computed tomography (CT) was drawn as the region of interest (ROI) for each patient. Both feature selection and model construction were first performed in the training set and then further tested in the validation set with the same thresholds. Additional tests were conducted on an external multicentre cohort with 105 subjects. The diagnostic model of LightGBM showed the best performance, achieving a sensitivity of 0.941, specificity of 0.981, accuracy of 0.962 on the validation dataset. In this study, we established a differential model to distinguish between COVID‐19 and bacterial pneumonia based on chest CT radiomics and clinical indexes.     

基于双树复小波分解的Boosting集成学习土地覆被分类研究

近年来,集成学习（Ensemble Learning,EL）分类方法成为土地覆被分类的研究热点,尤其是Boosting集成分类方法具有分类精度高、泛化能力强,在土地覆被分类中得到了显著的应用。但是,Boosting集成分类方法对噪声很敏感,如果训练样本含有噪声时,Boosting算法可能会失效,这是该方法的局限性。为了解决Boosting集成方法在土地覆被分类中存在的问题,有效克服噪声的影响,减少分类结果中的“椒盐”现象和提高分类精度,提出了基于双树复小波分解的Boosting集成学习分类方法。该方法对影像的光谱波段进行一层双树复小波分解,降低图像的噪声,将分解后的各波段作为Boosting集成学习的输入,得到最终的分类结果。实验先后比较了GBDT、XGBoost、LightGBM 3种Boosting集成学习算法在SPOT 6和Sentinel-2A影像上的分类效果。结果表明：①在SPOT 6影像上,3种Boosting集成算法总体分类精度均高于90%;DTCWT-LightGBM分类总体精度最高,达到94.73%,Kappa系数为0.93,比LightGBM总体精度提高了1.1%,Kappa系数提高了0.01;LightGBM分类总体精度比XGBoost分类总体精度提高了1.99%,Kappa系数提高了0.03,比GBDT分类总体精度提高了2.9%,Kappa系数提高了0.04;②在Sentinel-2A影像上,DTCWT-LightGBM分类总体精度最高,达到93.25%,Kappa系数为0.91,比LightGBM分类总体精度提高了1.53%,Kappa系数提高了0.01;LightGBM分类总体精度比XGBoost分类总体精度提高了1.14%,Kappa系数提高了0.02,比GBDT分类总体精度提高了2.53%,Kappa系数提高了0.03;③基于双树复小波分解的Boosting集成学习分类方法,降低了影像的噪音,减少了分类结果中存在的“椒盐”现象,区域一致性更强,提高了分类精度。