基于组合特征选择的随机森林信用评估

构建个人信用风险评估模型的过程中, 特征工程很大程度上决定了评估器的性能, 传统的特征选择方法无法全面的考虑高维度指标对评估结果的影响, 且大多数研究在构建模型的过程中人为决定特征集大小, 导致随机性强、可信度低; 基于此, 提出基于传统风控指标优化XGBoost的随机森林模型(IV-XGBoostRF), 将传统风控指标IV与XGBoost相结合对原始特征集进行筛选, 建立较为完善的信用评估模型. 通过对比实验的结果显示改进后的随机森林模型准确度提高了0.90%, 且其他各项评估指标均优于传统信用评估模型, 证明了该组合特征选择方法的可行性, 有一定的应用价值.     

基于XGBoost的测井曲线重构方法

测井数据在地层评价中具有十分重要的作用,但是实际应用中由于地质、工程等因素的影响,经常出现部分测井数据缺失甚至漏测的情况。基于传统的经验模型和多元回归分析的测井曲线重构方法精度不够,因此提出利用机器学习方法进行测井曲线的重构;考虑到神经网络的局限性,基于XGBoost构建了测井曲线重构模型。以渤海湾盆地定向井为例验证重构模型的效果：首先进行了测井曲线补全和生成实验,并通过K折交叉验证将XGBoost模型性能与梯度提升决策树（GBDT）、随机森林（RF）和全连接神经网络（FNN）三种方法进行对比,然后结合地质背景分析预测效果。验证结果表明,基于XGBoost的测井曲线重构方法在准确性和稳定性方面都取得了更好的效果,并且表现出较强的泛化能力。     

XGBoost算法在致密砂岩气储层测井解释中的应用

传统单一模型的机器学习方法用于致密砂岩气储层测井解释时存在多解性,为此,将XGBoost算法应用于致密砂岩气储层测井解释。基于A工区测井解释资料,以不同种类的测井资料作为输入变量,通过XGBoost算法建立回归预测模型,预测该区孔隙度与渗透率参数,并探讨了XGBoost算法中各类参数的优化。以准确率指标为评价标准,通过XGBoost算法建立的分类预测模型对该区储层类型进行预测,同时与随机森林方法和支持向量机算法进行比较,XGBoost算法的预测效果较好。结果表明XGBoost算法能准确地预测孔隙度、渗透率并对该工区致密砂岩气层进行有效识别。     

基于自适应快速S变换和XGBoost的心电信号精确快速分类方法

针对心电信号(ECG)传统分类方法效率较低的问题,该文提出一种基于自适应快速S变换(AFST)和XGBoost的心电信号精确快速分类方法。该方法首先通过快速定位算法确定心电信号特征频率点,再根据特征频率点自适应调节S变换窗宽因子,增强S变换的时频分辨率的同时避免迭代计算,大大减少运行时间。其次,基于自适应快速S变换的时频矩阵提取12个特征量来表征5种心电信号的特征信息,特征向量维数低,识别能力强。最后,利用XGBoost算法对特征向量进行识别。MIT-BIH心律失常数据库和患者实测数据验证表明,该方法显著地缩短了分类时间,对5种心电信号的分类准确率分别为99.59%和97.32%,适用于实际检测系统中心律失常疾病的快速诊断。     

Feature selection algorithm based on XGBoost

Feature selection in classification has always been an important but difficult problem.This kind of problem requires that feature selection algorithms can not only help classifiers to improve the classification accuracy,but also reduce the redundant features as much as possible.Therefore,in order to solve feature selection in the classification problems better,a new wrapped feature selection algorithm XGBSFS was proposed.The thought process of building trees in XGBoost was used for reference,and the importance of features from three importance metrics was measured to avoid the limitation of single importance metric.Then the improved sequential floating forward selection (ISFFS) was applied to search the feature subset so that it had high quality.Compared with the experimental results of eight datasets in UCI,the proposed algorithm has good performance.     

基于特征选择和XGBoost优化的术中低体温预测

针对全麻手术患者术中低体温发生率高、影响因素复杂的问题,提出了一种基于特征选择和XGBoost优化的术中低体温预测模型,以更好辅助医生对全麻手术患者的临床诊断.首先,利用随机森林(Random forest,RF)在处理高维数据集上的优势,通过RF的袋外估计法进行特征选择.然后,以极端梯度提升(XGBoost)为基础,...     

基于XGBoost的集成式隔离断路器状态评估

为全面、客观、准确地评估集成式隔离断路器的运行状态,提出一种基于极端梯度提升算法(extreme gradient boosting,XGBoost)的状态评估方法。依据专家经验及状态评价导则选择集成式隔离断路器状态量并对其状态进行划分,以历史信息、试验数据、在线监测数据、外部环境数据建立训练样本。整个模型以分类和回归树(classification and regression tree, CART)作为基础模型,采用XGBoost集成学习算法训练,通过交叉验证选择适当参数,建立最优集成模型。模型输入为各状态量值,输出为每个运行状态中所属叶子节点分值的累加,最大分值对应状态即为评估结果。实例分析表明,该方法建立的模型在测试集中时准确率为95%,能准确地判断集成式隔离断路器的实际运行状态,同时该模型能反映影响评估结果的状态量,为状态检修提供依据。     

Click through Rate Effectiveness Prediction on Mobile Ads Using Extreme Gradient Boosting

Online advertisements have a significant influence over the success or failure of your business. Therefore, it is important to somehow measure the impact of your advertisement before uploading it online, and this is can be done by calculating the Click Through Rate (CTR). Unfortunately, this method is not eco-friendly, since you have to gather the clicks from users then compute the CTR. This is where CTR prediction come in handy. Advertisement CTR prediction relies on the users’ log regarding click information data. Accurate prediction of CTR is a challenging and critical process for e-advertising platforms these days. CTR prediction uses machine learning techniques to determine how much the online advertisement has been clicked by a potential client: The more clicks, the more successful the ad is. In this study we develop a machine learning based click through rate prediction model. The proposed study defines a model that generates accurate results with low computational power consumption. We used four classification techniques, namely K Nearest Neighbor (KNN), Logistic Regression, Random Forest, and Extreme Gradient Boosting (XGBoost). The study was performed on the Click-Through Rate Prediction Competition Dataset. It is a click-through data that is ordered chronologically and was collected over 10 days. Experimental results reveal that XGBoost produced ROC-AUC of 0.76 with reduced number of features.     

基于机器学习的纳滤膜预测筛选模型构建与评估

纳滤净水技术是应对水资源危机和水质安全保障的核心技术之一。然而,纳滤膜性能长期受渗透性与选择性制约,亟需开发高性能纳滤膜。纳滤膜制备过程涉及水相单体质量分数、水相添加剂质量分数、油相单体质量分数、聚合时间等因素,传统的试误实验法需消耗大量的人力、物力与财力。依据纳滤膜制备参数,构建基于机器学习的纳滤膜预测筛选模型。结果表明,XGBoost机器学习模型可有效预测纳滤膜纯水通量与截留性能,对纯水通量和截留性能的R²评价指标分别为0.84和0.90。采用SHAP值法对XGBoost机器学习模型中的输入参数进行量化分析,发现水相单体质量分数与基膜类型对纯水通量有最高的绝对平均SHAP值,分别为2.77与2.59,而面向纳滤膜截留性能的关键参数绝对平均SHAP值相对接近。单体子结构特征分析结果显示,亲水性子结构特征与支链型子结构特征有助于提升纳滤膜纯水通量,胺基则促进纳滤膜的截留性能。构建的纳滤膜预测筛选模型有助于关键参数的识别与优化,为纳滤膜的开发提供理论与技术指导。     

XGBoost机器学习在光电编码器误差补偿中的应用

光电编码器检测系统的误差主要受基准光电编码器测角误差、数据采集误差、检测系统同轴误差影响。其中，基准光电编码器的测角误差可进行补偿。因此设计了一种基于极度梯度提升树（extreme gradient boosting,XGBoost）机器学习的算法用来补偿基准光电编码器的误差。经该算法补偿后，静态精度提高了35倍，标准差由3.62″减小至0.13″，最大误差值由5.53″降低至0.39″。与传统的误差反传（back progagation,BP）神经网络算法以及径向基函数（radial basis function,RBF）神经网络算法补偿效果相比，XGBoost的补偿效果更优。XGBoost机器学习算法有效降低了基准光电编码器的测量误差，提高了光电编码器检测系统的检测精度。