Stacking集成学习模型在混合式成绩分类预测中的应用

针对现有单一算法模型在成绩预测时存在泛化能力不强的问题, 提出一种基于多算法融合的Stacking集成学习模型, 用于混合式教学中学生成绩的预测. 模型以多项式朴素贝叶斯、AdaBoost和Gradient boosting为初级学习器, 逻辑斯蒂回归为次级学习器组成两层融合框架. 通过混合式教学过程中所产生的学习行为数据对模型进行验证. 实验表明, Stacking集成学习模型在测试集上分类预测准确率达到76%, 分别高于多项式朴素贝叶斯、AdaBoost、Gradient boosting和逻辑斯蒂回归4个单一算法模型5%、6%、9%和6%. 与单一算法模型相比, Stacking集成学习模型有着较强的泛化能力, 能更好地预测学生成绩, 为混合式教学的学习预警提供参考.     

利用LIME对脓毒症预测模型进行可解释性分析

针对机器学习应用于脓毒症预测存在预测准确率低和可解释性不足的问题,提出了利用LIME对基于机器学习的脓毒症预测模型进行可解释性分析.模型由预测和解释两部分组成:预测部分使用XGBoost和线性回归(LR),首先通过XGBoost进行特征提取,再利用LR对提取到的特征进行分类;解释部分使用LIME模型提取出关键的预测指标对模型进行解释.实验结果表明,通过XGBoost+LR模型进行脓毒症预测的准确率为99％,受试者工作特征曲线下面积(AUROC)为0.984,优于单独使用XGBoost(准确率:95％,AUROC:0.953)和LR(准确率:53％,AUROC:0.556)或者LGBM(准确率:90％,AUROC:0.974),同时通过LIME能有效地提取出前10个最重要的指标,对脓毒症预测模型进行可解释性分析,提高了模型的可信度.     

基于分类模型的心血管疾病预测研究

中国医疗领域数字化转型为心血管疾病防治工作提供了新思路.现有的疾病预测模型多基于单一算法,关注各算法模型间预测效果的比较或逻辑优化.在对逻辑回归、朴素贝叶斯等分类算法构建单一算法模型并进行评估的基础上,研究组合模型对预测效果的影响.利用Stacking方法进行模型组合与评估比较,得到最优组合预测模型,实现了心血管疾病预测准确率的提高.     

基于改进GS-XGBoost的个人信用评估

信用评估分类器的好坏能够直接影响信贷金融机构的盈利能力. 传统的网格搜索法进行参数寻优时会耗费大量的时间, 基于此提出改进的网格搜索法优化XGBoost (GS-XGBoost)的个人信用评估算法. 该算法利用随机森林进行特征选择后, 将改进的网格搜索法对XGBoost中的n_estimators和learning_rate进行参数寻优, 建立评估模型. 从UCI数据库中选取信贷数据进行分析, 分别与支持向量机、随机森林、逻辑回归、神经网络以及未改进的XGBoost进行比较. 实验结果表明, 该模型的F-score和G-mean的值均有提高.     

权核Logistic回归模型的分类和特征选择算法

监督学习情况下,经常遇到样例的维数远远大于样本个数的学习情况。此时,样例中存在许多与样例类标签无关的特征,研究如何同时实现稀疏特征选择并具有更好的分类性能的算法具有优势。提出了基于权核逻辑斯蒂非线性回归模型的分类和特征选择算法。权对角矩阵的对角元素在0到1之间取值,对角元素的取值作为学习参数由最优化过程确定,讨论了提出的快速轮转优化算法。提出的算法在十个实际数据集上进行了测试,实验结果显示,提出的分类算法与L1,L2,Lp正则化逻辑斯蒂模型分类算法比较具有优势。     

基于改进DNN的糖尿病预测模型设计

为预防和降低糖尿病发病率,对糖尿病进行有效的诊断预测,提出基于改进DNN的糖尿病预测模型.在DNN基础上引入批归一化(batch normalization,BN)层,有效解决梯度消失、局部最优解等问题,提高模型预测准确度.实验在UCI公开的皮马印第安人糖尿病数据集(PIDD)上进行,利用XGBoost算法进行最优特征选择后,构建改进的DNN模型进行预测.为了验证模型的有效性,将其与其它算法进行比较,实验结果验证了该模型在准确率、精准率、召回率、灵敏度和特异度方面的优越性.     

贝叶斯优化的XGBoost信用风险评估模型

信用风险评估是银行和其他金融机构信贷审批业务中必不可少的一环。为进一步提高信用风险评估的准确率和模型可解释性,提出了基于贝叶斯优化的极端梯度提升树（extreme gradient boosting,XGBoost）信用风险评估模型。XGBoost集成学习模型预测准确率高,基学习器采用树模型,易于可视化,具有良好的可解释性。然而,XGBoost模型超参数众多,模型效果依赖于超参数的精确设置。在这项研究中,采用贝叶斯高斯过程（GP）作为XGBoost的超参数优化器,并与网格搜索、随机搜索进行比较研究。所提出的模型在三个信用贷款数据集上进行训练和测试,选择准确率和F1分数等四项指标评价模型性能。实验结果发现将贝叶斯高斯过程用于XGBoost模型的超参数优化,收敛速度快。所提出的模型在三个数据集上的准确率比表现最好的对比模型分别高出3.5、3.62和0.91个百分点。     

L1+L2正则化逻辑斯蒂模型分类算法

提出一种L1+L2范数正则化逻辑斯蒂模型分类算法。该算法引入L2范数正则化,解决L1正则化逻辑斯蒂算法迭代过程奇异问题,通过引入样本向量的扩展和新的权值向量完成L1范数非平滑问题,最终使用共轭梯度方法求解经过转化的最优化问题。在各种实际数据集上的实验结果表明,该算法优于L2范数、L1范数和Lp范数正则化逻辑斯蒂模型,具有较好的特征选择和分类性能。     

基于Stacking融合模型的信用贷款违约预测的研究——以Give Me Some Credit数据集为例

文章在Give Me Some Credit数据集上构建Stacking模型，使用SMOTE+Tomek Link综合采样法处理非平衡数据。在实证研究上，选择逻辑回归、K近邻、神经网络、随机森林、LightGBM、XGBoost、Adaboost以及CatBoost模型，并将上述模型分3种情况进行Stacking模型融合。结果显示，对此数据集而言，将随机森林、XGBoost、Adaboost、K近邻以及神经网络5个模型作为基学习器，将逻辑回归作为第二层学习器建立Stacking模型的效果最好。因此，利用Stacking模型构建信用贷款违约风险预测模型具有优异的分类性能和较强的可行性。     

基于机器学习的在线教学学生成绩预测研究

通过使用逻辑回归、决策树、朴素贝叶斯算法、反向传播、随机森林5种典型的机器学习算法对教育大数据进行分析和解读,从中提取隐含的潜在信息,经过数据分析、清洗、建模等步骤,构建多个模型,对比选取最优模型对在线教学学生学习成绩进行全面客观的预测.最终验证,逻辑回归算法是准确率最高的学生成绩预测算法,并且得到了相应的模型拟合表达式,将其运用到在线教学过程中学生成绩预测上,帮助教师提前干预,以提高教学效果,对教育科学决策有一定的参考价值.     

变电站一次设备喷涂PRTV用量的分析

对国网宁夏电力检修公司宁安运维站近2年来一次设备喷涂PRTV用量的统计数据进行分析整理,得出各类一次设备按照标准要求喷涂PRTV时的用量估算值,并针对现存作业中存在的问题,提出相应解决方案。     

新型煤泥浮选机液位传感装置的研制

介绍了一种性能良好的新型浮球式煤浆液位传感装置。该装置利用浮球随着煤浆液位的变化而带动连杆作上下运动,通过机械装置将液位的变化转变成角位移传感器的轴的角度变化,分析角位移传感器输出信号可得到煤泥液位信息。经测试该传感装置各项指标达到了设计要求。该新型煤泥浮选机液位传感装置具有良好的动、静态特性,可以在选煤厂推广应用。     

制造型企业仓储物流管理的RFID应用——卷烟厂按垛出库及到货扫描系统初探

针对国家烟草管理的现状,有关主管部门在全国推行“行业卷烟生产经营决策管理系统工程”,利用条码等自动识别技术手段实时掌握全国的生产经营信息。但某卷烟厂此前的物流环节已经是“件烟成垛”运输,如何在尽可能保持原有企业管理体系的前提下,达到有关部门的数据统计要求,解决成垛卷烟的物流和信息流的交互与统一问题成为技改的核心。该项目成功的将条码识别与射频识别有机结合起来,为烟草行业信息化提供了生动的应用案例。     

机车空调逆变电源设计

本文讨论的是机车空调逆变电源系统的设计与研究。该电源系统主要是由DC/DC的BOOST升压部分和DC/AC三相逆变部分两部分组成。DC/DC部分所得直流电压通过DC/AC部分逆变成三相交流电,供给空调机组工作。同时,为使电源系统能更可靠的运行,也设计了相应的故障检测、保护等辅助电路。     

Complexity of families of learning algorithms and estimation of the nonrandomness of extraction of empirical regularities

The paper presents a general approach to the evaluation of the complexity of classes of algorithms, so-called pVCD-method. To develop this method, all the examined families of models of empiric generalization were restricted to classes implementable on computers and, wider, by examining their partially recursive representations. Within the framework of the algorithmic approach, the concept of Kolmogorov’ complexity of algorithms for the recognition of properties or the extraction of regularities is proposed. The method proposed to evaluate the nonrandomness of the extraction of empirical regularities is based on this concept.     

Effective solution of certain problems of theory of schedulings of nets

Cybernetics and Systems Analysis -     

An estimate of numbers of terms of semicycles of delay difference equations

In this paper, we study the semicycles of oscillatory solutions of the delay difference equation y_n+1 − y_n + p_ny_n-k = 0, where p_n is a sequence of nonnegative real numbers and k is a positive integer. Upper bound of numbers of terms of semicycles are determined in the case when

Our results improve and complement known results in literature.     

Analysis of microdensitometric data in terms of probability of cleavage of DNA

Computer-aided analysis of autoradiographic films of DNA fragments is presented. The Powell least-squares procedure is used for optimization of parameters for components of complex densitometric curves. Since each densitometric spectrum may be divided for several non-overlapped blocks of bands, there is no upper limit on the number of parameters which must be optimized. Eight shapes for the component bands are utilized: symmetric and asymmetric Gauss and Cauchy functions, direct, symmetric and asymmetric product of Gauss function and inverse of Cauchy function, and log-normal function. The probability of DNA cleavage is calculated with correction for multiple cuts. The methods presented was applied to detailed analysis of densitometric spectra of a 21-bp DNA restriction fragment and allowed for direct correlation between structural microheterogeneity of DNA and the resulting cutting pattern. This method should facilitate the analysis of densitometric data from antibiotic-induced cleavage of DNA and footprinting experiments.