基于Stacking多模型融合的超短期电网负荷预测

为提升超短期电网负荷预测精度,提出基于Stacking多模型融合的超短期电网负荷预测法。首先,结合5-折交叉验证法分别训练第一层的LSTM、LightGBM、XGBoost三个初级学习器,将训练结果进行Stacking融合;然后将融合结果作为新特征用于训练第二层LightGBM次级学习器,使用次级学习器得到电网负荷预测的最终结果;最后利用山东省公共数据开放平台提供的某市实际超短期电网数据验证所提方法的有效性。实验结果表明,比起单一模型预测,所提的Stacking多模型融合预测法,在预测结果的平均精度与峰谷变化的适应能力方面更具优势。     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

Stacking集成学习模型在混合式成绩分类预测中的应用

针对现有单一算法模型在成绩预测时存在泛化能力不强的问题, 提出一种基于多算法融合的Stacking集成学习模型, 用于混合式教学中学生成绩的预测. 模型以多项式朴素贝叶斯、AdaBoost和Gradient boosting为初级学习器, 逻辑斯蒂回归为次级学习器组成两层融合框架. 通过混合式教学过程中所产生的学习行为数据对模型进行验证. 实验表明, Stacking集成学习模型在测试集上分类预测准确率达到76%, 分别高于多项式朴素贝叶斯、AdaBoost、Gradient boosting和逻辑斯蒂回归4个单一算法模型5%、6%、9%和6%. 与单一算法模型相比, Stacking集成学习模型有着较强的泛化能力, 能更好地预测学生成绩, 为混合式教学的学习预警提供参考.     

基于标记分布学习的异态集成学习算法

为了提高预测的准确性,文中结合机器学习中堆积(Stacking)集成框架,组合多个分类器对标记分布进行学习,提出基于标记分布学习的异态集成学习算法(HELA-LDL).算法构造两层模型框架,通过第一层结构将样本数据采用组合方式进行异态集成学习,融合各分类器的学习结果,将融合结果输入到第二层分类器,预测结果是带有置信度的标记分布.在专用数据集上的对比实验表明,HELA-LDL可以发挥各种算法在不同场景下的性能较优,稳定性分析进一步说明算法的有效性.     

基于GF-1 WFV影像和机器学习算法的玉米叶面积指数估算

目的 叶面积指数（LAI）是重要的植被生物理化参数,对农作物长势和产量预测具有重要研究意义。基于物理模型和经验模型的LAI估算方法被认为是当前最常用的方法,但两种方法的估算效率和精度有限。近年来,机器学习算法在遥感监测领域广泛应用,算法具有描述非线性数据拟合、融合更多辅助信息的能力,为了评价机器学习算法在玉米LAI遥感估算中的适用性,本文分析比较了随机森林和BP神经网络算法估算玉米LAI的能力,并与传统经验模型进行了比较。方法 以河北省怀来县东花园镇为研究区,基于野外实测玉米LAI数据,结合同时期国产高分卫星（GF1-WFV影像）,首先分析了8种植被指数与LAI的相关性,进而采用保留交叉验证的方式将所有样本数据分为两部分,65%的数据作为模型训练集,35%作为验证集,重复随机分为3组,构建以8种植被指数为自变量,对应LAI值为因变量的RF模型、BP神经网络模型及传统经验模型。采用决定系数R²和均方根误差（RMSE）作为模型评价指标。结果 8种植被指数与LAI的相关性分析表明所有样本数据中,实测LAI值与各植被指数均在（P<0.01）水平下极显著相关,且相关系数均高于0.5;将3组不同样本数据在随机森林、BP神经网络算法中多次训练,并基于验证数据集进行估算精度检验,经验模型采用训练数据集建模,验证数据集检验,结果表明,RF模型表现出了较强的预测能力,LAI预测值与实测值R²分别为0.681、0.757、0.701,均高于BP模型（0.504、0.589、0.605）和经验模型（0.492、0.557、0.531）,对应RMSE分别为0.264、0.292、0.259;均低于BP模型（0.284、0.410、0.283）和经验模型（0.541、0.398、0.306）。结论 研究表明,RF算法能更好地进行玉米LAI遥感估算,为快速准确进行农作物LAI遥感监测提供了技术参考。     

基于融合集成算法的配电网负荷预测研究

配电网的负荷预测在电力运行状态监测中尤为重要。负荷预测的精度提升为电网的安全、稳定运行提供了保障。通过对融合集成算法的研究,提出了一种基于关联特征选择的融合集成算法。在数据集的选择上,使用相关系数和灰色关联算法综合对样本中负荷影响较小的特征进行剔除,使得样本数据集的相关性更高;同时,对传统Stacking集成学习的输入和输出特征进行优化,提高了模型的预测效果。试验结果表明,基于融合集成算法的配电网负荷预测模型与传统的Stacking集成算法、XGBoost、灰狼优化-反向传播算法相比,负荷预测的精度提升了3.07%。该模型总体性能表现较好。该研究结果有效地支撑了配电网的负荷监测和规划,也为电力系统故障诊断提供了参考。     

基于WOA-BiLSTM模型的空气质量指数预测

空气质量预测工作对于人们的生活日常出行具有非常重要的意义. 长短时记忆网络作为一种新型的深度学习循环神经网络, 对于时间序列数据表现出良好的预测能力. 但是针对神经网络模型在训练过程中一般凭借经验进行参数选择, 训练周期长, 预测精度低, 结果不可靠的问题, 本文提出了一种基于鲸鱼优化算法的双向长短时记忆网络模型, 即WOA (whale optimization algorithm)-BiLSTM (bidirectional long short-term memory)模型. 双向长短时记忆网络凭借其前向和后向的双向网络结构, 能够加强序列数据信息的记忆能力, 而WOA算法可以依据鲸鱼捕食时气泡网捕食的方法, 协助BiLSTM模型在训练过程中找到最优的网络参数. 将该模型用于陕西省AQI (air quality index)预测, 并分别和BiLSTM、LSTM模型进行对比, 发现本文提出的模型预测结果最好, MAE值为6.543 3, R²值达0.989 9. 将该模型用于空气质量预测领域具有良好的理论和实践意义.     

融合残差上采样结构的P2Net无监督单目深度估计

单目深度估计是计算机视觉领域中的一个基本问题, 面片匹配与平面正则化网络(P²Net)是现阶段最先进的无监督单目深度估计方法之一. 由于P²Net中深度预测网络所采用的上采样方法为计算过程较为简单的最近邻插值算法, 使得预测深度图的生成质量较差. 因此, 本文基于多种上采样算法构建出残差上采样结构来替换原网络中的上采样层, 以获取更多特征信息, 提高物体结构的完整性. 在NYU-Depth V2数据集上的实验结果表明, 基于反卷积算法、双线性插值算法和像素重组算法的改进P²Net网络相较原网络在均方根误差RMSE指标上分别降低了2.25%、2.73%和3.05%. 本文的残差上采样结构提高了预测深度图的生成质量, 降低了预测误差.     

基于多层小波分解的日前太阳辐照度预测研究

由于太阳辐照度的随机波动特性,大型光伏发电并网会给电力系统的运行带来极大困难,光伏发电功率的预测是解决此问题的关键措施之一.提出了一种基于多层小波分解的太阳辐照度预测方法,首先,根据天气状态将每日的辐照度曲线划分为不同的波动模式;然后针对不同天气下的波动模式分别建立预测模型,使用多层小波分解后的数据预测第二天连续24小时的辐照度值;最后建立基于数据驱动的融合模型,将不同天气模式下的辐照度多层小波分解预测值进行融合,以获得最终的辐照度预测结果.仿真结果表明辐照度预测结果精度与小波分解层数和天气模式高度相关,且所提算法能够有效提高短期辐照度预测精度.     

Lp范数约束的多核半监督支持向量机学习方法

在机器学习领域,核方法是解决非线性模式识别问题的一种有效手段.目前,用多核学习方法代替传统的单核学习已经成为一个新的研究热点,它在处理异构、不规则和分布不平坦的样本数据情况下,表现出了更好的灵活性、可解释性以及更优异的泛化性能.结合有监督学习中的多核学习方法,提出了基于L_p范数约束的多核半监督支持向量机(semi-supervised support vector machine,简称S³VM)的优化模型.该模型的待优化参数包括高维空间的决策函数f_m和核组合权系数θm.同时,该模型继承了单核半监督支持向量机的非凸非平滑特性.采用双层优化过程来优化这两组参数,并采用改进的拟牛顿法和基于成对标签交换的局部搜索算法分别解决模型关于f_m的非平滑及非凸问题,以得到模型近似最优解.在多核框架中同时加入基本核和流形核,以充分利用数据的几何性质.实验结果验证了算法的有效性及较好的泛化性能.     

一种预测流程剩余时间的可解释特征分层方法

流程剩余时间预测对于业务异常的预防和干预有着重要的价值和意义.现有的剩余时间预测方法通过深度学习技术达到了更高的准确率,然而大多数深度模型结构复杂难以解释预测结果,即不可解释问题.此外,剩余时间预测除了活动这一关键属性还会根据领域知识选择若干其他属性作为预测模型的输入特征,缺少通用的特征选择方法,对于预测的准确率和模型的可解释性存在一定的影响.针对上述问题,提出基于可解释特征分层模型(explainable feature-based hierarchical model,EFH model)的流程剩余时间预测框架.具体而言,首先提出特征自选择策略,通过基于优先级的后向特征删除和基于特征重要性值的前向特征选择,得到对预测任务具有积极影响的属性作为模型输入.然后提出可解释特征分层模型架构,通过逐层加入不同特征得到每层的预测结果,解释特征值与预测结果的内在联系.采用LightGBM (light gradient boosting machine)和LSTM (long short-term memory)算法实例化所提方法,框架是通用的,不限于选用算法.最后在8个真实事件日志上与最新方法进行比较.实验结果表明所提方法能够选取出有效特征,提高预测的准确率,并解释预测结果.     

混合特征选择和集成学习驱动的代码异味检测

代码异味是违反基本设计原理或编码规范的软件特征,源代码中若存在代码异味将提高其维护的成本和难度。在代码异味检测方法中,机器学习相较其他方法能够取得更好的性能表现。针对使用大量特征进行训练可能会引起“维度灾难”以及单一模型泛化性能不佳的问题,提出一种混合特征选择和集成学习驱动的代码异味检测方法。通过ReliefF、XGBoost特征重要性和Pearson相关系数计算出所有特征的权重并进行融合,删除融合后权重值较低的无关特征,以得到特征子集。构建具有两层结构的Stacking集成学习模型,第一层的基分类器由3种不同的树模型构成,第二层以逻辑回归作为元分类器,两层结构的集成学习模型能够结合多样化模型的优点来增强泛化性能。将特征子集输入Stacking集成学习模型,从而完成代码异味分类与检测任务。实验结果表明,该方法能够减少特征维度,与Stacking集成学习模型第一层中的最优基分类器相比,其在F-measure和G-mean指标上最高分别提升1.46%和0.87%。     

A novel modified undersampling (MUS) technique for software defect prediction

Background and aim: Many sophisticated data mining and machine learning algorithms have been used for software defect prediction (SDP) to enhance the quality of software. However, real‐world SDP data sets suffer from class imbalance, which leads to a biased classifier and reduces the performance of existing classification algorithms resulting in an inaccurate classification and prediction. This work aims to improve the class imbalance nature of data sets to increase the accuracy of defect prediction and decrease the processing time . Methodology: The proposed model focuses on balancing the class of data sets to increase the accuracy of prediction and decrease processing time. It consists of a modified undersampling method and a correlation feature selection (CFS) method. Results: The results from ten open source project data sets showed that the proposed model improves the accuracy in terms of F1‐score to 0.52 ～ 0.96, and hence it is proximity reached best F1‐score value in 0.96 near to 1 then it is given a perfect performance in the prediction process. Conclusion: The proposed model focuses on balancing the class of data sets to increase the accuracy of prediction and decrease processing time using the proposed model.     

Analysis and Application of the Spatio-Temporal Feature in Wind Power Prediction

The spatio-temporal feature with historical wind power information and spatial information can effectively improve the accuracy of wind power prediction, but the role of the spatio-temporal feature has not yet been fully discovered. This paper investigates the variance of the spatio-temporal feature. Based on this, a hybrid machine learning method for wind power prediction is designed. First, the training set is divided into several groups according to the variance of the input pattern, and then each group is used to train one or more predictors respectively. Multiple machine learning methods, such as the support vector machine regression and the decision tree, are used in the proposed method. Second, all the trained predictors are adopted to make predictions for a sample, and the results generated from these predictors will be combined by an optimized combination method based on the variance. The experimental results based on the NREL dataset show that the method adopted in this paper can achieve a better performance than the stage-of-the-art approaches.     

基于图拉普拉斯变换和极限学习机的时间序列预测算法

由于时间效率的约束,多元时间序列预测算法往往存在预测准确率不足的问题。对此,提出基于图拉普拉斯变换和极限学习机的时间序列预测算法。基于图拉普拉斯变换对时间序列进行半监督的特征提取,通过散布矩阵将监督特征和无监督特征进行融合。设计在线的极限学习机学习算法,仅需要在线更新网络的输出权重矩阵即可完成神经网络的学习。利用提取的特征在线训练极限学习机,实现对多元时间序列的实时预测。基于多个数据集进行仿真实验,结果表明该算法有效地提高了预测准确率。     

Predicting movie success with machine learning techniques: ways to improve accuracy

Previous studies on predicting the box-office performance of a movie using machine learning techniques have shown practical levels of predictive accuracy. Their works are technically- and methodologically-oriented, focusing mainly on what algorithms are better at predicting the movie performance. However, the accuracy of prediction model can also be elevated by taking other perspectives such as introducing unexplored features that might be related to the prediction of the outcomes. In this paper, we examine multiple approaches to improve the performance of the prediction model. First, we develop and add a new feature derived from the theory of transmedia storytelling. Such theory-driven feature selection not only increases the forecast accuracy, but also enhances the interpretability of a prediction model. Second, we use an ensemble approach, which has rarely been adopted in the research on predicting box-office performance. As a result, the proposed model, Cinema Ensemble Model (CEM), outperforms the prediction models from the past studies that use machine learning algorithms. We suggest that CEM can be extensively used for industrial experts as a powerful tool for improving decision-making process.     

Predicting Code Smells and Analysis of Predictions: Using Machine Learning Techniques and Software Metrics

Code smell detection is essential to improve software quality, enhancing software maintainability, and decrease the risk of faults and failures in the software system. In this paper, we proposed a code smell prediction approach based on machine learning techniques and software metrics. The local interpretable model-agnostic explanations (LIME) algorithm was further used to explain the machine learning model’s predictions and interpretability. The datasets obtained from Fontana et al. were reformed and used to build binary-label and multi-label datasets. The results of 10-fold cross-validation show that the performance of tree-based algorithms (mainly Random Forest) is higher compared with kernel-based and network-based algorithms. The genetic algorithm based feature selection methods enhance the accuracy of these machine learning algorithms by selecting the most relevant features in each dataset. Moreover, the parameter optimization techniques based on the grid search algorithm significantly enhance the accuracy of all these algorithms. Finally, machine learning techniques have high potential in predicting the code smells, which contribute to detect these smells and enhance the software’s quality.

     

基于时序特征和集成算法的用户购买预测

大数据时代,电商平台积累了大量用户在平台上的行为数据,比如浏览、点击、下单和加入购物车等等.如何使用机器学习算法去探索大数据背后的用户消费喜好和习惯成为了一个新的研究热点.本文主要在特征工程和模型搭建两个方面对用户购买预测的效果做出提高.通过深入理解电商业务知识,利用统计学知识,分别从用户、商品和评论数据等多个方面的数据构建了115个特征;在模型搭建方面,主要设计了一个两层融合模型,第一层采用了XGBoost、CatBoost和逻辑回归作为基分类器,从不同的角度考虑用户购买预测,第二层采用加权平均的方法对基类模型的预测结果进行融合,其权重由线性分类器学习生成.实验结果表明该融合模型的F1评分要高于个体分类器,并且多次实验证明,融合模型的稳定性也要比个体分类器好.     

基于深度学习的网络流量异常识别与检测

针对传统的工控网络流量数据在复杂网络环境下特征维度高,特征处理复杂度高,模型检测效率低等问题,本文使用了一种基于随机森林(random forest, RF)和长短期记忆网络(long short-term memory, LSTM)结合的流量异常识别与检测方法.首先使用随机森林算法计算流量特征的重要度评分,筛选出重要特征,剔除冗余特征,然后使用LSTM进行异常流量的识别与检测.为了评估模型的有效性与优越性,本文使用准确率、精确率、召回率和F1-score进行模型评价,并与传统的机器学习方法 Naive Bayes、QDA、KNN算法进行对比.实验结果表明,在公开数据集CIC-IDS-2017中,异常流量识别的总体准确率达99%.与传统的机器学习算法相比,该方法有效地提高了复杂网络环境下异常检测的准确性和效率,在工业控制网络安全和异常检测方面具有实际应用价值.