基于混合改进GSO与GRNN并行集成学习模型

针对萤火虫群优化算法(GSO)不稳定、收敛速度较慢与收敛精度较低等问题和广义回归神经网络(GRNN)的网络结构导致预测误差的特性,提出基于混合改进萤火虫群算法与广义回归神经网络并行集成学习模型,应用于雾霾预测.首先构建融合多种搜索策略的混合改进萤火虫群优化算法(HIGSO),并使用标准测试函数验证算法性能.然后结合HIGSO与引入扰动因子的GRNN模型,建立并行集成学习模型,并通过UCI标准数据集验证模型的有效性与可行性.最后将模型应用于北京、上海和广州地区的雾霾预测,进一步验证模型在雾霾预测中的性能.     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于相关性分析的瓦斯灾害选择集成预测模型

针对瓦斯灾害危险性预测中预测性能低的问题，对一种基于矿井内瓦斯浓度与环境因素相关性分析的瓦斯灾害选择集成预测方法进行了研究。首先，分析实验数据中样本属性与瓦斯浓度的相关性，并根据相关性分析结果进行属性约简得到新的数据集；其次，训练基学习器并应用优化集成前序选择方法建立选择集成回归学习模型；最后，将模型应用于瓦斯灾害预测。实验结果表明，基于相关性分析的选择集成回归学习模型对瓦斯灾害危险性的识别率比未进行相关性分析的四个基学习器平均提高了24%，比未进行相关性分析的选择集成回归学习模型提高了7.6%。     

TenrepNN：集成学习的新范式在企业自律性评价中的实践

为了应对互联网环境中企业自律性低、违规事件频发、政府监管困难的现状,提出一种针对企业自律性评价的双层集成残差预测神经网络（TenrepNN）模型,并融合Stacking和Bagging集成学习的思想提出一种集成学习的新范式Adjusting。TenrepNN模型具有两层结构：第1层使用3种基学习器初步预测企业评分;第2层采用残差修正的思想,提出残差预测神经网络以预测每个基学习器的输出偏差。最后,将偏差与基学习器评分相加得到最终输出。在企业自律性评价数据集上,相较于传统的神经网络,TenrepNN模型的均方根误差（RMSE）降低了2.7%,企业自律性等级分类准确率达到了94.51%。实验结果表明,TenrepNN模型集成不同的基学习器降低预测方差,并使用残差预测神经网络显式地降低偏差,从而能够准确评价企业自律性以实现差异化的动态监管。     

LSTM模型集成方法在客户流失预测中的应用

目前客户流失预测任务中常用的模型集成方法采用传统机器学习模型作为基学习器。而传统机器学习模型相比于深度学习模型,存在无法对时序数据进行有效建模、特征工程对模型效果影响较大等缺点。针对这些问题,提出基于LSTM的模型集成方法。采用LSTM作为基学习器进行时序数据建模;改进snapshot模型集成方法,增加样本权重调整方法,在训练单个LSTM模型的过程中得到多个具有不同权值的模型;利用得到的多个模型构造新数据集,在新数据集上训练逻辑回归模型。实验结果表明,该方法相比于单模型LSTM,可以在仅花费其1.8倍训练时间的前提下,将查准率和PR-AUC分别提升4.67%和3.74%,显著提高了客户流失预测效果。     

基于特征增强与时空信息嵌入的涡扇发动机剩余寿命预测

针对现有的剩余寿命预测方法对原始数据利用率不高以及多维数据特征提取能力不足的问题,提出了一种基于特征增强和时空信息嵌入的卷积神经模型。首先,通过特征增强模块在原始数据基础上进一步提取工况特征与手工特征作为辅助特征;其次,提出了时空嵌入模块,对原始数据进行时空信息编码以嵌入时间序列信息和空间特征信息;最后,拼接上述特征并通过回归预测模块捕获数据内在关系得到回归预测结果。在通用的涡扇发动机模拟数据集(C-MAPSS)上对该模型预测效果进行了测试。实验结果表明,与现有主流深度学习方法相比,该模型在四个子集上的均方根误差平均减少了8.8%,且在多工况的运行条件和故障类型下,其预测精度均优于现有先进算法,充分证明了该模型在涡扇发动机剩余使用寿命预测方面的有效性和准确性。     

基于程序结构与语义特征融合的软件缺陷预测

随着软件系统的规模越来越庞大,如何快速高效地预测软件中的程序缺陷成为一个研究热点。最近的研究引入了深度学习模型,使用神经网络提取代码特征构建分类器进行缺陷预测。针对现有的神经网络只在单层面、单粒度上提取代码特征,导致特征不够丰富,造成预测精度不高的问题,提出了一种基于特征融合的软件缺陷预测框架。通过将程序解析为抽象语法树（abstract syntax tree,AST）以及Token序列两种不同的程序表示方式,利用树卷积神经网络以及文本卷积神经网络分别提取代码的结构和语义特征进行特征融合,从而提取到更丰富的代码特征用于缺陷预测。同时改进了AST和Token序列提取方法,降低模型复杂度。选择使用公共存储库PROMISE中的公开数据集作为实验数据集,采用softmax分类器预测得到最终的预测结果。实验结果表明,该框架在实验数据集上可以获得比已有方法更高的F1-score。     

Stacking集成学习模型在混合式成绩分类预测中的应用

针对现有单一算法模型在成绩预测时存在泛化能力不强的问题, 提出一种基于多算法融合的Stacking集成学习模型, 用于混合式教学中学生成绩的预测. 模型以多项式朴素贝叶斯、AdaBoost和Gradient boosting为初级学习器, 逻辑斯蒂回归为次级学习器组成两层融合框架. 通过混合式教学过程中所产生的学习行为数据对模型进行验证. 实验表明, Stacking集成学习模型在测试集上分类预测准确率达到76%, 分别高于多项式朴素贝叶斯、AdaBoost、Gradient boosting和逻辑斯蒂回归4个单一算法模型5%、6%、9%和6%. 与单一算法模型相比, Stacking集成学习模型有着较强的泛化能力, 能更好地预测学生成绩, 为混合式教学的学习预警提供参考.     

面向运动想象脑电图识别的镜卷积神经网络

目的 脑电图（electroencephalogram,EEG）是一种灵活、无创、非侵入式的大脑监测方法,广泛应用于运动想象脑机接口系统中,运动想象脑电图识别精度是决定系统性能的关键因素。然而由于脑电图采集时间长、个体差异大等原因,导致单个受试者可用于模型训练的样本数量少,严重影响了卷积神经网络在脑电图识别任务中的表现。为此,本文提出一种镜卷积神经网络（mirror convolutional neural network,MCNN）模型,使用集成学习与数据扩增方法提高运动想象脑电图识别精度。方法 在训练阶段,基于源脑电通过互换左右侧脑电通道构造镜像脑电,并与源脑电一起用于源卷积网络训练,有效扩增了训练样本;在预测阶段,复制已训练源卷积网络作为镜像卷积网络,将测试集中的源脑电输入源卷积网络,构造的镜像脑电输入镜像卷积网络,集成源卷积网络与镜像卷积网络输出的类别预测概率,形成最终类别预测。结果 为了验证模型的有效性和通用性,基于3种不同运动想象脑电图识别卷积网络模型分别构造镜卷积网络,并在第4届脑机接口大赛2a与2b数据集上进行实验验证。实验结果与原始模型相比,运动想象四分类和二分类准确率分别平均提高了4.83%和4.61%,显著提高了识别精度。结论 本文面向运动想象脑电图识别,提出了镜卷积神经网络模型,通过集成学习与数据扩增方法提高运动想象识别精度,有效改善了运动想象脑机接口性能。     

基于视频分段的空时双通道卷积神经网络的行为识别

针对原始空时双通道卷积神经网络（CNN）模型对长时段复杂视频中行为识别率低的问题，提出了一种基于视频分段的空时双通道卷积神经网络的行为识别方法。首先将视频分成多个等长不重叠的分段，对每个分段随机采样得到代表视频静态特征的帧图像和代表运动特征的堆叠光流图像；然后将这两种图像分别输入到空域和时域卷积神经网络进行特征提取，再在两个通道分别融合各视频分段特征得到空域和时域的类别预测特征；最后集成双通道的预测特征得到视频行为识别结果。通过实验讨论了多种数据增强方法和迁移学习方案以解决训练样本不足导致的过拟合问题，分析了不同分段数、预训练网络、分段特征融合方案和双通道集成策略对行为识别性能的影响。实验结果显示所提模型在UCF101数据集上的行为识别准确率达到91.80%，比原始的双通道模型提高了3.8个百分点；同时在HMDB51数据集上的行为识别准确率也比原模型提高，达到61.39%，这表明所提模型能够更好地学习和表达长时段复杂视频中人体行为特征。     

Ensemble approach based on bagging,boosting and stacking for short-term prediction in agribusiness time series

The investigation of the accuracy of methods employed to forecast agricultural commodities prices is an important area of study. In this context, the development of effective models is necessary. Regression ensembles can be used for this purpose. An ensemble is a set of combined models which act together to forecast a response variable with lower error. Faced with this, the general contribution of this work is to explore the predictive capability of regression ensembles by comparing ensembles among themselves, as well as with approaches that consider a single model (reference models) in the agribusiness area to forecast prices one month ahead. In this aspect, monthly time series referring to the price paid to producers in the state of Parana, Brazil for a 60 kg bag of soybean (case study 1) and wheat (case study 2) are used. The ensembles bagging (random forests — RF), boosting (gradient boosting machine — GBM and extreme gradient boosting machine — XGB), and stacking (STACK) are adopted. The support vector machine for regression (SVR), multilayer perceptron neural network (MLP) and K-nearest neighbors (KNN) are adopted as reference models. Performance measures such as mean absolute percentage error (MAPE), root mean squared error (RMSE), mean absolute error (MAE), and mean squared error (MSE) are used for models comparison. Friedman and Wilcoxon signed rank tests are applied to evaluate the models’ absolute percentage errors (APE). From the comparison of test set results, MAPE lower than 1% is observed for the best ensemble approaches. In this context, the XGB/STACK (Least Absolute Shrinkage and Selection Operator-KNN-XGB-SVR) and RF models showed better performance for short-term forecasting tasks for case studies 1 and 2, respectively. Better APE (statistically smaller) is observed for XGB/STACK and RF in relation to reference models. Besides that, approaches based on boosting are consistent, providing good results in both case studies. Alongside, a rank according to the performances is: XGB, GBM, RF, STACK, MLP, SVR and KNN. It can be concluded that the ensemble approach presents statistically significant gains, reducing prediction errors for the price series studied. The use of ensembles is recommended to forecast agricultural commodities prices one month ahead, since a more assertive performance is observed, which allows to increase the accuracy of the constructed model and reduce decision-making risk.     

Forward stage‐wise ensemble regression algorithm to improve base regressors prediction ability: an empirical study

Analysis of scientific data requires accurate regressor algorithms to decrease prediction errors. Lots of machine learning algorithms, that is, neural networks, rule‐based algorithms, regression trees and some kinds of lazy learners, are used to realize this need. In recent years, different ensemble regression strategies were improved to obtain enhanced predictors with lower forecasting errors. Ensemble algorithms combine good models that make errors in different parts of analyzed data. There are mainly two approaches in ensemble regression algorithm generation; boosting and bagging. The aim of this article is to evaluate a boosting‐based ensemble approach, forward stage‐wise additive modelling (FSAM), to improve some widely used base regressors’ prediction ability. We used 10 regression algorithms in four different types to make predictions on 10 diverse data from different scientific areas and we compared the experimental results in terms of correlation coefficient, mean absolute error, and root mean squared error metrics. Furthermore, we made use of scatter plots to demonstrate the effect of ensemble modelling on the prediction accuracies of evaluated algorithms. We empirically obtained that in general FSAM enhances the accuracies of base regressors or it at least maintains the base regressor performance.     

基于集成LightGBM和贝叶斯优化策略的房价智能评估模型

针对传统房价评估方法中存在的数据源单一、过分依赖主观经验、考虑因素理想化等问题,提出一种基于多源数据和集成学习的智能评估方法。首先,从多源数据中构造特征集,并利用Pearson相关系数与序列前向选择法提取最优特征子集;然后,基于构造的特征,以Bagging集成策略作为结合方法集成多个轻量级梯度提升机（LightGBM）,并利用贝叶斯优化算法对模型进行优化;最后,将该方法应用于房价评估问题,实现房价的智能评估。在真实的房价数据集上进行的实验表明,相较于支持向量机（SVM）、随机森林等传统模型,引入集成学习和贝叶斯优化的新模型的评估精度提升了3.15%,并且百分误差在10%以内的评估结果占比84.09%。说明所提模型能够很好地应用于房价评估领域,得到的评估结果更准确。     

Ensemble data mining modeling in corrosion of concrete sewer: A comparative study of network-based (MLPNN & RBFNN) and tree-based (RF,CHAID, & CART) models

This research aims to evaluate ensemble learning (bagging, boosting, and modified bagging) potential in predicting microbially induced concrete corrosion in sewer systems from the data mining (DM) perspective. Particular focus is laid on ensemble techniques for network-based DM methods, including multi-layer perceptron neural network (MLPNN) and radial basis function neural network (RBFNN) as well as tree-based DM methods, such as chi-square automatic interaction detector (CHAID), classification and regression tree (CART), and random forests (RF). Hence, an interdisciplinary approach is presented by combining findings from material sciences and hydrochemistry as well as data mining analyses to predict concrete corrosion. The effective factors on concrete corrosion such as time, gas temperature, gas-phase H₂S concentration, relative humidity, pH, and exposure phase are considered as the models’ inputs. All 433 datasets are randomly selected to construct an individual model and twenty component models of boosting, bagging, and modified bagging based on training, validating, and testing for each DM base learners. Considering some model performance indices, (e.g., Root mean square error, RMSE; mean absolute percentage error, MAPE; correlation coefficient, r) the best ensemble predictive models are selected. The results obtained indicate that the prediction ability of the random forests DM model is superior to the other ensemble learners, followed by the ensemble Bag-CHAID method. On average, the ensemble tree-based models acted better than the ensemble network-based models; nevertheless, it was also found that taking the advantages of ensemble learning would enhance the general performance of individual DM models by more than 10%.     

BN-LSTM-based energy consumption modeling approach for an industrial robot manipulator

Industrial robots (IRs) are widely used to increase productivity and efficiency in manufacturing industries. Therefore, it is critical to reduce the energy consumption of IRs to maximize their use in polishing, assembly, welding, and handling tasks. This study adopted a data-driven modeling approach using a batch-normalized long short-term memory (BN-LSTM) network to construct a robust energy-consumption prediction model for IRs. The adopted method applies batch normalization (BN) to the input-to-hidden transition to allow faster convergence of the model. We compared the prediction accuracy with that of the 1D-ResNet14 model in a UR (UR3e and UR10e) public database. The adopted model achieved a root mean square (RMS) error of 2.82 W compared with the error of 6.52 W achieved by 1D-ResNet14 model prediction, indicating a performance improvement of 56.74%. We also compared the prediction accuracy over the UR3e dataset using machine learning and deep learning models, such as regression trees, linear regression, ensemble trees, support vector regression, multilayer perceptron, and convolutional neural network-gated recurrent unit. Furthermore, the layers of the well-trained UR3e power model were transferred to the UR10e cobot to construct a rapid power model with 80% reduced UR10e datasets. This transfer learning approach showed an RMS error of 3.67 W, outperforming the 1D-ResNet14 model (RMS error: 4.78 W). Finally, the BN-LSTM model was validated using unseen test datasets from the Yaskawa polishing motion task, with an average prediction accuracy of 99%.     

针对非平衡警情数据改进的K-Means-Boosting-BP模型

目的 掌握警情的时空分布规律,通过机器学习算法建立警情时空预测模型,制定科学的警务防控方案,有效抑制犯罪的发生,是犯罪地理研究的重点。已有研究表明,警情时空分布多集中在中心城区或居民密集区,在时空上属于非平衡数据,这种数据的非平衡性通常导致在该数据上训练的模型成为弱学习器,预测精度较低。为解决这种非平衡数据的回归问题,提出一种基于KMeans均值聚类的Boosting算法。方法 该算法以Boosting集成学习算法为基础,应用GA-BP神经网络生成基分类器,借助KMeans均值聚类算法进行基分类器的集成,从而实现将弱学习器提升为强学习器的目标。结果 与常用的解决非平衡数据回归问题的Synthetic Minority Oversampling Technique Boosting算法,简称SMOTEBoosting算法相比,该算法具有两方面的优势：1）在降低非平衡数据中少数类均方误差的同时也降低了数据的整体均方误差,SMOTEBoosting算法的整体均方误差为2.14E-04,KMeans-Boosting算法的整体均方误差达到9.85E-05;2）更好地平衡了少数类样本识别的准确率和召回率,KMeans-Boosting算法的召回率约等于52%,SMOTEBoosting算法的召回率约等于91%;但KMeans-Boosting算法的准确率等于85%,远高于SMOTEBoosting算法的19%。结论 KMeans-Boosting算法能够显著的降低非平衡数据的整体均方误差,提高少数类样本识别的准确率和召回率,是一种有效地解决非平衡数据回归问题和分类问题的算法,可以推广至其他需要处理非平衡数据的领域中。     

基于多视图注意力机制的多维度价格预测模型研究

传统的股票价格预测模型只针对单一维度价格进行预测,忽略了多维度价格之间的复杂关系。因此,为了更好地对股票价格进行准确预测和为决策者提供前瞻性信息,提出了一种新的基于多视图注意力机制的多维度价格预测模型。通过多视图的深度可分离卷积网络学习多维度股票价格潜在的复杂的输入—输出关系,更好地提取股票价格的时空特征,实现时空数据的智能关联,并使用注意力机制进一步提升模型的预测性能,进而通过时空多维度的股价历史数据来预测单和多时间步长股票价格。该模型与其他四种模型在中国银行股价数据集上进行实验和比较,发现所提模型在不同预测时长下相比于表现最好的模型,平均绝对误差分别降低了0.4%、0.5%、4.2%、3.9%,均方误差分别降低了0.8%、2%、1.9%、1.9%,平均百分比误差分别降低了0.15%、0.21%、1.24%和1.34%。因此所提模型预测精度最高,预测性能最好,并且在对其他维度的股票价格预测上具有普适性。     

基于XGBoost和TCN-Attention的棉花价格多影响因素选择及预测

棉花价格受多种因素影响而复杂多变, 通过选择合适的数据特征和预测模型可提高棉花价格预测精度. 本文以棉花日现货价格数据为研究目标, 采集了供需关系、国际市场、宏观经济、产业链这4个方面的9项影响因素作为特征, 使用极限梯度提升(XGBoost)算法对棉花价格影响因素进行特征评估筛选, 选取其中5项特征后, 采用引入注意力机制(Attention)的时间卷积网络(TCN) TCN-Attention、TCN、LSTM、GRU等模型对棉花价格进行预测. 通过消融实验和对比实验, 结果表明: (1)经过XGBoost特征筛选后, TCN-Attention价格预测的平均绝对误差(MAE)和均方根误差(RMSE)为41.47和58.76, 与未筛选相比分别降低了77.57%和76.49%. (2)与TCN、LSTM、GRU相比, 本文提出的TCN-Attention模型预测结果更准确, MAE和RMSE均降低50%以上, 运行时间较LSTM、GRU缩短60%.     

基于自适应学习率优化的AdaNet改进

人工神经网络的自适应结构学习（AdaNet）是基于Boosting集成学习的神经结构搜索框架,可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著,因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集成子网的两个步骤中,使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法。改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放,得到更分散的权重分布,以增加AdaNet产生子网的多样性,从而降低集成学习的泛化误差。实验结果表明,在MNIST（Mixed National Institute of Standards and Technology database）、Fashion-MNIST、带高斯噪声的Fashion-MNIST这三个数据集上,改进后的优化算法能提升AdaNet的搜索速度,而且该方法产生的更加多样性的子网能提升集成模型的性能。在F1值这一评估模型性能的指标上,改进后的方法相较于原方法,在三种数据集上的最大提升幅度分别为0.28%、1.05%和1.10%。     

基于PSO和外部知识的时序数据异常检测

在时间序列数据的异常检测中, 单一模型往往只提取与自身模型结构相关的时序特征, 从而容易忽略其他特征. 同时, 面对大规模的时序数据, 模型难以对时序数据的局部趋势进行建模. 为了解决这两个问题, 本文提出一种基于粒子群优化算法(particle swarm optimization, PSO)和外部知识的异常检测模型PEAD. PEAD模型以深度学习模型作为基模型, 引入快速傅里叶变换生成的外部知识来提高基模型对局部趋势的建模能力, 随后PEAD模型以Stacking集成学习的方式训练基模型, 再使用PSO算法对基模型的输出加权求和, 对加权求和后的重构数据进行异常检测, PSO算法能够让模型的最终输出共同关注时序数据的全局特征和时间特征, 丰富模型提取的时序特征, 从而提高模型的异常检测能力. 通过对6个公开数据集进行测试, 研究结果表明PEAD模型在大部分数据集上表现良好.