基于TG–LSTM神经网络的非完整时间序列预测

针对传统模型对含数据缺失的非完整时间序列预测精度不高的问题,利用长短期记忆(LSTM)神经网络强大的时序建模能力,提出一种带时间门的长短期记忆(TG–LSTM)神经网络.首先,提出一种能同时对输入值在线估计和输出值实时预测的TG–LSTM单元结构;其次,基于TG–LSTM结构设计一种网络的前向传播算法,实现输入填补和输出预测同步进行;然后,建立TG–LSTM神经网络的学习算法来对输入填补和输出预测任务整体训练;最后,通过在Mackey-glass基准数据集,月平均气温数据集和污水处理出水氨氮预测中的实验结果表明:与传统方法相比,TG–LSTM神经网络模型能以更高精度对非完整时间序列进行填补和预测.     

基于核密度估计的集成剪枝和增量学习时间序列预测方法

时间序列预测(TSP)在机器学习中是一个重要问题.论文提出了一种基于核密度估计(KDE)的集成增量学习方法,用于时间序列的预测问题.算法首先根据集成学习的原理产生基学习器池.然后用基学习器池对预测样本的输出值得到核密度估计,并用得到的核密度估计来剪枝基学习器池.得到最终的剪枝集成系统后,用该剪枝集成系统来预测样本的输出.最后,算法根据样本在动态选择集上筛选出的最近邻集合进行增量学习.在数据集IAP,ICS,MCD上的试验结果表明,提出的时间序列预测算法和当前流行的算法相比效果有一定程度的提高.     

基于相关性分析的瓦斯灾害选择集成预测模型

针对瓦斯灾害危险性预测中预测性能低的问题，对一种基于矿井内瓦斯浓度与环境因素相关性分析的瓦斯灾害选择集成预测方法进行了研究。首先，分析实验数据中样本属性与瓦斯浓度的相关性，并根据相关性分析结果进行属性约简得到新的数据集；其次，训练基学习器并应用优化集成前序选择方法建立选择集成回归学习模型；最后，将模型应用于瓦斯灾害预测。实验结果表明，基于相关性分析的选择集成回归学习模型对瓦斯灾害危险性的识别率比未进行相关性分析的四个基学习器平均提高了24%，比未进行相关性分析的选择集成回归学习模型提高了7.6%。     

基于多机器学习竞争策略的短时雷电预报

传统的雷电数据预测方法往往采用单一最优机器学习算法,较少考虑气象数据的时空变化等现象。针对该现象,提出一种基于集成策略的多机器学习短时雷电预报算法。首先,对气象数据进行属性约简,降低数据维度;其次,在数据集上训练多种异构机器学习分类器,并基于预测质量筛选最优基分类器;最后,通过对最优基分类器训练权重,并结合集成策略产生最终分类器。实验表明,该方法优于传统单最优方法,其平均预测准确率提高了9.5%。     

TenrepNN：集成学习的新范式在企业自律性评价中的实践

为了应对互联网环境中企业自律性低、违规事件频发、政府监管困难的现状,提出一种针对企业自律性评价的双层集成残差预测神经网络（TenrepNN）模型,并融合Stacking和Bagging集成学习的思想提出一种集成学习的新范式Adjusting。TenrepNN模型具有两层结构：第1层使用3种基学习器初步预测企业评分;第2层采用残差修正的思想,提出残差预测神经网络以预测每个基学习器的输出偏差。最后,将偏差与基学习器评分相加得到最终输出。在企业自律性评价数据集上,相较于传统的神经网络,TenrepNN模型的均方根误差（RMSE）降低了2.7%,企业自律性等级分类准确率达到了94.51%。实验结果表明,TenrepNN模型集成不同的基学习器降低预测方差,并使用残差预测神经网络显式地降低偏差,从而能够准确评价企业自律性以实现差异化的动态监管。     

基于Stacking的电信客户流失预测模型设计研究

随着互联网的高速发展,电信市场竞争激烈,因此运用数据挖掘技术构建电信客户流失预测模型显得极为重要。基于Stacking集成算法,以梯度提升迭代(GBDT)、决策树、随机森林为基学习器,以逻辑回归模型为次学习器,构建了电信客户流失预测模型。通过与单一预测模型进行对比,Stacking集成模型有更好的预测效果,对电信客户流失预测具有重要意义。     

融合序列分解与Prophet模型的时序预测

传统时序预测方法其预测过程无法在相同数据集上推出共享模式, 而机器学习方法无法较好地处理非线性和大规模数据集, 并且需要手动设计特征工程. 深度学习方法弥补了传统预测方法需要高计算高人力的弊端, 用自动学习特征工程代替了手动设计特征工程. 但仅使用深度学习的预测方法所作结构假设较少, 通常需要较高的计算资源以及大量的数据来学习得到准确的模型. 针对上述问题, 本文提出通过采用融合t检验的EMD经验模态将序列分为高频分量和低频分量, 对高频分量使用传统STL序列分解方法进一步对数据做处理, 对高频、低频分量分别进行Prophet预测. 实验结果表明, 相较于传统的LSTM以及Prophet预测模型, 经过STL序列分解后的周期数据能够提升模型的整体预测精确度而融合EMD经验模态的Prophet模型则大大提升了训练效率.     

多算法多模型与在线第二次学习结合的短期电力负荷预测方法

为了提高短期电力负荷预测精度,首次提出多算法多模型与在线第二次学习结合的预测方法。首先,利用互信息方法和统计方法对输入变量进行选择;然后,通过Bootstrap方法对数据集进行多样性采样,利用多个不同的人工智能算法和机器学习算法训练得到多个差异化较大的异构预测模型;最后,用每个待预测时刻最近一段时间的实际负荷值、第一次学习生成的多异构预测模型的负荷预测值构成新训练数据集,对新训练数据集进行在线第二次学习,得到最终预测结果。对中国广州市负荷进行预测研究,与最优单模型、单算法多模型和多算法单模型相比,在每日总负荷预测中,全年平均绝对百分误差（MAPE）分别下降了21.07%、7.64%和5.00%,在每日峰值负荷预测中,全年MAPE分别下降了16.02%、7.60%和13.14%。实验结果表明,推荐方法有效地提高了负荷预测精度,有利于智能电网实现节能降耗、调度精细化管理和电网安全预警。     

逾期风险预测的宽度和深度学习

逾期风险控制是信用贷款服务的关键业务环节,直接影响放贷企业的收益率和坏账率。随着移动互联网的发展,信贷类金融服务已经惠及普罗大众,逾期风控也从以往依赖规则的人工判断,转为利用大量客户数据构建的信贷模型,以预测客户的逾期概率。相关模型包括传统的机器学习模型和深度学习模型,前者可解释性强、预测能力较弱;后者预测能力强、可解释性较差,且容易发生过拟合。因此,如何融合传统机器学习模型和深度学习模型,一直是信贷数据建模的研究热点。受到推荐系统中宽度和深度学习模型的启发,信贷模型首先可以使用传统机器学习来捕捉结构化数据的特征,同时使用深度学习来捕捉非结构化数据的特征,然后合并两部分学习得到的特征,将其经过线性变换后,最后得到预测的客户的逾期概率。所提模型中和了传统机器学习模型和深度学习模型的优点。实验结果表明,其具有更强的预测客户逾期概率的能力。     

基于遗传规划和集成学习的恶意软件检测

近年来恶意软件不断地发展变化,导致单一检测模型的准确率较低,使用集成学习组合多种模型可以提高检测效果,但集成模型中基学习器的准确性和多样性难以平衡。为此,提出一种基于遗传规划的集成模型生成方法,遗传规划可以将特征处理和构建集成模型两个阶段集成到单个程序树中,解决了传统恶意软件集成检测模型难以平衡个体准确率和多样性的问题。该方法以集成模型的恶意软件检出率作为种群进化依据,保证了基学习器的准确性;在构建集成模型时自动选择特征处理方法、分类算法和优化基学习器的超参数,通过输入属性扰动和算法参数扰动增加基学习器的多样性,根据优胜劣汰的思想进化生成具有高准确性和多样性的最优集成模型。在EMBER数据集上的结果表明,最优集成模型的检测准确率达到了98.88%;进一步的分析表明,该方法生成的模型具有较高的多样性和可解释性。