基于CNN-XGBoost的短时交通流预测

为准确预测短时交通流,缓解交通拥堵提高交通运行效率,提出一种基于CNN-XGBoost的短时交通流预测方法。结合短时交通流数据的时间相关性和空间相关性,将本路段和邻近路段的历史数据一同作为输入进行预测。利用卷积神经网络(convolutional neural networks,CNN)实现特征提取以减少数据冗余性,提出一种参数经果蝇算法优化的XGBoost模型用于交通流量预测。实例验证结果表明,CNN可对时间和空间结合下的交通流数据进行有效特征提取;相比SVR、LSTM等模型,改进的XGBoost模型下的交通流量预测误差明显减小。     

基于LSTM神经网络模型的交通事故预测

道路交通事故是道路交通安全水平的具体体现,为使预测数据更科学地为交通管理系统提供决策。提出建立基于LSTM（Long Short-Term Memory）神经网络的交通事故模型,训练交通事故相关的数据,对交通安全水平的指标进行预测。经过与传统回归模型和传统神经网络模型进行实验对比,实验显示LSTM拟合效果最佳,另外LSTM模型对同一趋势上的预测效果有明显优势。通过使用LSTM模型捕获数据中存在的时序依赖关系,能够更准确地对交通事故安全水平进行预测,使交通管理部门制定更加科学准确的决策。     

基于XGBoost和LSTM加权组合模型在销售预测的应用

针对多变量的商品销售预测问题,为了提高预测的精度,提出了一种ARIMA-XGBoost-LSTM加权组合方法,对具有多个影响因素的商品销售序列进行预测,本文采用ARIMA做单变量预测,将预测值作为新变量同其他变量一起放入XGBoost模型中进行不同属性的挖掘,并将XGBoost的预测值合并到多变量序列中,然后通过将新的多维数据转换为监督学习序列后利用LSTM模型进行预测,将3种模型预测结果进行加权组合,通过多次实验得出最佳组合的权值,以此计算出最终的预测值.数据结果表明,基于XGBoost和LSTM的加权组合的多变量预测方法比单一的预测方法所得到的预测值更为精准.     

基于GRU和XGBoost的矿压显现规律预测

采用光纤传感器监测的光纤频移值对矿压显现规律进行表征的过程中,传感器采集的数据存在缺失现象,无法准确预测矿压显现规律。针对该问题,以千秋煤矿为工程背景,在假设光纤下半部分数据丢失的前提下,引入GRU(门控循环单元)和LSTM(长短期记忆网络)2种预测模型,对缺失的光纤频移值进行对比预测,得出GRU模型的收敛速度优于LSTM模型的收敛速度,说明基于GRU模型的缺失值处理方法较优。将原始完整的光纤频移值转换为可表征矿压显现位置的光纤平均频移变化度,引入XGBoost(极端梯度提升)模型和BP神经网络模型进行对比预测,XGBoost模型能准确预测出测试集中所有出现“尖峰”的位置,而BP神经网络模型只预测出2处“尖峰”位置,说明XGBoost模型的预测效果优于BP神经网络模型的预测效果。将预测出的光纤频移缺失值替换至缺失位置,形成“完整”光纤频移值数据,将该数据转换为光纤平均频移变化度后,采用XGBoost模型进行预测。验证结果表明:LSTM模型及GRU模型均可准确预测出光纤下半部分的数据,且GRU模型准确性较LSTM模型准确性高;使用XGBoost可准确预测出测试集中出现的周期来压;通过GRU模型预测出的缺失数据经整合至缺失位置后,使用XGBoost模型仍可进行有效的矿压预测。     

VMD和混合深度学习框架融合的短期风速预测

风速预测是影响风电场效率和稳定性的重要因素.文中基于风速的时空特征,融合变分模态分解(VMD)和混合深度学习框架进行短期风速预测,即VHSTN (VMD-based hybrid spatio-temporal network).其中,混合深度学习框架由卷积神经网络(CNN)、长短时记忆网络(LSTM)以及自注意力机制(SAM)组成.该算法对原始数据清洗后,采用VMD将多站点风速的时空数据分解为固有模态函数(intrinsic mode functions, IMF)分量,去除风速数据的不稳定性;然后针对各IMF分量,应用底部的CNN抽取空域特征;再用顶层LSTM提取时域特征,之后用SAM通过自适应加权加强对隐藏特征的提取并得到各分量的预测结果;最后合并获得最终预测风速.在数据集WIND上进行实验,并和相关典型算法对比,实验结果表明了该算法的有效性和优越性.     

基于LSTM-XGBoost的短期电力负荷预测研究

随着电力系统的快速发展,针对短期电力负荷预测的人工智能方法研究已经取得了显著成就。由于长短期记忆(LSTM)神经网络能够拟合电力负荷数据时序性和非线性的特点,基于LSTM的短期电力负荷预测效果显著。但基于LSTM的预测方法存在预测精度低、泛化能力差等问题。为此,利用贝叶斯优化后的极限梯度提升(XGBoost)集成学习方法训练得到多个LSTM的强预测模型,提出基于LSTM-XGBoost的短期电力负荷预测的方法,并采用宁夏地区的电力数据进行算例分析。试验结果表明,对比基于LSTM和基于粒子群优化(PSO)-反向传播(BP)的短期电力负荷预测方法,基于LSTM-XGBoost的短期电力负荷模型预测精度、稳定性更高。该方法对于电力系统智能化发展有一定的应用价值。     

K-Similarity降噪的LSTM神经网络水质多因子预测模型

针对水质预测问题,以地表水水质监测因子作为研究对象,提出了一种基于长短期记忆（LSTM）神经网络的水质多因子预测模型,同时利用提出的K-Similarity降噪法对模型的输入数据进行降噪,提高模型预测性能.通过与BP神经网络、RNN和传统的LSTM神经网络预测模型进行对比实验,证明了所提出的方法均方误差最小,预测结果更准确.     

融合XGBoost与FM的混合式学习成绩分类预测

综合考虑混合式学习成绩分类预测中数据存在不平衡性和稀疏性的特点,提出了一种SMOTE-XGBoostFM混合式学习成绩分类预测模型.首先通过SMOTE采样均衡数据集;针对数据稀疏性问题,使用XGBoost对采样后的数据进行特征交叉,然后对所生成树的叶子节点进行独热编码,以生成高阶特征数据,最后将其输入因子分解机(FM)进行迭代训练以获最优模型.实验结果表明, SMOTE-XGBoost-FM模型在混合式学习成绩分类预测中准确率达到了92.7%,相较于单一的XGBoost、FM模型分别提升了5.7%和11.7%,能有效对学生学习情况进行分类预测,为提高教学效果提供参考.     

基于双层机器学习的业务流程剩余时间预测

近年来,流程挖掘技术不再局限于对事件日志的线下分析以实现对流程模型的改进,而更加关注如何为业务流程的优化提供在线支持.其中业务流程剩余执行时间的预测监控是流程挖掘中的关键研究问题,它能为相关者提供及时的预测信息,进而采取有效措施以减少流程执行风险(例如超过时间限制).当前剩余时间预测的研究仅考虑单个流程实例的内部属性,而忽略了多个实例共同执行对剩余执行时间所产生的竞争影响.为此,本文考虑多实例间的资源竞争,并将其作为预测的主要输入属性之一.此外,本文还通过分析历史事件日志选择出一些对当前流程实例执行时间有重大影响的关键活动,并将其也作为预测的输入属性之一.同时,为提高预测模型的精度和在复杂应用场景中的适应性,本文利用堆叠技术将XGBoost模型和LightGBM模型进行融合,构建出双层混合预测模型来完成对业务流程剩余时间的预测.在四个真实数据集上的实验表明,考虑了实例间属性以及关键活动属性的混合预测模型在平均绝对误差上比LSTM和XGBoost方法分别降低了11.6％和15.8％.     

基于LSTM的感应测井数据预测方法研究

为研究感应测井数据质量,采用长短期记忆（Long Short Term Memory,LSTM）网络作为感应测井数据预测模型。首先建立阵列感应测井数据库,进行统一标准格式化并建立3层模拟地层环境模型;其次建立LSTM神经网络预测模型预测阵列感应测井原始阵列数据,并通过图表可视化输出预测结果;最后使用预测指标评价预测结果。结果表明基于LSTM神经网络的预测模型预测阵列感应测井原始阵列数据较为准确,且比传统方法更快速、简便。     

基于变长时间间隔LSTM方法的胎儿异常体重预测

孕妇的产前体检是围产医学的重要组成部分,产前预测胎儿体重可以为判断胎儿健康发育提供准确的参考.孕妇的多次体检记录在孕周时间上有不均匀时间间隔分布的特点.本研究对不均匀时间间隔的处理提出了LSTM模型的变种——变长时间间隔的LSTM模型（Variable Time Interval LSTM,VTI-LSTM）.本研究数据来源于2015~2018年多家妇产科医院的10 473个孕妇的122 462条体检记录.实验比较了传统的公式估算法以及GBDT,MLP,SVR,RNN,LSTM,VTI-LSTM等机器学习方法的胎儿体重预测结果,其中,VTI-LSTM在低体重和巨大儿的预测上取得良好的预测结果.     

Air pollution forecasting based on attention-based LSTM neural network and ensemble learning

With air pollution having become a global concern, scientists are committed to working on its amelioration. In the field of air pollution prediction, there have been good results in experimental research so far, but few studies have integrated weather forecast information and the properties of air pollution drift. In this work, we propose a novel wind-sensitive attention mechanism with a long short-term memory (LSTM) neural network model to predict the air pollution - PM2.5 concentrations by considering the influence of wind direction and speed on the changes of spatial–temporal PM2.5 concentrations in neighbouring areas. Preliminary predictions for PM2.5 are then made by an LSTM neural network regarding neighbouring pollution; these predictions are “paid attention to” and we finally apply an ensemble learning method based on e X treme G radient B oosting (XGBoost) to combine the preliminary predictions with weather forecasting to make second phase predictions of PM2.5. The experiment is conducted using PM2.5 data and weather forecast data. Our results illustrate that the proposed method is superior to other methods in predicting PM2.5 concentrations, including multi-layer perceptron, support vector regression, LSTM neural network, and extreme gradient boosting algorithm.     

基于CNN-LSTM的QAR数据特征提取与预测

针对传统数据驱动的故障诊断方法难以从QAR数据中提取有效特征的问题,提出一种融合卷积神经网络（convolutional neural network,CNN）与长短时记忆网络（long short-term memory,LSTM）的双通道融合模型CNN-LSTM。CNN与LSTM分别作为两个通道,通过注意力机制（attention）融合,从而使模型能同时表达数据在空间维度和时间维度上的特征,并以时间序列预测的方式验证融合模型特征提取的有效性。实验结果表明,双通道融合模型与单一的CNN、LSTM相比,能够更有效地提取数据特征,模型单步预测与多步预测误差平均降低35.3%。为基于QAR数据的故障诊断提供一种新的研究思路。     

基于长-短时序特征融合的资源负载预测模型

高准确率的资源负载预测能够为实时任务调度提供依据,从而降低能源消耗。但是,针对资源负载的时间序列的预测模型,大多是通过提取时间序列的长时序依赖特性来进行短期或者长期预测,忽略了时间序列中的短时序依赖特性。为了更好地对资源负载进行长期预测,提出了一种基于长-短时序特征融合的边缘计算资源负载预测模型。首先,利用格拉姆角场（GAF）将时间序列转变为图像格式数据,以便利用卷积神经网络（CNN）来提取特征;然后,通过卷积神经网络提取空间特征和短期数据的特征,用长短期记忆（LSTM）网络来提取时间序列的长时序依赖特征;最后,将所提取的长、短时序依赖特征通过双通道进行融合,从而实现长期资源负载预测。实验结果表明,所提出的模型在阿里云集群跟踪数据集CPU资源负载预测中的平均绝对误差（MAE）为3.823,均方根误差（RMSE）为5.274,拟合度（R²）为0.815 8,相较于单通道的CNN和LSTM模型、双通道CNN+LSTM和ConvLSTM+LSTM模型,以及资源负载预测模型LSTM-ED和XGBoost,所提模型的预测准确率更高。     

基于深度学习LSTM的侧信道分析

加密数据的安全性受到加密算法和加密设备的影响,为评估密码硬件的可靠性,能量分析等多种针对加密平台的攻击方法得到广泛应用。深度学习是一种性能良好的数据分析方法,基于深度学习的功耗侧信道攻击方法一经提出便引起关注。提出一种基于深度学习LSTM的侧信道攻击方法,利用相关功耗分析方法确定侧信道功耗数据的兴趣点,通过兴趣点位置选择合适的兴趣区间作为特征向量以搭建神经网络模型。实验结果表明,相比MLP和CNN模型,LSTM网络模型在侧信道攻击中具有较高的攻击效率。     

最小窥视孔长短时记忆模型

由于循环神经网络拥有复杂的模型结构,使训练模型达到最优变得困难。因此,提出一种最小窥视孔长短时记忆模型,它只有一个唯一门来更新信息,拥有两个网络层,通过减少一定的模型参数降低模型训练的难度,提高模型性能。实验结果表明,在不同数据集上,该模型性能高于长短期记忆模型,部分高于门循环单元模型,在参数个数、运行时间方面,其远小于长短期记忆模型以及门循环单元模型。     

新的基于融合向量的DGA域名检测方法

由于词典类DGA域名的字符分布随机性低,单词组合随机性高,基于传统机器学习的恶意域名检测方法难以识别,虽然利用LSTM等深度学习的检测方法能捕捉域名字符序列特征,但缺乏局部词根组合特征,检测准确率低。针对以上问题,提出一种基于融合嵌入层的DGA域名检测方法。在域名词嵌入阶段,基于分词技术,进行字符和词根的融合嵌入向量表示,结合一维卷积神经网络（CNN）和双向门控循环单元（BiGRU）,构建混合的深度学习模型,实现DGA域名检测。实验表明,该方法与单一采用CNN或LSTM模型相比,在域名二分类任务中的准确率分别提高3.1%和4.3%,针对词典类DGA家族matsnu、suppobox、ngioweb的检测具有更高的精确率。     

基于LSTM的商品评论情感分析

随着电子商务的发展,产生了大量的商品评论文本.针对商品评论的短文本特征,基于情感词典的情感分类方法需要大量依赖于情感数据库资源,而机器学习的方法又需要进行复杂的人工设计特征和提取特征过程.本文提出采用长短期记忆网络（Long Short-Term Memory）文本分类算法进行情感倾向分析,首先利用Word2vec和分词技术将评论短文本文本处理为计算机可理解的词向量传入LSTM网络并加入Dropout算法以防止过拟合得出最终的分类模型.实验表明：在基于深度学习的商品评论情感倾向分析中,利用LSTM网络的短时记忆独特特征对商品评论的情感分类取得了很好的效果,准确率达到99%以上.