基于LSTM-LightGBM模型的车站环境温度预测

客运火车站环境温度易受其他环境特征变量如湿度、PM2.5、二氧化碳等影响,传统的单变量预测算法并未考虑其他环境特征变量的影响因素;为进一步准确预测车站环境温度值,提出了结合长短期记忆神经网络LSTM与梯度提升算法LightGBM的组合模型,对客运站环境温度值进行预测;首先将预处理数据输入LSTM模型,对环境特征变量湿度、二氧化碳、PM2.5、PM10进行单变量预测;再将环境特征变量的LSTM输出预测值输入LightGBM模型得出环境温度预测值;根据波形图与均方根误差RMSE对比分析,基于LSTM-LightGBM的组合模型预测方法可以保留LSTM模型对单变量预测的周期性特点,且可表现出环境特征变量输入LightGBM模型后对温度预测的非平稳变化;结果表明基于LSTM-LightGBM的组合模型方法比单纯使用LSTM方法更接近原始波形,具有更低的RMSE。     

基于LSTM的PM2.5浓度预测模型

随着近年雾霾天气的频繁出现,空气质量开始越来越受到公众关注。PM2.5浓度指数是判断空气质量的重要指标,如何根据历史数据有效地预测空气中PM2.5浓度,具有很高的应用价值。分析以往空气质量数据表明,PM2.5浓度有明显的非线性和不确定性波动,很难用传统机器学习算法有效地预测。本文基于LSTM循环神经网络,依据过去20小时采集的空气数据,预测未来5小时的PM2.5浓度指数。实验结果表明,LSTM可以有效地捕获空气质量的时序特征,较准确预测出未来时刻的PM2.5浓度指数。     

基于WT-BiLSTM-ARMA模型的PM2.5浓度预测研究

针对PM2.5浓度预测问题，提出一种基于小波变换的模型。在北京市六个大气污染监测站测得的PM2.5浓度数据上，运用小波分解算法对原始数据序列进行特征提取，使用BiLSTM对高频序列进行预测，同时使用ARMA对低频序列进行预测，最后将各个子序列的预测值进行小波重构得到最终预测结果。实验结果表明，相较于传统单一模型和组合模型，该模型的性能和预测精度均有提高。     

融合数值模式预报数据的深度学习PM2.5浓度预测模型

PM2.5污染问题是中国近年来引起广泛关注的环境问题,对PM2.5浓度进行预报有重要意义.传统的预报方法是基于空气动力学理论的数值模式预报方法.最近几年深度学习方法被广泛应用于PM2.5浓度预报问题.之前的深度学习预报方法主要是使用观测站的观测数据建立单点式的预报模型.本文使用ConvLSTM深度神经网络建立模型,在中国及周边区域的PM2.5数据集上实现了网格化的序列到序列预报.模型通过卷积模块提取空间特征,通过LSTM模块提取时间特征,适合解决PM2.5网格化预报问题.同时,模型中使用了再分析数据和模式数据两种不同来源的数据结合起来进行预报,融合了深度学习方法和传统数值模式方法.实验表明,模型的均方根误差比数值模式预报下降30.2%,具有良好的预报效果.     

LSTM模型集成方法在客户流失预测中的应用

目前客户流失预测任务中常用的模型集成方法采用传统机器学习模型作为基学习器。而传统机器学习模型相比于深度学习模型,存在无法对时序数据进行有效建模、特征工程对模型效果影响较大等缺点。针对这些问题,提出基于LSTM的模型集成方法。采用LSTM作为基学习器进行时序数据建模;改进snapshot模型集成方法,增加样本权重调整方法,在训练单个LSTM模型的过程中得到多个具有不同权值的模型;利用得到的多个模型构造新数据集,在新数据集上训练逻辑回归模型。实验结果表明,该方法相比于单模型LSTM,可以在仅花费其1.8倍训练时间的前提下,将查准率和PR-AUC分别提升4.67%和3.74%,显著提高了客户流失预测效果。     

基于时空相似LSTM的空气质量预测模型

由传统机器学习方法组成的空气质量预测模型得到了普遍应用,但是此类模型对于数据有效性,特别是时空相关数据的选取仍旧存在不足.针对深度学习输入数据有效性问题进行研究,提出了一种基于时空相似LSTM的预测模型(spatial-temporal similarity LSTM model,STS-LSTM),以便在时间和空间层面选取更加有效的数据.STS-LSTM分为前序、中序和后序三个模块,前序模块为时空相似选择输入模块,提出了格兰杰因果权重动态时间折叠(Granger causal index weighted dynamic time warping,GCWDTW)算法,用于选取具有更高时空相似性的数据;中序模块使用LSTM作为深度学习网络进行训练;后序模块根据目标站点特征选择不同的输出组合进行集成.STS-LSTM整体模型在空气质量预测误差上较现有算法提升了8％左右,经过有效性选取的数据对于模型精度达到了最高21％的提升.实验结果表明,对于有效数据的选取该算法取得了显著效果,将数据输入输出方法作为应用型深度学习网络的一部分,可以有效提升深度学习网络的最终效果.     

基于时空特征提取的空气污染物PM2.5预测

为了充分挖掘多因素数据间的时空特征信息，解决在多种因素相互影响下不能准确预测PM2.5值的问题，提出了一种融合了局部加权回归的周期趋势分解（Seasonal-Trend decomposition procedure based on Loess, STL）算法、卷积长短期记忆网络（Convolutional Long Short-Term Memory Network, ConvLSTM）和门控循环单元（Gated Recurrent Unit, GRU）的PM2.5预测方法。首先利用STL算法将PM2.5数据进行分解，将分解得到的序列分别与其他因素相融合；搭建ConvLSTM-GRU模型，并利用贝叶斯寻优算法进行超参数寻优；将融合数据传入ConvLSTM网络中进行时空特征提取，再将提取后的特征序列传入GRU网络中进行预测。通过与ConvLSTM-GRU模型、CNN-GRU模型以及GRU模型的预测结果进行比较实验，证明所提模型具有误差小、预测效果好等特点。     

基于时空相关性的LSTM算法及PM2.5浓度预测应用

现阶段空气污染物粒子浓度演进过程模拟与预测算法忽视了粒子浓度的空间相关性,且没有实现粒子浓度的时间依赖性与空间相关性融合.对此,提出基于时空相关性的LSTM算法(TS_LSTM)并应用于PM2.5浓度预测.该算法提出空间相关性及其相关因子计算方法;将局部区域相关性因子与LSTM算法的遗忘门和记忆门融合,建立基于局部地理信息的LSTM算法(LTS_LSTM);融合LTS_LSTM算法学习结果与全局空间相关性因子,构造基于全局地理信息时空相关的LSTM算法(GTS_LSTM).模拟全局与局部的空气污染物粒子浓度演进过程,并实现离子浓度预测.在全局与局部数据集上,将该算法与回归算法、支持向量机、模糊神经网络、LSTM神经网络、GC-LSTM神经网络、DL-LSTM神经网络比较研究,结果表明:在空气粒子浓度预测上,该算法的预测性能优于各种传统预测算法,接近深度LSTM算法.     

基于ARMA-LSTM组合模型的铁路客流量预测

单一模型在铁路客流量预测中很难同时捕获到数据序列的线性、非线性和周期性等多种特征,从而无法取得很好的预测效果.针对该问题提出基于机器学习的ARMA-LSTM组合模型预测方法.对原始数据进行分析和特征提取;训练LSTM(Long Shot-Term Memory)模型和ARMA(Autoregressive moving average model)模型,分别得到两模型预测结果;通过BP神经网络算法对两模型进行权重优化,得到预测结果.将ARMA-LSTM组合模型与ARMA、LSTM、灰色模型、GM-LSTM组合模型进行对比,预测效果明显优于其他单一模型,预测结果误差(MAPE)降至3.10％ ～10.73％,验证了ARMA-LSTM组合模型在铁路客流量预测中有更高的准确性和更好的适用性.     

融合序列分解与Prophet模型的时序预测

传统时序预测方法其预测过程无法在相同数据集上推出共享模式, 而机器学习方法无法较好地处理非线性和大规模数据集, 并且需要手动设计特征工程. 深度学习方法弥补了传统预测方法需要高计算高人力的弊端, 用自动学习特征工程代替了手动设计特征工程. 但仅使用深度学习的预测方法所作结构假设较少, 通常需要较高的计算资源以及大量的数据来学习得到准确的模型. 针对上述问题, 本文提出通过采用融合t检验的EMD经验模态将序列分为高频分量和低频分量, 对高频分量使用传统STL序列分解方法进一步对数据做处理, 对高频、低频分量分别进行Prophet预测. 实验结果表明, 相较于传统的LSTM以及Prophet预测模型, 经过STL序列分解后的周期数据能够提升模型的整体预测精确度而融合EMD经验模态的Prophet模型则大大提升了训练效率.     

基于卷积长短时记忆网络的人体行为识别研究

人体行为识别利用深度学习网络模型自动提取数据的深层特征,但传统机器学习算法存在依赖手工特征提取、模型泛化能力差等问题。提出基于空时特征融合的深度学习模型（CLT-net）用于人体行为识别。采用卷积神经网络（CNN）自动提取人体行为数据的深层次隐含特征,利用长短时记忆（LSTM）网络构建时间序列模型,学习人体行为特征在时间序列上的长期依赖关系。在此基础上,通过softmax分类器实现对不同人体行为分类。在DaLiAc数据集的实验结果表明,相比CNN、LSTM、BP模型,CLT-net模型对13种人体行为的总体识别率达到了97.6%,具有较优的人体行为识别分类性能。     

基于混合深度神经网络的大气污染预测

城市空气污染物分布受各种因素的影响,准确预测空气污染物分布情况可以提高环境管理的决策能力,防止严重空气污染事件的发生。基于大量的气象数据和深度学习技术,笔者提出了一种新的大气污染物浓度预测方法。该方法使用卷积神经网络作为基础层的设计,可自动提取输入数据的特征。输出层运用一个长短时记忆网络,以保证时间依赖性。通过性能优化,该模型可以按时间序列预测未来的细颗粒物(PM2.5)质量浓度。使用郑州市的历史气象数据,将模型预测结果与实际结果进行比较;实验结果表明,与经典深度学习模型相比,该算法提高了预测性能。     

基于迭代加权线性模型的网络回归箅法

传统的机器学习算法难以有效处理具有自相关性的网络数据,而已有的网络学习算法多为分类算法,回归算法较少。为解决网络数据中的回归预测问题,考虑数据实例间的自相关性,提出一种迭代加权线性回归算法（IWR）。该算法采用迭代分类算法的集体学习框架,每步迭代中将待预测实例逐个输入局部回归模型以更新目标属性值,直至达到既定目标。在空间网络和社会网络的数据集合上进行实验,结果表明,与传统回归算法及NCLUS算法相比,IWR算法可以有效减小预测误差。     

基于迭代加权线性模型的网络回归算法

传统的机器学习算法难以有效处理具有自相关性的网络数据,而已有的网络学习算法多为分类算法,回归算法较少。为解决网络数据中的回归预测问题,考虑数据实例间的自相关性,提出一种迭代加权线性回归算法(IWR)。该算法采用迭代分类算法的集体学习框架,每步迭代中将待预测实例逐个输入局部回归模型以更新目标属性值,直至达到既定目标。在空间网络和社会网络的数据集合上进行实验,结果表明,与传统回归算法及NCLUS算法相比,IWR算法可以有效减小预测误差。     

改进粒子群优化BP神经网络的PM2.5预测

针对PM2.5预测的非线性不确定特点,提出基于改进粒子群优化BP神经网络的空气PM2.5浓度预测模型.引入混沌映射和对立学习改进粒子群算法;引入对立学习提高初始解的质量;引入混沌Tent映射改进粒子随机搜索,避免局部最优;引入自适应惯性权重均衡局部开发和全局勘探能力.利用改进粒子群对BP神经网络权值和阈值进行迭代寻优,基于最优参数BP神经网络做PM 2.5预测,有效避免神经网络训练时陷入局部最优,提升收敛速度.选取某市某时段的PM2.5日均浓度数据进行实验分析,结果表明IPSO-BP预测准确度更高,收敛速度更快.     

深度森林在用户购买预测中的应用

针对电商大数据时代用户未来购买行为预测，在京东平台真实数据集上，提出时间滑动窗口技术和窗口权重递减设置，从五方面构建整体用户行为特征，综合考虑深度学习的表征学习能力和集成学习的训练效率，引入多层异源集成算法，将随机森林、XGBoost等多种算法进行组合，搭建基于深度森林模型的用户购买行为预测算法框架，实现准确高效的用户购买预测结果。算法训练时间为68 s,预测准确率达89.3%,相对于集成学习算法和深度神经网络模型取得了更好的效果。     

监督学习模型指导的函数级编译优化参数选择方法研究

基于机器学习的迭代编译方法可以在对新程序进行迭代编译时,有效预测新程序的最佳优化参数组合。现有方法在模型训练过程中存在优化参数组合搜索效率较低、程序特征表示不恰当、预测精度不高的问题。因此,基于机器学习的迭代编译方法是当前迭代编译领域内的一个研究热点,其研究挑战在于学习算法选择、优化参数搜索以及程序特征表示等问题。基于监督学习技术,提出了一种程序优化参数预测方法。该方法首先通过约束多目标粒子群算法对优化参数空间进行搜索,找到样本函数的最佳优化参数;然后,通过动静结合的程序特征表示技术,对函数特征进行抽取;最后,通过由函数特征和优化参数形成的样本构建监督学习模型,对新程序的优化参数进行预测。分别采用k近邻法和softmax回归建立统计模型,实验结果表明,新方法在NPB测试集和大型科学计算程序上实现了较好的预测性能。     

基于EEMD-LMD-LSTM-LEC深度学习模型的短时物流需求预测

短时物流需求预测是智慧物流系统的重要组成部分.由于短时物流需求数据具有非平稳性、强随机性、局部突变、非线性等特征,精确预测较为困难.对此,考虑集成经验模态分解(EEMD)、局部均值分解(LMD)、长短期记忆网络(LSTM)以及考虑局部误差校正(LEC),提出用于短时物流需求预测的EEMD-LMD-LSTM-LEC深度学习模型.该预测模型分为两个阶段:第1阶段基于特征分解和特征提取,构建EEMD-LMD-LSTM模型,以降低非线性的原始短时物流需求不平稳及随机变化导致的预测误差;第2阶段构建局部误差校正模型,用于校正第1阶段的预测结果,以减少短时物流需求的局部突变带来的预测误差.实验结果表明,EEMD-LMD-LSTM-LEC短时物流需求预测模型在均方根误差、绝对误差均值、绝对误差百分比和校正决定系数方面,均优于其他11种对比模型,其中包括:数理统计模型-----ARIMA;浅层机器学习模型-----支持向量回归和BP神经网络;深度学习模型-----LSTM和卷积神经网络;组合模型——深度置信网络-LSTM、经验模态分解(EMD)-LSTM、EEMD-LSTM、LMD-LSTM、EMD-LMD-LSTM和EEMD-LMD-LSTM.     

基于深度强化学习的恶意软件混淆对抗样本生成

设计一种PE格式恶意软件混淆对抗样本生成模型。利用深度强化学习算法,实现对恶意软件的自动混淆。通过加入历史帧和LSTM神经网络结构的方法使深度强化学习模型具有记忆性。对比实验表明,该恶意软件变种在基于机器学习的检测模型上的逃逸率高于现有研究,在由918个PE格式恶意软件组成的测试集上达到39.54%的逃逸率。     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.