基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于Attention机制的LSTM期货预测模型

金属期货作为交易市场中一个投资品种,准确预测期货价格具有重要现实意义。由于采用1995年-2022年期间的期货数据,时间跨度很大,波动范围较广,使用传统时间序列模型很难精准对其进行预测。针对上述问题,提出了基于Attention机制的LSTM期货预测模型,使模型聚焦于重要的期货特征信息来预测期货第二日的开盘价。通过与普通LSTM预测模型进行对比,最终得出基于Attention机制的LSTM期货预测模型具有较好的预测能力。     

基于GRU-LSTM组合模型的云计算资源负载预测研究

日益增多的应用部署在云端使得云数据中心的功耗波动剧烈,从而导致云数据中心资源利用率不平衡,高效的负载预测是解决该问题的关键技术。针对目前负载预测模型预测精度低、预测时间长的问题,建立一种基于门控循环单元（GRU）与长短期记忆（LSTM）网络的组合预测模型GRU-LSTM。该模型的网络结构包括3层,第一层采用GRU,利用GRU参数少、易收敛的特点减少模型训练时间,第二、第三层采用LSTM,结合LSTM参数多的优势提高模型的预测精度。在此基础上,对数据集作缺失值处理和标准化处理,使用随机森林算法对原始序列进行特征选择后得到一组新的序列值,将该序列值作为GRU-LSTM组合预测模型的输入,以对云计算资源进行高效预测。在集群公开数据集Cluster-trace-v2018上进行实验,结果表明,与传统的单一预测模型ARIMA、LSTM、GRU以及现有的组合预测模型ARIMA-LSTM、Refined LSTM等相比,GRU-LSTM模型预测结果的均方误差减少6~9,预测时间平均缩短约10%。     

基于多模态数据融合的室温预测算法研究

室内温度是供暖期影响人体舒适度的重要指标。准确掌握室内温度的变化规律和趋势，建立精确的室内温度预测模型，是实现高效智能供暖的关键。本文建立了基于长短期记忆（LSTM）神经网络的室内温度预测模型。以天津理工大学研究生实验室的温度实测数据为例，对原始数据集进行特征变量分析选取、数据预处理等工作后进行模型验证和分析，并与RNN神经网络预测模型和BP神经网络预测模型进行对比实验。实验结果表明：相较于其他两种模型，LSTM网络模型具有更高的准确率，预测精度可达到98.39%。因此使用LSTM网络模型可以更好预测室内温度的变化趋势，为促进节能减排提供可靠依据。     

基于融合特征的LSTM评分预测

隐语义模型(LFM)能够有效地提取用户和对象的特征。本文基于LFM所提取的有效特征，提出一种基于融合特征的长短期记忆网络(LSTM)评分预测模型(F-LFM-LSTM)。首先，运用LFM模型提取用户和对象的有效特征。然后，融合用户的职业、年龄、性别标签和对象类别标签等辅助信息。最后，运用LSTM网络训练得到预测评分。通过在MovieLens100k数据集上实验表明，相比于几种得到较为广泛研究的算法，F-LFM-LSTM模型能够取得更好的评分预测效果。     

基于组合预测模型的云计算资源负载预测研究

随着云计算技术的不断发展,云计算资源负载变化呈现出越来越复杂的特征。针对云计算资源的负载预测问题,综合考虑云计算环境中资源负载时间序列的线性与非线性特性,提出了一种基于自回归移动平均模型ARIMA与长短期记忆网络LSTM的组合预测模型LACL。使用公开数据集与传统负载预测模型进行了对比实验,实验结果表明,该云计算资源组合预测模型预测精度明显高于其他预测模型,显著 降低了云环境中对资源负载的实时预测误差。     

基于LSTM-XGBoost的短期电力负荷预测研究

随着电力系统的快速发展,针对短期电力负荷预测的人工智能方法研究已经取得了显著成就。由于长短期记忆(LSTM)神经网络能够拟合电力负荷数据时序性和非线性的特点,基于LSTM的短期电力负荷预测效果显著。但基于LSTM的预测方法存在预测精度低、泛化能力差等问题。为此,利用贝叶斯优化后的极限梯度提升(XGBoost)集成学习方法训练得到多个LSTM的强预测模型,提出基于LSTM-XGBoost的短期电力负荷预测的方法,并采用宁夏地区的电力数据进行算例分析。试验结果表明,对比基于LSTM和基于粒子群优化(PSO)-反向传播(BP)的短期电力负荷预测方法,基于LSTM-XGBoost的短期电力负荷模型预测精度、稳定性更高。该方法对于电力系统智能化发展有一定的应用价值。     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于卷积-LSTM网络的广告点击率预测模型研究

点击率预测是计算广告学的核心算法之一。传统浅层模型没有充分考虑到数据之间存在的非线性关系，且使用人工特征提取方法费时费力。针对这些问题，提出了基于卷积（Convolutional Neural Networks）-LSTM（Long Short Term Memory）混合神经网络的广告点击率预测模型。该模型使用卷积神经网络提取高影响力特征，并通过LSTM神经网络的时序性进行预测分类。实验结果证明：与浅层模型或单一结构的神经网络模型相比，基于卷积-LSTM的混合神经网络模型能有效提高广告点击事件的预测准确率。     

SDAE-LSTM模型在金融时间序列预测中的应用

针对金融时间序列预测的复杂性和长期依赖性，提出了一种基于深度学习的LSTM神经网络预测模型。利用堆叠去噪自编码从金融时间序列的基本行情数据和技术指标中提取特征，将其作为LSTM神经网络的输入对金融时间序列进行预测；通过LSTM神经网络的长期依赖特性来提高金融时间序列的预测精度。利用股价指数数据，与传统的神经网络的预测结果进行比较，结果表明基于深度学习的LSTM神经网络具有比较高的预测精度。     

基于单步预测LSTM的短期负荷预测模型北大核心

针对目前智能电网下负荷数据存在特征相关性低与序列非平稳性的特点,为达到提高短期负荷预测精度的目的,提出一种单步负荷预测的双层LSTM模型的方法,除了考虑的地理区域的天气数据外,还使用负荷的时间序列。首先采用最大信息系数(MIC)对多源异构特征进行提取,随后使用随机森林和递归特征消除(RFE)用于特征选择,将对异常值敏感、鲁棒性好的Robust标准化方法应用于所选特征的预处理中,最后由单步预测的双层LSTM模型预测结果。文章所搭建的负荷预测模型具有数据强相关性特征、预测精度高的优点。依据数据实验结果,取得了1.38%的MAPE值。并且与其它预测模型相比,基于单步预测LSTM的短期负荷预测方法的预测精度提高效果明显。     

基于模糊分析的LSTM交通流量预测

为提高交通流预测模型的准确性及泛化性,提出一种基于模糊分析的LSTM交通流预测方法实现对交通状态的预估分析.对历史数据采用LSTM神经网络进行训练,获取神经网络权值参数,针对交通流时序数据存在周期性,提出基于模糊聚类分析的策略对LSTM模型的历史训练误差进行聚类.根据当前交通流数据与历史数据的相似度预估LSTM预测模型的在线误差.综合LSTM神经网络预测输出以及基于相似度分析的在线误差预测输出预估交通流状态,给出相应的算法步骤.仿真实验验证了提出方法的有效性,其比单一预测预测模型效果更好.     

基于ISSA-LSTM模型的短时交通流预测

针对现有模型对短时交通流预测精确度不高、模型参数难以确定的问题,提出一种基于改进的麻雀搜索算法(ISSA)和LSTM的短时交通流预测模型(ISSA-LSTM)。使用改进的ISSA算法优化LSTM的关键参数,减少参数的不确定性,从而构建预测精度高的交通流预测模型。该模型具备LSTM提取时序数据深层特征的能力,融合了SSA算法快速收敛和全局搜索的特点,并且改进了SSA算法麻雀最初位置分布完全随机的特点,使其能均匀地分布在各个区间,避免出现局部最优的可能。在真实的交通流数据集上进行验证,将模型的预测结果与BP、GRU、LSTM、PSO-LSTM和SSA-LSTM网络的预测结果进行对比。实验结果表明,ISSA-LSTM模型的RMSE相较于LSTM模型下降了3.263,MAE下降了1.87,MAPE下降了0.949百分点,R²上升了0.276百分点,相较于其他对比模型,组合模型的RMSE、MAE、MAPE、R²的评价指标效果均为最好。因此,ISSA-LSTM模型在短时交通流预测上有较高的预测精度和预测稳定性,对预测交通流有借鉴意义。     

基于KNN-LSTM的PM2.5浓度预测模型

目前多数PM_2.5浓度预测模型仅利用单个站点的时间序列数据进行浓度预测, 并没有考虑到空气质量监测站之间的区域关联性, 这会导致预测存在一定的片面性. 本文利用KNN算法选择目标站点所在区域中与其相关的空间因素, 并结合LSTM模型, 提出基于时空特征的KNN-LSTM的PM_2.5浓度预测模型. 以哈尔滨市10个空气质量监测站的污染物数据进行仿真实验, 并将KNN-LSTM模型与其他预测模型进行对比, 结果显示: 模型相较于BP神经网络模型平均绝对误差(MAE)、均方根误差(RMSE)分别降低了19.25%、13.23%; 相较于LSTM模型MAE、RMSE分别降低了4.29%、6.99%. 表明本文所提KNN-LSTM模型能有效提高LSTM模型的预测精度.     

基于增强现实的人体运动中穿戴设备动态监控系统

对基于增强现实的人体运动中穿戴设备动态监控系统进行了研究,以篮球训练为例,提出了一种可穿戴设备动态监控系统,并设计了一种基于LSTM和注意力机制的步态轨迹预测模型,对运动员下肢的髋关节、膝关节和踝关节的角度进行实时在线分析,并获取运动员的步态轨迹预测结果。首先,对传统LSTM网络结构进行了研究与分析,然后搭建了基于LSTM和注意力机制的步态轨迹预测模型,随后对动态监控系统的整体框架进行了简单设计,最后对预测模型进行实验测试。测试结果表明：设计的基于LSTM和注意力机制预测模型的RMSE和MAE值明显低于基于传统LSTM预测模型,具有有效性,能够对运动员髋关节和踝关节的角度进行精准预测;基于LSTM和注意力机制的步态轨迹预测模型给出的轨迹预测结果,不论是从整体上看还是从细节上看,都与实际数据贴合地更好,几乎与真实的步态轨迹相重合,表明该模型的性能更好,更适用于设计可穿戴设备动态监控系统。     

基于GCN-LSTM的空气质量预测

随着我国环境监测技术的不断发展,环境空气质量的网格化监测体系越来越受到相关工作人员的青睐,为应对空气污染的网格化监测体系中的小型、微型监测站的空气质量预测问题,本文提出了一种基于GCN和LSTM的空气质量预测模型.首先利用GCN网络提取网格化监测体系中的小微型监测站之间的空间特征,然后再使用LSTM提取时间特征,最后使用线性回归层来综合时空特征并产生空气质量的预测结果.为了验证本文提出的预测模型的性能,我们使用了沈阳市浑南区的14个小微型监测站的空气质量监测数据进行实验.实验结果显示,基于GCN-LSTM的空气质量预测模型在空间关联较强的网格化监测中的小微型监测站上的预测结果的精度要优于单一的LSTM预测模型.     

基于神经网络的配电网负荷预测方法

配电网接入高渗透率分布式光伏在一定程度上削减了配电网负荷。由于配电网负荷、光伏出力与气象因素耦合特性存在差异,且均具有较强随机性,致使配电网净负荷预测难度大、随机性高。为实现波动性配电网短时预测净负荷,基于长短期记忆（LSTM）,构建神经网络短期预测模型。通过LSTM构建光伏出力短期预测模型及小时前配电网负荷预测模型,并采用交叉验证,对各LSTM预测器结构超参数进行优化。将两者预测结果进行比较,得到配电网净负荷。由实验结果分析可知,LSTM方法可自适应挖掘光伏出力特征、历史负荷预测对象之间的相关性,较支持向量回归（SVR）方法,该方法预测精度高、过程简单。     

基于LSTM-BP组合模型的短时交通流预测

为减轻日益严重的交通拥堵问题,实现智能交通管控,给交通流诱导和交通出行提供准确实时的交通流预测数据,设计了基于长短时记忆神经网络（LSTM）和BP神经网络结合的LSTM-BP组合模型算法.挖掘已知交通流数据的特征因子,建立时间序列预测模型框架,借助Matlab完成从数据的处理到模型的仿真,实现基于LSTM-BP的短时交通流精确预测.通过与LSTM\BP\WNN三种预测网络模型的对比,结果表明LSTM-BP预测的时间序列具有较高的精度和稳定性.该模型的搭建,可对交通分布的预测、交通方式的划分、实时交通流的分配提供依据和参考.     

基于小波分解的LSTM水质预测模型

水是人类和其它生命体所依赖的不可缺少的资源, 建立水质预测模型预测水质状况具有重要的社会经济和生态环保价值. 本文建立了基于小波分解的长短期记忆网络(LSTM)时间序列预测模型(W-LSTM), 运用Daubechies5 (db5)小波将水质数据分解为高频率和低频率信号, 再将这些信号作为LSTM模型的输入, 来训练模型预测水质数据. 利用安徽阜南王家坝流域采集到的4项水质指标(pH值、DO、CODMn、NH₃N)对该模型进行训练、验证和测试, 并与传统LSTM神经网络模型的训练和预测结果进行比较. 结果显示所提出的方法在多种评价指标上均优于传统LSTM模型, 表明了该方法具有较高的预测精度和泛化能力, 是一种更有效的模拟预测手段.     

基于LSTM的感应测井数据预测方法研究

为研究感应测井数据质量,采用长短期记忆（Long Short Term Memory,LSTM）网络作为感应测井数据预测模型。首先建立阵列感应测井数据库,进行统一标准格式化并建立3层模拟地层环境模型;其次建立LSTM神经网络预测模型预测阵列感应测井原始阵列数据,并通过图表可视化输出预测结果;最后使用预测指标评价预测结果。结果表明基于LSTM神经网络的预测模型预测阵列感应测井原始阵列数据较为准确,且比传统方法更快速、简便。