基于正交参数优化的LSTM结构变形预测模型

随着社会经济的蓬勃发展,地铁、隧道、桥梁等大型建筑的需求也越来越大.通过对结构变形数据的分析与预测,可以判断结构未来的发展趋势,对安全隐患提前预警和采取应急措施,预防灾害的发生.由于变形监测数据通常具有不稳定性和非线性的特点,使得监测数据预测成为结构监测研究中的一个难题.针对结构变形预测模型存在的问题,本文提出了一种基于正交参数优化的长短时记忆网络（LSTM）结构变形预测模型.该模型通过LSTM网络结构获得时间序列的长期记忆,充分挖掘变形数据的内部时间特征;并通过正交试验对LSTM模型的参数进行优化;最后通过实测数据对模型进行验证,实验结果表明,模型预测值与实际监测值吻合较好.通过与WNN、DBN-SVR和GRU模型相比,平均RMSE、MAE和MAPE分别降低了56.01%、52.94%和52.78%,本文提出的基于正交参数优化的LSTM结构变形预测模型是一种有效的结构沉降方法,为结构安全施工以及运营的安全提供可靠信息,对确保结构安全具有重要意义.     

基于SSA-LSTM模型的日水位预测—以涡河流域涡阳闸为例

水位的准确预测可以指导城市的防洪减灾举措及水利工程建设, 提升城市洪涝灾害应急响应速度. 基于数据驱动的水位预测模型, 尤其是LSTM模型, 在模拟自然界中水文要素的强非线性关系时展现出优势从而得到广泛应用. 然而, 自然界中水文数据的采集往往伴随着噪声以及人为干扰因素, 这些问题影响了模型的预测性能. 针对这一问题, 本文开发了一种新的组合模型, 即SSA-LSTM模型. 该模型首先利用SSA方法将观测到的时间序列分解为周期、趋势和噪声分量, 接着利用LSTM对SSA方法去噪后的序列进行模型训练并得到最终预测结果.本文选取涡河流域涡阳闸1971年5月至2020年12月的闸上水位为数据集, 1)利用奇异谱分析方法将原始水位时序数据分解为多个趋势和噪声分量(RC₁–RC₁₂), 选取分量(RC₁–RC₁₀)为趋势项并重构为新的水位时序信号; 2)利用LSTM模型对重构的信号进行了训练和验证, 并将预测结果与LSTM模型的结果进行了对比; 3)为得到最优的SSA-LSTM模型, 针对不同的时间步长(7、14、21、28、35天)开展了单步预测性能评估实验, 实验结果表明, 在不同的时间步长下, SSA-LSTM水位预测模型的决定系数R²、均方根误差RMSE、平均绝对误差百分比MAPE均优于LSTM模型. 由此可见, 采用 SSA方法对涡阳闸水位的预处理可有效提高 LSTM 的预测效果, 相比于传统 LSTM 模型, SSA-LSTM模型具有高可靠和低误差的特点, 在水位预测应用中更具适应性, 可以为城市防洪、灌溉、供水等水利措施的合理调度提供更优的决策依据.     

基于编程认知诊断模型的学生表现预测

近年来, 学生认知诊断是教育数据挖掘领域的重要研究课题, 对现代教育的精准反馈有重要的意义. 然而, 传统的认知诊断模型存在预测准确性低和处理大规模数据时效率低等问题, 且现有研究主要围绕传统线下教学展开, 缺少针对程序设计教育领域的研究. 为了解决上述问题, 本文从程序设计教育的特点分析出发, 提出了一种基于编程表现的模糊认知诊断模型P-FuzzyCDF (programming-performance-based fuzzy cognitive diagnosis framework). 具体来说, 为了处理编程题部分正确的情况, 该模型首先模糊了学生对知识点的掌握情况. 随后, P-FuzzyCDF将模糊集合理论与教育假设相结合, 对学生对问题的掌握情况进行了建模. 除此之外, 本文还考虑抄袭因素, 并最终生成学生在每个问题上的得分. 值得注意的是, 该模型利用编程教育数据可视化和精确性的特点, 对模型中每个部分的参数进行了量化. 本文基于真实数据集进行实验, 实验结果表明P-FuzzyCDF可以实现较高的精度, 其中MAE、MSE和RMSE评估指标的值分别为0.07、0.09和0.01. 此外, 将P-FuzzyCDF与现有经典方法(如DINA, IRT和FuzzyCDF)进行比较时, P-FuzzyCDF的结果在MAE、MSE和RMSE等指标上取得了明显优势.     

融合知识图谱和轻量图卷积网络的推荐算法

针对知识图谱推荐算法用户端和项目端建模程度不均且模型复杂度较高等问题, 提出融合知识图谱和轻量图卷积网络的推荐算法. 在用户端, 利用用户相似性生成邻居集合, 将用户及其相似用户的交互记录在知识图谱上多次迭代传播, 增强用户特征表示. 在项目端, 将知识图谱中实体嵌入传播, 挖掘与用户喜好相关的项目信息; 接着, 利用轻量图卷积网络聚合邻域特征获得用户和项目的特征表示, 同时采用注意力机制将邻域权重融入实体, 增强节点的嵌入表示; 最后, 预测用户和项目之间的评分. 实验表明, 在Book-Crossing数据集上, 相较于最优基线, AUC和ACC分别提高了1.8%和2.3%. 在Yelp2018数据集上, AUC和ACC分别提高了1.2%和1.4%. 结果证明, 该模型与其他基准模型相比有较好的推荐性能.     

PCC-BiLSTM-GRU-Attention组合模型预测方法

传统预测模型在处理多元时间序列时, 常常难以捕捉其非线性动力系统的复杂变化规律导致预测精度较低. 针对此问题, 本文将PCC-BiLSTM-GRU-Attention组合模型的预测方法进行了探讨和验证. 该方法首先使用Pearson相关系数(PCC)进行相关性检验并删除无关特征, 实现了对多元数据的降维选优. 其次使用双向长短期记忆神经网络(BiLSTM)双向提取时序特征. 最后使用GRU神经网络融合注意力机制(Attention), 进一步学习双向时序特征的变化规律, 精准捕捉关键时刻的信息. 为了验证该方法在多元时间序列中的可行性, 本文以股票价格预测作为实验场景, 并与BP模型、LSTM模型、GRU模型、BiLSTM-GRU模型、BiLSTM-GRU-Attention模型进行对比. 验证结果表明: 本文探讨的PCC-BiLSTM-GRU-Attention组合模型的预测方法相比其他模型具有较高的预测精度, 其平均绝对百分比误差(MAPE)达到了2.484%, 决定系数达到了0.966.     

基于GRU和XGBoost的矿压显现规律预测

采用光纤传感器监测的光纤频移值对矿压显现规律进行表征的过程中,传感器采集的数据存在缺失现象,无法准确预测矿压显现规律。针对该问题,以千秋煤矿为工程背景,在假设光纤下半部分数据丢失的前提下,引入GRU(门控循环单元)和LSTM(长短期记忆网络)2种预测模型,对缺失的光纤频移值进行对比预测,得出GRU模型的收敛速度优于LSTM模型的收敛速度,说明基于GRU模型的缺失值处理方法较优。将原始完整的光纤频移值转换为可表征矿压显现位置的光纤平均频移变化度,引入XGBoost(极端梯度提升)模型和BP神经网络模型进行对比预测,XGBoost模型能准确预测出测试集中所有出现“尖峰”的位置,而BP神经网络模型只预测出2处“尖峰”位置,说明XGBoost模型的预测效果优于BP神经网络模型的预测效果。将预测出的光纤频移缺失值替换至缺失位置,形成“完整”光纤频移值数据,将该数据转换为光纤平均频移变化度后,采用XGBoost模型进行预测。验证结果表明:LSTM模型及GRU模型均可准确预测出光纤下半部分的数据,且GRU模型准确性较LSTM模型准确性高;使用XGBoost可准确预测出测试集中出现的周期来压;通过GRU模型预测出的缺失数据经整合至缺失位置后,使用XGBoost模型仍可进行有效的矿压预测。     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

一种TCN的改进模型及其在短期光伏功率区间预测的应用

为了提高光伏功率预测的精度,提出了一种基于时序卷积网络(temporal convolutional network, TCN)的新型短期光伏功率区间预测模型。首先,采用深度残差收缩网络(deep residual shrinkage network, DRSN)的软阈值和注意力机制来改进TCN的残差模块以增强其对有用特征提取能力,并削弱冗余特征的不利影响;然后,利用樽海鞘群算法(slap swarm algorithm, SSA)对TCN的卷积层的卷积核大小和TCN层数等超参数进行自动寻优,以克服原TCN感受野不足的问题;接着,采用核密度估计(kernel density estimation, KDE)方法对所建改进TCN短期光伏功率预测模型的点预测结果进行误差分析,获得模型预测输出的区间。最后,通过对比仿真实验得到的结果表明,提出的SSA-DRSN-TCN模型的RMSE平均值为0.27,优于LSTM、GRU、CNN-LSTM和TCN等模型;而且,KDE方法能够在80%、90%和95%的置信度下准确描述光伏功率波动区间,验证了所提模型在提高光伏功率预测性能上的有效性。     

基于WOA-BiLSTM模型的空气质量指数预测

空气质量预测工作对于人们的生活日常出行具有非常重要的意义. 长短时记忆网络作为一种新型的深度学习循环神经网络, 对于时间序列数据表现出良好的预测能力. 但是针对神经网络模型在训练过程中一般凭借经验进行参数选择, 训练周期长, 预测精度低, 结果不可靠的问题, 本文提出了一种基于鲸鱼优化算法的双向长短时记忆网络模型, 即WOA (whale optimization algorithm)-BiLSTM (bidirectional long short-term memory)模型. 双向长短时记忆网络凭借其前向和后向的双向网络结构, 能够加强序列数据信息的记忆能力, 而WOA算法可以依据鲸鱼捕食时气泡网捕食的方法, 协助BiLSTM模型在训练过程中找到最优的网络参数. 将该模型用于陕西省AQI (air quality index)预测, 并分别和BiLSTM、LSTM模型进行对比, 发现本文提出的模型预测结果最好, MAE值为6.543 3, R²值达0.989 9. 将该模型用于空气质量预测领域具有良好的理论和实践意义.     

利用多维评分进行在线评论的有用性预测

在线评论的有用性预测任务在当前的电子商务领域中发挥着重要的作用, 该任务的目标是判断在线评论的有用性, 进而重点展示对未来消费者更有帮助的评论, 提高消费者获取信息的效率. 在本文中, 我们重点关注近年来在各大在线平台兴起的一种新的评分系统——多维评分系统, 尝试研究用户在该系统中给出的方面评分对在线评论有用性的影响. 本文提出了一个综合考虑了评论文本、用户总体评分和方面评分3种元素及其交互的多层次神经网络模型HORA来完成有用性预测任务. 通过在两个真实世界的数据集上进行的实验结果表明, 与当前的基线模型相比, HORA在MAE和RMSE两个指标上展示了更好的结果, 同时在实验中也表现出了良好的鲁棒性, 表明了方面评分对用户的在线评论有用性感知的重要意义.     

基于Conv1d-LSTM模型的能源分配预测

能源分配问题往往与其所在区域环境有关,能源分配的预测可以通过当地环境因素数据来推测之后对该区域的能源分配数值,最大程度上分配好能源. LSTM网络预测短期效果良好,但预测较长时期的数据会导致误差积累,速度慢且准确性差; Informer是近期新提出的能源预测算法模型,速度快但在该任务上预测能力不够.本文提出Conv1d-LSTM模型,预测结果优于上述两个模型,具有更低的平均绝对误差和均方根误差.     

基于注意力机制的TCN-BiLSTM船舶轨迹预测

针对现有船舶轨迹预测模型预测准确度低的问题,提出一种基于注意力机制的时域卷积网络和双向长短时记忆网络（TCN-ABiLSTM）的船舶轨迹预测模型。首先搭建TCN网络提取船舶轨迹的序列特征,之后将注意力机制引入网络调整不同属性特征的权值,凸出对轨迹预测影响更大的特征,最后搭建Bi-LSTM网络学习轨迹序列的前后状况来提取序列中更多的信息,实现对船舶未来轨迹的预测;通过实际船舶AIS数据对网络进行训练与测试实验,实验结果表明,TCN-ABiLSTM模型相比LSTM、Bi-LSTM、TCN、BiLSTM-Attention、TCN-Attention模型船舶轨迹预测精度更高,拟合程度更好,验证了所设计的TCN-ABiLSTM模型在船舶轨迹预测方面的的有效性和实用性。     

融合CNN-BiLSTM-Attention的集成学习价格预测

价格预测对于大宗农产品市场的稳定具有重要意义,但是大宗农产品价格与多种因素有着复杂的相关关系.针对当前价格预测中对数据完整性依赖性强与单一模型难以全面利用多种数据特征等问题,提出了一种将基于注意力机制的卷积双向长短期记忆神经网络(CNN-BiLSTM-Attention)、支持向量机回归(SVR)与LightGBM组合的增强式集成学习方法,并分别在包含历史交易、天气、汇率、油价等多种特征数据的数据集上进行了实验.实验以小麦和棉花价格预测为目标任务,使用互信息法进行特征选择,选择误差较低的CNN-BiLSTM-Attention模型作为基模型,与机器学习模型通过线性回归进行增强式集成学习.实验结果表明该集成学习方法在小麦及棉花数据集上预测结果的均方根误差(RMSE)值分别为12.812, 74.365,较之3个基模型分别降低11.00%, 0.94%、4.44%,1.99%与13.03%, 4.39%,能够有效降低价格预测的误差.     

基于特征选择和数据增强的电池荷电状态预测

现有基于神经网络的电池荷电状态(state of charge, SOC)预测研究大多把重点放在模型结构和相关参数的优化上,却忽略了训练数据的重要作用.针对该问题,文中提出了一种基于特征选择和数据增强的电池SOC预测方法.首先,方法根据原始电池充放电数据进行特征工程,并使用排列重要性(permutation importance, PI)方法选出对模型预测最有帮助的7个特征;其次,通过加入高斯噪声来扩大训练数据样本总量,达到数据增强的目的.实验使用双向长短时记忆网络(bidirectional long short-term memory, Bi-LSTM)作为预测模型,使用Panasonic 18650PF数据集作为训练数据.使用标准Bi-LSTM进行预测时,平均绝对误差(mean absolute error, MAE)和最大误差(max error,MaxE)分别为0.65%和3.92%,而在进行特征选择和数据增强后,模型预测的MAE和MaxE分别为0.47%和2.62%,表明PI特征工程与高斯数据增强方法可以进一步提升电池荷电状态预测模型的精度.     

基于ATLG混合模型的股票价格预测

股市是金融市场的重要组成部分,对股票价格预测有着重要的意义.同时,深度学习具有强大的数据处理能力,可以解决金融时间序列的复杂性所带来的问题.对此,本文提出一种结合自注意力机制的混合神经网络模型(ATLG).该模型由长短期记忆网络(LSTM)、门控递归单元(GRU)、自注意力机制构建而成,用于对股票价格的预测.实验结果表明:(1)与LSTM、GRU、RNN-LSTM、RNN-GRU等模型相比, ATLG模型的准确率更高;(2)引入自注意力机制使模型更能聚焦于重要时间点的股票特征信息;(3)通过对比,双层神经网络起到的效果更为明显.(4)通过MACD (moving average convergence and divergence)指标进行回测检验,获得了53%的收益,高于同期沪深300的收益.结果证明了该模型在股票价格预测中的有效性和实用性.     

强化数据预处理的BLSTNet-CBAM短期电力负荷预测

针对负荷数据复杂性、非平稳性以及负荷预测误差较大等问题,提出一种综合特征构建和模型优化的短期电力负荷预测新方法.首先采用最大信息系数(MIC)分析特征变量的相关性,选取与电力负荷序列相关的特征变量,同时,考虑变分模态分解(VMD)方法容易受主观因素的影响,采用霜冰优化算法(RIME)优化VMD,完成原始电力负荷序列的分解.然后改进长短期时间序列网络(LSTNet)作为预测模型,将其递归层LSTM更新为BiLSTM,并引入卷积块注意力机制(CBAM)进行预测.通过对比实验和消融实验的结果表明:经RIME-VMD优化后,LSTM、GRU、LSTNet模型预测的均方根误差(RMSE)均降低20%以上,显著提高模型预测精度,且能够适应于不同预测模型.所提出的BLSTNet-CBAM模型与LSTM、GRU、LSTNet相比, RMSE分别降低了35.54%、6.78%、1.46%,提高了短期电力负荷预测的准确性.