基于自注意力长短期记忆网络的Web软件系统实时剩余寿命预测方法

为了能够实时准确对Web软件系统的剩余使用寿命（RUL）进行预测,考虑Web系统健康状态性能指标的时序特性和指标间的相互依赖特性,提出了一种基于自注意力长短期记忆（Self-Attention-LSTM）网络的Web软件系统实时剩余寿命预测方法。首先,搭建加速寿命测试实验平台来收集反映Web软件系统老化趋势的性能指标数据;然后,根据该性能指标数据的时序特性来构建长短期记忆（LSTM）循环神经网络以提取性能指标的隐含层特征,并使用自注意力机制建模特征间的依赖关系;最后,得到系统RUL的实时预测值。在三组测试集上,把所提模型与反向传播（BP）网络和常规的循环神经网络（RNN）做了对比。实验结果表明,所提模型的平均绝对误差（MAE）比长短期记忆（LSTM）网络平均低16.92%,相对准确率（Accuracy）比LSTM网络平均高5.53%,验证了Self-Attention-LSTM网络剩余寿命预测模型的有效性。可见所提方法能为优化系统抗衰决策提供技术支撑。     

基于SATLSTM的Web系统老化趋势预测

为解决传统软件老化趋势预测模型泛化能力弱、预测准确度低的问题,根据老化数据的时序特性,提出一种基于自注意力机制的长短时记忆单元(Self-Attention-Long Short Term Memory,SATLST)循环神经网络老化趋势预测模型。将LSTM循环神经网络与自注意力机制融合,在深入挖掘老化数据潜在规律的同时,通过对不同输入数据分配不同权重的方式,加大对局部老化信息的关注度。应用加速寿命测试实验搭建软件老化测试平台,对Web服务器因内存泄漏引起的老化现象进行建模和预测。实验结果表明:相较于传统的ARIMA和BP神经网络模型,该模型训练结果与实际值接近,预测精度高,能准确预测Web系统软件老化趋势。     

基于LSTM网络的Web软件系统实时剩余寿命预测

Web软件系统剩余使用寿命的预测精度是影响Web软件系统抗衰决策的重要方面, 为此, 提出了一种基于长短期记忆网络的Web软件系统实时剩余寿命预测方法. 首先搭建加速寿命测试实验平台, 收集反映Web软件系统老化趋势的性能指标, 然后根据该指标数据的时序特性, 建立了一种基于长短时记忆网络(LSTM)的Web软件系统实时剩余寿命预测模型, 并对该模型进行了训练. 实验结果表明, 该预测模型能够有效对Web软件系统的剩余寿命进行实时预测, 具有更好的准确性和适用性. 将所提模型应用于Web软件系统寿命预测中, 能够有效完成预测, 该方法为优化系统抗衰决策提供了技术支撑.     

结合LSTM和自注意力机制的图卷积网络短期电力负荷预测

针对现有电力负荷预测模型建模工作量大、时空联合表征不足、预测精度低等问题,提出了一种结合长短期记忆（LSTM）网络和自注意力机制的图卷积网络（GCN）的短期电力负荷预测模型GCNLS-STLF。首先,利用LSTM和自注意力机制将原始多维时间序列数据转化为包含序列间关联关系的电力负荷图;然后,通过GCN、LSTM和图傅里叶变换（GFT）对电力负荷图进行特征提取;最后,使用全连接层对特征进行重构,并利用残差进行多次预测,以增强原始电力负荷数据的表达能力。在摩洛哥与巴拿马某电站的真实历史电力负荷数据上进行的短期电力负荷预测实验结果显示,与支持向量机（SVM）、LSTM、混合模型CNN-LSTM和基于注意力的CNN-LSTM(CNN-LSTM-attention)等预测模型相比,GCNLS-STLF在摩洛哥全部电力负荷测试集上的平均绝对百分比误差（MAPE）分别降低1.94、0.90、0.49和0.37个百分点;在巴拿马电力负荷测试集上的3月份MAPE分别降低1.39、0.94、0.38和0.29个百分点,6月份MAPE分别降低1.40、0.99、0.35和0.28个百分点。实验结果表明,GC...     

基于动作周期退化相似性度量的机械轴健康指标构建与剩余寿命预测

针对工业机器人机械轴健康管理中检测效率和精准度较低的问题,提出了一种机械轴运行监控大数据背景下的基于动作周期退化相似性度量的健康指标（HI）构建方法,并结合长短时记忆（LSTM）网络进行机器人剩余寿命（RUL）的自动预测。首先,利用MPdist关注机械轴不同动作周期之间子周期序列相似性的特点,并计算正常周期数据与退化周期数据之间的偏离程度,进而构建HI;然后,利用HI集训练LSTM网络模型并建立HI与RUL之间的映射关系;最后,通过MPdist-LSTM混合模型自动计算RUL并适时预警。使用某公司六轴工业机器人进行实验,采集了加速老化数据约1 500万条,对HI单调性、鲁棒性和趋势性以及RUL预测的平均绝对误差（MAE）、均方根误差（RMSE）、决定系数（R^{\mathrm{2}}）、误差区间（ER）、早预测（EP）和晚预测（LP）等指标进行了实验测试,将该方法分别与动态时间规整（DTW）、欧氏距离（ED）、时域特征值（TDE）结合LSTM的方法,MPdist结合循环神经网络（RNN）和LSTM等方法进行比较。实验结果表明,相较于其他对比方法,所提方法所构建HI的单调性和趋势性分别至少提高了0.07和0.13,RUL预测准确率更高,ER更小,验证了所提方法的有效性。     

基于LSTM网络的大雾临近预报模型及应用

长短期记忆网络（LSTM）是一种时间递归神经网络,适合于预测时间序列延续性相对较长的事件.本文基于LSTM网络构建了一个全新的大雾临近预报框架,首先将地面气象要素观测资料转化成时间序列数据,并基于此序列进行建模.为了验证提出的模型的准确性,将安徽省81个国家站近2年地面气象要素数据转换为序列数据,基于该数据集对未来1–4小时进行逐小时大雾预报实验,实验结果显示本文提出的模型其TS-Score分别为61%、55%、36%和31%,明显优于卷积神经网络（CNN）以及传统机器学习算法如支持向量机（SVM）和K-近邻算法（KNN）的预测结果,是大雾临近预报的一种有效预报方法.     

基于长短时记忆神经网络的手足口病发病趋势预测

针对传统手足口病（HFMD）发病趋势预测算法预测精度不高、未结合其他影响因素、预测时间较短等问题,提出结合气象因素使用长短时记忆（LSTM）网络进行长期预测的方法。首先,将发病序列通过滑动窗口的方式转化为网络的输入和输出;然后采用LSTM网络进行数据建模和预测,并使用迭代预测的方式获得较长期的预测结果;最后在网络中增加温度和湿度变量,比较这些变量对预测结果的影响。实验结果表明,加入气象因素能够提高模型的预测精度,所提模型在济南市数据集上的平均绝对误差（MAE）为74.9,在广州市数据集上的MAE为427.7,相较于常用的季节性差分自回归移动平均（SARIMA）模型和支持向量回归（SVR）模型,该模型的预测准确率更高。可见所提模型是HFMD发病趋势预测的一种有效的实验方法。     

基于注意力机制的行人轨迹预测生成模型

针对长短期记忆网络（LSTM）在行人轨迹预测问题中孤立考虑单个行人,且无法进行多种可能性预测的问题,提出基于注意力机制的行人轨迹预测生成模型（AttenGAN）,来对行人交互模式进行建模和概率性地对多种合理可能性进行预测。AttenGAN包括一个生成器和一个判别器,生成器根据行人过去的轨迹概率性地对未来进行多种可能性预测,判别器用来判断一个轨迹是真实的还是由生成器伪造生成的,进而促进生成器生成符合社会规范的预测轨迹。生成器由一个编码器和一个解码器组成,在每一个时刻,编码器的LSTM综合注意力机制给出的其他行人的状态,将当前行人个体的信息编码为隐含状态。预测时,首先用编码器LSTM的隐含状态和一个高斯噪声连接来对解码器LSTM的隐含状态初始化,解码器LSTM将其解码为对未来的轨迹预测。在ETH和UCY数据集上的实验结果表明,AttenGAN模型不仅能够给出符合社会规范的多种合理的轨迹预测,并且在预测精度上相比传统的线性模型（Linear）、LSTM模型、社会长短期记忆网络模型（S-LSTM）和社会对抗网络（S-GAN）模型有所提高,尤其在行人交互密集的场景下具有较高的精度性能。对生成器多次采样得到的预测轨迹的可视化结果表明,所提模型具有综合行人交互模式,对未来进行联合性、多种可能性预测的能力。     

面向预测的长短时神经网络记忆增强机制

基于时序数据建模的长短时神经网络（LSTM）可用于预测类问题。现实场景中,LSTM预测精度往往与输入序列长度相关,有效的历史信息会被新输入的数据淹没。针对此问题,提出在LSTM节点中构建强化门实现对遗忘信息的提取,并与记忆信息按比例选取、融合、输入记忆单元,增加学习过程中的梯度传导能力,使网络对相对较远的信息保持敏感以提升记忆能力。实验采用工业故障数据,当序列长度超过100时,具有强化门机制的改进模型预测误差低于其他LSTM模型。预测精度的差距随序列增加而增大,当序列长度增至200时,改进模型的预测误差（RMSE/MAE）较原模型分别降低了26.98%与35.85%。     

基于Attention-TCN的液化气日订单量预测模型

液化气（LPG）订单量受气温、节假日等外生变量的影响,为实现对不同类型变量的建模,保证预测的准确性与时效性,提出一种基于注意力-时序卷积网络（Attention-TCN）的液化气订单量预测模型。该模型将分类变量通过嵌入转换为低维向量,与数值变量一同作为时序卷积网络（TCN）模型的输入,并添加了通道注意力以提高准确率。基于真实的液化气订单量数据,对长短期记忆（LSTM）网络、TCN与Attention-TCN模型进行了对比,实验结果表明,相较于LSTM模型,Attention-TCN模型所需的训练时间减少了40%以上,预测结果的均方根误差、平均绝对值误差与平均百分比误差分别降低了5.40%、5.46%与4.74%,在所测试的三个模型中表现最佳。所提出的Attention-TCN模型具有训练耗时短、预测精度高、预测时效性好等特点。     

面向组件的软件老化抗衰策略的研究

随着软件应用系统的复杂性不断提高,系统性能衰退的现象也日益普遍,研究表明计算机应用系统性能的衰退现象主要是由于软件的老化产生的.为了缓解软件老化问题、减少软件性能衰退造成的损失,最终实现一种可准确对系统当前老化状态的预测模型,本文提出一种面向组件的软件老化抗衰策略.该策略在以往研究的基础上,细化了软件再生粒度,将老化的预测和再生扩展到应用组件级.使用灰色预测方法实现在可利用的系统资源不足的情况下的老化状态的预测.还应用Matlab对该模型进行了模拟实验.实验结果表明该策略具有良好的可用性和有效性,延长了软件系统的运行时间,提高了用户的访问成功率,并进一步增强了系统稳定性.     

软件可靠性数据预处理研究

软件可靠性模型是根据与软件可靠性相关的数据,以统计方法或模糊方法对软件的可靠性进行度量、评估和预测。以往对软件可靠性的预测是针对原始数据进行建模,而原始数据所存在的不平稳性的缺陷,直接导致可靠性模型预测结果的误差较大。本文以软件可靠性模型研究中原始数据存在的问题为出发点,探讨提高软件可靠性预测的方法。通过对可靠性数据的预处理,解决其不平稳性导致预测结果误差较大的问题。     

基于多因子与多变量长短期记忆网络的股票价格预测

近年深度学习方法在金融领域受到广泛应用,尤其推动了股票价格预测的发展.本文针对一般股票价格预测中的单变量长短期记忆网络存在的准确率与鲁棒性不佳的问题,将经济学领域的量化选股策略中的多因子模型思想引入到股票价格预测中,计算股票的多因子并以其作为预测模型的输入特征.同时为了使模型适应多因子输入,因此在单变量长短期记忆网络的基础上建立了一个多变量长短期记忆网络股票价格预测模型.实验结果表明,随着多因子模型的引入,不仅提升了长短期记忆网络股票价格预测的准确率,同时在一定程度上也带来了更好的模型鲁棒性.     

K-Similarity降噪的LSTM神经网络水质多因子预测模型

针对水质预测问题,以地表水水质监测因子作为研究对象,提出了一种基于长短期记忆（LSTM）神经网络的水质多因子预测模型,同时利用提出的K-Similarity降噪法对模型的输入数据进行降噪,提高模型预测性能.通过与BP神经网络、RNN和传统的LSTM神经网络预测模型进行对比实验,证明了所提出的方法均方误差最小,预测结果更准确.     

Handling class imbalance problem in software maintainability prediction: an empirical investigation

As the complexity of software systems is increasing; software maintenance is becoming a challenge for software practitioners. The prediction of classes that require high maintainability effort is of utmost necessity to develop cost-effective and high-quality software. In research of software engineering predictive modeling, various software maintainability prediction (SMP) models are evolved to forecast maintainability. To develop a maintainability prediction model, software practitioners may come across situations in which classes or modules requiring high maintainability effort are far less than those requiring low maintainability effort. This condition gives rise to a class imbalance problem (CIP). In this situation, the minority classes’ prediction, i.e., the classes demanding high maintainability effort, is a challenge. Therefore, in this direction, this study investigates three techniques for handling the CIP on ten open-source software to predict software maintainability. This empirical investigation supports the use of resampling with replacement technique (RR) for treating CIP and develop useful models for SMP.     

基于PF-LSTM网络的高效网络流量预测方法

传统网络流量预测模型存在泛化能力弱和预测准确度低等缺点。为解决此问题,提出一种基于长短期记忆（LSTM）循环神经网络的网络流量预测模型。首先,用距离比较和优化组合策略改进粒子滤波算法（PF）的重采样过程;然后搭建PF-LSTM网络的网络流量预测模型,将改进的PF算法用于模型训练,提高其训练速率,克服传统LSTM网络中收敛于局部最优的缺点;最后将提出的模型用于网络流量预测。实验结果表明,相比传统的LSTM模型,提出的PF-LSTM模型具有较好的预测精度和收敛效率,能够更好地描述网络流量的变化趋势。     

基于支持向量机的海量电力数据智能分类方法

针对电力公司海量数据分类问题,提出一种改进的k-means数据分类方法。在k-means算法的基础上,应用PCA对k-means算法进行降维处理,用canopy算法优化最佳簇集数、初始聚类中心。然后,应用改进的k-means算法对居民用户用电进行聚类;最后以该聚类结果为基础,建立LSTM预测模型。通过LSTM预测模型对某小区90户居民用电数据进行仿真实验,并对比分析了传统聚类、改进聚类和不适用聚类下LSTM三种模型的预测结果。结果表明,未使用任何聚类算法构建的LSTM模型在进行电力负荷预测时,预测结果的精度最低;应用改进的k-means算法构建的LSTM模型预测结果精度最佳。     

基于基准比对思想的软件可靠性预测仿真建模研究

可靠性作为衡量软件质量的重要特性,其定量评估和预测已成为人们关注和研究的焦点。本文针对这个问题展开研究,提出一个可用于软件测试之前的早期可靠性预测仿真模型。此仿真模型通过考查影响软件可靠性的过程因素,采用基准比对思想,利用软件过程度量数据,根据相似度比较,预测软件的残留缺陷数。由于该仿真模型仅需要静态历史数据,故可在软件测试之前,用于估计软件的残留缺陷数,从而预测软件的可靠性,为后期软件过程的改进以及软件测试计划的修正提供依据。