基于奇异谱分解和双重注意力机制的超短期光伏功率预测方法

准确的光伏功率预测可以有效促进光伏发电的安全高效利用。针对现有方法预测精度不足的问题，提出一种结合奇异谱分解（SSD）、双重注意力机制和双向门控逻辑单元（BiGRU）时序建模的超短期光伏功率预测方法。首先利用SSD降低光伏信号的随机性和波动性；然后利用BiGRU网络对分解后的信号进行时序建模，并设计了一种同时学习特征序列和时序序列的重要性权重的注意力模块，对BiGRU网络提取的特征进行权重加权；最后经过决策层获得最终的光伏功率预测结果。实验结果表明，SSD和注意力机制可以有效提升深度时序模型的光伏功率预测精度，在不同季节和不同天气情况下均优于其他几种经典方法，具有较高的实用价值。     

基于改进注意力机制Transformer网络的快消品销量预测方法

销量预测能为企业生产计划、仓储运输提供决策支持,使企业能更好地适应市场需求。快消品销售量受众多因素的影响,具有季节性和周期性规律,传统的线性模型难以准确的预测,本文从长时序列预测的视角,运用深度学习理论,提出了一种基于订单时序和订单频率的改进自注意力机制模型(Sequence-Frequency Transformer, SFTransformer)。首先,基于快消品订单数据构建原始数据集,采用time2vec编码处理订单时序信息,并融合订单数据的时序和频率特征在基于时序的订单数据的不同订单频率分别对应不同的注意力头来关注订单数据的订单时序特征和频率特征;使用Transformer模型架构提取特征进行长时序列预测。在真实数据集上进行对比实验,SFTransformer模型在均方误差(MSE)、平均绝对误差(MAE)、均方根误差(RMSE)3项指标上均取得了最佳性能,验证了本文所提方法的有效性。     

基于CNN与LSTM相结合的恶意域名检测模型

为提高恶意域名检测准确率,该文提出一种基于卷积神经网络(CNN)与长短期记忆网络(LSTM)相结合的域名检测模型。该模型通过提取域名字符串中不同长度字符组合的序列特征进行恶意域名检测:首先,为避免N-Gram特征稀疏分布的问题,采用CNN提取域名字符串中字符组合特征并转化为维度固定的稠密向量;其次,为充分挖掘域名字符串上下文信息,采用LSTM提取字符组合前后关联的深层次序列特征,同时引入注意力机制为填充字符所处位置的输出特征分配较小权重,降低填充字符对特征提取的干扰,增强对长距离序列特征的提取能力;最后,将CNN提取局部特征与LSTM提取序列特征的优势相结合,获得不同长度字符组合的序列特征进行域名检测。实验表明:该模型较单一采用CNN或LSTM的模型具有更高的召回率和F1分数,尤其对matsnu和suppobox两类恶意域名的检测准确率较单一采用LSTM的模型提高了24.8%和3.77%。     

基于CNN与LSTM相结合的恶意域名检测模型

为提高恶意域名检测准确率,该文提出一种基于卷积神经网络(CNN)与长短期记忆网络(LSTM)相结合的域名检测模型.该模型通过提取域名字符串中不同长度字符组合的序列特征进行恶意域名检测:首先,为避免N-Gram特征稀疏分布的问题,采用CNN提取域名字符串中字符组合特征并转化为维度固定的稠密向量;其次,为充分挖掘域名字符串上下文信息,采用LSTM提取字符组合前后关联的深层次序列特征,同时引入注意力机制为填充字符所处位置的输出特征分配较小权重,降低填充字符对特征提取的干扰,增强对长距离序列特征的提取能力;最后,将CNN提取局部特征与LSTM提取序列特征的优势相结合,获得不同长度字符组合的序列特征进行域名检测.实验表明:该模型较单一采用CNN或LSTM的模型具有更高的召回率和F1分数,尤其对matsnu和suppobox两类恶意域名的检测准确率较单一采用LSTM的模型提高了24.8％和3.77％.     

基于ICEEMDAN-ICSSA-CKELM-TCCA的短期风电功率预测研究

为了提高风电功率预测的准确性，基于信号分解、优化算法和误差修正，提出一种ICEEMDAN-ICSSA-CKELMTCCA的风电功率预测组合模型。首先采用改进的带自适应噪声的完全集成经验模式分解（ICEEMDAN）和样本熵原理，对原始功率序列进行分解和重构，得到更适合提取特征的新序列。然后，建立包含Poly核函数、RBF核函数的组合核极限学习机（CKELM）对新的序列进行初步预测，并利用融合了Tent混沌映射、动态惯性权重和自适应t变异策略的改进混沌麻雀搜索算法（ICSSA）对其参数进行优化，提升CKELM预测性能。最后将时间卷积网络（TCN）与高效通道注意力机制（ECA）组合搭建为TCCA模型，对初步预测结果进行修正。以中国云南省某风电场的数据为例进行多组实验，结果表明该模型针对风电功率具有较高的预测精度。     

基于融合自注意力机制的GRU边坡预测算法研究

在对边坡进行准确性和可靠性评价时,传统的预测方法有效预测趋势时间短,且预测趋势与实际变化趋势差异较大。为提边坡形变监测中趋势预测值与实际变化趋势吻合度差的问题,文章提出了基于融合自注意机制的GRU边坡预测算法(Self-attention Gate Recurrent Unit, SA-GRU)。该算法：(1)对边坡监测历史数据进行预处理,从而降低数据集中的随机噪声,同时去除由设备问题产生的重复数据;(2)为了捕捉序列中的长期依赖关系,构建基于GRU的循环神经网络模型,并引入自注意机制以增强模型的关注能力。(3)将LSTM、GRU和SA-GRU 3种网络得到预测结果进行对比,发现融入了自注意力机制的GRU模型可以更好地理解序列中的时间关系,提高了预测的准确性。本算法对边坡形变趋势预测精度更高,在边坡稳定性的预测方面有更好的适用性。     

基于GRA-LSTM与SARIMA组合模型的季节性时间序列预测

针对LSTM模型对季节性时间序列中的周期、趋势性变化不敏感的特点,提出将SARIMA模型与LSTM模型进行组合,以提高模型预测精度.该方法首先构建了以关键影响因素为非线性输入层和历史数据为线性输入层的多对一 LSTM模型,将经过GRA法筛选的关键影响因素及历史数据输入到该模型中得到初步预测结果,使用SARIMA模型依据历史数据对季节性时间序列进行预测,提取预测结果中单位节点的比例序列,以实现对时间序列中周期、趋势信息的抽取,最后根据SA-RIMA模型中提取的单位节点比例,对LSTM得到的初步预测结果进行修正,得到最终预测结果.实验选取某市民航春运客流量数据对组合模型精度进行验证,通过与支持向量机、GRA法、GRA-LSTM模型、SARIMA模型4种单模型进行比较,验证了组合模型对于季节性时间序列预测的优越性.     

基于超参数优化的电力负荷预测模型研究

电力负荷数据的多样性与复杂性,会导致负荷预测过程中出现超参数难以确定、拟合效果较差和预测精度不高等问题。针对以上问题,提出一种基于樽海鞘群算法的融入注意力机制的双向长短期记忆神经网络模型——SSA-AM-BiLSTM模型。该模型使用BiLSTM学习特征的内部变化规律,引入注意力机制为特征进行权重分配,并且利用樽海鞘群算法优化网络超参数。基于具体数据集进行的负荷预测仿真实验表明,相较于GRU、LSTM、AM-BiLSTM和PSO-AM-BiLSTM模型,所提出的SSA-AM-BiLSTM模型的MAPE分别减少了2.15%、1.93%、1.42%和0.45%,并且优化了拟合效果,显著提高了预测精度。     

基于VMD和改进TCN的短期光伏发电功率预测

光伏发电功率存在波动性,且光伏出力易受各种气象特征影响,传统TCN网络容易过度强化空间特性而弱化个体特性。针对上述问题,文中提出一种基于VMD和改进TCN的短期光伏发电功率预测模型。通过VMD将原始光伏发电功率时间序列分解为若干不同频率的模态分量,将各个模态分量以及相对应的气象数据输入至改进TCN网络进行建模学习。利用中心频率法确定VMD的最优分解模态分解个数。在传统TCN预测模型的基础上,使用DropBlock正则化取代Dropout正则化以达到抑制卷积层中信息协同的效果,并引入注意力机制自主挖掘并突出关键气象输入特征的影响,量化各气象因素对光伏发电的影响,从而提高预测精度。以江苏省某光伏电站真实数据为例进行仿真实验,结果表明所提预测方法的RMSE为0.62 MW,MAPE为2.03%。     

基于全注意力机制的多步网络流量预测

预测资源分配能有效利用无线网络的剩余资源服务非实时业务,其中的关键问题之一是剩余资源的预测,可转化为实时业务流量预测问题。本文把面向自然语言处理提出的全注意力机制引入到时间序列预测问题中,预测未来分钟级时间窗内秒级的流量,通过在每秒记录的实测流量数据集上进行训练和测试,与其他基于循环神经网络和线性、非线性预测模型的方法在复杂度（由训练和测试时间衡量）、预测精度（由平均相对百分比误差衡量）和预测误差统计特性（由预测误差的均值和标准差衡量）等方面进行比较。研究结果表明,与无注意力机制的循环神经网络相比,所设计的基于全注意力机制的方法计算复杂度低,由于多步预测的累积误差,在预测精度方面增益不明显。      

基于Adam注意力机制的PM2.5浓度预测方法

大气PM2.5浓度是一种具有较强时序特征的数据,故目前关于PM2.5浓度的预测多选择RNN、LSTM等序列模型进行.但由于RNN、LSTM等模型对不同时刻输入的数据都采用相同的权重进行计算,不符合类脑设计,造成PM2.5浓度预报准确率较低.针对以上问题,提出一种基于Adam注意力机制的PM2.5预测方法(AT-RNN和...     

融合EMD与全局版人工鱼群LS-SVM的网络流量预测

为提高网络流量预测模型对稳定性和精度要求,提出了一种融合经验模式分解(EMD)和全局版人工鱼群LS-SVM模型的网络流量预测算法。该模型首先通过EMD分解,将原始流量的非平稳序列分解为若干不同尺度的平稳IMF(固有模态分量)分量,再用LS-SVM模型分别对各分量进行预测,其中LS-SVM的参数用全局版人工鱼群算法进行优化;最后通过SVM组合得到原始序列的预测值。仿真实验验证了该算法的预测准确性和稳定性。     

基于层级注意力机制的链接预测模型研究

为了解决已有图注意力机制在进行链接预测相关任务时,容易造成注意力分配向某些出现频率高的关系倾斜的问题,提出了一种基于层级注意力机制的链接预测模型.在链接预测任务中,通过设计分层注意力机制,根据预测任务中的关系对知识图谱中与给定实体相连的不同类型的关系给予不同的注意力.在关注多跳邻居实体特征的同时,更关注关系特征以找到符...     

融合注意力机制和连接时序分类的多模态手语识别

连续手语识别的难点之一是手语数据中存在时空维度的冗余信息,以及手语数据与给定标签序列的对齐问题。因此,本文提出一种融合注意力机制和连接时序分类的连续手语识别模型,可以提取手语数据中彩色和深度视频片段的短期时空特征以及手部运动轨迹特征,将三种模态的特征融合后使用空间注意力加权并按照时间顺序输入到双向长短期记忆网络中进行时序建模,以获取长期时空特征,最后利用融合注意力机制和连接时序分类模型的解码网络以端到端的方式实现连续手语的准确识别。本模型在自行采集的中国手语数据集上进行测试,得到了高达0.935的准确率。      

基于猫群聚类算法的二叉树SVM蛋白质结构类预测

针对传统的基于二叉树SVM分类模型存在不可区分域和误差积累的缺陷,本文提出了一种基于猫群聚类算法的二叉树SVM分类方法,利用猫群聚类算法在各个节点自适应构造二叉树结构。以蛋白质序列的氨基酸相互作用和疏水模式为分类特征,采用本文算法对蛋白质结构类进行预测,实验结果表明,与其他算法相比较,本文算法具有较高的预测精度。     

确定性网络5G-A终端时延预测

工业控制场景下5G-A终端传输时延是确定性网络能力的直接表征之一,时延预测对提高网络确定性至关重要。由于传输时延序列的不稳定性和随机性,单一模型难以准确预测。针对该问题,提出一种基于优化变分模态分解(Variational Mode Decomposition, VMD)和卷积注意力长短时记忆网络(Convolutional Attention Long Short Term Memory Network, CA-LSTM)的传输时延预测方法。为提高VMD的分解性能,利用相关系数检验法确定时延序列分解的模态数,并利用蝗虫优化寻优分解的惩罚因子和保真度系数;设计CA-LSTM网络,借助卷积滤波器以及注意力机制使得网络具备分辨时延特征重要程度的能力;将各模态预测值重建成一维时延值得到预测结果。实验研究结果表明,优化VDM能够将5G终端传输时延序列有效分解,结合CA-LSTM模型相比于经典LSTM在MSE、RMSE和MAE上分别提升了37.1%、21.3%和23.6%。     

融合注意力机制的混合神经网络文本情感分析模型

以往的文本情感分析模型存在忽略文本边缘信息、池化层破坏文本序列特征的问题,并且特征提取能力与识别关键信息的能力也存在不足。为了进一步提升情感分析的效果,提出了一种基于注意力机制的动态卷积神经网络(Dynamic Convolutional Neural Network,DCNN)与双向门控循环单元(Bi-directional Gated Recurrent Unit,BiGRU)的文本情感分析模型DCNN-BiGRU-Att。首先,利用宽卷积核提取文本边缘特征,采用动态k-max池化保留了文本的相对位置序列特征。其次,构建了DCNN与BiGRU的并行混合结构,避免了部分特征损失问题,并同时保留局部特征与全局上下文信息两种特征,提高了模型的特征提取能力。最后,在特征融合之后引入注意力机制,将注意力机制的作用全局化,提高了模型识别关键信息的能力。将该模型在MR与SST-2两个公开数据集上与多个深度学习模型进行对比,其准确率分别提高了1.27%和1.07%,充分证明了该模型的合理有效性。     

一种新型复杂时间序列实时预测模型研究

针对复杂时间序列难以使用单一预测方法进行有效预测的问题，本文提出一种新型多分辨率增量预测模型．该模型首先使用经验模式分解方法对复杂时间序列分解，然后对各分量分别进行增量核空间独立向量组合预测建模，最后对各个分量预测结果等权求和集成为综合预测结果．该预测模型可以实现对复杂时间序列的快速实时预测，实验结果显示该模型在复杂时间序列预测上有良好的性能．     

基于层次自注意力的高效场景文本识别

在深度学习技术的发展驱动下,智慧应用场景对文本识别任务提出了更高的要求。现有方法更加侧重构建强大的视觉特征提取网络,忽略了文本序列特征的提取能力。针对该问题,提出了一种基于层次自注意力的场景文本识别网络。通过融合卷积和自注意力可以建立并增强文本序列信息与视觉感知信息间的联系。由于视觉特征和序列特征在全局空间中的充分交互,有效地减小了复杂背景噪声对识别精度的影响,实现了对规则和不规则场景文本的鲁棒性预测。实验结果表明,所提方法在各数据集上均表现出竞争力。尤其是在CUTE数据集上可以实现81.4%,6.24 ms的最佳精度和速度,具备一定的应用潜力。     

基于注意力机制和双向GRU模型的雷达HRRP目标识别

针对雷达高分辨距离像(HRRP)目标识别问题,传统方法只考虑样本的包络信息而忽略了距离单元间的时序相关性,该文提出了一种基于注意力机制的双向自循环神经网络模型。该模型将时域的HRRP数据通过滑窗分为正反两个序列,并将其分别通过两个相互独立的GRU网络进行特征提取,然后将同时刻提取到的特征进行拼接,从而利用了距离像双向的时序信息。考虑到不同时刻的序列对目标分类的重要性不同,通过注意力机制自适应地对各时刻隐层特征赋予不同的权值,最后根据加权求和后的隐层特征进行目标的识别与分类。实测数据实验结果表明,该文所提方法可以有效完成高分辨距离像的目标识别问题,并且在数据发生一定的时序偏移情况下,仍然可以准确找到目标区域。