基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

短道速滑运动中的轨迹建模

为探究在短道速滑比赛视频中检测、跟踪多个运动员目标并重建运动轨迹的问题, 针对目前的技术难以保证在遮挡频繁和位置交错的复杂运动视频中完整地跟踪各个目标并恢复 其运动轨迹,提出了一套完整的算法流程,能够快速并准确地检测、跟踪运动员目标并对其运 动轨迹进行建模。进一步地,提出了一种基于三次 B-样条曲线的轨迹重建算法,利用 B-样条曲 线的非均匀性和连续性,可以在缺失部分跟踪结果的情况下完整地拟合各个目标的光滑运动轨 迹。实验表明,该算法可以检测、跟踪多个运动员目标并重建其运动轨迹,所得结果可进一步 用于实际的技战术分析中。     

K-Similarity降噪的LSTM神经网络水质多因子预测模型

针对水质预测问题,以地表水水质监测因子作为研究对象,提出了一种基于长短期记忆（LSTM）神经网络的水质多因子预测模型,同时利用提出的K-Similarity降噪法对模型的输入数据进行降噪,提高模型预测性能.通过与BP神经网络、RNN和传统的LSTM神经网络预测模型进行对比实验,证明了所提出的方法均方误差最小,预测结果更准确.     

基于注意力机制的CNN-LSTM的ADS-B异常数据检测

广播式自动相关监视(ADS-B)是民航新一代空中交通管理系统的重要组成部分,由于协议没有数据加密和认证,导致容易受到数据攻击.为了准确检测ADS-B数据攻击,基于ADS-B数据的时序性,提出了一种基于注意力机制的卷积神经网络-长短期记忆网络(convolutional neural networks-long short-term memory, CNN-LSTM)异常数据检测模型.首先,利用CNN提取ADS-B数据的特征,然后以时序形式将特征向量输入到LSTM中,最后使用注意力机制进行网络参数优化,实现对ADS-B数据的预测,通过计算预测误差,来进行异常检测.实验表明,该模型能够很好地检测出模拟的4种类型的异常数据,与其他机器学习方法相比,具有更高的准确率和F1分数.     

基于LSTM-RELM组合模型的电商GMV预测研究

随着互联网的发展,内容营销逐渐成为电商营销的主流,而该类营销的日商品交易总额（gross merchandise volume,GMV）直接关系到企业的库存优化控制与广告投放策略。为了提高预测精度,基于真实电商订单数据集,根据内容营销的指标,分析用户行为对于GMV的影响,提出了一种长短期记忆网络（long short-term memory network,LSTM）与正则化极限学习机（regularized extreme learning machine,RELM）的组合模型LSTM-RELM。实验结果表明,相比于传统单一模型与双LSTM、LSTM-SVR、GM(1,1)-BP等组合模型,LSTM-RELM模型具有更精确的预测效果与更快的运行速度,能为相关销售企业提供广告投放策略参考与库存优化建议。     

基于LSTM神经网络模型的交通事故预测

道路交通事故是道路交通安全水平的具体体现,为使预测数据更科学地为交通管理系统提供决策。提出建立基于LSTM（Long Short-Term Memory）神经网络的交通事故模型,训练交通事故相关的数据,对交通安全水平的指标进行预测。经过与传统回归模型和传统神经网络模型进行实验对比,实验显示LSTM拟合效果最佳,另外LSTM模型对同一趋势上的预测效果有明显优势。通过使用LSTM模型捕获数据中存在的时序依赖关系,能够更准确地对交通事故安全水平进行预测,使交通管理部门制定更加科学准确的决策。     

基于姿态特征融合的短道速滑运动员多目标追踪

短道速滑运动员滑行过程中存在尺度变化大、频繁遮挡、运动模糊以及外观相似等复杂情况,使得多目标追踪过程面临更为严峻的挑战.为此,构建一个短道速滑场景下由37段短道速滑运动员比赛视频片段组成多目标追踪数据集SSSMOT,并基于姿态信息提出一种多目标追踪方法.首先从锚框、损失函数和非极大值抑制3个方面优化YOLOv5检测模型,提高检测准确度;然后设计特征提取网络P-RNet,依据姿态信息的指引针对性地提取特征,提高特征鲁棒性;最后使用姿态关键点改进数据关联匹配方法,在一定程度上缓解因运动员外观相似导致匹配错误的问题.在SSSMOT和SKMOT数据集上与其他方法的实验结果表明,所提方法针对多目标追踪的准确度达到96.43%;并通过其他评价指标和消融性实验,证明了该方法的有效性和优越性.     

基于LSTM的感应测井数据预测方法研究

为研究感应测井数据质量,采用长短期记忆（Long Short Term Memory,LSTM）网络作为感应测井数据预测模型。首先建立阵列感应测井数据库,进行统一标准格式化并建立3层模拟地层环境模型;其次建立LSTM神经网络预测模型预测阵列感应测井原始阵列数据,并通过图表可视化输出预测结果;最后使用预测指标评价预测结果。结果表明基于LSTM神经网络的预测模型预测阵列感应测井原始阵列数据较为准确,且比传统方法更快速、简便。     

黑龙江省短道速滑运动员管理系统的应用设计

本系统针对黑龙江省短道速滑后备人才网络化管理做了相应的设计,采用JSP+Servlet+JavaBean的MVC开发模式,对短道速滑运动员的各方面资料做了系统设计编程,让人能一目了然的查询我省优秀运动员的身体素质及各项比赛成绩。     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络(LSTM)和卷积神经网络(CNN)的基础上引入注意力机制的股票预测混合模型(LSTM-CNN-CBAM),该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意...     

基于注意力机制的行人轨迹预测生成模型

针对长短期记忆网络（LSTM）在行人轨迹预测问题中孤立考虑单个行人,且无法进行多种可能性预测的问题,提出基于注意力机制的行人轨迹预测生成模型（AttenGAN）,来对行人交互模式进行建模和概率性地对多种合理可能性进行预测。AttenGAN包括一个生成器和一个判别器,生成器根据行人过去的轨迹概率性地对未来进行多种可能性预测,判别器用来判断一个轨迹是真实的还是由生成器伪造生成的,进而促进生成器生成符合社会规范的预测轨迹。生成器由一个编码器和一个解码器组成,在每一个时刻,编码器的LSTM综合注意力机制给出的其他行人的状态,将当前行人个体的信息编码为隐含状态。预测时,首先用编码器LSTM的隐含状态和一个高斯噪声连接来对解码器LSTM的隐含状态初始化,解码器LSTM将其解码为对未来的轨迹预测。在ETH和UCY数据集上的实验结果表明,AttenGAN模型不仅能够给出符合社会规范的多种合理的轨迹预测,并且在预测精度上相比传统的线性模型（Linear）、LSTM模型、社会长短期记忆网络模型（S-LSTM）和社会对抗网络（S-GAN）模型有所提高,尤其在行人交互密集的场景下具有较高的精度性能。对生成器多次采样得到的预测轨迹的可视化结果表明,所提模型具有综合行人交互模式,对未来进行联合性、多种可能性预测的能力。     

基于LSTM-RPA音乐流行趋势预测研究

大数据背景下的音乐历史数据蕴含丰富的时间信息和用户行为信息,通过分析音乐艺人和听众行为数据,可以较为精准地预测音乐播放量走势,进而预测音乐流行趋势。传统的时间序列预测模型可以准确预测短趋势,但在长趋势预测中受历史信息衰减的影响,难以获得较好的效果。针对LSTM在音乐长趋势预测中历史信息衰减的问题,提出改进的LSTM滚动预测模型,该模型在预测阶段将前一次输入与当前预测结果相结合,使得历史信息可以沿预测趋势方向流动,从而缓解模型在长趋势预测中的历史信息衰减。实验采用“2016中国高校计算机大赛——大数据挑战赛：阿里音乐流行趋势预测”的比赛数据集,并使用比赛主办方提供的F值进行评估。实验结果显示：在相同条件下预测艺人未来30天的每日音乐播放量,最优LSTM滚动预测模型与LSTM、BiLSTM、GRU、RNN相比F值提高13.03%、16.74%、11.91%、18.52%,平均误差减少39.02%、48.55%、36.02%、52.88%;与传统的时间序列预测模型差分整合滑动平均自回归模型相比F值提高10.67%,平均误差降低32.64%。     

基于DTW的注意力机制BLSTM在线手写签名认证

为了提高在线手写签名认证的准确率,设计了一种挖掘签名稳定笔段用于认证的方法.本文提出对签名笔段计算累计差异值矩阵进行匹配;其次采用动态时间规划(DTW)算法计算笔段稳定度;在此基础上,通过以笔段的特征输入双向长短期记忆网络(BLSTM)加注意机制进行处理,从而得到每个用户的稳定签名段集合;最后提取该集合的特征进行分类.该方法在svc2004数据库上进行验证并得到了97.08%的认证率,并在40个用户上取得了1.16%的等误率.该结果表明本文方法能够提高认证精度,并且验证了BLSTM与稳定笔段结合方法的有效性.     

基于注意力机制的Encoder-Decoder光伏发电预测模型

影响光伏发电系统出力的天气因素具有很大的波动性和不连续性,因此需要创建合适的预测模型来对光伏出力特性进行精准预测,从而保证电网系统的有效运行。本文通过最大信息系数选择合适的历史光伏发电数据,将其作为特征之一进行输入数据重构,并在由LSTM神经元构建的Encoder-Decoder模型上引入注意力机制,最终得到结合注意力机制的Encoder-Decoder光伏发电预测模型。经实际光伏电厂算例分析,验证了所提模型在光伏发电预测方面的准确性和适用性。     

基于ST-LSTM网络的位置预测模型

针对现有位置预测研究多数忽略时间和空间之间关联性的问题,提出一种基于时空特性的长短期记忆模型(ST-LSTM)。基于LSTM网络添加单独处理用户移动行为时空信息的时空门,并考虑用户签到的时间及空间因素,从而使模型具有时空特性。在ST-LSTM网络中引入个人修正因子,对每类用户的输出结果进行修正,在确保基本特性的基础上突出个性化,更好地学习每类用户的行为轨迹特征,同时在保证ST-LSTM网络特性的前提下给出2种ST-LSTM网络的简化变体模型。在公开数据集上的测试结果表明,与主流位置预测方法相比,该预测模型精确率、召回率、F1值都有明显提升。     

基于深度学习的商品销售预测研究

文章基于深度学习方法,通过结合粒子群优化(Particle Swarm Optimization,PSO)和长短期记忆(Long Short Term Memory,LSTM)网络,提出了一种针对大数据的商品销售预测模型。文章首先分析了LSTM的结构,其次分析了PSO方法对LSTM的优化方式,提出了PSO-LSTM商品销量预测模型,最后使用Kaggle上的数据集进行训练和测试。将所提出的模型与标准LSTM模型进行比较,结果表明,所提方法的预测精度和稳定性均优于标准LSTM方法。     

基于改进LSTM的无线通信网络节点入侵预警方法

针对当前无线通信网络节点攻击入侵告警存在准确性差、告警响应速度慢的问题,引入改进长短期记忆网络（Long Short Term Memory,LSTM）,开展无线通信网络节点攻击入侵告警算法研究。首先,收集无线通信网络数据,提取受损节点特征;其次,利用改进LSTM构建节点攻击入侵检测模型;最后,结合模型输出,对攻击入侵行为告警,并完成告警信息融合。实验结果表明,新的告警算法可以实现对所有无线通信网络节点攻击入侵行为的准确告警,且响应速度显著加快。     

舒尔特方格与LSTM的注意力分级建模

在基于脑电信号的注意力分级研究中,存在两个亟待解决的技术难点。第一不同注意类型的脑电数据采集及标注困难;第二脑电特征提取算法忽视原始脑电信号时序特征。针对以上问题,设计了基于视觉搜索和反应时技术的舒尔特方格范式,实现对不同注意类型脑电数据的采集以及自动标注;设计长短期记忆深度学习网络（LSTM）实现对注意力分级,保存原始脑电信号的时序特征。实验结果表明,注意力分级模型可以很好区分高中低三种注意力水平;对比现有的五种基于EEG信号的注意力分级算法,小波变换（DWT）、近似熵、共空间模式（CSP）、基于相干系数的脑网络和卷积神经网络（CNN）,在相同的EEG数据集上,该注意力分级模型识别准确率最高,高出DWT算法21.49个百分点;高出近似熵算法25.82个百分点;高出CSP算法20.53个百分点;高出基于相干系数的脑网络算法13.32个百分点;高出CNN9.05个百分点。     

BP神经网络在短道速滑智能体决策过程中的应用

通过人工神经网络,实现了短道速滑仿真系统中智能体(agent)的决策过程.将智能体的当前状态作为神经网络的输入,智能体要采取的动作作为神经网络的输出,从而实现智能体的决策.神经网络的训练采用有监督学习的误差反向传播(Back Propagation)算法,样本采集自仿真系统运行时使用者的输入.通过所述方法,能够保证智能体在高速的比赛过程中较少犯规,并可以达到在体能受限的情况下取得较优秀成绩的目的,还能够模拟某一特定运动员的滑行特性和决策习惯.     

基于ARIMA和LSTM的上证指数预测与分析

近年来,股票已成为很多普通人的投资对象。而上证指数作为股市风向标,对于宏观经济和整个股票市场具有十分重要的作用。用机器学习的方法研究上证指数,有助于了解股市变动,掌握上证多数个股的走势,给决策及投资者提供一些建议。基于此,以上证每日指数为研究对象,对2000—2022年的数据进行研究,采用差分自回归移动平均模型(Autoregressive Integrated Moving Average,ARIMA)与长短期记忆(Long Short Term Memory,LSTM)模型拟合上证指数收盘价,然后对预测结果进行分析并做出评价。