基于Bi-LSTM和多通道注意力的电网施工中违章量预测方法

针对配电网施工中违章现象频发导致监管工作中出现的频繁调度问题，提出一种基于双向长短时记忆（Bi-LSTM）和多通道注意力机制的电网施工作业违章量预测方法。首先，通过Word-Embedding将文本转换为词向量；其次，通过Bi-LSTM网络来捕捉违章数量影响因素的浅层语义和时序特征；最后，设计多通道注意力机制，通过多组权重向量来学习多个影响因素以及各因素之间的复杂关系，从而提高模型的特征学习能力。以云南地区真实数据为算例开展实验，所提模型在一天预测中的平均绝对百分比误差（MAPE）与均方根误差（RMSE）两个指标分别达到了2.58%和5.2，从而验证了模型在预测精度和算法鲁棒性方面的优越性。该方法不依赖于任何具体情境，在实际工况环境中具有较好的推广价值。     

基于深度级联神经网络的自动驾驶运动规划模型

针对基于规则的运动规划算法需要预先定义规则和基于深度学习的方法没有利用时间特征的问题，提出一种基于深度级联神经网络的运动规划模型。该模型将卷积神经网络（CNN）和长短期记忆网络（LSTM）这两种经典的深度学习模型进行融合并构成一种新的级联神经网络，分别提取输入图像的空间和时间特征，并用以拟合输入序列图像与输出运动参数之间的非线性关系，从而完成从输入序列图像到运动参数的端到端的规划。实验利用模拟驾驶环境的数据进行训练和测试，结果显示所提模型在乡村路、高速路、隧道和山路四种道路中均方根误差（RMSE）不超过0.017，且预测结果的稳定度优于未使用级联网络的算法一个数量级。结果表明，所提模型能有效地学习人类的驾驶行为，并且能够克服累积误差的影响，适应多种不同场景下的路况，具有较好的鲁棒性。     

基于参数反演的网络舆情传播趋势预测——以新浪微博为例

针对现有的舆情传播模型研究与实际舆情数据结合较少以及难以从舆情大数据中挖掘舆情传播内在规律的问题,提出一种基于实际网络舆情大数据采用神经网络的舆情传播模型参数反演算法。改进经典SIR传染病传播模型,构建一种网络舆情传播模型,基于该模型对实际案例进行参数反演,预测网络舆情的后续传播趋势,并与马尔可夫预测模型对比,所提算法可以精确预测舆情的具体热度值。实验结果表明,所提算法在预测性能上具有一定的优越性,可以用于网络突发事件传播的数据拟合、过程模拟和趋势预测。     

基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络（CNN）、互信息（mutual information,MI）法、长短时记忆网络（LSTM）、注意力机制（AT）和粒子群优化（PSO）的短期风电场预测模型（MI-CNN-ALSTM-PSO）。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、AT注意力机制、PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法（MI、AT和PSO）后的组合模型能进一步提高风电功率预测精度和稳定性。     

重症监护室住院死亡风险的预测方法研究

通过文献综述,总结了在构建ICU患者住院死亡风险预测模型时所涉及的基本概念、步骤和常用方法。讨论了预测变量的来源及其筛选办法。在临床医生最为熟知的逻辑回归模型的基础上,阐述了人工神经网络、决策树和支持向量机三种机器学习模型的基本框架以及优劣势。描述了用于评价模型性能好坏的各种指标以及验证模型性能的方式。     

面向高速公路大数据的短时流量预测方法

针对高速公路传统的短时交通流预测方法适用数据规模小、全网预测效率较低、数据的时空关系被忽视等问题，提出一种结合了K近邻（KNN）模型且面向高速大数据的短时交通流预测方法。首先，对模型的K值和距离度量进行调优，利用交叉验证进行模型参数的对比实验；然后，考虑数据内在的业务时空关联，建模基于时空特性的特征向量；最后，在大数据环境下建立回归预测模型，以最优参数的模型实现预测。实验结果表明，与传统时间序列模型相比，所提方法一次可预测出全站点的流量，单次运行速度快，效率提高了77%，平均绝对百分比误差（MAPE）和绝对百分比误差中位数（MDAPE）均有明显减低，且具有良好的水平扩展性。     

基于深度全连接神经网络的离港航班延误预测模型

针对提升离港航班延误预测精确度困难的问题,提出一种基于深度全连接神经网络（DFCNN）的离港航班延误预测模型。首先,在考虑航班信息、机场气象与航班延误历史的基础上,考虑航班网络结构对预测模型的影响;然后,从激活函数、输入数据项及延误时间阈值三个维度进行实验,以对模型抑制梯度弥散与提升学习表现能力的能力进行了优化与验证;最后,通过调控神经网络层数的纵向拓展方式与随机丢失层的Dropout参数,提升模型的泛化能力。实验结果表明：所提模型使用tanh、指数线性函数（ELU）,预测精确度比使用线性整流函数（ReLU）分别提升了1.26、1.28个百分点;考虑航班网络结构后,所提模型采用ELU函数计算时,预测精确度比未考虑航班网络结构时提升了3.12个百分点;在时间阈值为60 min时,通过调控Dropout参数,模型的损失值不断降低;在5层隐含层网络和Dropout参数为0.3时,所提模型可以取得92.39%的预测精确度。因此,所提模型能够对国内航班延误做出较为准确的判断。     

改进回溯搜索算法解决光伏模型参数识别问题

为了准确、可靠地识别光伏模型参数,提出一种改进回溯搜索算法（MBSA）。该算法首先通过选取部分种群个体同时学习当前种群和历史种群信息,而其他个体向当前种群中最优个体学习并远离最差解,从而保持种群多样性并提高收敛速度;然后,通过概率来量化总体中的个体性能,进而每个个体基于概率自适应地选择不同的进化策略来平衡探索和开发能力;最后,采用基于混沌局部搜索的精英策略来进一步提高种群的质量。所提算法在单二极管、双二极管和光伏模块等不同的光伏模型上进行仿真实验。实验结果表明,所提出的策略极大提升了回溯搜索算法（BSA）的收敛速度和参数识别的准确性。将所提算法与逻辑混沌JAYA（LCJAYA）算法和多重学习回溯搜索算法（MLBSA）等八种先进的算法进行对比,结果表明,所提出算法参数识别的鲁棒性在对比算法中最优,在单、双二极管模型上的识别准确性明显优于JAYA、LCJAYA、改进的JAYA优化（IJAYA）和基于教学的优化（TLBO）算法,在光伏模块模型上的识别准确性明显优于MLBSA、JAYA、IJAYA和TLBO算法。在不同光照条件和不同温度下采用厂商真实数据对薄膜、单晶和多晶三种光伏组件进行的实际测试中,所提算法的预测结果与实测情况一致。仿真结果表明,所提算法能够精确稳定地识别光伏模型参数。     

融合黄金正弦算法和纵横交叉策略的秃鹰搜索算法

针对传统秃鹰搜索算法（BES）存在容易陷入局部最优、收敛速度慢等缺点,提出一种融合黄金正弦算法（Gold-SA）和纵横交叉策略的秃鹰搜索算法（GSCBES）。首先,在传统BES的搜索阶段设置基于惯性权重的位置更新公式;然后,在捕食猎物阶段引入Gold-SA;最后,引入纵横交叉策略对全局最优和种群进行修正。对11个Benchmark函数和CEC2014函数进行仿真实验并使用Wilcoxon秩和检验的方式评估所提算法的寻优能力,结果表明,所提算法收敛更快;同时,使用所提算法对反向传播（BP）神经网络模型的权值和阈值进行赋值,并将优化的BP神经网络模型用于空气质量的预测中,平均绝对误差（MAE）、均方根误差（RMSE）、均方误差（MSE）、平均绝对百分比误差（MAPE）值均小于BP神经网络模型以及基于粒子群优化（PSO）的BP神经网络模型,预测精确度有所提高。     

基于神经网络模型的空燃比非线性模型预测控制

采用基于径向基神经网络（RBFNN）模型的非线性模型预测控制方法,被控对象选择火花塞点火（SI）发动机的空燃比（AFR）高度非线性复杂系统,利用渐消记忆最小二乘法实现基于RBFNN的SI发动机AFR系统建模以及参数在线自适应更新。针对非线性模型预测控制中寻优问题,运用序列二次规划滤子算法对最优控制序列进行求解,并加入滤子技术避免了罚函数的使用。在相同的实验环境下,与PI控制算法和Volterra模型预测控制方法进行仿真对比实验,结果表明,所提算法的控制效果明显优于其他两种方法。     

基于支持向量机的多通道癫痫发作预测

癫痫是一种大脑神经系统疾病,具有突发性和反复性,对患者的生命安全构成极大的威胁,有效预测癫痫对该病的预防和治疗具有重要的意义。为此,提取来自德国弗莱堡大学癫痫预测中心21个病人的公开数据集。利用独立成分分析方法对原始数据进行去冗余操作,自回归模型被用来对癫痫脑电进行特征提取。支持向量机模型和滤波器将预测问题转化为二分类问题。蒙特卡洛统计方法使得最终的结果具有统计学上的意义。实验结果表明,该模型能够提前30 min~70 min预测到癫痫的发生,且误报率将近0,能为临床癫痫预警系统提供较好的理论依据。     

可解释的层次注意力机制网络危重症预警

准确性和可解释性是决定预测模型是否能够成功应用的两个主要因素。Logistic回归等统计分析模型尽管预测精度不高,但因其易于表达而被广泛采用。与之相对的基于循环神经网络（RNN）或卷积神经网络（CNN）等深度学习“黑盒模型”,准确率较高却通常难以理解。在医疗领域上述因素的权衡是目前相关研究面临的巨大挑战,通过对某三甲医院CIS系统采集住院患者生理指标数据进行实验分析,建立了基于可解释的层次注意力网络（Interpretable Hierarchical Attention Network,IHAN）用于提前预警患者抢救过程中可能并发的危急重症。IHAN在实验准确率方面优于其他神经网络模型,并且能够模仿人类的行为,重点关注患者生理数据中时间及风险因素两个维度上的异常,在保持较高准确率的情况下,同时达到了较好的可解释性。     

基于时空优化深度神经网络的AQI等级预测

针对现有空气质量预测方法精度偏低、对噪声敏感等问题,提出一种基于堆栈降噪自编码（Stacked Denoising Auto-Encoders,SDAE）模型的空气质量等级预测方法。首先以武汉市历史空气质量和气象监测数据为研究对象,建立SDAE模型逐层学习原始数据的特征表达,并将最后一层特征与分类器连接完成预测模型的调优。同时改进多参数网格搜索法,选取了最优的超参数组合。然后在测试集上进行预测,并用预测值与实际值之间的平均绝对误差和均方误差等指标作为预测性能评价标准。通过与其他网络模型的实验对比,证明了SDAE模型对于空气质量等级具有较优的预测性能。最后从时间、空间、时空三个角度对该模型输入进行优化,实验结果表明基于空间优化的SDAE模型预测性能提升最为明显,能够得到比传统方法更加精确的预测结果。     

一种BP神经网络机场噪声预测模型

机场噪声预测对机场噪声控制、航班计划制定和机场规划设计具有十分重要的作用。现有的机场噪声预测模型都是以飞机的噪声距离曲线（NPD曲线）为核心,用相应的数学模型将其修正至与具体机场的特定环境条件相关的噪声传播模型,存在预测成本高和误差大的缺点。针对这种情况,提出一种使用BP神经网络利用机场噪声历史监测数据进行NPD曲线修正计算方法,从而建立适用于特定机场环境条件的机场噪声预测模型。实验表明,在特定机场的特定环境条件下,允许误差为0.5 dB时,该模型预测准确率高达91.5%以上,具有预测成本小、准确度高的特点。     

改进CNN的多通道语义合成情感分类模型研究

为了解决传统神经网络由于上下文语序变化而导致的情感歧义问题,提出一种多通道语义合成卷积神经网络（SFCNN）。使用改进的情感倾向注意力机制对词向量进行情感加权操作;将情感倾向词向量进行多通道语义合成,生成带有文本上下文语义信息的深度语义向量,构建情感分类模型;使用自适应学习率的梯度下降算法对模型参数进行优化,完成行情感分类任务。为了验证改进算法的有效性,使用多种微博数据样本集在提出的模型上进行对比实验。实验结果表明,改进的情感倾向注意力机制结合多通道语义合成卷积神经网络具有较好的情感分类能力,并且自适应学习率的梯度下降算法可以更快地完成模型收敛工作。     

极限学习机的分类器集成模型研究

将极限学习机算法与旋转森林算法相结合,提出了以ELM算法为基分类器并以旋转森林算法为框架的RF-ELM集成学习模型。在8个数据集上进行了3组预测实验,根据实验结果讨论了ELM算法中隐含层神经元个数对预测结果的影响以及单个ELM模型预测结果不稳定的缺陷;将RF-ELM模型与单ELM模型和基于Bagging算法集成的ELM模型相比较,由稳定性和预测精度的两组对比实验的实验结果表明,对ELM的集成学习可以有效地提高ELM模型的性能,且RF-ELM模型较其他两个模型具有更好的稳定性和更高的准确率,验证了RF-ELM是一种有效的ELM集成学习模型。     

融合多类型数据的胃癌风险预测模型

胃癌的早期发现对于降低死亡率、提高患者生存质量具有重要意义。现有预测模型通过单一的结构化电子健康记录数据预测患者的癌症患病风险,但是无法有效地整合不同类型的临床数据且不能满足实际的临床需求。提出一种基于多类型异构数据融合的胃癌风险预测模型。利用预训练语言模型提取电子健康记录数据中的入院记录文本信息,采用降噪自动编码器提取实验室检验数据的特征,同时对低维度的结构化数据向量表示的维度进行扩增,以避免低维度的实验检验特征表示被高维度特征淹没。在此基础上,将扩增后的结构化数据向量与高维度的文本表示向量在相同的尺度上进行融合,从而预测患者的患病风险。实验结果表明,该模型的准确率可达到0.949 337,相比支持向量机、逻辑回归、朴素贝叶斯等模型,具有较优的预测性能。     

基于多尺度特征和注意力的金融时序预测方法

金融时间序列预测是经济领域中一个非常重要的实际问题,然而,由于金融市场的噪声和波动性,当前存在方法的预测精度尚不能令人满意。为了提高金融时间序列的预测精度,提出了一种融合扩张卷积神经网络（dilated convolutional neural network,DCNN）、长短时记忆神经网络（long short term memory,LSTM）和注意力机制（attention mechanism,AT）的混合预测模型DCNN_LSTM_AT。该模型由两个部分组成：第一部分包含扩张卷积神经网络和基于LSTM的编码器,其功能在于提取原始序列数据中不同时间尺度的有效信息;第二部分由带注意力机制的LSTM解码器构成,其功能在于对第一部分提取的信息进行过滤并利用过滤后的信息进行预测。最后将所提模型在3支股指数据集和3支个股数据集上进行实验,并与其他常见的基准模型进行了对比,实验结果表明该模型相比于其他模型具有更好的预测精度和稳定性。     

2DPCA在脑磁图棘波信号检测中的应用

棘波是癫痫疾病诊断和癫痫灶评估的重要标志，脑磁图设备能更精确地捕捉到癫痫患者在发作间期的棘波信号。然而，目前临床医生仍依赖于手动方法标记棘波信号，缺少便捷离线的多通道棘波检测方法。提出一种脑磁图的多通道棘波检测方法，针对给定时间宽度的多通道脑磁图信号的时间序列可以看作为一个二维矩阵，利用二维主成分分析（2DPCA）方法提取该矩阵的本征特征，再结合最近邻分类器实现离线的多通道棘波信号检测。通过临床癫痫患者的脑磁图信号验证表明，提出的方法棘波信号检测率高达93.23%，且该方法是有效的。     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。