基于集成学习的离港航班延误预测方法

为解决稀疏数据对预测模型带来的负面影响,提高以机场为主体的离港航班延误预测效果,提出一种基于Xgboost模型与Logistic模型相集成的离港航班延误预测方法.将Xgboost模型作为特征转换器,把森林中每棵决策树的叶节点作为新特征向量输入到Logistic模型中进行航班延误预测.通过在未经规范化的稀疏数据上和其它预...     

基于贝叶斯网络的航班过站时间分析与延误预测

从航班延误链式波及的角度出发,分析了影响航班过站时间的多种因素,建立了贝叶斯网络模型,模型能够清晰地反映多种因素对下游航班过站时间的影响。提出了基于贝叶斯网络参数估计的航班延误预测算法,当航班发生起飞延误时能够预测下游航班的起飞时间和延误状况。对算法进行了实现,并利用实际航班数据进行仿真,结果表明了该算法有比较高的预测准确率。     

离港航班延误的动态预测研究

现有航班延误预测方法大多是对航班延误进行非动态预测,不能随着航班数据的不断增加而有效更新,进而使得预测结果的实时性较差.因此,提出一种基于时间序列的航班延误动态预测方法.首先,利用小波分解技术对延误时间序列进行平稳化处理;然后,采用自回归滑动平均(ARMA)模型对离港航班延误进行预测;最后,利用支持向量机模型对预测结果进行修正,得到最终的离港航班延误预测值.结果表明,该动态预测方法能较好地提高预测精度.     

基于DCS-DES组合的机场航班延误预测方法

航班延误对民航运输业的影响较为明显,针对机场航班运行的特点,将生物免疫机制与航班运行机制相对应,依据航班的延误率对检测器进行划分,用机场航班运行数据对检测器进行训练,提出了基于动态克隆选择算法和动态指数平滑法组合的机场航班延误预测方法,简称为DCS-DES组合方法.对这两种方法采用均方误差各所占比例加权组合预测的方式进行了实验,实验结果表明,该方法能较准确地预测下一时段航班的延误数量,且实时性较好.     

基于时空序列的Conv-LSTM航班延误预测模型

精准的航班延误预测结果可以为大面积航班延误的预防提供巨大的参考价值。航班延误预测是在特定空间下做时间序列预测,然而目前已有预测方法多为两种或多种算法的结合,存在算法间的融合问题。针对上述问题,提出了一种综合考虑时空序列的卷积长短时记忆（Conv-LSTM）网络航班延误预测模型。所提模型在长短时记忆（LSTM）网络提取时间特征的基础上,将网络的输入和权重矩阵进行卷积来提取空间特征,从而充分利用数据集包含的时间和空间信息。实验结果表明,与LSTM、仅考虑空间信息的卷积神经网络（CNN）模型相比,Conv-LSTM模型的准确率分别提高了0.65个百分点和2.36个百分点。由此可见,同时考虑时空特性可以在航班延误问题中获得更精确的预测结果。此外,基于所提模型设计并实现了基于浏览器/服务器（B/S）架构的航班延误分析系统,并且该系统也可以应用于空中交通管理局流量控制中心。     

针对小规模数据集的多模型融合算法研究

目前,对小规模数据集进行预测时,主要使用传统机器学习算法,但传统单一模型预测效果不能达到预期准确率,且无法兼顾多项评价指标。因此,文中以小规模数据集为研究对象,融合决策树、逻辑回归、支持向量机三类模型,提出了一种多模型融合算法,并分析了其在小规模数据集上的应用效果。首先,简述了决策树、逻辑回归和支持向量机的算法原理;其次,使用决策树、逻辑回归和支持向量机作为基学习器并完成单独训练,将各模型输出结果用于下一阶段模型输入,同时使用最大似然估计迭代优化参数,从而完成多模型融合过程;最后,对数据集进行分析和处理,通过实验与单一模型进行指标对比。实验结果表明,多模型融合算法在预测精确率、召回率、准确率等方面有明显提升。     

基于数据挖掘的航班延误预警管理分析

目前国内对航空公司航班延误状态的描述缺乏统一的计算模型,对航班延误结果的评价也不是很明确。基于航空公司大量历史运行数据,结合数据挖掘中的预测模型建立方法,采用层次分析法(Analytic Hierarchy Proces,AHP)提出了以延误率、平均延误时间、延误旅客人数为评价指标的航班延误状态描述方法,并运用马尔可夫(Markov)链对评价指标进行预测。利用模糊层次分析法(Fuzzy Analytic Hierarchy Process,FAHP)得到各指标权重,结合模糊综合评判法对航班延误状况进行综合评价,建立航班延误预警指标体系。仿真实验与结果分析表明:预警指标能较准确地反映航班延误状况,评价结果客观,可为航空公司航班延误预警管理提供理论与方法支持。     

多机场地面等待策略的建模与仿真

针对我国空中交通流量管理中出现的大规模航班延误情况,根据多个机场实际起飞和降落容量的约束,建立了一种考虑航班取消的多机场地面等待策略数学模型,并提出求解该模型的有效算法。在所提模型与算法的基础上,选择我国三大机场实际数据进行仿真。对比了取消航班与不取消航班两种情况结果,仿真结果验证了模型与方法的有效性与实用性,给出了最优排序的航班时刻表,从而支持了关键航班的运行,减少了航班总延误。     

基于团簇随机连接的CliqueNet航班延误预测模型

针对目前民航运输业延误率较高,而传统算法难以解决高精度延误预测的问题,提出一种基于随机连接团簇网络（CliqueNet）航班延误预测模型。该模型首先对航班数据和相关气象数据进行融合;然后,充分利用改进后的网络模型对融合后的数据集进行特征提取;最后,使用Softmax分类器进行航班离港延误各等级的高精度预测。模型的主要特点是：在团簇特征层的随机连接,以及在转换层引入通道和空间注意力残差（CSAR）模块。前者以更为有效的连接方式传递特征信息;后者则对特征信息进行通道和空间维度的双重标定,以提高准确率。实验结果表明,对融合数据进行预测,引入随机连接和CSAR模块后,新模型的准确率分别提高了0.5%、1.3%,最终准确率能达到93.40%。     

基于人工神经网络的航班延误预测

随着空中交通规模的不断扩大,航班延误的概率和频率节节攀升。但这给航空公司带来巨额的不必要的开支。因此,如果能提前预测航班情况,使得航空公司能够在保证天气预报等先验信息的准确性的情况下,合理安排航班起飞时间或者是否取消航班,就能给航空公司节省额外预算。因此,本篇文章分析可能导致航班延误的因素,使用机器学习算法,基于人工神经网络,将起飞机场天气、到达机场天气、航班里程、航空公司作为输入量,航班延误时长作为输出量,进行航班延误的预测。     

基于Spark的分布式交通流数据预测系统

在大数据时代,在城市复杂交通环境中,实现实时、准确的交通流预测,是实现智能交通系统的必要前提。提出了一种在Spark平台上基于梯度优化决策树的分布式城市交通流预测模型(distributed urban traffic prediction with GBDT,DUTP-GBDT);并提出了分布式情况下梯度优化决策树模型实现的优化方法,包括切分点抽样、特征装箱和逐层训练三种,提高了分布式情况下梯度优化决策树训练效率。基于Spark分布式计算平台高效、可靠、弹性可扩展的优势,以及梯度优化决策树模型准确率较高和时间复杂度较低的优点,利用时间特征、道路状况特征以及天气特征等特征参数,建立了DUTP-GBDT模型,实现了实时、准确的交通流预测。通过与GABP、GA-KNN、MSTAR等模型的对比,证明了利用Spark平台,DUTP-GBDT模型在分布式环境下准确率和训练速度方面均有所提高,符合城市交通流预测系统的各项要求。     

基于袋外预测和扩展空间的随机森林改进算法

随机森林在bootstrap的基础上通过对特征进行抽样构建决策树,以牺牲决策树准确性的方式来降低决策树间的相关性,从而提高预测的准确性。但在数据规模较大时,决策树间的相关性仍然较高,导致随机森林的性能表现不佳。为解决该问题,提出一种基于袋外预测的改进算法,通过提高决策树的准确性来提升随机森林的预测性能。将随机森林的袋外预测与原特征相结合并重新训练随机森林,以有效降低决策树的VC-dimension、经验风险、泛化风险并提高其准确性,最终提升随机森林的预测性能。然而,决策树准确性的提高会使决策树间的预测趋于相近,提升了决策树间的相关性从而影响随机森林最终的预测表现,为此,通过扩展空间算法为不同决策树生成不同的特征,从而降低决策树间的相关性而不显著降低决策树的准确性。实验结果表明,该算法在32个数据集上的平均准确率相对原始随机森林提高1.7%,在校正的paired t-test上,该方法在其中19个数据集上的预测性能显著优于原始随机森林。     

基于决策树算法的医疗大数据填补及分类仿真

从大数据的基本特点和医疗大数据研究现状出发,分析处理过程中存在的问题,提出在决策树算法下的医疗大数据填补及分类方法.分析医疗数据的关联规则,采用关联分析(Apriori)算法和频繁模式树(Frequent Pattern Growth,FP-Growth)算法挖掘数据.以挖掘数据为基础填补其中的缺失数据,按照医疗数据特...     

面向大数据任务的调度方法

针对在大数据的处理过程中，对大数据任务的划分和资源分配缺乏合理性的问题，提出一种面向大数据任务的调度方法。该方法首先引入了调度理论用于处理大数据任务，帮助建立合理的大数据任务管理体系并规范大数据任务处理流程；然后，基于大数据任务的本质对数据集进行分析处理，引入决策表进行属性约简，以减小大数据分析任务的数据量和提高大数据分析效率；最后，采用模糊综合评价方法，将模糊综合评价的结果作为对任务调度的依据，以提高任务资源分配合理性。在UCI（University of California Irvine）数据集上进行测试，实验结果表明，该调度算法在平均预测准确度上比朴素贝叶斯（NB）算法高7.42个百分点，比误差反向传播（BP）算法高5.16个百分点，比均方根传递（RMSProp）算法高3.74个百分点。而对于特征数较多的数据集，所提算法在预测精度上较其他算法有显著提高。所提算法在平均调度长度比（SLR）上较HCPFS（Heterogeneous Critcal Path First Synthesis）算法和HIPLTS（Heterogeneous Improved Priority List for Task Scheduling）算法分别下降了12.14%和4.56%，在平均加速比上分别提升了7.14%和42.56%，表明该算法能有效提高大数据系统中任务调度的效率。综合比较分析，所提方法具有较高的预测精度，且高效可靠。     

面向大数据任务的调度方法

针对在大数据的处理过程中,对大数据任务的划分和资源分配缺乏合理性的问题,提出一种面向大数据任务的调度方法。该方法首先引入了调度理论用于处理大数据任务,帮助建立合理的大数据任务管理体系并规范大数据任务处理流程;然后,基于大数据任务的本质对数据集进行分析处理,引入决策表进行属性约简,以减小大数据分析任务的数据量和提高大数据分析效率;最后,采用模糊综合评价方法,将模糊综合评价的结果作为对任务调度的依据,以提高任务资源分配合理性。在UCI（University of California Irvine）数据集上进行测试,实验结果表明,该调度算法在平均预测准确度上比朴素贝叶斯（NB）算法高7.42个百分点,比误差反向传播（BP）算法高5.16个百分点,比均方根传递（RMSProp）算法高3.74个百分点。而对于特征数较多的数据集,所提算法在预测精度上较其他算法有显著提高。所提算法在平均调度长度比（SLR）上较HCPFS（Heterogeneous Critcal Path First Synthesis）算法和HIPLTS（Heterogeneous Improved Priority List for Task Scheduling）算法分别下降了12.14%和4.56%,在平均加速比上分别提升了7.14%和42.56%,表明该算法能有效提高大数据系统中任务调度的效率。综合比较分析,所提方法具有较高的预测精度,且高效可靠。     

基于MapReduce的Bagging决策树优化算法

针对经典C4.5决策树算法存在过度拟合和伸缩性差的问题,提出了一种基于Bagging的决策树改进算法,并基于MapReduce模型对改进算法进行了并行化。首先,基于Bagging技术对C4.5算法进行了改进,通过有放回采样得到多个与初始训练集大小相等的新训练集,并在每个训练集上进行训练,得到多个分类器,再根据多数投票规则集成训练结果得到最终的分类器;然后,基于MapReduce模型对改进算法进行了并行化,能够并行化处理训练集、并行选择最佳分割属性和最佳分割点,以及并行生成子节点,实现了基于MapReduce Job工作流的并行决策树改进算法,提高了对大数据集的分析能力。实验结果表明,并行Bagging决策树改进算法具有较高的准确度与敏感度,以及较好的伸缩性和加速比。     

基于PCA-MP-BP的智能电网数据融合方法

为了提高对智能电网大数据的挖掘效率,提出了基于PCA-MP-BP的智能电网数据融合方法.首先对智能电网大数据技术和智能电网大数据融合技术进行了分析.采用主成分分析方法(PCA)提取出对预测结果有影响的主要特征值,作为BP神经网络的输入;然后提出了一种MapReduce和BP算法相结合的数据融合算法,该算法加快了数据处理...     

基于字符树结构的高性能中文词库技术

海量中文信息处理是大数据处理的一个分支,而利用大数据技术进行中文信息处理一定离不开中文分词,所以中文分词技术是大数据中文信息处理的基础性技术.中文分词技术自本世纪以来,一直在性能与精确度两个方向在推进;在性能方面主要以改进分词扫瞄算法,改进词库存储技术与查询方式来提高性能.在精确度上主要是对未登录词与歧义词的甄别与处理方法进行改进.本文摒弃了通过词库索引查询的思想,提出一种基于字符树的词库存储结构.它的分词速度是普通折半法的35倍,占用内存只是它的1/5.它将为大数据技术在处理中文信息时在性能上推进了一大步.     

基于多决策树算法的网络入侵检测

将一个大数据集分割成若干个子数据集，在每个子数据集上使用决策树算法进行挖掘，用投票的方式将多棵决策树的结果结合起来，形成全局的判断。将这种方法应用于网络入侵检测，试验表明，该方法不仅提高了数据挖掘算法对海量数据的处理能力，而且降低了误判率。     

大数据背景下高校招生策略预测

在应届高中生生源不断下降、高等院校招生规模不断扩大、招生方式多元化不断发展、各院校之间招生竞争日趋激烈的条件下,利用海量招生异构数据,准确定位生源对象,做好前期招生宣传是各高等院校需要考虑的重要问题。结合云计算技术,利用并行化计算模型MapReduce和内存并行化计算框架Spark对高校招生历史数据进行分析,提出采用并行化随机森林预测高校招生策略模型,缩短了模型的预测时间、提高了模型的预测精度、增强了模型对大数据的处理能力。实验结果表明,并行化随机森林算法在不同数据集上的多方面性能均优于常用的决策树预测方法。