天地一体化智能网络流量实时分类

天地一体化智能网络规模大,环境复杂,网络中流量业务类型繁多且流量具有突发性.本文结合Spark大数据分布式平台,根据流量的特点设计了SFFS-FCBF-C4.5(简称SFC)决策树分类模型,实现了大规模网络下流量的实时分类,以保障网络中资源的合理分配和利用.SFC算法是在C4.5决策树算法的基础上结合了改进后的快速相关滤波算法(Fast Correlation-Based Filter Solution, FCBF)和连续型属性值离散化算法,可以在有效去除冗余特征和降低模型复杂度的同时,提高模型分类的速度和准确率.仿真结果表明,SFC决策树分类模型相比传统的流量分类模型具有较好的稳定性和较高的准确率,可以很好的适应复杂多变的网络环境.同时,Spark大数据分布式平台的应用大幅度提高了大规模网络下流量分类的速度,能够对海量流量进行实时分类.     

基于Spark平台城市出租车乘客出行特征分析

从海量出租车GPS轨迹数据中挖掘和分析城市出租车乘客的出行特征,可以为城市交通管理者和出租车行业管理者在城市交通规划与管理、城市交通流均衡与车辆调度等方面提供决策依据.基于Spark大数据处理分析平台,选择YARN作为资源管理调度系统,采用HDFS分布式存储系统,对出租车GPS轨迹数据进行挖掘.给出了基于Spark平台的出租车乘客出行特征的挖掘方法,包括出租车乘客出行距离分布、出租车使用时间分布及出租车出行需求.实验结果表明,基于Spark平台分析方法能够快速且准确的分析出出租车乘客出行特征.     

基于Spark的油藏数据挖掘与分析

为了方便油藏数据特征的分析和石油的勘探开发过程,本文利用Spark并行计算框架分析油藏数据,并通过数据挖掘算法分析油藏属性之间的潜在关系,对油藏的不同层段进行了分类和预测.本文的主要工作包括：搭建Spark分布式集群和数据处理、分析平台,Spark是流行的大数据并行计算框架,相对传统的一些分析方法和工具,可以实现快速、准确的数据挖掘任务;根据油藏数据的特点建立多维异常检测函数,并新增渗孔比判别属性Pr;在处理不平衡数据时,针对逻辑回归分类提出交叉召回训练模型,并优化代价函数,针对决策树,提出KR-SMOTE对小类别样本进行过采样扩充,这两种方法都可以有效处理数据不平衡问题,提高分类精度.     

基于数据挖掘技术的交通流预测模型

本文针对交通数据挖掘领域的交通流预测问题进行研究和实现.主要对数据挖掘技术应用于交通流数据的特征选择和交通流预测模型的建立提出算法.在对采样数据进行清洗后,以分类与回归决策树作为基学习器,采用梯度提升决策树进行回归拟合,计算出交通数据的特征重要度.并以此重要度作为自适应特征选择的依据.其次,采用聚类算法对选取后的特征数据进行聚类分析,缩小样本大小的同时,同类数据更加相似.最后,以实时数据匹配相应聚类作为训练数据集,使用经过人工鱼群算法优化参数后的支持向量机进行交通流预测.本文结尾通过实验数据论证本文所提出的算法和模型.     

基于Spark深度感知决策树的恒星/星系分类应用研究

针对传统决策树分类算法需要依靠人工构造特征才能实现对数据进行分类的问题, 以及其在处理海量天文数据时所面临的处理速度和资源分配瓶颈问题,结合深度学习强大的特征学习能力和Spark高效的数据处理性能,提出了一种基于Spark平台的深度感知决策树并行化算法,并将其应用于天文恒星/星系分类问题中。研究结果表明,该算法具有很好的可伸缩性,可以通过增加Spark集群计算节点的数量,来减少分类模型所需的训练时间和增强其对海量天文数据的处理能力。并且,其因同时具备强大的特征学习和分类能力而在恒星星系分类问题上可以获得比传统决策树更高的分类准确率。     

基于粒子群的模糊神经网络交通流量预测

实时准确的交通流量预测是智能交通诱导和交通控制实现的前提和关键.针对城市交通流的特点, 本文建立了模糊神经网络模型预测短时交通流量,并采用全局优化的粒子群算法优化模糊神经网络的参数.仿真结果表明该模型能够取得比梯度下降法更高的预测精度.     

基于 Spark 和浮动出租车全球定位系统数据的实时交通路况预测方法

随着大数据的发展和城市化进程的推进,城市交通路况预测成为智慧城市的焦点课题。而目前已有的实时路况预测模型由于软硬件的不足而不能进行准确高效的预测。文章利用真实的城市交通大数据,基于 Spark分布式内存计算框架,提出了一种高效的实时路况预测方法,其中实时路况用路段的平均速度体现。首先并行地对大量车辆的全球定位系统数据进行水平时间窗口和垂直时间窗口切片抽样,然后利用 Spark计算估测历史样本在各个时间段内历史平均速度的概率分布,最后采用贝叶斯最大后验估计基于新到的样本对未来的路况进行预测。实验结果表明,文章提出的方法可实现高效准确的实时路况预测。     

基于LSTM-BP组合模型的短时交通流预测

为减轻日益严重的交通拥堵问题,实现智能交通管控,给交通流诱导和交通出行提供准确实时的交通流预测数据,设计了基于长短时记忆神经网络（LSTM）和BP神经网络结合的LSTM-BP组合模型算法.挖掘已知交通流数据的特征因子,建立时间序列预测模型框架,借助Matlab完成从数据的处理到模型的仿真,实现基于LSTM-BP的短时交通流精确预测.通过与LSTM\BP\WNN三种预测网络模型的对比,结果表明LSTM-BP预测的时间序列具有较高的精度和稳定性.该模型的搭建,可对交通分布的预测、交通方式的划分、实时交通流的分配提供依据和参考.     

基于Spark框架和ARIMA-BPNN的交通流量预测模型的研究

研究海量数据基础上高速公路流量预测建模问题,提出了一种基于ARIMA-BPNN的混合预测模型,并建立基于Spark的分布式处理平台.建立ARIMA时间序列模型提取数据的线性变化规律,研究BPNN的残差预测;建立混合预测模型,研究并行化实现及其运行效率;建立Spark分布式计算平台下高速公路流量数据的预测模型并进行仿真实验.结果表明,Spark框架下的ARIMA-BPNN组合模型优于单一的ARIMA的预测,对预测拟合效果和精度方面表现良好,对海量数据处理有明显优势.     

面向银行业务的交易量预测与告警研究

银行一般都有多种交易系统并存,当这些分散的交易系统出现故障时,运维人员难以从海量的日志中定位故障。针对以上问题,使用SparkStreaming、Spark ML、Hadoop、ELK等技术,基于决策树回归模型,设计并实现了一个面向银行业务的交易量预测与告警平台。该平台能够实时监控各交易系统近期交易量,并对各个交易系统不同时段的交易量进行预测,预测值作为交易系统交易量的动态阈值,平台能够根据阈值对异常的系统进行实时告警。真实环境下的运行结果表明,平台很好地满足了银行交易系统运维的需求。     

基于国产处理器增量式实时交通流预测算法及实现

针对城市交通难以处理大量数据且实时性差等问题,提出了根据增量式城市交通流数据预测拥堵情况的一种基于国产处理器的L-BFGS(limited-memory BFGS)算法。该算法通过存储向量序列计算Hessian矩阵,改进Two-Loop算法求下降方向,在Spark集群中并行处理时收敛速度快,适用于实时性要求强的城市交通场景。实验结果证明,L-BFGS预测算法完全可以在国产平台上对大规模的实时交通数据流进行快速建模、预测,在改善城市交通管理水平提供有效支撑的同时也丰富了国产芯片的应用领域。     

基于梯度提升回归树的短时交通流预测模型

短时交通流预测是交通流建模的一个重要组成部分,在城市道路交通的 管理和控制中起着重要的作用。然而,常见的时间序列模型(如ARIMA)、随机森林(RF)模型在交通流预测方面由于被构建模型产生的残差和输入变量所影响,其预测精度受到限制。针对该问题,提出了一种基于梯度提升回归树的短时交通预测模型来预测交通速度。首先,模型引入Huber损失函数作为模型残差的处理方法;其次, 在输入变量中考虑预测断面受到毗邻空间因素和时间因素相关性的影响。模型在训练过程中通过不断调整弱学习器的权重来纠正模型的残差,从而提高模型预测的精度。利用某城市快速路的交通速度数据进行实验,并使用MSE和MAPE等指标将本文模型与ARIMA模型和随机森林模型进行对比,结果表明,文中所提模型的预测精度最好,从而验证了模型在短时交通流预测方面的有效性。     

一种基于小波和神经网络的短时交通流量预测

针对实际交通流变化的不稳定性和复杂性的特点,应用交通流预测模型获取更准确的交通流信息,是智能交通领域的一个研究热点。提出一种基于小波分析与神经网络结合的预测模型。模型主要思想是通过小波多分辨率分析和Mallat算法对原始交通流数据进行平滑降噪处理,处理过程选用db10小波和软阈值去噪函数使得交通流曲线更加平滑稳定,更能真实反映交通流的真实情况;再采用激活函数为Tan-Sigmoid,训练函数为trainlm,各层神经元节点数为1-12-1的三层BP神经网络对消噪后的交通流数据进行训练,用训练好的预测模型对实际交通流信息进行预测,最后获取准确的交通流信息。实验结果表明,采用小波分析与BP神经网络结合的方法得到的预测结果平均相对误差为0.03%,最大相对误差为0.39,拟合度(EC)达到0.96。仅使用BP神经网络预测模型对交通流数据进行预测后得到的预测结果的平均相对误差为0.08%,最大相对误差为0.89%;实验对比采用BP神经网络预测模型和卡尔曼滤波、GM(1,1)预测模型对交通流的预测,BP神经网络预测模型的误差指标大大减小,拟合度大大提高,有较好的准确性和可行性,能较准确地反映交通流真实情况。而经过小波去噪与BP神经网络结合的预测模型提高了预测精度,为交通流的实时动态预警提供了更加准确真实的情况。     

基于 Spark 的大规模网络流量准实时分类方法

大数据时代催生了互联网流量的指数级增长,为了有效地管控网络资源,提高网络安全性,需要对网络流量进行快速、准确的分类,这就对流量分类技术的实时性提出了更高的要求。目前,国内外的网络流量分类研究大多是在单机环境下进行的,计算资源有限,难以应对高速网络中的 (准) 实时流量分类任务。本文在充分借鉴已有研究成果的基础上,吸收当前最新的思想和技术,基于Spark 平台,有机结合其流处理框架 Spark Streaming 与机器学习算法库 MLlib,提出一种大规模网络流量准实时分类方法。实验结果表明,该方法在保证高分类准确率的同时,也具有很好的实时分类能力,可以满足实际网络中流量分类任务的实时性需求。     

基于改进在线极限学习机的短时交通流预测模型研究

交通流信息预测是智能交通系统进行交通疏导管理的重要基础,为城市交通管理规划提供可靠的数据支持和科学的决策依据。由于交通流量数据是实时更新的增量流数据,每次更新历史数据集时都需要重新构建预测模型,消耗了大量计算资源和运行时间,为此提出一种基于改进在线顺序极限学习机的交通流预测模型（IOS-ELM）,通过构建新增数据的增强特征映射关系,生成交通流动态更新特征表示空间,实现短时交通流预测模型的动态更新。利用长沙市远大一路交通流数据评估该模型,实验结果表明,IOS-ELM模型在NRMSE和MAPE的预测性能上均超过其他基准预测模型（MLP、ELM、OS-ELM和SVR）,同时模型的预测耗时较小,可以保证一定实时性,满足城市道路交通流的实时准确预测的需求。     

隐私保护的加密流量检测研究

现有的加密流量检测技术缺少对数据和模型的隐私性保护,不仅违反了隐私保护法律法规,而且会导致严重的敏感信息泄露.主要研究了基于梯度提升决策树(GBDT)算法的加密流量检测模型,结合差分隐私技术,设计并实现了一个隐私保护的加密流量检测系统.在CICIDS2017数据集下检测了 DDoS攻击和端口扫描的恶意流量,并对系统性能...