基于Spark的分布式交通流数据预测系统

在大数据时代,在城市复杂交通环境中,实现实时、准确的交通流预测,是实现智能交通系统的必要前提。提出了一种在Spark平台上基于梯度优化决策树的分布式城市交通流预测模型(distributed urban traffic prediction with GBDT,DUTP-GBDT);并提出了分布式情况下梯度优化决策树模型实现的优化方法,包括切分点抽样、特征装箱和逐层训练三种,提高了分布式情况下梯度优化决策树训练效率。基于Spark分布式计算平台高效、可靠、弹性可扩展的优势,以及梯度优化决策树模型准确率较高和时间复杂度较低的优点,利用时间特征、道路状况特征以及天气特征等特征参数,建立了DUTP-GBDT模型,实现了实时、准确的交通流预测。通过与GABP、GA-KNN、MSTAR等模型的对比,证明了利用Spark平台,DUTP-GBDT模型在分布式环境下准确率和训练速度方面均有所提高,符合城市交通流预测系统的各项要求。     

基于国产处理器增量式实时交通流预测算法及实现

针对城市交通难以处理大量数据且实时性差等问题,提出了根据增量式城市交通流数据预测拥堵情况的一种基于国产处理器的L-BFGS(limited-memory BFGS)算法。该算法通过存储向量序列计算Hessian矩阵,改进Two-Loop算法求下降方向,在Spark集群中并行处理时收敛速度快,适用于实时性要求强的城市交通场景。实验结果证明,L-BFGS预测算法完全可以在国产平台上对大规模的实时交通数据流进行快速建模、预测,在改善城市交通管理水平提供有效支撑的同时也丰富了国产芯片的应用领域。     

基于Spark平台城市出租车乘客出行特征分析

从海量出租车GPS轨迹数据中挖掘和分析城市出租车乘客的出行特征,可以为城市交通管理者和出租车行业管理者在城市交通规划与管理、城市交通流均衡与车辆调度等方面提供决策依据.基于Spark大数据处理分析平台,选择YARN作为资源管理调度系统,采用HDFS分布式存储系统,对出租车GPS轨迹数据进行挖掘.给出了基于Spark平台的出租车乘客出行特征的挖掘方法,包括出租车乘客出行距离分布、出租车使用时间分布及出租车出行需求.实验结果表明,基于Spark平台分析方法能够快速且准确的分析出出租车乘客出行特征.     

Spark下的并行多标签最近邻算法

随着大数据时代的到来,大规模多标签数据挖掘方法受到广泛关注。多标签最近邻算法MLKNN是一种简单高效、应用广泛的多标签分类方法,其分类精度在很多应用中都高于其他常见的多标签学习方法。然而随着需要处理的数据规模越来越大,传统串行ML-KNN算法已经难以满足大数据应用中时间和存储空间上的限制。结合Spark的并行机制和其基于内存的迭代计算特点,提出了一种基于Spark并行框架的ML-KNN算法SML-KNN。在Map阶段分别找到待预测样本每个分区的K近邻,随后Reduce阶段根据每个分区的近邻集合确定最终的K近邻,最后并行地对近邻的标签集合进行聚合,通过最大化后验概率准则输出待预测样本的目标标签集合。串行和并行环境下的对比实验结果表明,SML-KNN在保证分类精度的前提下性能与计算资源呈近似线性关系,提高了ML-KNN算法对大规模多标签数据的处理能力。     

基于Spark Streaming的实时交通数据处理平台

交通大数据是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略规划和进行微观道路交通管理与控制的重要保障.针对于智能交通系统中数据产生快、实时性强、数据量大的特点,本文基于Spark Streaming和Apache Kafka的组合构建了一个实时交通数据处理平台,用于处理通过双基基站采集的数据,采用时间窗口机制从持续的Kafka分布式消息队列中获取数据,并按照规则将数据分类处理后保存到数据库.本文对平台的系统架构和内部结构进行了详细的介绍,并通过实验验证了系统的实时处理能力,完全可以在大规模高并发的数据流下进行应用.     

Spark框架结合分布式KNN分类器的网络大数据分类处理方法

针对现有大数据分类方法难以满足大数据应用中时间和储存空间的限制,提出了一种基于Apache Spark框架的大数据并行多标签K最近邻分类器设计方法。为了通过使用其他内存操作来减轻现有MapReduce方案的成本消耗,首先,结合Apache Spark框架的并行机制将训练集划分成若干分区;然后在Map阶段找到待预测样本每个分区的K近邻,进一步在reduce阶段根据map阶段的结果确定最终的K近邻;最后并行地对近邻的标签集合进行聚合,通过最大化后验概率输出待预测样本的目标标签集合。在PokerHand等四个大数据分类数据集上进行实验,提出方法取得了较低的汉明损失,证明了其有效性。     

基于Spark框架的高效KNN中文文本分类算法

针对K-最近邻（KNN）分类算法时间复杂度与训练样本数量成正比而导致的计算量大的问题以及当前大数据背景下面临的传统架构处理速度慢的问题,提出了一种基于Spark框架与聚类优化的高效KNN分类算法。该算法首先利用引入收缩因子的优化K-medoids聚类算法对训练集进行两次裁剪;然后在分类过程中迭代K值获得分类结果,并在计算过程中结合Spark计算框架对数据进行分区迭代实现并行化。实验结果表明,在不同数据集中传统K-最近邻算法、基于K-medoids的K-最近邻算法所耗费时间是所提Spark框架下的K-最近邻算法的3.92~31.90倍,所提算法具有较高的计算效率,相较于Hadoop平台有较好的加速比,可有效地对大数据进行分类处理。     

基于Spark框架和PSO优化算法的电力通信网络安全态势预测

随着电力通信网络规模的不断扩大,电力通信网络不间断地产生海量通信数据。同时,对通信网络的攻击手段也在不断进化,给电力通信网络的安全造成极大威胁。针对以上问题,结合Spark大数据计算框架和PSO优化神经网络算法的优点,提出基于Spark内存计算框架的并行PSO优化神经网络算法对电力通信网络的安全态势进行预测。本研究首先引入Spark计算框架,Spark框架具有内存计算以及准实时处理的特点,符合电力通信大数据处理的要求。然后提出PSO优化算法对神经网络的权值进行修正,以增加神经网络的学习效率和准确性。之后结合RDD的并行特点,提出了一种并行PSO优化神经网络算法。最后通过实验比较可以看出,基于Spark框架的PSO优化神经网络算法的准确度高,且相较于传统基于Hadoop的预测方法在处理速度上有显著提高。     

基于Spark的输变电线路实时故障监测研究

输变电线路状态监测数据是智能电网中数据量很大的一部分,不仅包括在线的状态监测数据,还包括设备的基本信息、实验数据、缺陷记录等,在数据处理的可靠性和实时性方面的要求都很高。根据实际应用中输变电线路的故障类型,设计并实现了输变电线路实时数据故障监测模型。其中,利用高效处理实时数据的Spark系统,研发出基于Spark的分布式ISODATA和模糊KNN大数据分析算法,与单机KNN算法相比,在时间性能上提高了70.75%效率,具有明显的计算效率优势。     

基于PCA和XGBoost的D-PMU实时扰动预测研究

随着具有高频数据流特性的D-PMU设备的广泛应用和普及,配电网系统中的量测数据量爆炸式增长,对大数据处理技术的要求越来越高。为了配电网能够可靠稳定运行,准确并及时对D-PMU存在的扰动进行在线预测分类显得非常重要。因此,提出了基于Spark的计算平台,采用PCA算法对D-PMU时间序列特征进行提取,结合XGBoost算法对D-PMU主要的扰动特征进行预测分类。实验结果表明提出的方法提高了D-PMU扰动分类的准确性,并且算法的计算速度也有显著的提升,确保了数据处理的实时性。     

Urban traffic congestion estimation and prediction based on floating car trajectory data

Traffic flow prediction is an important precondition to alleviate traffic congestion in large-scale urban areas. Recently, some estimation and prediction methods have been proposed to predict the traffic congestion with respect to different metrics such as accuracy, instantaneity and stability. Nevertheless, there is a lack of unified method to address the three performance aspects systematically. In this paper, we propose a novel approach to estimate and predict the urban traffic congestion using floating car trajectory data efficiently. In this method, floating cars are regarded as mobile sensors, which can probe a large scale of urban traffic flows in real time. In order to estimate the traffic congestion, we make use of a new fuzzy comprehensive evaluation method in which the weights of multi-indexes are assigned according to the traffic flows. To predict the traffic congestion, an innovative traffic flow prediction method using particle swarm optimization algorithm is responsible for calculating the traffic flow parameters. Then, a congestion state fuzzy division module is applied to convert the predicted flow parameters to citizens’ cognitive congestion state. Experimental results show that our proposed method has advantage in terms of accuracy, instantaneity and stability.     

基于 Spark 的大规模网络流量准实时分类方法

大数据时代催生了互联网流量的指数级增长,为了有效地管控网络资源,提高网络安全性,需要对网络流量进行快速、准确的分类,这就对流量分类技术的实时性提出了更高的要求。目前,国内外的网络流量分类研究大多是在单机环境下进行的,计算资源有限,难以应对高速网络中的 (准) 实时流量分类任务。本文在充分借鉴已有研究成果的基础上,吸收当前最新的思想和技术,基于Spark 平台,有机结合其流处理框架 Spark Streaming 与机器学习算法库 MLlib,提出一种大规模网络流量准实时分类方法。实验结果表明,该方法在保证高分类准确率的同时,也具有很好的实时分类能力,可以满足实际网络中流量分类任务的实时性需求。     

Urban arterial traffic two-direction green wave intelligent coordination control technique and its application

This paper presents a new two-direction green wave intelligent control strategy to solve the coordination control problem of urban arterial traffic. The whole control structure includes two layers — the coordination layer and the control layer. Public cycle time, splits, inbound offset and outbound offset are calculated in the coordination layer. Public cycle time is adjusted by fuzzy neural networks (FNN) according to the traffic flow saturation degree of the key intersection. Splits are calculated based on historical and real-time traffic information. Offsets are calculated by the real-time average speeds. The control layer determines phase composition and adjusts splits at the end of each cycle. The target of this control strategy is to maximize the possibility for vehicles in each direction along the arterial road to pass the local intersection without stop while the utility efficiency of the green signal time is at relatively high level. The actual application results show the proposed method can decrease the average travel time and average number of stops, and increase the average travel speed for vehicles on the arterial road effectively.     

基于视频信息的城市路段交通安全状态评估方法研究

城市道路交通安全状态实时评估是智能交系统的重要研究内容。针对现有交通安全状态实时评估方法的评估效果不理想的问题,建立了基于视频信息的城市路段交通安全状态评估方法。首先,分析了基于视频信息的交通流参数快速检测方法;然后,从车速离散度的角度提出了影响城市路段交通安全状态的路段车速离散度的概念;最后,建立了基于路段车速离散度的城市路段交通安全状态评估方法。实验表明,所提方法能够实时合理地对城市道路的安全状态水平进行评估,评估结果可以为交通管理部门制定有效的城市路段交通安全改进方案提供相应的依据。     

基于改进在线极限学习机的短时交通流预测模型研究

交通流信息预测是智能交通系统进行交通疏导管理的重要基础,为城市交通管理规划提供可靠的数据支持和科学的决策依据。由于交通流量数据是实时更新的增量流数据,每次更新历史数据集时都需要重新构建预测模型,消耗了大量计算资源和运行时间,为此提出一种基于改进在线顺序极限学习机的交通流预测模型（IOS-ELM）,通过构建新增数据的增强特征映射关系,生成交通流动态更新特征表示空间,实现短时交通流预测模型的动态更新。利用长沙市远大一路交通流数据评估该模型,实验结果表明,IOS-ELM模型在NRMSE和MAPE的预测性能上均超过其他基准预测模型（MLP、ELM、OS-ELM和SVR）,同时模型的预测耗时较小,可以保证一定实时性,满足城市道路交通流的实时准确预测的需求。     

支持向量机在混沌系统预测中的应用

提出用支持向量机回归方法解决混沌系统预测问题。阐述了支持向量机回归算法,对四阶混沌时间序列进行预测,在此基础上结合城市交通的混沌性,对珠海市迎宾大道的交通流量进行预测。仿真实验表明,支持向量机泛化能力好、学习速度快,对混沌时间序列具有很好的预测效果,对城市交通流量预测也是切实可行的。