基于Spark的出租车轨迹处理与可视化平台

大数据技术在分析与挖掘交通大数据方面扮演着越来越重要的角色.为了快速有效地对出租车的运营模式与载客策略进行分析,设计效益指数模型对出租车效益进行量化排序,以高效益出租车为研究对象,基于Spark大数据框架开发一个轨迹数据处理与可视化平台.首先,处理高效益出租车轨迹数据得到用于可视化的特征数据.而后进行可视化分析,包括:统计分析高效益出租车运营特性并实现交互式图表展示,采用蜂窝形格网与DBSCAN算法对不同时段高效益出租车载客点进行热点可视化,实现基于缓冲区的交互式轨迹查询并提取出轨迹相关因子.最后,利用成都市出租车GPS轨迹数据验证了所提平台的有效性及可靠性.     

基于时空势场修正多处理器城市拥堵并行聚类分析

为提升城市城市道路拥堵检测和治理效率,提出一种基于势场修正多处理器并行聚类的城市道路拥堵时空分析方法。首先,利用GIS四维空间时态数据给出城市道路拥堵的时空模型,并通过设置虚拟数据参数实现时间的低密度采样处理,获得城市道路拥堵路段时空规律性的有效检测;其次,基于势场修正法构建多处理器并行聚类方法,分别设计了距离矩阵、邻域半径和密度函数的并行化多处理计算方法,并实现了并行聚类算法设计,同时给出上述并行计算过程的计算复杂度分析定理;最后,以北京市为试验区,对所提城市道路拥堵分析算法性能进行了验证,实验结果表明,所提方法可实现城市城市道路拥堵情况的快速有效检效检测分析,可为城市道路拥堵管理提供数据支撑。     

基于公共交通智能卡数据的可视化分析

针对现有公共交通数据的可视分析方法很难在不同空间粒度下对乘客时空分布、客流时空分布、区域间客流时序变化进行多任务分析的问题,设计实现了一个多视图融合的可视化分析系统。该系统结合城市公共交通的智能卡数据、车辆GPS数据、地铁和公交线路信息,利用出行链路模型和基于出行时空特征的回归模型完成了乘客起讫点（origin-destination,OD）推断;然后,设计了层次聚类的地图可视化方法,结合了融合方位信息的玫瑰图和动态对比堆叠折线流图来分析各区域间的客流时序特点、关联关系;最后,利用真实的深圳市公共交通数据的可视分析结果验证了系统的有效性。     

一种基于排序子空间的高维聚类算法及其可视化研究

为了有效地发现数据聚簇，尤其是任意形状的聚簇，近年来提出了许多基于密度的聚类算法，如DBSCAN．OPTICS，DENCLUE,CLIQUE等．提出了一个新的基于密度的聚类算法CODU(clustering by ordering dense unit)，基本思想是对单位子空间按密度排序，对每一个子空间，如果其密度大于周围邻居的密度则形成一个新的聚簇．由于子空间的数目远小于数据对象的数目，因此算法效率较高．同时，提出了一个新的数据可视化方法，将数据对象看做刺激光谱映射到三维空间，使聚类的结果清晰地展示出来．     

基于数据挖掘的校园大数据可视化分析系统设计

针对近年来学生异常行为增多问题，以一卡通为基础对校园大数据进行了挖掘与并对挖掘结果进行可视化展示。采用ARIMA时间序列预测模型对校园热点区域人流量分布进行预测，通过基于最小方差和余弦相似度的K-means改进聚类算法归纳了校园消费分布特征，对特征进行聚类，并对每类人群的特点进行了总结分析。实验结果表明，ARIMA时间序列预测模型的预测结果与真实结果的标准误差为23.46,预测结果较为理想；而改进的K-means聚类算法则通过最小方差提高初始质心的代表性，最终模型聚类结果与预期结果基本一致。通过预测和聚类结果，校园管理者可以了解学生群体特征，对学生个性特征、行为规律进行深入分析，预测学生行为，防微杜渐。     

高维数据的可视化和快速聚类算法

本文通过介绍一种用于高维数据的可视化方法,引入了可用于快速聚类的一种距离算法,该方法不仅具有鲁棒性而且有较低的计算复杂性O（n^1）,最后我们将该方法用于金融数据立方体的聚类算法,主要用于挖掘庄家行为模式并作为是否存在操纵行为的依据。     

基于FFCM聚类的城市交通拥堵判别研究

对城市道路交通拥堵状态判别的问题,提出了一种硬C均值(HCM)聚类与模糊C均值(FCM)聚类相结合的快速模糊C均值聚类(FFCM)算法。用硬聚类的结果对模糊聚类初始值的选取进行指导,以加速算法的收敛过程。将该算法用于城市交通流数据的聚类分析结果表明,该算法能够快速而有效地对城市交通流状况进行判别,为动态交通拥堵预警和交通疏导策略的制定提供依据。     

一种融合了异常数据识别的CMM改进算法

针对聚类过程中有意义的异常数据难以识别的问题,在改进CMM算法的基础上,提出了一种融合了异常数据识别的层次聚类算法。采用CMM方法提出的原子簇思想,通过重新定义簇中心、噪声判断标准以及改进循环机制等手段提高聚类准确性及算法效率。提出了异常数据的概念和定义,并将其识别算法引入聚类过程过程。基于仿真及实际数据的实验结果证明,该算法能够根据设定参数准确识别异常数据,同时其聚类准确性及性能针对CMM算法也有了相应提高。     

基于主成分分析和K-means聚类的平行坐标可视化技术研究

为了解决多维数据的维数过高、数据量过大带来的平行坐标可视化图形线条密集交叠以及数据规律特征不易获取的问题,提出基于主成分分析和K-means聚类的平行坐标（PCAKP,principal component analysis and k-means clustering parallel coordinate）可视化方法。该方法首先对多维数据采用主成分分析方法进行降维处理,其次对降维后的数据采用K-means聚类处理,最后对聚类得到的数据采用平行坐标可视化技术进行可视化展示。以统计局网站发布的数据为测试数据,对PCAKP可视化方法进行测试,与传统平行坐标可视化图形进行对比,验证了PCAKP可视化方法的实用性和有效性。     

增量式贝叶斯分类器在交通拥堵判别中的应用

为有效发现道路交通拥堵状态,提出基于增量式贝叶斯分类器的交通拥堵判别方法.该方法把交通拥堵是否发生看成是特殊的分类问题,选取增量式贝叶斯分类器,根据以往是否发生交通拥堵的检测数据,即分别把在发生交通拥堵和不发生交通拥堵两种情况下的交通参数作为特征参数对其进行训练,然后用得到的分类器对检测到的交通参数进行分类,判别是否发生交通拥堵.微观交通仿真数据表明该方法的可行性和有效性.     

可视化数据挖掘工具的设计与实现

为了在海量数据中把有用的数据提取给用户进行分析,通过对数据可视化和聚类分析的深入研究,将可视化技术与数据挖掘技术两者结合起来,在Java平台下开发一个可视化的数据挖掘系统,把数据挖掘的结果以3D散点图、平行坐标图的方式显示给用户,使用户能够直观地看到数据集的全貌及分析各对象同一属性值的分布和各属性之间的关系,有效地表达数据挖掘结果。     

Discovering traffic congestion through traffic flow patterns generated by moving object trajectories

The discovery of moving object trajectory patterns representing high traffic density has been covered in various works using diverse approaches. These models are useful in areas such as transportation planning, traffic monitoring, and advertising on public roads. However, though studies tend to recognize the importance of these types of patterns in utility, they usually do not consider traffic congestion as a particular condition of high traffic. In this work, we present a model for the discovery of high traffic flow patterns in relation to traffic congestion. This relationship is represented in terms of traffic that is shared between different sectors of the pattern, making it possible to identify traffic flow situations causing congestion. We also complement this model by discovering alternative paths for the severe traffic depicted in these patterns. These alternative paths depend on traffic level and location inside the road network. Depending on the traffic conditions, alternative paths are commonly sought by drivers when they are approaching a traffic jam, in order to mitigate the effects of traffic congestion. We compare these models with related work from similar areas and validate them by conducting experiments using real data. We describe discovered patterns related to the main elements of the road network in the dataset and show their advantages in comparison to related models. Based on the displayed metrics, the algorithms’ implementation offers good performance execution for the given dataset volume. The results presented confirm the usefulness of the proposed patterns as a tool that helps to improve traffic, allowing the identification of problems and possible alternatives.     

Exploring traffic congestion correlation from multiple data sources

Traffic congestion is a major concern in many cities around the world. Previous work mainly focuses on the prediction of congestion and analysis of traffic flows, while the congestion correlation between road segments has not been studied yet. In this paper, we propose a three-phase framework to explore the congestion correlation between road segments from multiple real world data. In the first phase, we extract congestion information on each road segment from GPS trajectories of over 10,000 taxis, define congestion correlation and propose a corresponding mining algorithm to find out all the existing correlations. In the second phase, we extract various features on each pair of road segments from road network and POI data. In the last phase, the results of the first two phases are input into several classifiers to predict congestion correlation. We further analyze the important features and evaluate the results of the trained classifiers through experiments. We found some important patterns that lead to a high/low congestion correlation, and they can facilitate building various transportation applications. In addition, we found that traffic congestion correlation has obvious directionality and transmissibility. The proposed techniques in our framework are general, and can be applied to other pairwise correlation analysis.     

基于视频检测技术的交通拥挤判别模型*

针对日益严重的城市道路交通拥挤问题,提出基于视频检测技术直接判断道路交通拥挤程度的方法。以道路占有率、占有率方差、占有率变化量绝对值为交通特征参数,研究了其与道路拥挤事件发生的关系,在此基础上利用模糊C-均值算法给出了一种交通状态划分方法,最后建立了一种新的交通拥挤判别模型。应用实际采集的视频数据,分别通过该模型及人为判断进行实验验证。实验结果表明该模型是有效可行的。     

大数据可视分析综述

可视分析是大数据分析的重要方法.大数据可视分析旨在利用计算机自动化分析能力的同时,充分挖掘人对于可视化信息的认知能力优势,将人、机的各自强项进行有机融合,借助人机交互式分析方法和交互技术,辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧.主要从可视分析领域所强调的认知、可视化、人机交互的综合视角出发,分析了支持大数据可视分析的基础理论,包括支持分析过程的认知理论、信息可视化理论、人机交互与用户界面理论.在此基础上,讨论了面向大数据主流应用的信息可视化技术——面向文本、网络(图)、时空、多维的可视化技术.同时探讨了支持可视分析的人机交互技术,包括支持可视分析过程的界面隐喻与交互组件、多尺度/多焦点/多侧面交互技术、面向Post-WIMP的自然交互技术.最后,指出了大数据可视分析领域面临的瓶颈问题与技术挑战.