面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现

随着数据量的日益增加,大数据存储在整个大数据应用框架体系中居于重要地位。对大数据存储系统进行性能评测可以指导大数据应用开发人员分析性能瓶颈,进行大数据系统的性能优化。在以往的工作中,通常使用基准测试的方式来对不同大数据框架进行性能评测,或者采用插桩并分析轨迹文件的方式对分布式文件系统进行性能分析。这2种方法采用的分析角度不同,并没有形成合理的评测体系来评价大数据分布式存储系统。本文提出主动与被动相结合的大数据存储系统性能评测方法体系结构及其具体实现。在主动性能评测方法方面,提供了6个领域,超过20个应用的基准测试程序,对大数据存储系统主动发起性能测试,分析大数据存储系统的基准性能指标;在被动性能评测方法方面,提供了对低效任务、低效算子、低效函数的分析及定位方法,通过分析运行在大数据存储系统之上的大数据应用,分析大数据应用程序低效的原因。通过实验表明,该大数据性能评测方法体系结构能够全面地对大数据存储系统进行性能评测。     

交通轨迹大数据预处理方法研究

针对交通轨迹大数据的非平稳特性,研究交通轨迹大数据预处理方法。根据二维离散小波的多分辨率分析特点,选用二维离散小波对交通轨迹大数据进行去噪和压缩处理。构建交通轨迹大数据预处理平台,结合道路交通拥堵状态评判标准,实时分析重要路段的交通状况。分析结果表明,该方法能够提高数据处理速度和拥堵路段分析精度。     

数据管理系统评测基准:从传统数据库到新兴大数据

时代发展到今天,技术已经带领人类进入了大数据时代,新技术、新系统和产品的出现,使得采用大数据进行评测的系统成为了热门.这与传统的数据库系统的建立有些许相似之处,就是在数据库系统的建立过程中,基准评测扮演了很重要的角色,在数据库系统的长足发展中成为了系统系能的规范.用于不同数据库性能的评测标准,能够将数据库系统的性能、差距、技术进步等加以反应,得到数据库健康发展和数据技术应用的相关数据.根据数据管理的发展需要,对数据刊进行技术的革新,得到新的数据管理系统的测评标准,如今的数据管理系统的评测基准种类呈现了多样性,并且催生出数据管理系统和平台,造成关系型数据的基准评测的结构化向着对象数据、空间数据、流数据的方向发展.成为新的数据系统.而且关于大数据管理系统的评测基准的研究正在不断地深入,成为了新的热点.与此相关的评测基准的大数据研究也成为了当今最为人们的专业.从现有的数据管理系统的基准评测,还不能得到关于大数据特征的定论,但是从数十年的关于数据管理系统评测基准的发展经验来看,关于大数据系统的研发的结论都是很宝贵的经验,值得借鉴和思考.本文就数据管理系统评测基准的发展历史开始加以阐释,对数据管理系统的成就和未来发展进行论证.     

大数据集乱序方法的应用研究

本文从理论上对规则大数据集的乱序方法及产生指定区域完全随机数进行了较深入的探讨，给出了在不同应用条件下多种解决方案，同时在程序上进行了实现，并分析、比较了各种实现方法的优缺点。     

职业教育大数据分析模型构建方法的研究与应用

随着智慧教育建设和职业教育数据海量化,大数据分析成为有效利用数据的重要途径。大数据分析模型构建方法是大数据分析的关键。笔者结合大数据技术与教育内外部指标体系,提出了职业教育大数据分析模型构建方法,探讨了大数据分析业务流程,构建了以指标体系模型、数据分析模型和数据展现模型为基础的职业教育外部与内部大数据分析模型,并通过第三方BI分析开源工具对模型及构建方法进行应用实践。研究结果表明,职业教育大数据分析模型构建方法具有一定可行性,以期此方法为职业教育大数据分析应用建设提供借鉴。     

面向大数据的高校智慧校园系统构建研究

随着社会信息化程度的不断提升,数据已经成为这个时代极为重要的产物,大数据凭借对海量数据的管理、挖掘与应用,在各行各业展现了强大的生产力。探讨了高校智慧校园系统构建思路,提出了智慧校园系统的总体框架,阐述了框架中数据感知、数据传输、大数据挖掘、智慧应用与支撑保障体系等五个主要层次布局,构建了一个具有高价值性的数据循环生态,将教育大数据转变为推进高校科学决策与发展的强大生产力。     

基于大数据支持的军事决策系统构建研究

本文首先系统回顾了大数据决策由来及发展现状;接着论述了大数据决策分析在军事决策领域的需求,并根据需求构建了由数据获取层、数据处理层及数据应用层三个层面组成的大数据军事决策系统;最后探讨了构建基于大数据支持的军事决策系统所需使用的关键技术,主要有数据提取与存储技术、大数据查询和分析技术、数据表示与数据整合技术。     

大数据环境下病疫接触史关系图构建探索

针对病疫期出现的接触病人发现问题,本文通过大数据技术,建模病疫病人与接触路人之间的关联关系进行分析,通过构建轨迹图,形成关联矩阵,最后有效分别发现与病疫病人关联关系的方法.     

高维数据相似性度量方法研究

将低维空间中的距离度量方法(如Lk-范数)应用于高维空间时,随着维数的增加,对象之间距离的对比性将不复存在。研究高维数据有效的距离或相似(相异)度度量方法是一个重要且具有挑战性的课题。通过对传统的距离度量或相似性(相异性)度量方法在高维空间中表现出的不适应性的分析,并对现有的应用于高维数据的相似性度量方法进行总结,提出了高维数据相似性度量函数Hsim(X,Y)的改进方法HDsim(X,Y)。函数HDsim(X,Y)整合了各类型数据的相似性度量方法,在处理数值型、二值型以及分类属性数据上充分体现了原Hsim(X,Y)处理数值型数据、Jaccard系数处理二值数据以及匹配率处理分类属性数据的优越性。通过有效性及实例分析,充分论证了HDsim(X,Y)在高维空间中的有效性。     

轨迹大数据:数据处理关键技术研究综述

大数据时代下移动互联网发展与移动终端的普及形成了海量移动对象轨迹数据.轨迹数据含有丰富的时空特征信息,通过轨迹数据处理技术可以挖掘人类活动规律与行为特征、城市车辆移动特征、大气环境变化规律等信息.海量的轨迹数据也潜在性地暴露移动对象行为特征、兴趣爱好和社会习惯等隐私信息,攻击者可以根据轨迹数据挖掘出移动对象的活动场景、位置等属性信息.另外,量子计算因其强大的存储和计算能力成为大数据挖掘重要的理论研究方向,用量子计算技术处理轨迹大数据可以使一些复杂的问题得到解决并实现更高的效率.本文对轨迹大数据中数据处理关键技术进行综述.首先,介绍轨迹数据概念和特征,并且总结了轨迹数据预处理方法包括噪声滤波、轨迹压缩等.其次,归纳轨迹索引与查询技术,以及轨迹数据挖掘已有的研究成果包括模式挖掘、轨迹分类等.总结了轨迹数据隐私保护技术基本原理和特点,介绍了轨迹大数据支撑技术如处理框架、数据可视化.本文也讨论了轨迹数据处理中应用量子计算的可能方式,并且介绍了目前轨迹数据处理中所使用的核心算法所对应的量子算法实现.最后,对轨迹数据处理面临的挑战与未来研究方向进行了总结与展望.     

基于Spark的出租车轨迹处理与可视化平台

大数据技术在分析与挖掘交通大数据方面扮演着越来越重要的角色.为了快速有效地对出租车的运营模式与载客策略进行分析,设计效益指数模型对出租车效益进行量化排序,以高效益出租车为研究对象,基于Spark大数据框架开发一个轨迹数据处理与可视化平台.首先,处理高效益出租车轨迹数据得到用于可视化的特征数据.而后进行可视化分析,包括:...     

划时区分段的动态时间规整算法

轨迹聚类是城市交通数据挖掘的重点之一,交通轨迹聚类算法是按照一定的相似度指标将轨迹划分成若干个类簇。在复杂的路网环境下,针对目前如DTW、SDTW等相似度计算方法准确性不高的问题进行了研究,提出了一种划时区分段的动态时间规整算法(SDTW+)进行相似度计算。该算法充分考虑了轨迹形状因素,能有效提高准确性。实验部分利用不同相似度算法,并结合层次聚类算法对实际车辆轨迹进行聚类,最终以平均轮廓系数和聚类成功率为评价指标,判断不同相似度算法的聚类效果。实验结果表明,采用所提算法相对于采用DTW、SDTW的平均轮廓系数分别提高33.86%、12.94%,同时聚类成功率也得到一定提高。     

城市道路交通数据可视分析综述

目的 交通是困扰现代大都市的世界性难题.近年来,可视分析技术在分析和利用交通大数据中扮演了越来越重要的角色,成为一项重要的智能交通技术.本文将全面回顾自信息可视化和可视分析兴起以来城市交通数据可视分析领域的研究现状.方法 从道路交通流量分析和其他交通问题分析两个方面,按照数据的类型及问题的分类探讨交通领域的可视化技术和可视分析系统,简单回顾近年来出现的研究新趋势.结果 早期研究注重对道路流量的可视化展示方案,主要方法有箭头图、马赛克图和轨迹墙等.随着可视分析手段的丰富,对城市道路交通流量的分析层次上升到交通事件层面,但是交通事件的定义仅局限于交通拥堵.应用可视分析的其他交通问题领域包括公共交通、交通事故和人群出行行为等.近年出现了挖掘和利用交通轨迹或交通事件的社会属性或称环境上下文信息的研究新趋势.结论 从对交通流量的可视化到交通事件的可视分析,从面向道路交通状况到与交通相关的其他社会性问题,从单纯反映路况的交通数据到富含社会性语义的多源数据,从传统的PC端可视化和交互范式到新型的可视化展示介质,交通数据可视化领域的研究在深度和广度上都得到大大拓展,未来该领域的研究趋势也体现于其中.     

基于大规模GPS轨迹数据的出租车换道行为研究

出租车换道行为的统计特性对研究经济、心理等人类动力学有重要的意义.结合大数据分析技术,基于西安市出租车GPS轨迹数据对出租车司机的换道行为进行了定量研究.设计了一种基于出租车GPS轨迹数据的出租车司机换道行为识别模型,利用大数据平台对出租车司机换道次数按不同时段进行了定量统计,对出租车司机换道次数、出租车平均行驶速度和出租车司机的收入之间进行了相关性分析.分析结果表明,出租车频繁换道行为对司机收益呈现负相关影响,进一步说明出租车司机驾驶习惯和和心理对整个出租车运营有显著影响.     

数据管理系统评测基准:从传统数据库到新兴大数据

大数据时代的到来意味着新技术、新系统和新产品的出现.如何客观地比较和评价不同系统之间的优劣自然成为一个热门研究课题,这种情形与三十多年前数据库系统蓬勃发展时期甚为相似.众所周知,在数据库系统取得辉煌成就的发展道路上,基准评测研究一直扮演着重要角色,极大推进了数据库技术和系统的长足发展.数据管理系统评测基准是指一套可用于评测、比较不同数据库系统性能的规范,以客观、全面反映具有类似功能的数据库系统之间的性能差距,从而推动技术进步、引导行业健康发展.数据管理系统评测基准与应用息息相关:应用发展产生新的数据管理需求,继而引发数据管理技术革新,再催生多个数据管理系统/平台,进而产生新的数据管理系统评测基准.数据管理系统评测基准种类多样,不仅包括面向关系型数据的基准评测,还包括面向半结构化数据、对象数据、流数据、空间数据等非关系型数据的评测基准.在当今新的数据系统发展中,面向大数据管理系统的评测基准的研究热潮也如期而至.大数据评测基准研究与应用密切相关.总体而言,尽管已有的数据管理系统评测基准未能充分体现大数据的特征,但是从方法学层面而言,三十多年来数据管理系统评测基准的发展经验是开展大数据系统研发最值得借鉴和参考的,这也是该文的主要动机.该文系统地回顾了数据管理系统评测基准的发展历程,分析了取得的成就,并展望了未来的发展方向.     

基于车辆轨迹大数据的道路网更新方法研究

众源轨迹的泛在、实时特性,使其成为道路信息快速获取与更新的重要途径.针对矢量道路数据的变化检测与更新问题,提出了一种基于车辆轨迹大数据的道路网快速变化发现与更新方法.1)以道路弧段为基本单元构建缓冲区,根据道路变化信息类型及表现形式,运用轨迹运动几何信息(方向、转角)与交通语义信息(速度、流量),对道路变化信息进行检测、分类,确定道路变化类型;2)将道路变化类型推断与增量信息提取相结合,分别运用Delaunay三角网、交通流时间序列分析提取增量信息;3)根据变化类型进行增量信息融合.运用深圳市出租车GPS轨迹数据进行实验分析,结果表明：该方法相比常规方法能正确判断道路变化类型、区分真实变化与语义变化,增量信息精度提高约18%,且适于图层级的批处理快速更新.     

基于图卷积网络的交通路口流量预测模型

交通流量预测是建设智慧城市中一项重要性高且挑战性大的任务。准确预测需要考虑如节假日、相似节点和天气等多种影响因素组成的时空特征。为了准确捕获到路网路口的时空特征,提出了一种基于图卷积神经网络、时序算法Prophet和Pearson相关系数的预测模型,以实现考虑空间结构、相似节点、节假日及其他影响因素对路口流量的准确预测。首先,为降低相似节点影响引入Pearson相关系数,改进时序算法,实现时间特征的捕捉;然后,采用图卷积神经网络实现空间特征的捕捉;最后,通过线性回归确定图卷积网络和时序算法的融合权重,得到时空融合预测的结果。最终基于成都市出租车轨迹数据分析提取出路口流量数据,并进行了流量预测实验。结果表明,提出的模型准确性优于大多现有的基线方法,与T-GCN、ASTGCN、AGCRN模型相比,MAE分别降低了1.623、0.724、0.161,精度分别提高了0.144、0.068、0.021,验证了该模型在交通路口流量预测中的有效性。     

基于轨迹数据的出租车交接班时空分布识别方法

针对目前出租车交接班行为识别不够精准的问题,提出了一种基于轨迹数据挖掘的出租车交接班行为精准识别的方法。首先,分析出租车停留状态的数据特性后,提出了一种出租车非运营状态停留点检测方法;然后,对停留点进行聚类,从而得出了潜在的出租车交接班地点;最后,基于出租车交接班事件的判断指标与出租车交接班时间的核密度估计,有效地识别出出租车交接班地点和时间。以福州市4 416辆出租车的轨迹数据为实验样本,共识别出了5 639个交接班地点,这些交接班地点在市民主要工作区域、交通枢纽、商圈以及风景名胜。而识别出的交接班时间主要在凌晨4：00—6：00与傍晚16：00—18：00,与福州市民众出行规律相吻合。实验结果表明,该方法能有效地检测出出租车交接班的时空分布,能为城市的交通资源规划与管理提供合理建议,且使公众打车出行更加便捷,提高了出租车的运行效率,为城市加油站、充电站等汽车相关设施的选址优化提供了参考。