面向大数据处理的基于Spark的异质内存编程框架

随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory, NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,“性能/价格”比仅用DRAM时提高了数倍.     

基于Spark Streaming的实时交通数据处理平台

交通大数据是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略规划和进行微观道路交通管理与控制的重要保障.针对于智能交通系统中数据产生快、实时性强、数据量大的特点,本文基于Spark Streaming和Apache Kafka的组合构建了一个实时交通数据处理平台,用于处理通过双基基站采集的数据,采用时间窗口机制从持续的Kafka分布式消息队列中获取数据,并按照规则将数据分类处理后保存到数据库.本文对平台的系统架构和内部结构进行了详细的介绍,并通过实验验证了系统的实时处理能力,完全可以在大规模高并发的数据流下进行应用.     

阿里云实现Spark的分布式计算

随着计算机与互联网技术的不断发展,云计算已经成为一种随时随地根据需要而提供的公共服务。本文以国内流行的阿里云计算平台为例,讨论了如何在云服务器上实现基于内存的Spark分布式计算,其中包括Linux系统云服务器的使用,Spark集群的安装部署以及Spark数据处理。通过对三个ECS节点的部署,验证了Spark在阿里云上进行分布式计算的可行性。     

基于Spark的大数据访存行为跨层分析工具

大数据时代的到来为信息处理带来了新的挑战,内存计算方式的Spark显著提高了数据处理的性能.Spark的性能优化和分析可以在应用层、系统层和硬件层开展,然而现有工作都只局限在某一层,使得Spark语义与底层动作脱离,如操作系统参数对Spark应用层的性能影响的缺失将使得大量灵活的操作系统配置参数无法发挥作用.针对上述问题,设计了Spark存储系统分析工具SMTT,打通了Spark层、JVM层和OS层,建立了上层应用程序的语义与底层物理内存信息的联系.SMTT针对Spark内存特点,分别设计了针对执行内存和存储内存的追踪方式.基于SMTT工具完成了对Spark迭代计算过程内存使用,以及跨越Spark,JVM和OS层的执行/存储内存使用过程的分析,并以RDD为例通过SMTT分析了单节点和多节点情况下Spark中读和写操作比例,结果表明该工作为Spark内存系统的性能分析和优化提供了有力的支持.     

基于Hadoop平台的Spark框架研究

Hadoop是大数据挖掘的主流平台,在该平台上可以进行大数据的挖掘。数据挖掘的规模和速度是我们需要考虑的问题。Spark框架是一个优秀的框架,它集机器学习,图计算和在线学习为一身,是简洁、强大、高效的。该文先讨论了Spark的组成,接着讨论Spark的任务调度方式,最后讨论了Spark的环境及测试。     

基于ANN的改进Spark系统在空管大数据处理中的应用

针对Spark系统参数量巨大且手动调整参数具有耗时、效率低下等问题,提出一种基于人工神经网络（Artificial Neural Network, ANN）的方法来对Spark系统的配置参数进行自动调整,保障在处理空管大数据时的速度和性能。使用Dell PowerEdge T430服务器测试了空管大数据中5种常用的不同大小的数据集,以验证该方法。研究表明,与默认参数配置相比,该方法可将Spark系统的性能平均提高约35％。随着数据集大小的增加,性能呈现进一步提高的趋势。该方法可以有效地保障Spark系统的参数调整效率,达到高效处理空管大数据的目的。     

一种Spark环境下的高效率大规模图数据处理机制

本文针对现有的图处理和图管理框架存在的效率低下以及数据存储结构等问题,提出了一种适合于大规模图数据处理机制。首先分析了目前的一些图处理模型以及图存储框架的优势与存在的不足。其次,通过对分布式计算的特性分析采取适合大规模图的分割算法、数据抽取的优化以及缓存、计算层与持久层结合机制三方面来设计本文的图数据处理框架。最后通过PageRank和SSSP算法来设计实验与MapReduce框架和采用HDFS作持久层的Spark框架做性能对比。实验证明本文提出的框架要比MapReduce框架快90倍,比采用HDFS作持久层的Spark框架快2倍,能够满足高效率图数据处理的应用前景。     

Spark内存管理及缓存策略研究

Spark系统是基于Map-Reduce模型的大数据处理框架。Spark能够充分利用集群的内存,从而加快数据的处理速度。Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点。首先,测试并分析了Shuffle Memory和Storage Memory的使用特点。RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区。接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择。最后,测试和分析了多种缓存策略的性能。     

基于Spark平台城市出租车乘客出行特征分析

从海量出租车GPS轨迹数据中挖掘和分析城市出租车乘客的出行特征,可以为城市交通管理者和出租车行业管理者在城市交通规划与管理、城市交通流均衡与车辆调度等方面提供决策依据.基于Spark大数据处理分析平台,选择YARN作为资源管理调度系统,采用HDFS分布式存储系统,对出租车GPS轨迹数据进行挖掘.给出了基于Spark平台的出租车乘客出行特征的挖掘方法,包括出租车乘客出行距离分布、出租车使用时间分布及出租车出行需求.实验结果表明,基于Spark平台分析方法能够快速且准确的分析出出租车乘客出行特征.     

基于Spark的大数据聚类研究及系统实现

传统聚类算法由于单机内存和运算能力的限制已经不能满足当前大数据处理的要求,因而迫切需要寻找新的解决方法。针对单机内存运算问题,结合聚类算法的迭代计算特点,提出并实现了一种基于Spark平台的聚类系统。针对稀疏集和密集集两种不同类型的数据集,系统首先采用不同策略实现数据预处理;其次分析比较了不同聚类算法在Spark平台下的聚类性能,并给出最佳方案;最后利用数据持久化技术提高了计算速度。实验结果表明,所提系统能够有效满足海量数据聚类分析的任务要求。     

Spark在人类基因领域的应用

人类基因组作为一种具有高价值的、弥足珍贵的大数据信息,亟待人们进行高效、准确的分析处理。由于传统Hadoop云框架的数据处理存在高延迟的致命缺点,Spark云平台应运而生。基于Spark云平台的人体基因组数据系统将为疾病的早期发现或治疗以及降低婴儿的出生缺陷等做出巨大贡献。     

基于Spark的出租车轨迹处理与可视化平台

大数据技术在分析与挖掘交通大数据方面扮演着越来越重要的角色.为了快速有效地对出租车的运营模式与载客策略进行分析,设计效益指数模型对出租车效益进行量化排序,以高效益出租车为研究对象,基于Spark大数据框架开发一个轨迹数据处理与可视化平台.首先,处理高效益出租车轨迹数据得到用于可视化的特征数据.而后进行可视化分析,包括:统计分析高效益出租车运营特性并实现交互式图表展示,采用蜂窝形格网与DBSCAN算法对不同时段高效益出租车载客点进行热点可视化,实现基于缓冲区的交互式轨迹查询并提取出轨迹相关因子.最后,利用成都市出租车GPS轨迹数据验证了所提平台的有效性及可靠性.     

大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。     

大数据处理平台性能优化研究

信息数据已渗透人们的生活,运用大数据平台完成数据处理,提升加快了通信行业的效率,提高了信息材料的利用率。大数据平台可有效分析这些数据,对相关产品的维护、研发发挥促进作用,不断提升产品质量与工作效率,为公司增创收入。基于此,概述了大数据处理平台发展现状,阐述了大数据处理平台性能评估方法和存在的问题,介绍了大数据处理平台性能优化的具体措施。     

基于云计算的大数据处理技术

为解决大数据处理的瓶颈,分析了大数据及云计算的关键技术,论述了大数据和云计算之间的关系,利用云计算在数据存储、数据管理和虚拟化等方面的技术优势,构建了基于云计算的大数据管理和处理模式,为大数据的研究及应用提供了新的思路和技术基础。     

Spark平台下类别数据互信息计算的并行化

针对大规模类别数据的互信息计算量非常大的问题,利用Spark内存计算平台,提出了类别数据的并行互信息计算方法,该算法首先采用列变换将数据集转换成多个数据子集;然后采用两个变长数组缓存中间结果,解决了类别数据特征对间互信息计算量大、重复性强的问题;最后在配备了24个计算节点的Spark集群中,使用人工合成和真实数据集验证...     

基于Spark的交互式数据预处理系统

高质量的决策依赖于高质量的数据,数据预处理是数据挖掘至关重要的环节.传统的数据预处理系统并不能很好的适用于大数据环境,企业现阶段主要使用Hadoop/Hive对海量数据进行预处理,但普遍存在耗时长、效率低、无交互等问题.提出了一种基于Spark的交互式数据预处理系统,系统提供一套通用的数据预处理组件,并支持组件的扩展,数据以电子表格的形式展现,系统记录用户的处理过程并支持撤销重做.本文从数据模型、数据预处理操作、交互式执行引擎以及交互式前端四个方面描述了系统架构.最后使用医疗脑卒中的真实数据对系统进行验证,实验结果表明,系统能够在大数据场景下满足交互式处理需求.     

基于数据特性的Spark任务性能优化

新一代的分布式数据处理框架大大提升了数据处理任务的效率。然而,由于不同数据处理任务需要处理的数据的特性各不相同,因此难以找到一种统一的方法来优化数据处理任务的性能。针对不同的数据集,需要分析其相应的数据特性,才能充分利用内存和计算资源,优化任务执行效率。研究数据倾斜度这一数据特性,提出一种数据倾斜度的量化方法,基于分布式处理框架Spark,通过结合数据采样分析和源代码语义分析的方法,自动判断当前所处理数据集的数据倾斜度与处理代码的适合程度,并基于判断结果提出相应的代码自动优化方案,从而提升任务的运行效率。通过多个数据处理实验,验证了优化后提高数据分析任务效率的效果。     

大数据处理平台比较与分析

虽然以MapReduce和Hadoop分布式系统(HDFS)为核心的Hadoop已在大规模数据密集的商业领域成功应用,但是对于多个并行操作之间重用工作数据集却表现不佳。作为对其的一种补充,本文介绍了Spark。首先介绍Hadoop的MapReduce与HDFS基本概念与设计思想,然后介绍了Spark的基本概念与思想,并且着重介绍了弹性分布式数据集RDD,并通过实验证明和分析对比了Hadoop与Spark。     

基于Spark平台城市出租车乘客出行分析

目前中国经济的迅速发展也催生了出租车行业的产生,通过对出租车轨迹数据进行分析可以得到城市居民的行为特征,为城市建设提供解决依据.Spark数据分析技术有着快速迭代的优势以及优秀的容错和调度机制,它可以将数据进行缓存并对海量的出租车行为数据进行分析,快速得到结果.对出租车行为数据在Spark平台中的分析过程进行了模拟,希望能够为相关行业带来帮助.