面向大数据处理框架的JVM优化技术综述

当前,以Hadoop、Spark为代表的大数据处理框架,已经在学术界和工业界被广泛应用于大规模数据的处理和分析.这些大数据处理框架采用分布式架构,使用Java、Scala等面向对象语言编写,在集群节点上以Java虚拟机(JVM)为运行时环境执行计算任务,因此依赖JVM的自动内存管理机制来分配和回收数据对象.然而,当前的JVM并不是针对大数据处理框架的计算特征设计的,在实际运行大数据应用时经常出现垃圾回收(GC)时间长、数据对象序列化和反序列化开销大等问题.在一些大数据场景下, JVM的垃圾回收耗时甚至超过应用整体运行时间的50%,已经成为大数据处理框架的性能瓶颈和优化热点.对近年来相关领域的研究成果进行了系统性综述:(1)总结了大数据应用在JVM中运行时性能下降的原因;(2)总结了现有面向大数据处理框架的JVM优化技术,对相关优化技术进行了层次划分,并分析比较了各种方法的优化效果、适用范围、使用负担等优缺点;(3)探讨了JVM未来的优化方向,有助于进一步提升大数据处理框架的性能.     

基于Storm技术的实时数据处理平台研究与实现

针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题,采用Storm实时计算技术,结合Flume、Kafka、Zookeeper等大数据处理组件,设计一个实时数据处理平台.利用tornado+ WSGI+ Apache技术搭建Web服务器,采用Echarts技术对处理结果进行可视化分析.以网站访问日志作为数据...     

模型驱动的大数据流水线框架PiFlow

复杂流程的大数据处理多依托于流水线系统，但大数据处理的流水线系统在易用性、功能复用性、扩展性以及处理性能等方面存在不足。针对上述问题，为提高大数据处理环境的构建与开发效率,优化处理流程，提出了一种模型驱动的大数据流水线框架PiFlow。首先，将大数据处理过程抽象为有向无环图；然后，开发一系列组件用于构建数据处理流水线，并设计了流水线任务执行机制。同时，为规范和简化流水线框架的描述，设计了基于模型驱动的大数据流水线描述语言——PiFlowDL，该语言以模块化、层次化的方式对大数据处理任务进行描述。PiFlow以所见即所得(WYSIWYG)的方式配置流水线，集成了状态监控、模板配置、组件集成等功能，与Apache NiFi相比有2~7倍的性能提升。     

通用试飞数据处理查询语言FTSQL

给出了一种通用数据处理用工程数据库查询语言FTSQL。该语言可入高级程序设计语言,提供了工程数据的标准访问接口,采用该语言可使数据处理部件化,支持数据处理软件系统的集成化、规范化以及系统的可重要性要求。     

大数据在监管中心智能化系统中的应用研究

监管视频数据的剧增,导致现有系统无法满足社会的监管需求,为此提出大数据在监管中心智能化系统中的应用研究.此研究着重分析大数据技术在监管中心智能化系统—智能视频分析模块的应用,基于大数据技术设计目标行为分析软件,包括监管视频数据处理层与应用层.监管视频数据处理层采用数据整理技术—Retinex算法降噪、增强视频图像,监管...     

ACOSA：一种基于MapReduce的启发式调度算法

Hadoop是近几年发展起来的专为处理大数据的平台,是开源分布式数据处理框架,在大数据处理方面具有低成本、高效性、可靠性、可扩展性和可伸缩性等优点。针对Hadoop平台中现有的MapReduce调度算法,论文提出了一种新型的基于ACO和SA算法的组合优化算法—ACOSA算法。经过模拟实验验证,ACOSA算法缩短了任务完成的时间,平衡了各节点之间的负载。     

MapReduce大数据处理平台与算法研究进展

本文综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展。首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象它们的共性。随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法。将这些算法按MapReduce实现方式分类,分析影响这算法性能的因素。最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和研究问题,以供研究人员参考。具体包括优化外存算法的磁盘I/O,优化外存算法的局部性,以及设计增量式迭代算法。现有大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,本文提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间。     

恒温槽自动计量数据处理软件

基于VB语言实现恒温槽自动校准的数据处理软件是在VB语言的基础上,有机地结合了FLUKE1529数字测温仪开放的命令集语言及微软Office Excel强大的表格功能和Access数据库管理技术,并根据国家规程《JJF1030-2010恒温槽技术性能测试规范》的计量要求和计量方法研制开发的恒温槽自动校准数据处理软件;在论述了VB语言的基础上,介绍了基于VB语言实现恒温槽自动校准数据处理软件设计的方法,该软件是基于FLUKE1529数字测温仪编写。     

Python语言在数据分析处理中的应用

随着互联网+、大数据时代的到来,海量数据的高效快捷处理成为一个急需解决的现实问题。Python语言简单、易用且具备强大的数据分析处理能力,通过对Python语言在数据处理各阶段的实际运用入手,阐述了Python语言NumPy、Pandas、SciPy、scikit-learn和Matplotlib等第三方库在数据分析处理中的具体使用。     

SCY—771数据处理系统——编译系统

本文叙述了上海市计算技术研究所研制的77系列数据处理机上数据处理语言的编译系统。该语言实际上是ISO—COBOL R 1989—1978的子语言,描述了该语言的编译系统要考虑的问题和它的特点,讨论了编译程序和目标程序的结构。本文是实际科研成果的总结。     

基于Web的异常数据检测系统设计与实现

针对大数据处理中数据来源复杂,且在清洗过程中存在较多相似的问题,开发了一款异常数据检测系统。系统使用流行的Python编程语言和轻量级的Flask Web框架,能够简化数据处理工作中的重复流程,极大减轻数据分析的工作量,提高工作效率,利用系统内置的异常检测算法和用户上传的自定义算法完成对数据中异常的检测工作。     

大数据处理技术与探索

随着现代社会电子信息化技术的不断发展,大数据处理技术给人们的生活、工作等带来了越来越多的改变。我们要想使大数据处理技术更好地发挥作用,就需要对大数据处理技术的特征、大数据处理技术的内涵等进行研究,进而探索出相应的大数据处理技术发展完善的策略,最终促进大数据处理技术能够在满足人们需求的轨道上越走越远。     

空间科学卫星数据快速处理方法

针对卫星获取的大规模数据进行快速数据处理一直是空间信息处理系统建设中的关键。面对空间科学卫星全天候观测、探测载荷类型多、处理算法多样带来的数据处理难题,现有基于CCSDS标准格式的数据分析方法,难以满足目前在轨的多颗空间科学卫星数据处理系统在正确性和时效性方面的要求。针对空间科学卫星探测数据处理特点,提出了一种空间科学数据快速处理方法,设计两层联合索引结构,将空间科学大数据处理问题转化为索引表和源包数据单元的处理问题,提高了数据处理效率;采用科学工作流技术设计了数据驱动和业务驱动协同的处理框架,支持多样化的空间科学卫星数据处理流程,各类载荷数据处理任务并行调度。实验结果表明,这种方法处理速度可扩展,内存使用较少,已应用于空间科学卫星地面系统中,取得了良好的效果。     

微型计算机获得大的处理能力的技巧和方法

目前,微型计算机的应用已逐渐深入到仪器仪表、测量、环保、工业控制、数据处理、科学计算、图象信息处理。计算机辅助设计和人工智能等领域中去,这一新技术的应用已经产生了明显的经济效益和社会效益。仪器仪表的应用,往往配上一个微型计算机数据处理系统。数值数据处理,目前广泛采用微型计算机IBM PC/XT及其兼容机,但常用语言(BASIC、FORTRAN、PASCAL)进行的处理一直局限在小数据量、低效率水平,机器软、硬件所具有的功能与潜力缺乏充分的开发和利用。事实上,带有丰富程序系统的XT是强有力而方便的数值数据处理工具,它有许多功能为进行大数据量、大程序、较高效率的处理提供了可能。一般来说,大量数值数据处理有下面几个     

Oracle 10g对ANSI SQL 2003的支持——Oracle 10g系列专栏（四）

在关系型数据库领域中,“结构化查询语言”(SQL,Structure Query Language)是目前最广为使用的数据处理语言,最新的 SQL 2003标准定义了更完善与先进的数据处理能力,本文将简介 SQL 2003标准的重要特性,以及 Oracle 数据库如何提供相对应的支持。     

用C语言开发FoxBASE的图形功能

FoxBASE~ 与其他一些高级语言相比,在绘图功能上有着明显的不足。为此,在进行数据处理时,我们可以借助一些图形处理功能强的高级语言,如C语言     

最小二乘法直线拟合数据处理的VB程序设计

利用Visual Basic语言实现对数据的最小二乘法处理,使数据处理非常方便且可靠性高,避免了大量的计算过程,保证数据处理的质量和效果.     

Hadoop在人员定位软件系统中的应用研究

针对现有人员定位系统难以满足大型煤矿大数据量访问需求的问题,提出将Hadoop应用于人员定位软件系统中,利用并行计算模型MapReduce和非关系型数据库HBase实现人员定位数据的并行化访问。Hadoop的应用显著提升了人员定位软件系统的数据处理性能、实时性和可扩展性。     

基于Petri网的飞行数据智能处理

现有的飞行数据处理专家系统多以产生式规则而构建,随之带来的问题是当规则之间存在多层嵌套的复杂逻辑关系时,知识表达不易完备并极易导致推理错误.为此,以识别飞机起飞状态为例,深入研究了基于Petri网的飞行数据智能处理的知识表示和推理方法,并采用Visual C 语言编制了一种实用的飞行数据快速处理专家系统.对多架次实际飞行数据的处理结果表明,基于Petri网的飞行数据智能处理方法能很好地满足飞行数据处理准确性和快速性的要求.该文对研究飞行数据的并行智能处理方法有一定的参考价值.     

大屏幕显示系统的软件设计

本文介绍在ＰＣ机的管理下多个大屏幕ＬＥＤ显示系统的软件设计方法．着重介绍ＰＣ机用Ｃ语言编写的“显示窗口设定”程序和由专用控制机（ＰＣＭ）控制的动态扫描显示及不同显示方式的数据处理及传送的程序设计框图。该系统的软硬件设计也可用于实时的大数据量处理的工业控制及加工系统中；是一种快速数据处理及控制的典型系统。