基于Storm的大数据指标实时计算方法

大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时处理等部分构成,使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件,综合应用了数据库日志分析,流处理、内存计算等技术.本文详细论述了采用Storm技术的大数据指标实时计算方法的技术架构,实现方法及路径,同时给出了算法验证的过程和结果分析.     

基于启发式规则的流式日志事件提取方法

日志事件提取指将非结构化的日志消息解析为系统中对应的事件,是多数日志分析中必不可少的前置工作.传统的日志事件提取以批处理方法为主,需要等待所有日志数据到达再进行处理,实时性不佳.能够进行实时日志采集并处理的流处理方法逐渐成为主要研究方向,但已有的流处理方法在解析模型的构建方面存在缺陷,准确性不够高.针对上述问题,提出了...     

基于流处理技术的云计算平台监控方案的设计与实现

针对目前云计算平台监控手段实时性差的问题,提出一种基于大数据流处理技术的云计算平台实时监控方案。该方案采用实时计算系统Storm作为核心,使用iostat、mpstat等工具获取服务器性能信息,使用Flume和Libvirt获取全方位的日志信息以及云主机状态信息。获取到的信息以数据流的形式传至Storm,然后进行数据清洗、关键词匹配等实时分析。在模拟生产环境下对该方案进行测试,结果表明:该方案能够实现对大规模云计算平台进行实时监控,而且具有高可靠性、高扩展性的的优点,达到研究效果。     

高性能计算数据远程交互可视化系统研究

针对现有可视化服务平台用户接口简单、实时性差的问题,提出了一种新的远程交互可视化平台系统。基于多任务协同和并行计算构建远程可视化服务平台框架,应用远程可视化和实时交互技术实现客户端用户对远程服务器端大规模计算数据及可视化工具的实时交互操作,从而为异地用户提供具有实时交互功能的可视化环境。应用结果表明,平台操作简便、实时性好,能支持多种可视化工具对多种计算数据进行远程操作。     

RRDTool在铁路运维监控平台的应用

RRDTool监控数据存储技术结合Open-Falcon开源监控平台,可以实现针对铁路云数据中心下大规模实时监控数据的有效处理,提高运维生产效率。随着铁路的快速发展,铁路监控运维平台在处理大规模实时数据时所面对的任务也越来越艰巨。本文将以处理大规模实时监控数据为切入点,介绍RRDTool的基础概念与工作原理,简化大规模监控数据的存储、规整数据的格式,直观展示被监测对象随时间的变化趋势。同时结合Open-Falcon这一开源监控平台采集、存储和展示大规模实时数据,从而实现针对铁路云数据中心下大规模实时监控数据的有效处理,提高运维生产效率。     

基于 Elasticsearch 的实时集群日志采集和分析系统实现

传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息。     

基于Docker的大规模日志采集与分析系统

传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用Elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.     

基于SQL-on-Hadoop查询引擎的日志挖掘及其应用

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,海量数据的实时处理需求日益增多,传统的日志分析技术在处理海量数据时存在计算瓶颈。大数据时代下,随着开放式处理平台的发展,能够处理大规模且多样化数据的大数据处理系统应运而生。为了让原有的业务能够充分利用Hadoop的优势,本文首先研究了基于大数据技术的网络日志分析方法,构建了网络日志分析平台以实现万亿级日志采集、解析、存储和高效、灵活的查询与计算。对比分析了Hive、Impala和Spark SQL这3种具有代表性的SQL-on-Hadoop查询系统实例,并展示了这类系统的性能特点。采用TPC-H测试基准对它们的决策支持能力进行测试及评估,通过对实验数据的分析和解释得到了若干有益的结论。实现了海量日志数据计算与分析在证券领域的几种典型应用,为进一步的研究工作奠定了基础。     

基于Android车辆定位信息查询系统的设计与实现

研究目的是开发基于Android平台智能移动设备对车辆实时信息的查询和监控.车载终端采集数据并通过GPRS向定位服务平台传递车辆实时数据;服务平台根据GPS通信协议解析数据并存储;智能移动设备访问服务平台Servlet服务,获取车辆实时数据,并利用百度地图Android SDK在地图上标识,展示车辆的速度、方向、时间、位置等相关信息.实现了车辆定位、实时跟踪、轨迹回放等主要功能.     

基于云计算与物联网技术的港口物流综合服务平台架构研究

世界贸易量的不断攀升对港口物流及相关业务提出了新的发展要求。物联网技术在数据自动采集和位置全面感知方面有着天然的优势,云计算平台能够提供强大的资源利用与数据存储处理能力,SOA架构则可实现灵活的服务组合和系统构建。这3种技术在港口物流及相关业务中的综合应用能够满足港口物流在用户数量、用户需求、业务范围、业务复杂度方面不断扩大的需求,推动其从信息平台向服务平台升级。针对当前物流信息平台存在的不足,提出构建港口物流综合服务平台的完整架构,阐述了架构各层的组成及功能目标,详细研究了物联网技术、云计算技术和SOA架构在平台各层构建中发挥的作用。     

一种自动跟踪的智慧物流信息处理系统的设计

为了实现对物流货品的跟踪溯源、车辆的实时监控和物流信息的采集处理,设计以ARM微控制器为硬件核心,通过RFID技术记录物资的包装、仓储、运输等全过程,结合GPRS网络将采集到的物资信息传送至监控平台实现远程监控,用户可以登陆平台实时获取物流车辆的运输情况、地理位置、物资信息。测试结果表明,系统稳定可靠,能够实现物流的全程跟踪、实时监控、信息传送等功能。     

高校一卡通数据监控平台建设与研究

高校一卡通是智慧校园建设工程的重要组成部分。一卡通集成了高校学生的信息服务、身份识别、金融服务、消费信息等重要数据。如何对一卡通数据监控是高校后勤部门进行科学化管理关注的重点。本文对高校一卡通数据监控平台进行研究,利用移动互联网技术实现对一卡通金融消费数据、身份识别数据、图书借阅数据进行实时监控和管理,为后勤部门日常管理提供数据支撑。一卡通数据监控平台利用Storm实时流处理计算框架对数据进行实时监控等。利用该平台能够有效提高后勤管理部门日常管理工作,同时作为数据共享中心为其他部门提供数据源。     

Towards a framework for large-scale multimedia data storage and processing on Hadoop platform

Cloud computing techniques take the form of distributed computing by utilizing multiple computers to execute computing simultaneously on the service side. To process the increasing quantity of multimedia data, numerous large-scale multimedia data storage computing techniques in the cloud computing have been developed. Of all the techniques, Hadoop plays a key role in the cloud computing. Hadoop, a computing cluster formed by low-priced hardware, can conduct the parallel computing of petabytes of multimedia data. Hadoop features high-reliability, high-efficiency, and high-scalability. The numerous large-scale multimedia data computing techniques include not only the key core techniques, Hadoop and MapReduce, but also the data collection techniques, such as File Transfer Protocol and Flume. In addition, distributed system configuration allocation, automatic installation, and monitoring platform building and management techniques are all included. As a result, only with the integration of all the techniques, a reliable large-scale multimedia data platform can be offered. In this paper, we introduce how cloud computing can make a breakthrough by proposing a multimedia social network dataset on Hadoop platform and implementing a prototype version. Detailed specifications and design issues are discussed as well. An important finding of this article is that we can save more time if we conduct the multimedia social networking analysis using Cloud Hadoop Platform rather than using a single computer. The advantages of cloud computing over the traditional data processing practices are fully demonstrated in this article. The applicable framework designs and the tools available for the large-scale data processing are also proposed. We show the experimental multimedia data including data sizes and processing time.     

基于自主容器云平台的大数据日志采集系统

随着云计算、虚拟化、容器云等技术的应用以及国产自主可控的要求，越来越多的服务会部署在国产的服务器以及自主可控的容器云平台上。自主可控云平台上的服务在运行的过程中，需要获取日志数据，来进行一系列的监控、统计、分析以及预测工作。然而由于国产服务器的特殊性以及容器云平台的特殊性，传统的日志采集方式（包含实时采集和集中式采集）并不能够很好地适用于自主可控的容器云平台，为了提高服务的质量和性能并且保证日志数据的一定全面性，本文提出一种自适应的数据采集算法，能够根据服务器的负载自我调整日志数据采集发送量。当服务器负载较低的时候，提高数据采集和发送的数量，甚至是做到实时采集；当服务器负载较高时，降低对日志数据的采集和发送量，从而降低对服务器负载的压力，提高服务自身的质量和性能。最后通过理论和实验分析验证该数据采集算法在保证数据一定的全面性的同时，能有效缓解国产服务器的压力。     

基于Spark的分布式数字信号处理算法库设计

传统的基于DSP与FPGA的数字信号处理技术更加适用于实时信号处理,且受到数据规模和频率分辨率的限制,使得其不适于进行大规模数据下的离线式数据处理、分析与挖掘的应用.目前工业大数据分析平台可以采用Spark作为实时信号处理和离线信号处理加速的计算引擎,但该分析平台缺少适用于分布式并行计算引擎的数字信号处理等数学计算的解决方案.基于此,本文提出了基于Spark的分布式数字信号处理算法库,为面向分析的工业大数据应用场景提供支撑.本文介绍了该算法库的架构设计,并以FFT算法和DFT算法为例介绍了传统数字信号处理算法在Spark下的分布式实现,最后对算法库进行了正确性测试和性能分析.结果表明该算法库能够正确完成数字信号处理的功能,同时可以满足工业大数据分析平台对于大规模数据集进行数字信号处理的需求.     

大规模无线传感器网络数据收集与处理系统设计

数据收集与处理是无线传感器网络应用系统的重要组成部分.本文给出了一种集传感器数据实时收集、信息提取与存储、以及在线发布功能的系统设计方案,汇聚至Sink结点的传感数据由上位机收数模块采用独立线程进行批量收取、拆分、错误检测、翻译等处理后存入关系数据库,基于B/S模式提供了网络拓扑结构和多元时空数据的交互式可视化远程监测...     

基于Spark Streaming的实时交通数据处理平台

交通大数据是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略规划和进行微观道路交通管理与控制的重要保障.针对于智能交通系统中数据产生快、实时性强、数据量大的特点,本文基于Spark Streaming和Apache Kafka的组合构建了一个实时交通数据处理平台,用于处理通过双基基站采集的数据,采用时间窗口机制从持续的Kafka分布式消息队列中获取数据,并按照规则将数据分类处理后保存到数据库.本文对平台的系统架构和内部结构进行了详细的介绍,并通过实验验证了系统的实时处理能力,完全可以在大规模高并发的数据流下进行应用.