基于大数据的辅机设备振动噪声监测分析平台

分析了对辅机设备进行状态监测和分析研究的必要性,创新地将大数据技术应用于该领域,解决了该研究领域中的关键技术难题,设计并实现了一个辅机设备振动噪声大数据监测分析研究平台。平台采用流式数据实时分析技术和实时批处理技术相结合的方式,采用Storm+Hadoop大数据处理架构。一方面,利用Storm以流计算的方式,对噪音、振动、电流、电压、谐波等海量原始数据进行快速计算和处理,并将处理后的数据传输至实时监测中心;另一方面,采用批计算技术,将海量原始数据存储到基于Hadoop的分布式文件系统中,建立大数据库,再采用基于MapReduce的大数据分析技术对海量数据进行数据挖掘和建模。该平台的研究不仅实现了对辅机设备的运行管理的监测和分析,还可以作为辅机设备振动噪声大数据建模和研究的基础。     

基于Hadoop的生物质能源工程数据资源管理平台

针对我国生物质能源工程信息化程度比较低的现状,结合当今流行的大数据处理技术,基于Hadoop开源框架设计并且实现了生物质能源工程数据资源管理平台.介绍了平台的主要功能模块,包括生物质能源工程的管理、监测指标的管理、实时监测、反欺诈模型的管理、统计分析等.对平台建设中的关键技术包括数据获取、大数据存储、大数据处理、负载均衡等做了深入研究.旨在将物联网技术,互联网技术和大数据处理技术与生物质能源工程有机的结合起来,提高生物质能源工程的信息化水平,保障生产安全,优化工艺流程,实现效益最大化,为同类工程的建设提供理论和实践依据.     

Elasticsearch在车牌识别系统中的应用研究

为了提升车牌识别系统中海量识别数据与涉案车辆、交通违法等信息的实时分析、计算与检索性能,在对传统技术分析的基础上,针对现有系统中无法实现大数据分析与检索的问题,提出了利用Elasticsearch大数据实时检索技术构建交通大数据处理平台,在此架构上对交通识别数据进行实际测试。实验结果表明,所用技术能够有效解决目前的交通大数据检索和分析等关键问题,各项指标都满足了用户需求。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

顺风耳

SAP利用大数据处理能力,延伸实时数据平台2012年5月24日,SAp实时数据管理战略沟通会在北京召开。SAP实时数据,平台基于其旗舰产品SAp HANA平台,     

大数据技术在网络威胁情报系统的应用研究

本文结合威胁情报系统的设计、开发和运维经验,系统研究了流式数据处理、交互式数据分析、数据湖以及分布式数据处理等大数据技术在威胁情报系统中的应用.分析和总结了在威胁情报系统建设场景中,大数据技术的选择、大数据产品的选型以及大数据平台的设计,为基于大数据技术的应用系统的设计和开发提供参考.     

民机运行大数据分析平台整体架构研究

针对日益增长的民用航空巨量数据,借助大数据存储和分析技术,构建民用航空运行大数据分析平台,可更有效支撑快速响应、航材管理、健康管理等各项民机运行业务。结合目前国内外民用航空领域大数据技术的应用现状,梳理民机运行的业务模式及数据类别,设计并构建民用航空大数据分析平台的整体架构。根据目前民用航空运行业务需求,对民用航空大数据平台的硬件平台的管理节点、数据节点的计算能力等功能性能进行设计,并对民用航空大数据平台的轻量级计算、离线数据计算、实时在线数据处理分析等计算需求进行研究,针对不同的计算方式,提供具体解决途径。最后对民机运行大数据分析平台的业务应用集成及接口技术进行研究。分析表明研究成果有助于提高我国民机运行效率,为民用飞机运行大数据平台提供支撑。     

大数据查询综述

大数据具有传统数据所不具有的数量大、种类多、速度快、真实性等特点,传统的数据查询技术满足不了日益增长的大数据查询需求,大数据查询技术应运而生并迅速发展。从大数据查询的角度出发,着重分析大数据存储技术、大数据处理平台以及大数据查询引擎等。分别对比介绍传统关系型数据库、NoSQL、NewSQL和它们在大数据查询处理上的应用,介绍当前流行的大数据处理平台以及在这些平台上运行的大数据查询引擎,对其优缺点进行了综合阐述。      

大数据处理模式——系统结构,方法以及发展趋势

近年来,大数据处理的相关理论以及技术越来越受到工业界和学术界的重视.一方面,在科学研究过程中产生了大量的数据,对于数据的理解成为进行科学研究的一个重要手段.另一方面,随着信息技术的不断发展,企业在信息化过程中积累了大量的结构化和非结构化数据.企业管理与运营的这些数据已经成为企业的核心资产,深刻地影响着企业的业务模式,给企业决策、组织和业务流程带来显著的变化.因此,大数据处理的相关技术也受到工业界的极大关注.依据数据处理的时间特征,大数据处理模式可以分为"离线批处理式数据处理","查询式数据处理"以及"实时式数据处理"三种模式.本文从技术角度,总结了大数据处理的总体架构,并针对处理模式的不同,对大数据处理的不同层次进行展开讨论.大数据处理的基础是数据的存储,本文首先对大数据的存储展开一定的讨论,之后对上述三种模式展开叙述,使得读者能够对大数据系统的构建方面有一个初步的了解.     

一种基于大数据的可视化数据治理平台的研究

博物馆和科技馆等场馆的系统数据量非常巨大,系统需要的数据处理都是按照固定的算法和程序进行开发的,扩展性和灵活性差,不能满足用户灵活多变的需求且对业务处理人员不是很友好。本文研究一种基于大数据的可视化数据治理平台通过综合运用大数据及互联网等新技术,构建可视化的大数据治理平台,平台提供数据采集能力组件进行数据采集,数据处理组件进行数据处理,而且用户还可以自定义选择具体算法进行大数据计算处理,最终进行数据资源输出。系统通过搭建模块化架构,为用户提供可视化数据处理能力组件,帮助用户完成数据采集和数据计算处理等服务,用户可以通过平台对数据处理进行灵活定制化选择,保证灵活性的处理数据来满足业务需求。     

基于微服务的石油大数据挖掘平台

为推进大数据技术在油田领域的快速融合和应用，提出一种覆盖大数据处理整个生命周期的多功能大数据处理平台。平台融合各类大数据分析框架和机器学习框架，设计面向油田领域，能够支持实时和离线处理的数据挖掘功能。基于Docker容器封装各类计算框架和算法服务，并基于Kubernetes框架完成容器的编排与调度。在系统的架构方式上采用基于微服务的架构方式，将不同技术栈的应用独立分解为单个服务模块，以此来保证业务系统服务的可靠性、可扩展性。这使得企业数据分析人员能够专注于业务数据分析问题，而不必花费大量时间学习框架部署和其他大型数据挖掘技术细节。     

基于私有云和物理机的混合型大数据平台设计及实现

大数据分析技术的广泛应用离不开大数据平台的支撑,构建大数据平台已经是很多企业和机构的重要需求。构建大数据平台需要复杂的系统性的技术,特别是需要考虑系统性能和可扩展性两方面需求。随着数据体量不断增大、用户需求不断增多,规划时的数据平台规模很可能不能满足不断变化的需求。因此,设计了一种混合的大数据平台架构:混合使用物理服务器和私有云云主机的大数据平台。这样就兼顾了性能和可扩展性:由于物理服务器性能一般要高于云上的虚拟机,所以构建在物理服务器上的大数据平台,性能一般要好于构建在私有云上大数据平台;从私有云上启动云服务器非常方便、快捷,所以大数据平台的计算和存储结点可以动态弹性地扩容到私有云上,从而保证高峰期的时候大数据平台仍然可以有充足的处理能力。在生产环境实现了这种混合型设计,在生产环境中的测试也表明了这种设计的有效性。     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

基于大数据平台的水轮发电机组故障诊断系统

水轮发电机组是水电站的关键设备,它的运行状况直接关系到水电站的安全生产。目前对水轮发电机组运行状况的掌握大都通过装设的状态监测系统运行数据的分析比对和计划检修相结合的方式,但往往都是故障已经发生后才能予以发现,不能提前对设备运行工况进行预判。本文详细介绍了一种基于大数据平台的水轮发电机组故障诊断系统,该系统主要由数据处理平台、模型算法平台、可视化展示平台三部分组成,是一种基于大数据平台和互联网技术的典型应用。其主要通过挖掘水电厂现有计算机监控系统、状态监测系统等信息系统的实时及历史数据,再经过一系列关联算法提取这些数据中蕴含的丰富的价值信息来实现对机组的运行状况监视、健康评价、趋势预警、故障诊断、检修指导等。     

高校一卡通数据监控平台建设与研究

高校一卡通是智慧校园建设工程的重要组成部分。一卡通集成了高校学生的信息服务、身份识别、金融服务、消费信息等重要数据。如何对一卡通数据监控是高校后勤部门进行科学化管理关注的重点。本文对高校一卡通数据监控平台进行研究,利用移动互联网技术实现对一卡通金融消费数据、身份识别数据、图书借阅数据进行实时监控和管理,为后勤部门日常管理提供数据支撑。一卡通数据监控平台利用Storm实时流处理计算框架对数据进行实时监控等。利用该平台能够有效提高后勤管理部门日常管理工作,同时作为数据共享中心为其他部门提供数据源。     

基于大数据技术的石油数字化平台设计

大数据技术成为驱动石油化工服务类企业数字化转型的有效手段,基于大数据技术的石油数字化工作平台建设是石油化工服务类企业的大数据应用实践,该技术整合了企业营销、生产、经营等多个板块的多种业务,串联了企业数据采集、存储、治理、挖掘、分析及应用的整个数据生命周期;从石油化工服务类企业数字化发展现状及遇到的问题出发,结合大数据技术的发展及优势,提出了基于大数据技术的石油化工服务类企业石油数字化工作平台建设方案,通过对大数据故障信息进行提取,应用DBN大数据学习算法模型实现石油全寿命周期管理的数据计算和处理;通过实验,文章研究的方法数据处理准确度大于90%。     

基于Spark Streaming的实时交通数据处理平台

交通大数据是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略规划和进行微观道路交通管理与控制的重要保障.针对于智能交通系统中数据产生快、实时性强、数据量大的特点,本文基于Spark Streaming和Apache Kafka的组合构建了一个实时交通数据处理平台,用于处理通过双基基站采集的数据,采用时间窗口机制从持续的Kafka分布式消息队列中获取数据,并按照规则将数据分类处理后保存到数据库.本文对平台的系统架构和内部结构进行了详细的介绍,并通过实验验证了系统的实时处理能力,完全可以在大规模高并发的数据流下进行应用.