核电企业面向开放架构的大数据平台的研究与应用

本文对核电企业建设大数据平台的背景、建设目标以及预期收益进行分析,阐述了大数据平台架构设计需要遵循的前瞻性、可扩展、开放性、高性能、稳定性、安全性、易维护、实用性、高可用、统一管理等原则。以面向开放为架构设计准则,采用分层架构,详细分析了数据产生层、数据交换层、数据计算层、数据存储层、数据服务层、数据应用层等各个层次所起到的作用以及各个层次所使用到的具体技术方案。文章以基于大数据与机器学习的信函智能分发功能以及基于实时计算的阀门缺陷分类统计这两个案例为例,阐述了大数据技术平台在核电企业实际业务中的应用场景,介绍了各自的详细技术架构和应用效果,说明了大数据技术平台的应用对核电企业所带来的变化与业务收益。     

基于互联网大数据的招聘数据智能分析平台的设计与实现

针对目前互联网招聘市场的兴起,大数据分析可以有效的帮助用户了解目前最热门的职业以及与职业相关的信息,提出了利用Hadoop-SpringMVC-Vue前后端分离的技术架构,进行技术方案的设计。本文首先分析了互联网大数据的招聘数据智能分析平台的需求;其次应用Hadoop集群搭建大数据平台,SpringMVC框架设计系统的架构,Vue框架设计项目前端;最后介绍了系统的实现。SpringMVC框架能简化互联网大数据的招聘数据智能分析平台的开发,可以有效的降低各层之间的耦合度,提高系统的可维护性。     

运维驾驶舱大数据平台关键技术研究

电网自动化调度业务繁多,若存在数据遗漏,数据突变等数据准确率问题很难通过人工发现.本文通过阐述运维大数据、云计算和智能电网之间的关联,提出了基于智能电网的海南运维驾驶舱大数据平台总体框架.该平台的总体框架分为五个层,分别是应用程序层、数据源层、数据调度处理层、数据集成存储层以及数据分析层.本文对基于大数据的集成管理技术、索引技术、分析技术和数据挖掘技术进行了深入的探索和研究,以实现自动化驾驶舱大数据关键技术的突破.     

智能配电网大数据典型应用场景研究

随着配电网自动化、信息化和智能化水平的逐步提升,海量异构、多态数据可在智能配电网中发挥巨大价值,如何应用这些数据,既是机遇也是挑战。首先总结了智能配电网大数据来源及特征,既包括电网内部数据,也包括社会经济等外部数据,并阐述了智能配电网中大数据挖掘和分析应用的方法,实现数据的清洗转换、分析处理和大数据应用,然后详细介绍了智能配电大数据分析应用平台,包括总体架构和信息安全防护体系,最后基于平台,结合湖南公司的业务需求,对负荷预测、故障综合研判、配网运行状态评估与预判等典型应用场景开展研究和实际应用。研究和应用结果表明,运用大数据技术充分挖掘和分析智能配电网数据的特征和关联关系,可有效提升配电网精益化管理水平。     

环境评估大数据管理平台初探及技术综述

随着软硬件成本的下降和相关技术的日趋成熟,传统的数据分析和管理方式已不能适应业务发展需求.由于环境保护监测和评估数据符合大数据的特征,因此利用大数据技术构建新的环境评估管理平台已成为可能.本文在通过对环境评估大数据管理平台三层架构以及物理实现方案的阐述,结合弹性扩展、流处理、数据湖、大规模并行处理、机器学习等技术的研究,尝试解决环境评估数据的高速、深入、智能处理问题,从而为业务管理提供更高效率的数据支撑.     

利用大数据检测智能电网异常的分层架构

重点研究了智能电网异常分析过程中的大数据分析功能的分层架构.通过对当前电网大数据的数据结构进行分析,同时分析了当前智能电网大数据系统的惯用分析方法,最终形成了4个智能电网大数据分析过程的分析分层架构.第一层直接层可以通过对单节点数据的分析找到单一设备的直接故障,第二层关联层可以通过对多个节点的关联性特征进行时域比较分析...     

基于交通大数据的智能信息服务平台

随着智能交通领域的迅速发展,日益增长的交通数据量已经达到TB甚至PB级别,智能交通领域也开始运用大数据技术对海量的行车数据进行深入的挖掘分析,向着构建一个综合性智能交通信息服务平台方向发展.本文提出了一种基于交通大数据的智能信息服务平台的总体设计方案,重点研究了系统的总体架构,应用架构和数据中心的设计等三个方面.通过测试,该平台可以很好的满足用户的前期需求,平台基于分层和分模块的设计思想可以很好的应对用户后期需求变更.     

健康大数据智能采集与挖掘系统平台的软件架构实践

健康大数据智能采集与挖掘系统平台即能满足医学院校实训室建设需求,又能满足未来的社会化需求,为学生提供一个创新创业平台。文中从平台功能需求出发,利用先进的大数据云计算技术,采用合理的层次理论将平台分割成多层,本文主要介绍了该平台架构层次。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

基于大数据的电商数据信息智能推荐服务及应用研究

随着大数据技术、5G移动网络、物联网和人工智能技术的快速发展,移动互联网和智能手机的普及,数据信息出现了过载现象,如何将数据信息有效地实现智能推荐已成为当前人工智能和大数据领域研究的重点。通过对大数据和电商数据信息智能推荐以及电子商务的概念进行梳理,给出了基于大数据的电商数据信息智能推荐服务及应用系统架构,使大数据在电商领域的应用价值得到了充分体现,对电子商务的进一步发展起到了推动作用。     

数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

平行数据:从大数据到数据智能*

为了解决实际问题,大数据分析处理系统需要获取数据,然而实际场景中收集到的实际数据通常不完备.另外,大多数问题的解决方案通常是由问题引导或者仅仅进行数据分析,运行参数调整和设定带有较大的盲目性,难以达到应用的智能性.为此,文中提出平行数据的概念和框架,根据实际数据经计算实验产生真正的虚拟大数据,结合默顿定律,以期待的解决方案与问题进行广义对偶,引导大数据聚焦到实际问题.实际数据与虚拟数据动态互动,平行演化,形成一个虚实相生、数据动态变化的过程,最终使数据具备智能,进而解决未知的问题.平行数据不但是一种数据表示形式,更是一种数据演化机制与方式,其特色是虚实互动,所有数据的动力学轨迹构成了数据动力学系统.平行数据为数据处理、表示、挖掘和应用提供了一个新的范式.     

基于数据抽取器实现数据挖掘

通过定义ＳＯＬ数据挖掘抽取器,设计了数据挖掘算法和数据库管理系统的接口的框架体系。并通过一个常用的数据挖掘算法简单贝叶斯算法说明了这种标准的ＳＯＬ数据挖掘抽取器的适用性。     

数据处理中的数据交换问题

为有效地解决实际问题,可能要使不同语言进行混合编程,这样就涉及到数据的传递和不同类型的数据文件之间的转换,这里讨论几种常用数据交换问题。     

数据仓库和数据挖掘

Making a business decision using data from severaldifferent enterprise databases can be complicated. Data warehousesconsolidate data into a central repository and give you the OLAP toolsnecessary to retrieve data pertinent to the solution.DefinitionA data warehouse is used to consolidate this data into a central storeand to arrange it to make analysis easier, which means the data is lessnormalized than your traditional application database. Data is typicallytransferred in batch to the centra…     

数据仓库中的数据提取

数据仓库的思想和工具在企业中得到了越来越广泛的体现和应用,在当前典型的数据仓库应用中,数据仓库的填充或者说数据的提取,转换和加载是设计人员遇到的最大挑战之一,预计在数据仓库的设计过程中,80％的努力都将用于此过程。该文从工程角度介绍了数据提取、转换和加载的过程和实现方式,并介绍了4种可灵活应用的数据提取方法。     

数据仓库中的数据集成转换

本文首先提出了数据仓库中数据集成的一个总体框架，然后列举了在数据转换中可能遇到的主要问题，最后根据这些转换规则，给出了一种描述性脚本语言来描述这些规则，继而给相应的处理模块解析处理。     

数据仓库与数据挖掘技术

数据挖掘是一新兴的技术,近年对其研究正在蓬勃开展。本文阐述了数据仓库及数据挖掘的相关概念,做了相应的分析,同时共同探讨了两者共同发展的关系,并对数据仓库与挖掘技术结合应用的发展做了展望。     

数据仓库与数据挖掘技术

数据挖掘是一新兴的技术,近年对其研究正在蓬勃开展.本文阐述了数据仓库及数据挖掘的相关概念,做了相应的分析,同时共同探讨了两者共同发展的关系,并对数据仓库与挖掘技术结合应用的发展做了展望.     

数据网格的数据管理策略

数据网格的目标是使数据密集型的高性能计算和数据密集型的数据共享事务处理及科学研究成为可能，数据网格主要包括数据存储系统和数据管理系统两大部分．数据管理系统对所存储的数据进行管理，主要包括数据的传送和复制等操作．文章对数据管理策略进行了详细的分类评述并且讨论了目前数据管理系统中的某些局限性和进一步的工作．