工业大数据分析技术与轮胎销售数据预测

工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业大数据计算架构、大数据带来的信息安全等三方面论述工业大数据面临的挑战与潜在价值。探讨了工业大数据分析与挖掘方法,提出了工业大数据平台的计算架构与大数据处理平台,构建轮胎企业大数据资源中心、大数据分析与决策应用系统。从销售数据分析和宏观数据趋势两个层面进行轮胎销售大数据分析与预测。采用多个不同领域的销售数据源来解决销售预测历史数据特征空间稀疏的问题,使用LASSO（The Least Absolute Shrinkage and Selectionator Operator）方法的多任务学习方法来解决高维样本空间的缺点,实验数据验证能够提升轮胎销售预测的准确率。     

大数据技术在智慧机场领域的应用研究

随着信息技术的发展,大数据技术在公共服务中的交通、医疗、教育、预测服务等领域得到广泛应用。本文从大数据存储、挖掘、分析和应用等几个角度重点介绍了机场大数据分析平台的构建方法,在机场转型升级方面提供了信息整合及数据分析模式的创新,以大数据技术在智慧机场领域的应用为研究内容,通过多个案例讨论大数据技术在智慧机场中的应用,从而加深人们对智慧机场的认识。     

国外电力企业大数据需求侧应用分析

针对大数据技术的研究和实际应用,总结了国外企业大数据技术的实际应用现状。在国外企业大数据需求侧管理应用中,介绍了法国电力公司、美国巴尔的摩燃气电力公司、美国南加州爱迪生电力公司和德国意昂电力公司四大能源企业大数据技术的应用主题和管理模式。通过上述介绍,在数据平台建设、数据管理和数据分析应用三个方面总结了各类大数据应用的启示,即集中建设统一大数据平台,并采用云部署方式是企业目前大数据平台建设的主流方式;统一数据标准规范有利于数据共享与数据管控,实现数据资源价值最大化;大数据分析应用有两个特点：一是大数据分析应用应紧紧围绕业务需求,以专业级应用为重心,配备充足的人力资源,准确聚焦业务痛点,快速解决业务实际问题。二是企业应结合业务特点和发展要求开展基础技术和基础应用方面的研究,为专业级分析应用提供服务和支撑。     

水利大数据建设思路探讨

随着信息化技术的不断演进和发展,"互联网+"、大数据、云计算、物联网等先进信息技术正成为水利信息化发展的新引擎和新动力。从水利大数据体系建设、分析平台搭建和应用方向3个方面探讨大数据技术在水利管理领域中的应用,提出水利大数据体系建设需要整合的内外部及互联网数据、利用主流大数据组件搭建大数据分析平台的方法、结合水利管理业务进行大数据分析场景设计的思路,为水利大数据分析提供数据体系、分析平台、水利业务应用等层面的建设思路。     

核电企业面向开放架构的大数据平台的研究与应用

本文对核电企业建设大数据平台的背景、建设目标以及预期收益进行分析,阐述了大数据平台架构设计需要遵循的前瞻性、可扩展、开放性、高性能、稳定性、安全性、易维护、实用性、高可用、统一管理等原则。以面向开放为架构设计准则,采用分层架构,详细分析了数据产生层、数据交换层、数据计算层、数据存储层、数据服务层、数据应用层等各个层次所起到的作用以及各个层次所使用到的具体技术方案。文章以基于大数据与机器学习的信函智能分发功能以及基于实时计算的阀门缺陷分类统计这两个案例为例,阐述了大数据技术平台在核电企业实际业务中的应用场景,介绍了各自的详细技术架构和应用效果,说明了大数据技术平台的应用对核电企业所带来的变化与业务收益。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

架构大数据:挑战、现状与展望

大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点.为了设计适合大数据分析的数据仓库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳,指出了各自的优势及不足,同时也对各个方向的研究现状及作者在大数据分析方面的...     

智慧水利大数据基础体系架构和标准体系研究

为解决水利大数据概念内涵不清晰,体系架构不统一,标准规范不完善,应用目标不明确等问题,将大数据理论技术与水利行业特点相结合开展水利大数据理论框架的研究。在充分研究调研大数据应用现状基础上,解析水利大数据的体量巨大、复杂多样、新老结合、价值很高、模糊很大、交互性、效能性和共情性等内涵特征;从数据源、管理、计算和应用等4个层面提出适用于智慧水利建设的水利大数据基础体系架构,并从功能、技术、部署角度进行阐述;设计水利大数据实时与离线分析场景的应用框架,用于支撑智慧水利环境下的水利大数据分析和决策;提出水利大数据相关管理规范和应用标准体系框架;总结水资源、水环境水生态、水灾害、水工程、水监督、水行政、水公共服务等水利大数据的应用场景。研究成果符合水利行业实际情况,可以被借鉴用来指导水利大数据的研究和应用工作。     

智能配电网大数据典型应用场景研究

随着配电网自动化、信息化和智能化水平的逐步提升,海量异构、多态数据可在智能配电网中发挥巨大价值,如何应用这些数据,既是机遇也是挑战。首先总结了智能配电网大数据来源及特征,既包括电网内部数据,也包括社会经济等外部数据,并阐述了智能配电网中大数据挖掘和分析应用的方法,实现数据的清洗转换、分析处理和大数据应用,然后详细介绍了智能配电大数据分析应用平台,包括总体架构和信息安全防护体系,最后基于平台,结合湖南公司的业务需求,对负荷预测、故障综合研判、配网运行状态评估与预判等典型应用场景开展研究和实际应用。研究和应用结果表明,运用大数据技术充分挖掘和分析智能配电网数据的特征和关联关系,可有效提升配电网精益化管理水平。     

基于互联网大数据的招聘数据智能分析平台的设计与实现

针对目前互联网招聘市场的兴起,大数据分析可以有效的帮助用户了解目前最热门的职业以及与职业相关的信息,提出了利用Hadoop-SpringMVC-Vue前后端分离的技术架构,进行技术方案的设计。本文首先分析了互联网大数据的招聘数据智能分析平台的需求;其次应用Hadoop集群搭建大数据平台,SpringMVC框架设计系统的架构,Vue框架设计项目前端;最后介绍了系统的实现。SpringMVC框架能简化互联网大数据的招聘数据智能分析平台的开发,可以有效的降低各层之间的耦合度,提高系统的可维护性。     

基于私有云和物理机的混合型大数据平台设计及实现

大数据分析技术的广泛应用离不开大数据平台的支撑,构建大数据平台已经是很多企业和机构的重要需求。构建大数据平台需要复杂的系统性的技术,特别是需要考虑系统性能和可扩展性两方面需求。随着数据体量不断增大、用户需求不断增多,规划时的数据平台规模很可能不能满足不断变化的需求。因此,设计了一种混合的大数据平台架构:混合使用物理服务器和私有云云主机的大数据平台。这样就兼顾了性能和可扩展性:由于物理服务器性能一般要高于云上的虚拟机,所以构建在物理服务器上的大数据平台,性能一般要好于构建在私有云上大数据平台;从私有云上启动云服务器非常方便、快捷,所以大数据平台的计算和存储结点可以动态弹性地扩容到私有云上,从而保证高峰期的时候大数据平台仍然可以有充足的处理能力。在生产环境实现了这种混合型设计,在生产环境中的测试也表明了这种设计的有效性。     

大数据分析中的计算智能研究现状与展望

随着产业界和科学界数据量的爆炸式增长,大数据技术和应用吸引了众多的关注.如何分析大数据,充分挖掘大数据的潜在价值,成为需要深入探讨的科学问题.计算智能是科学研究和工程实践中解决复杂问题的有效手段,是人工智能和信息科学的重要研究方向,应用计算智能方法进行大数据分析具有巨大的潜力.对大数据分析中的计算智能方法进行综述,结合大数据的特征,讨论了大数据分析中计算智能研究存在的问题和进一步的研究方向,阐述了数据源共享问题,并建议利用以天文学为代表的数据密集型基础科研领域的数据开展大数据分析研究.     

基于电力营销大数据的数据融合共享平台研究与应用

随着国家电网公司基于大数据、云计算等项目的逐渐增多,国网某省电力公司全业务海量数据激增,导致现有电力营销存在电力数据缺乏统一部署系统、数据共享难度较大、数据指标逻辑规则不统一等问题。集中接入并整合电力各渠道的账户数据和客户数据,结合大数据技术研究电力营销大数据融合共享平台的建设与应用,集中接入和整合电网各渠道的账户数据和客户数据,开展电力客户标签快速搜索及数据驱动营销业务分析等场景,为电力企业运营平台及全景大屏展示提供支持。     

生物医疗健康大数据应用支撑平台与关键技术

随着生物信息学的不断发展,生物医学领域积累了大量的数据,大数据已经贯穿基础研究、临床诊断、医药开发、健康管理等生物医学领域的各个环节。如何有效存储、管理、分析这些海量数据面临严峻的而挑战。基于超级计算机的计算分析和存储能力,在生物医学大数据处理的异构融合架构,面向生物医学大数据的层次式存储系统,生物医学大数据处理的异构并行计算和多源数据的汇聚机制与分析方法,突破生物医学大数据的汇聚、存储、分析等方面的关键技术,构建一个计算、分析处理和存储融合平台,以满足多种类型生物医学大数据应用的不同需求。     

学习分析技术在大数据环境中的应用

学习分析是大数据在教育应用中的焦点,本文对学习分析的核心环节进行技术剖析,梳理主要的学习分析工具,以实证研究的方式,从课程建设者、教学管理者和辅导教师这3种不同用户视角展示学习分析技术的应用过程。研究以某课程平台的学习行为数据作为研究样本,应用统计、可视化、聚类、关联规则等方法,采用Excel,SPSS,Weka等工具,分析课程模块访问频次,了解不同教学组对学生登录周数的影响,刻画学生的分类特征,发现隐含的内在规律。研究表明,学习分析技术充分发挥了教育大数据的价值,使数据成为教学干预、实施决策的重要依据。     

Dynamic data auditing scheme for big data storage

When users store data in big data platforms,the integrity of outsourced data is a major concern for data owners due to the lack of direct control over the data.However,the existing remote data auditing schemes for big data platforms are only applicable to static data.In order to verify the integrity of dynamic data in a Hadoop big data platform,we presents a dynamic auditing scheme meeting the special requirement of Hadoop.Concretely,a new data structure,namely Data Block Index Table,is designed to support dynamic data operations on HDFS(Hadoop distributed file system),including appending,inserting,deleting,and modifying.Then combined with the MapReduce framework,a dynamic auditing algorithm is designed to audit the data on HDFS concurrently.Analysis shows that the proposed scheme is secure enough to resist forge attack,replace attack and replay attack on big data platform.It is also efficient in both computation and communication.     

大数据下的典型机器学习平台综述

由于大数据海量、复杂多样、变化快,传统的机器学习平台已不再适用,因此,设计一个高效的、通用的大数据机器学习平台成为目前的研究热点。通过介绍和分析机器学习算法的特点以及大规模机器学习的数据和模型并行化,引出常见的并行计算模型。简单介绍了整体同步并行模型（BSP）、SSP并行计算模型以及BSP、SSP模型与AP模型的区别,主要介绍了基于这些并行模型的典型的机器学习平台和这些平台的优缺点,并指出各个平台最适合处理何种大数据问题。最后从采用的抽象数据结构、并行计算模型、容错机制等方面对典型的机器学习平台进行了总结,并提出一些建议和展望。     

基于Spring MVC的大数据交易集市平台

传统的大数据交易集市以促成大数据交易为主, 类似普通商品交易平台, 提供的主要功能偏重于数据目录管理、交易过程的事务管理. 这种方式存在诸多弊端, 除公开数据外, 各数据所有者考虑到数据安全、隐私或数据被滥用, 或分享数据损害自身竞争优势, 仍对数据交换持谨慎态度, 同时各企业对不同行业、多领域存在的数据了解有限, 制...     

Big Data Analytics Services for Enhancing Business Intelligence

This article examines how to use big data analytics services to enhance business intelligence (BI). More specifically, this article proposes an ontology of big data analytics and presents a big data analytics service-oriented architecture (BASOA), and then applies BASOA to BI, where our surveyed data analysis shows that the proposed BASOA is viable for enhancing BI and enterprise information systems. This article also explores temporality, expectability, and relativity as the characteristics of intelligence in BI. These characteristics are what customers and decision makers expect from BI in terms of systems, products, and services of organizations. The proposed approach in this article might facilitate the research and development of business analytics, big data analytics, and BI as well as big data science and big data computing.