电力企业的非结构化数据检索研究

电网公司多年来建设了很多业务系统,各业务系统相互孤立应用.随着企业信息化建设的深入,业务系统中数据特别是非结构化数据的数据量急剧增长,人员查找数据信息极为不便.建设面向整个电网公司的分布式非结构化数据检索平台,该平台在Linux计算机集群上部署Hadoop开发框架以及Solr分布式全文检索系统,将各业务系统中的非结构化数据进行集中式的存储、管理,并且提供统一的搜索服务,使得企业相关人员能够高效、便捷地检索出所需的数据.实现知识服务无处不在,为员工工作提供帮助,为企业提供决策支持.     

国外电力企业大数据需求侧应用分析

针对大数据技术的研究和实际应用,总结了国外企业大数据技术的实际应用现状。在国外企业大数据需求侧管理应用中,介绍了法国电力公司、美国巴尔的摩燃气电力公司、美国南加州爱迪生电力公司和德国意昂电力公司四大能源企业大数据技术的应用主题和管理模式。通过上述介绍,在数据平台建设、数据管理和数据分析应用三个方面总结了各类大数据应用的启示,即集中建设统一大数据平台,并采用云部署方式是企业目前大数据平台建设的主流方式;统一数据标准规范有利于数据共享与数据管控,实现数据资源价值最大化;大数据分析应用有两个特点：一是大数据分析应用应紧紧围绕业务需求,以专业级应用为重心,配备充足的人力资源,准确聚焦业务痛点,快速解决业务实际问题。二是企业应结合业务特点和发展要求开展基础技术和基础应用方面的研究,为专业级分析应用提供服务和支撑。     

基于电力企业大数据环境下的数据治理研究

随着大数据技术的不断成熟,大数据环境下数据治理工作对企业数据资产管理提出更高的要求。大数据时代,数据即为资产,且数据呈现出新的特点,即需要处理的数据量更大,需要处理的数据种类更多,数据产生和变化的速度更快。电网大数据具有多样性、一源共享、多源多标准、业务连动性等特点,如何针对全局数据的可用性、完整性、安全性和可用性进行全面管理,利用电网海量生产、运行数据从而产生实际的应用价值并且使得结构化和非结构化的信息价值最大化,已成为迫切需要解决的问题。本文针对数据分析问题,设计并实现一种完善的大数据调度管理平台,来满足可扩展的、分布式的、支持异构分析工具的、面向服务的大数据的要求,加快数据分析速度,为企业管理提供更好的服务。     

基于流形学习方法的大数据分析技术在检验检疫行业中应用探讨

在大数据时代背景下,数据分析技术广泛应用于提取海量数据中的有效信息。检验检疫行业形成了以CIQ2000综合业务管理系统为基础,以电子申报、电子监管、电子放行为主要内容的中国电子检验检疫建设格局,积累了大量来源不同、类型不同、时间周期不同、用途不同的结构化和非结构化数据。针对检验检疫业务数据的非线性特征,介绍了基于流形学习方法的大数据分析技术,探讨了其在检验检疫业务中应用的可能性。     

备份归档新纪元 ——昆腾第三代数据保护解决方案

10月21日,昆腾公司在备份归档新纪元亚太区活动上,正式发布第三代数据保护解决方案,助力用户应对海量数据和非结构化数据存储和保护带来的挑战,深度挖掘企业数据新价值,以期赋能企业业务发展。毋庸置疑,数据是企业不可或缺的资产,也是企业发展的核心元素之一。单纯依靠人力、技术、资金这三个传统的要素,已经不足以支撑业务发展。大数据、云计算、社交、移动、BYOD等趋势兴起,数据爆炸性的增长,以及非结构化数据存储与保护的需求为企业IT带来了巨大的压力。     

大数据技术在协同场景监控中的应用

跨企业信息集成（协同场景监控平台）作为大数据技术在协同场景监控中的创新应用,是企业对内部信息系统协同业务处理的监控中心。该平台整合海南电网公司内部多个信息系统中的海量协同数据,利用大数据技术进行海量数据的采集、存储、处理和展现,实现跨部门、跨业务域的数据资源流动,同时通过大数据分析的结果设计协同监控指标,快速定位各信息系统业务协同中出现的异常情况,辅助公司各级管理人员了解协同问题整体情况,跟进协同问题闭环处理过程,平台结合实际业务需求,设计开发一系列实用功能,利用平台可智能识别并自动推送的相关协同问题和解决方案,利用平台大数据可视化工具可将数据分析结果以丰富的计算机图形直观地进行展示,有效地提高协同问题解决效率,提升企业精益化管理水平。     

基于非结构化数据的语义建模及优化

非结构化数据是大型企业的宝贵数据资产,其基本特征是数据格式多样、数据存储分散、数据总量大、增长速度快,蕴含有提升企业管理水平的大量重要信息.非结构化数据的统一存储、集中管理与深化应用是当今大型企业信息化建设的重要方向之一.文章从非结构化数据和结构化数据的特点、可行性分析,以及对非结构化数据的重要模块语义分析建模及其优化从而高校提炼出结构化信息几个方面来讲述非结构数据的特点.从而为企业解决非结构化数据的集中存储、有效利用等技术难题,提高企业的管理.     

基于分级存储环境的数据即时应用产品

目前很多大型企业的核心业务采用二级部署模式,此模式下总部对全公司范围内业务数据进行全面即时统计分析时会存在数据量大、存储分散、需求变化响应不及时以及手工统计填报等问题.基于以上问题,设计了一种基于分级存储环境的多维数据分析软件.该产品能够让用户从不同视角分析业务数据,快速形成满足业务工作需要的数据视图,最后通过报表的形式进行展示.该产品已成功应用于国家电网公司,具有一定的经济效益和理论价值.     

HP欲打造大数据“港湾”

大数据市场的火热引得众多国际IT巨头纷纷出手。过去一两年,包括IBM、甲骨文、SAP等在内,都在大数据领域推出了重量级产品。近日,HP公司也对其旗下与大数据相关的产品进行了组合,并推出了大数据平台HAVEn。HAVEn这一平台包含了HP的多款产品：以HadooP为代表的非结构化数据平台接口;HPIL年前重金收购的非结构化数据分析技术Autonomy;     

面向电力大数据的云审计研究与应用

随着电网数字化转型的深入开展,电力大数据时代悄然而至,也为电网企业的内部审计带来了挑战,大数据等新技术的推广应用为革新审计模式开拓了新的思路。在此背景下,基于信息融合技术和数据挖掘技术,本文搭建了具备“开放、融合、动态、智能”特点的面向电力大数据的云审计平台,实现电网全业务领域审计数据资源共享。借助该平台,审计人员可以及时、准确地获取数字化审计需要的全业务数据,实现跨系统、跨业务数据分析,并可通过自主搭建审计分析模型,捕获疑点,筛查线索。通过配网项目全过程监督评价模型实践应用,充分验证了云审计可以有效提升审计效率和质量,对防范和化解电网企业经营管理风险起到了积极的促进作用。     

企业一体化信息平台的研究与实现

提出企业信息化是软件系统与业务数据的统一体,数据是企业信息化的根本,必须重视业务数据的数据质量。从结构化与非结构化两类对业务数据进行剖析,通过“一平台、二中心、多应用”的信息化集成思路建立一体化应用集成平台,完成了对这两类数据的管理,搭建企业数据中心和企业知识中心,并为上层用户提供各种应用,从而提升企业信息化的实用化水平。提出改善数据质量的途径。     

基于数据湖的高校大数据管理体系和处理机制研究

针对高校本身业务系统带来的不同结构海量数据的存储管理和高效利用问题,通过比较新兴的数据湖技术和传统的数据仓库的区别,构建了基于数据湖的高校数据管理体系和数据处理机制,为高校的数据治理提供了数据层的存储支持,为使用机器学习方法进行大数据分析提供了非结构化数据来源。     

大数据将改变企业的交互方式

在管理从互联渠道收集的数据的同时,利用实时和后台分析工具,这种结合将改变企业与外界的交互方式。1.物联网和大数据分析这两项蕴含着无限可能的技术,必将带来新的机遇。工业设备、运行状况监控设备和移动支付系统中集成遥测的兴起,以及用于环境测量的大量新传感器的涌现,将为下一波业务相关分析提供必     

释放大数据的价值

很少有企业机构质疑大数据和分析能够为其带来的巨大价值,但最重要的问题在于,如何在可持续发展的基础上迅速释放大数据的价值,而无需巨额的前期投资。企业已无法应对非结构化数据和传感器数据在数量和种类上的迅速增长。因而,他们迫切需要增进大数据分析的专业知识和能力,以保持竞争力。     

备份归档新纪元 昆腾发布第三代数据保护解决方案

全球数据保护与横向扩展存储领域专家昆腾公司宣布备份归档新纪元亚太区活动近日在北京拉开帷幕,发布第三代数据保护解决方案,助力用户应对海量数据和非结构化数据存储和保护带来的挑战,深度挖掘企业数据新价值,以期赋能企业业务发展。毋庸置疑,数据是企业不可或缺的资产,也是企业发展的核心元素之一。     

2014 Teradata大数据峰会在沪隆重召开

<正>全球数据分析平台、应用和服务供应商Teradata天睿公司5月9日宣布,2014Teradata大数据峰会(亦称第14届TeradataUniverse)在上海浦东香格里拉酒店正式举办。随着更多企业快速部署大数据战略,Teradata天睿公司积极帮助中国企业快速转型成为数据驱动型企业。作为国内规模最大的大数据峰会,Teradata天睿公司携手全球领先数据驱动型企业,在峰会上分享了大数据分析技术的未来趋势和全球最佳"落地"实践。本届峰会为期2天,吸引了大中华     

基于云计算平台的电力全业务数据中心建设研究

针对电力全业务数据中心建设过程中,传统数据中心普遍存在的成本高、不易扩展、数据存储和处理等方面缺陷,提出基于云计算平台的电力全业务数据中心建设,将云计算平台框架与电力全业务数据框架结合,充分利用云平台的数据存储、数据计算、以及数据分析处理优势,对电网公司的全类型业务数据通过接入、采集和过滤,构造出全业务数据模型,进行数据分析挖掘,从而优化公司各类业务、管理及决策,有效实现电网公司全业务数据中心的建设和治理。     

大数据处理模式——系统结构,方法以及发展趋势

近年来,大数据处理的相关理论以及技术越来越受到工业界和学术界的重视.一方面,在科学研究过程中产生了大量的数据,对于数据的理解成为进行科学研究的一个重要手段.另一方面,随着信息技术的不断发展,企业在信息化过程中积累了大量的结构化和非结构化数据.企业管理与运营的这些数据已经成为企业的核心资产,深刻地影响着企业的业务模式,给企业决策、组织和业务流程带来显著的变化.因此,大数据处理的相关技术也受到工业界的极大关注.依据数据处理的时间特征,大数据处理模式可以分为"离线批处理式数据处理","查询式数据处理"以及"实时式数据处理"三种模式.本文从技术角度,总结了大数据处理的总体架构,并针对处理模式的不同,对大数据处理的不同层次进行展开讨论.大数据处理的基础是数据的存储,本文首先对大数据的存储展开一定的讨论,之后对上述三种模式展开叙述,使得读者能够对大数据系统的构建方面有一个初步的了解.     

面向烟草行业研发应用的大数据分析平台

烟草研发体系具有业务广泛、数据庞杂等特点,影响大数据分析技术在烟草研发领域的推广应用.构建面向烟草行业研发应用的大数据分析平台,遵循全局数据应用的整合思维,封装多源异构的烟草研发数据的采集与存储过程;采用应用场景驱动与数据分层融合策略,完成数据主题化规范化管理;设计并开发数据分析过程可视化编排器,简化数据资产价值挖掘过程.该平台能够让"非数据专家用户"更专注于烟草研发业务,有利于推动大数据分析技术在烟草研发体系中的应用.     

面向多源数据的可扩展主题建模分析框架

随着信息技术的不断发展和应用,大量信息系统积累了海量多源异构数据,这些数据中有很大一部分都是结构化数据,具有高维度、低质量、无标注等特点,难以进行特征提取与进一步的知识提炼。主题建模是文本处理和数据挖掘中的一个非常重要的方法,它是一种无监督学习算法,最初用于对无结构的自然语言文本进行建模,可以有效地从文本语义中提取主题信息,以进行特征提取和降维分析,然而主题建模技术尚不能很好应用在关系复杂的多源数据,尤其是结构化数据的处理中。提出了一个基于可扩展主题建模技术的针对结构化与非结构化多源数据分析框架,通过数据导入、数据分析、数据可视化三个步骤对多源数据进行基于主题建模技术的数据分析,并在此基础上实现了一个多源数据分析工具,最后通过两个数据集的实验证明了所提的多源数据分析框架的有效性。