面向智能电网的数据资产管理系统设计与应用

随着智能电网的发展,电网在发电、输电、变电、配电、用电、调度等各环节积累海量数据。电网各专业领域开始越来越多的大数据应用。通过电网内部和外部的数据融合来促进智能电网大数据的应用和价值发现,在其过程中积累越来越多的电网内部和外部数据,实现这些多元异构数据管理、共享、服务等是当前大数据管理需要解决的重要问题。对智能电网数据特征和数据资产进行分析,深入研究数据管理理论。基于理论建立数据资产管理规范,制定管理策略,设计开发数据资产管理系统软件来进行数据资产全生命周期管理。该系统已在中国电科院上线应用,应用情况良好,为数据资产的管理和共享发挥重要作用。     

基于数据中台的数据资产管理体系

公司经过十多年的信息化建设,信息系统已全面覆盖企业经营、电网运行和客户服务等业务领域及各层级应用,为公司各项业务有效运转提供了有力支撑.但现今仍缺乏一套统一的企业级数据资产管理体系.为进一步提升数据在电网企业的价值,本文提出了一套基于数据中台的企业级数据资产管理体系,主要从数据质量提升优化、数据资产管理、数据共享服务构建3个方面对如何进行数据资产管理进行论述.     

基于全生命周期管理的电力企业数据治理技术研究

电力企业业务数据存在人为干预多、数据口径不一致、缺乏管理规范等现象,造成数据统计困难、及时性低、数据失真等问题,严重影响数据的深化应用。针对该问题,本文提出一种基于数据全生命周期管理的电网企业数据治理方案,通过构建公共数据云,开展数据资源池建设,部署结构化数据中心、非结构化数据中心及海量准实时数据中心等三大公共数据资源管理平台,定义完整的电网数据管控流程和数据责任机制,对数据进行从数据获取到数据加工、数据分发到数据使用的数据全生命周期管理,从各环节把控数据质量,辅以数据质量评估,提升电网数据的及时性、准确性及完整性。经过在输电、配电、电网调度、电网规划等多方面应用实践,该方案实现了多口径业务数据的质量管控及集中应用,提升了数据质量及综合治理水平,实现了专业数据资产全面共享。     

面向电力大数据的异构数据混合采集系统

随着智能电网的快速发展,电力系统数据量的增长也非常迅速,电力大数据急待开展深入研究.电力数据产生的速率跨度大,数据源众多且交互方式繁杂,数据种类繁多等特点,已有大数据采集方式难以适应多源异构数据的混合采集应用场景.本文针对电力大数据提出了新的解决方案,通过混合数据采集模型和采集集群实现了对异构数据源采集任务的混合调度和管理;通过数据置信度标签技术,在保留原始数据的同时,标示数据的质量,为后续大数据分析应用提供了便利;通过Sqoop、Kafka、文件传输等方式将采集与处理后的数据提交给大数据平台存储.系统已经在用户现场部署并投入使用,运行稳定,效果良好.     

纺机车间生产大数据平台设计与实现

针对纺织机械制造企业生产加工过程中,车间产生的大数据管理问题,对企业内部数据流和信息流进行整合,结合车间数据特点,建立多源异构数据管理模型。为解决车间大数据存在的集成、传递和共享问题,提出大数据融合架构,构建多源异构大数据集成存储模型,实现大数据的集成与共享。设计并开发了车间大数据管理平台,对生产中的权限进行可重构操作,实现生产权限的管理,对生产流程进行监控,实现可视化监控,在企业实际应用中取得良好成效。     

基于大数据跨平台的分布式实时数据采集技术实现

大数据已经成为国家战略,在各行各业得到了愈发广泛的应用,电网企业也呈现出其独有的大数据场景特征。电网企业的数据具有业务域多、数据量巨大、实时性要求高等特点,建立统一有效的大数据采集中心有利于电网企业大数据的管理,符合电网企业新的发展战略。电网企业终端传感器采集的数据有用户行为的文本数据、终端图片等图片数据、其他平台的海量镜像数据。随着终端的用户量和数据量与日俱增,数据中心必须能通过添加更多服务节点来扩展性能和负载能力,以保证高可扩展性和高可用性,从而满足电网企业业务发展的需要。     

国外电力企业大数据需求侧应用分析

针对大数据技术的研究和实际应用,总结了国外企业大数据技术的实际应用现状。在国外企业大数据需求侧管理应用中,介绍了法国电力公司、美国巴尔的摩燃气电力公司、美国南加州爱迪生电力公司和德国意昂电力公司四大能源企业大数据技术的应用主题和管理模式。通过上述介绍,在数据平台建设、数据管理和数据分析应用三个方面总结了各类大数据应用的启示,即集中建设统一大数据平台,并采用云部署方式是企业目前大数据平台建设的主流方式;统一数据标准规范有利于数据共享与数据管控,实现数据资源价值最大化;大数据分析应用有两个特点：一是大数据分析应用应紧紧围绕业务需求,以专业级应用为重心,配备充足的人力资源,准确聚焦业务痛点,快速解决业务实际问题。二是企业应结合业务特点和发展要求开展基础技术和基础应用方面的研究,为专业级分析应用提供服务和支撑。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

工业大数据分析技术与轮胎销售数据预测

工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业大数据计算架构、大数据带来的信息安全等三方面论述工业大数据面临的挑战与潜在价值。探讨了工业大数据分析与挖掘方法,提出了工业大数据平台的计算架构与大数据处理平台,构建轮胎企业大数据资源中心、大数据分析与决策应用系统。从销售数据分析和宏观数据趋势两个层面进行轮胎销售大数据分析与预测。采用多个不同领域的销售数据源来解决销售预测历史数据特征空间稀疏的问题,使用LASSO（The Least Absolute Shrinkage and Selectionator Operator）方法的多任务学习方法来解决高维样本空间的缺点,实验数据验证能够提升轮胎销售预测的准确率。     

基于非结构化数据的语义建模及优化

非结构化数据是大型企业的宝贵数据资产,其基本特征是数据格式多样、数据存储分散、数据总量大、增长速度快,蕴含有提升企业管理水平的大量重要信息.非结构化数据的统一存储、集中管理与深化应用是当今大型企业信息化建设的重要方向之一.文章从非结构化数据和结构化数据的特点、可行性分析,以及对非结构化数据的重要模块语义分析建模及其优化从而高校提炼出结构化信息几个方面来讲述非结构数据的特点.从而为企业解决非结构化数据的集中存储、有效利用等技术难题,提高企业的管理.     

An efficient workload-based data layout scheme for multidimensional data

Physical data layout is a crucial factor in the performance of queries and updates in large data warehouses. Data layout enhances and complements other performance features such as materialized views and dynamic caching of aggregated results. Prior work has identified that the multidimensional nature of large data warehouses imposes natural restrictions on the query workload. A method based on a “uniform” query class approach has been proposed for data clustering and shown to be optimal. However, we believe that realistic query workloads will exhibit data access skew. For instance, if time is a dimension in the data model, then more queries are likely to focus on the most recent time interval. The query class approach does not adequately model the possibility of multidimensional data access skew. We propose the affinity graph model for capturing workload characteristics in the presence of access skew and describe an efficient algorithm for physical data layout. Our proposed algorithm considers declustering and load balancing issues which are inherent to the multidisk data layout problem. We demonstrate the validity of this approach experimentally.     

Specification-based data reduction in dimensional data warehouses

Many data warehouses contain massive amounts of data, accumulated over long periods of time. In some cases, it is necessary or desirable to either delete “old” data or to maintain the data at an aggregate level. This may be due to privacy concerns, in which case the data are aggregated to levels that ensure anonymity. Another reason is the desire to maintain a balance between the uses of data that change as the data age and the size of the data, thus avoiding overly large data warehouses. This paper presents effective techniques for data reduction that enable the gradual aggregation of detailed data as the data ages. With these techniques, data may be aggregated to higher levels as they age, enabling the maintenance of more compact, consolidated data and the compliance with privacy requirements. Special care is taken to avoid semantic problems in the aggregation process. The paper also describes the querying of the resulting data warehouses and an implementation strategy based on current database technology.     

医疗体检数据预处理方法研究

原始体检数据存在信息模糊、有噪声、不完整和冗余的问题,无法直接用于疾病的风险评估与预测。由于体检数据在结构和格式等方面的不足,不适合采用传统的数据预处理方法。为了充分挖掘体检数据中有价值的信息,从多角度提出了针对体检数据的预处理方法：通过基于压缩方法的数据归约,降低了体检数据预处理的时间及空间复杂度;通过基于分词和权值的字段匹配算法,完成了体检数据的清洗,解决了体检数据不一致的问题;通过基于线性函数的数据变换,实现了历年体检数据的一致性和连续性。实验结果表明,基于分词和权值的字段匹配算法,相对于传统算法具有更高的准确性。     

One-to-many data transformations through data mappers

The optimization capabilities of RDBMSs make them attractive for executing data transformations. However, despite the fact that many useful data transformations can be expressed as relational queries, an important class of data transformations that produce several output tuples for a single input tuple cannot be expressed in that way.

To overcome this limitation, we propose to extend Relational Algebra with a new operator named data mapper. In this paper, we formalize the data mapper operator and investigate some of its properties. We then propose a set of algebraic rewriting rules that enable the logical optimization of expressions with mappers and prove their correctness. Finally, we experimentally study the proposed optimizations and identify the key factors that influence the optimization gains.     

Preventing human error: The impact of data entry methods on data accuracy and statistical results

Human data entry can result in errors that ruin statistical results and conclusions. A single data entry error can make a moderate correlation turn to zero and a significant t-test non-significant. Therefore, researchers should design and use human computer interactions that minimize data entry errors. In this paper, 195 undergraduates were randomly assigned to three data entry methods: double entry, visual checking, and single entry. After training in their assigned method, participants entered 30 data sheets, each containing six types of data. Visual checking resulted in 2958% more errors than double entry, and was not significantly better than single entry. These data entry errors sometimes had terrible effects on coefficient alphas, correlations, and t-tests. For example, 66% of the visual checking participants produced incorrect values for coefficient alpha, which was sometimes wrong by more than .40. Moreover, these data entry errors would be hard to detect: Only 0.06% of the errors were blank or outside of the allowable range for the variables. Thus, researchers cannot rely upon histograms and frequency tables to detect data entry errors. Single entry and visual checking should be replaced with more effective data entry methods, such as double entry.     

基于传统数据中心浅析云计算数据中心基础环境

自从Google提出云计算的概念后,云就受到了全世界的瞩目和IT业界的高度重视。由于云计算对用户终端配置要求极低,使用起来很方便,用户可以直接编辑存储在云端的文档,随时与朋友分享信息,几乎所有的应用服务都由云端提供,云端的运维管理交给专业的团队来完成,用户可以不用再担心自己软件的版本是否需要更新。也不必为软件或文档染上病毒而发愁,正如2009年,美国（（Business Week））杂志报道：“云计算即将引爆商业革命,改写IT业界的游戏规则……”。     

基于DTS对象模型的数据转移的实现

由SQL Server提供的DTS(Data Transformation Service)组件是实现数据抽取和转换的工具,而数据转移是搭建数据仓库的关键。文章以实例介绍了利用DTS对象模型编程实现数据转移的方法。     

Efficiency evaluation of data warehouse operations

We evaluate an efficiency model for data warehouse operations using data from USA and non-USA-based (mostly Korean) organizations. The analysis indicates wide dispersions in operational efficiency, industry and region differences, large differences in labor budgets between efficient and inefficient firms, few organizations efficient in both refresh processing and query production, and difficulty of providing some variables. Follow-up interviews provide insights about the value of efficiency comparisons of information technology organizations and suggestions to improve the model. Using this analysis, we propose a framework containing data warehouse characteristics and firm characteristics to explain IT operational efficiency at the subfirm level.