多种数据集成接口适配组件的研究

分析了目前常见的几种数据集成方式存在的问题,提出了一种建立多种数据集成接口适配组件的设计方案。该方案以中间件方式实现采集适配器,通过统一适配器实现对多种异构数据源的集成与处理及对系统集成平台的统一发布功能,提高了数据处理速度,减少了业务流程执行时间,为系统平台数据集成与应用提供了便利。     

基于电力企业大数据环境下的数据治理研究

随着大数据技术的不断成熟,大数据环境下数据治理工作对企业数据资产管理提出更高的要求。大数据时代,数据即为资产,且数据呈现出新的特点,即需要处理的数据量更大,需要处理的数据种类更多,数据产生和变化的速度更快。电网大数据具有多样性、一源共享、多源多标准、业务连动性等特点,如何针对全局数据的可用性、完整性、安全性和可用性进行全面管理,利用电网海量生产、运行数据从而产生实际的应用价值并且使得结构化和非结构化的信息价值最大化,已成为迫切需要解决的问题。本文针对数据分析问题,设计并实现一种完善的大数据调度管理平台,来满足可扩展的、分布式的、支持异构分析工具的、面向服务的大数据的要求,加快数据分析速度,为企业管理提供更好的服务。     

可扩展的数据集成引擎DataTurbo的设计与实现

针对分布式异构数据共享存在的“信息孤岛”问题,设计并实现了一个用于解决分布式数据迁移、集成、融合的平台DataTurbo。DataTurbo利用可扩展功能构件支持贴近用户语义的策略描述,结合灵活的调度引擎,弥补了很多商业工具仅支持规范化的数据访问接口以及功能局限的弱点,成为一个综合的平台。重点剖析了DataTurbo系统的框架结构,强调功能层下面的引擎支撑层的设计与实现,重点描述了核心调度逻辑和功能构件的规范。DataTurbo现已成功部署并服务于广州市番禺区数据中心,能承担大量异构数据的交换与同步,适合政府各级部门、企业各级机构的数据集成、共享与数据中心的构建。     

基于Web Services的数据整合在企业中的应用

研究了Web Services基于网络的、分布式模块化组件的特点,利用Web Services对企业中存在的运行于不同平台下异构应用系统的封装,向外界提供服务访问接口,通过访问不同的Web Services接口读取所需要的数据,利用水晶报表工具将从访问不同Web Services接口所返回的数据集中在水晶报表中显示,从而实现数据的整合。     

基于XML Web Service的分布式异构数据透明转换机制

利用.NET Web Service构建分布式异构应用平台是当今软件设计的一个热点。文章介绍了．NET框架中基于Web Service的分布式异构应用平台体系结构及主要的后台工作协议XML(eXtensible Markup Language,可扩展标识语言),阐述了利用XML作为异构数据转换的中介,Web Service作为分布式应用的平台来实现分布式异构数据透明转换的机制。     

基于Hadoop分布式文件系统的分析与研究

通过对HDFS(Hadoop的一个分布式文件系统)以及Map/Reduce数据驱编程模型和HBase分布式的、列存储数据库和Hive分布式数据仓库的分析.可以得到Hadoop的优势在于能以批处理模式处理PB级以上的数据集,适合做离线的数据分析,不适合实时响应需求,如股票系统.客户端是打包成JAR文件形式,运行于Hadoop命令行界面,可以定制执行策略,当数据到来的时候运行Map/Reduce程序,可以手动执行也可以定时执行.可以用Map/Reduce作为BI等海量数据分析平台的分布式数据处理引擎,HDFS作为底层存储文件系统.     

基于Hadoop平台协同过滤推荐算法

针对协同过滤推荐算法在数据稀疏性及在大数据规模下系统可扩展性的两个问题, 在分析研究Hadoop分布式平台与协同过滤推荐算法后, 提出了一种基于Hadoop平台实现协同过滤推荐算法的优化方案. 实验证明, 在Hadoop平台上通过MapReduce结合Hbase数据库实现算法, 能够有效地提高协同过滤推荐算法在大数据规模下的执行效率, 从而能够进一步地搭建低成本高性能、动态扩展的分布式推荐引擎.     

面向跨组织业务流程的服务组合策略

动态服务组合为跨组织业务流程的快速开发提供了重要技术支撑.传统的集中规划的组合方式不能很好适应开放环境所提要求.提出一种基于分布式层次任务网络的服务组合策略,分析了实现该策略的组件的结构和功能,并定义组件间的Web服务接口,给出该策略下跨组织流程的开发方式,并以应用实例说明该策略对开放组织之间业务流程开发的有效支持.     

基于CORBA的跨平台跨数据库通用查询设计

论述某电力部门异构分布式计算机系统集成接口软件数据库查询的解决方案。该方案是一个分布式异构系统跨平台、跨数据库、可扩展和可处理多用户请求的数据库查询的通用解决方案。文章给出了测试结果，为各大型企业的异构分布式计算机系统的数据集成提供一个很好的参考。     

异构大数据编程环境 Hadoop+

互联网和物联网技术的飞速发展开启了“大数据”时代。目前,硬件的高速发展催生了许多异构芯片,它们越来越多地出现在大规模数据中心里,支持不同的应用程序,在提升性能的同时降低整体功耗。文章重点介绍了基于 MapReduce编程模型的 Hadoop+框架的设计与实现,它允许用户在单个任务中调用 CUDA/OpenCL的并行实现,并能通过异构任务模型帮助用户。在我们的实验平台上,五种常见机器学习算法使用 Hadoop+框架相对于 Hadoop能达到1.4×～16.1×的加速比,在 Hadoop+框架中使用异构任务模型指导其资源分配策略,对单个应用负载上最高达到36.0%的性能提升;对多应用的混合负载,最多能减少36.9%,平均17.6%的应用执行时间。     

数据仓库中ETL技术的探讨与实践

支持数据抽取、转换、清洗和装载的工具集对任何数据仓库工程都是一个必不可少的关键部件。本文重点探讨了ETL技术以及ETL工具的选择原则,并结合具体实例详细介绍了ETL过程的设计和实现方法。     

数据交换与共享技术在交通行业数据资源整合中的应用研究

从交通行业信息化的实际需求出发,论述了分布式异构数据环境下不同数据业务节点间的信息交互与数据共享平台构建方案,从整体设计思路、系统逻辑结构和工作机制三个方面对该数据交换与共享平台作了详述,探讨了分布式异源数据访问、数据整合与集成、数据同步复制乃至分布式协同工作等各类场景下的工作实现机制.并以此应用于交通行业数据资源整合平台环境中,产生了分布式应用间的调用规范、分布式数据源的接入规范、数据传递的格式规范等自主设计的技术成果.上述成果已应用于浙江交通数据中心的建设中,并作为交通部信息化示范工程的核心组成部分,在交通数据资源整合应用中取得实际成效.     

企业应用集成(EAI)中数据集成技术的应用

根据实施某大型散货港口信息化的企业应用集成（EAI）项目的经验，从统一数据格式定义、数据转换标准和数据集成方式三方面论述了制定EAI数据集成技术规范标准的相关内容，提出了EAI数据集成技术应用的思路和方案。     

一种基于XML的异构数据集成平台研究

异构数据集成为不同自治、异构、分布的数据提供一个统一的全局数据视图。本文提出一种数据仓库-中介器数据集成方案，引入数据缓冲机制，将历史数据存入中心数据库中，频繁访问的静态数据写入数据缓冲区，提高了异构数据查询的效率。     

公共数据中心的ETL系统设计与实现

ETL过程是构建数据仓库的重要步骤。大多数现有ETL系统在数据量较大时处理效率偏低。根据ETL在公共数据中心的实际应用改进了原有的ETL结构。鉴于公共数据保密性的特点,设计了数据不同的获取方式;在设置数据转换规则的过程中结合相应领域知识,保证数据质量;前置机之间实行负载均衡,同时把数据转换的不同步骤分配到两台ETL服务器来完成,保证抽取和转换效率。通过实验证明了该ETL系统具有较好的效率。     

非确定性数据处理技术发展现状与挑战

介绍非确定性数据处理的几种主流技术,即数据流、移动数据、传感器网络和数据世系的管理技术,描述这些技术的内涵、发展现状和挑战．指出该技术在我国未来建设智慧城市作为基础性支撑技术的重要性。     

Data provenance in SOA: security, reliability, and integrity

Due to the dynamic nature, such as services composition and evaluation, it is critical for a Service-Oriented Architecture (SOA) system to consider its data provenance, which concerns security, reliability, and integrity of data as they are being routed in the system. In a traditional software system, one focuses on the software itself to determine the security, reliability, and integrity of the software. In an SOA system, however, one also needs to consider origins and routes of data and their impact, i.e., data provenance. This paper first analyzes the unique nature and characteristics of data provenance in an SOA system, particularly related to data security, reliability, and integrity. Then it proposes a new framework for data provenance analysis in an SOA system. Finally, this paper uses an example which illustrates these techniques.     

数据清理中几种解决数据冲突的方法

建立数据挖掘模型的基石是数据仓库,数据仓库的质量直接影响到数据挖掘模型的建立与执行效率,并有可能影响到数据挖掘模型的最终结果的准确度。数据清理就是发现数据中的错误和不一致并加以消除,以提高数据的质量,使得数据挖掘模型建立的过程更加快捷和简便,挖掘出来的模式和规则也就更加有效和适用。     

“电子作业发送和回收系统”应用软件的开发

为了提高信息技术类课程电子作业发布和收交的操作效率、网络系统传输效率和电子作业安全性,利用VB开发了“电子作业发送和回收系统”应用软件。文中介绍了“电子作业发送和回收系统”应用软件的开发意义、组成、使用环境、主要功能和实现技术。     

ECAS数据仓库中数据集成的相关问题

数据仓库越来越广泛地应用于企业决策分析 ,从传统的操作型数据库集成数据是创建数据仓库必不可少的一步。结合宝钢能源部能源分析及成本分析系统 (ECAS)数据仓库 ,介绍了建立数据仓库时从不同的数据源抽取数据、清洗数据的相关问题。