一种可复用数据访问框架的实现

本文针对软件开发中的数据库访问提出了一种方便的可复用数据访问框架。多种设计模式在框架设计中的使用不仅提高了框架的复用程度,而且使得框架易于移植。数据访问框架只要作适应性修改就能复用在不同的系统中。     

访问可定制的数据持久化管理框架

在分析现有的企业数据管理机制的基础上,提出一个基于持久化机制、访问服务可定制的企业数据管理框架.该框架中设计并实现了一种通用的数据持久化机制,通过元数据映射的方式提供了对企业数据资源的统一持久化方法,为企业应用程序提供了"透明"数据访问机制.同时该框架还提供了按需定制数据访问服务的功能,具有较强的数据访问灵活性.详细介绍了框架的体系结构、运行机制以及关键技术,最后通过具体应用实例验证了该框架在企业系统中的应用价值.     

Web Service在GIS异构数据集成中的应用研究

为了提高异构GIS之间的数据共享性，迫切需要建立一个基于服务的GIS服务框架。在OWS服务框架的基础上，从理论和功能实现的角度对Web Service在GIS异构数据集成中的应用进行了探讨。提出了一种基于Web Service的GIS异构数据集成的框架。     

基于WebServices的科技奖励统一检索系统的研究与设计

本文分析了Web services技术在解决异构数据集成中的优势,在此基础上设计了一个基于Web services架构的异构数据统一检索系统框架,并对该框架进行了详细的分析,并讨论了实现统一检索系统的相关技术问题。     

基于本体的异构数据集成框架

针对电力系统数据集成中存在的语义异构问题,提出一种基于本体的数据集成框架。依据电力参数估计系统的数据需求模型,分析数据集成存在的语义冲突类型,在传统数据集成框架的数据集成中间件模块中加入本体语义描述模块。采用本体描述信息资源域中的概念,通过实现语义冲突主动发现并构建语义映射关系。实验结果表明,该框架能有效解决数据集成过程中的语义异构问题。     

一种基于HLA的协同优化计算框架

提出了一种基于高层体系结构的协同优化计算框架(Collaborative Optimization Framework Based on HLA,COF-HLA).分析了多学科设计优化计算框架的功能和特点,并从支持代码复用、并行计算、数据分发管理等方面分析了高层体系结构的各种服务在协同优化计算框架中的作用;论述了该框架的联邦设计、对象类设计以及数据分发机制,总结了该框架所具有的特点和优势.该框架利用数据分发管理服务,可以极大地降低分布式计算时的网络通讯量,提高了整个协同优化计算的效率.     

基于数据驱动的软件自动化测试框架

为了提高软件测试自动化程序的可复用性,以及在系统、产品以及数据方面的独立性,在对几种基本的软件测试框架进行研究的基础上上,结合在实际的项目中的软件自动化测试的实践,提出一种基于数据驱动的自动化测试框架(TAF)。分析了软件测试以及软件测试自动化的现状,阐述了软件测试自动化框架的策略目标、关键的成功因素,以及5种基本的软件自动化测试框架。最后提出新的软件自动化测试框架。     

基于模型驱动的数据映射技术设计与实现

根据模型驱动的软件开发方法和核心思想,设计实现对数据映射关系进行独立、统一描述的映射词典元模型.结合映射词典提出了一个基于模型驱动的集成异构数据模型的解决方案.给出了基于模型驱动的数据映射技术,完成异构数据集成中的应用框架.在此基础上,详细介绍了应用框架中异构数据集成的实现.     

一种WEB日志挖掘的数据预处理方法①

Web日志是目前Web数据挖掘的重要研究方向。数据预处理是Web日志挖掘中的关键技术。详细的介绍了Web日志挖掘的预处理过程。数据预处理包括数据清理、识别用户、识别会话和框架页面清理、路径补充。用户识别后,框架页面降低了数据挖掘的效率,可以通过过滤框架页面大幅度减少产生的无效页面数。     

大数据环境下的数据清洗框架研究

在大数据环境下会不可避免的存在一些脏数据,严重的影响了数据质量,而数据清洗是提高数据质量的重要方法,对数据清洗框架的研究可以帮助大数据的系统决策。提出了一个大数据环境下数据清洗的一般框架,并对核心的数据清洗模块中的三个子模块进行详细的分析,包括不完整数据清洗子模块、不一致数据修复子模块和相似重复记录数据清洗子模块,且讨论了其清洗的具体流程。     

大数据环境下基于元模型控制的数据质量保障技术研究

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型,并对数据集成过程中的各种映射规则进行了详细的定义,通过将抽取、转换、加载环节的元模型和映射机制相结合,能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析,验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。     

一种面向领域WEB服务的数据中心模型

提出一种通用的面向领域WEB服务的数据中心模型.利用语义集成、数据映射、数据仓库及其他数据集成技术,不仅完成分布式异构数据源的无缝数据集成,而且实现数据源与数据中心之间的数据共享和透明数据交换,为领域WEB服务提供统一数据服务.在"油气生产系统软件集成平台"中采用该模型,组建了中国石油油气井生产领域数据中心,构建一个面向油气井生产领域,集生产管理、设备管理、工作流程控制、优化设计、故障诊断、辅助决策等功能为一体的WEB服务平台,解决了海量、分布式异构数据源的有机集成和无缝共享问题.从而验证了该模型的正确性及可行性.     

基于OPC的实时数据集成系统

针对目前系统中集成能力、可操作性和可扩展能力等存在的问题,研究了工业自动化中数据集成的关键技术,提出了一个基于OPC和消息中间件的实时数据集成方案,并在此基础上进行了集成平台的实现。通过应用,证明该系统能够大幅提高数据集成的质量和效率。     

分布式过程实时数据集成方法及其实现

针对异构生产装置数据采集、集成和管理中的数据集成问题,提出一种分布式过程实时数据集成方法,给出系统体系结构和数据集成原理。采用Hash-AVL树的数据结构对生产数据进行描述,利用XML技术对实时数据及访问请求进行封装,实现统一的数据访问接口。该方法应用到某石化企业综合自动化系统,对100个数据点进行并发访问时,数据更新周期小于3 s,结果证明了分布式数据集成方法可以满足对现场生产装置异构实时数据进行集成的要求。     

网格环境下的空间数据集成服务

随着网格技术在地理信息系统领域的广泛研究与应用，如何实现网格环境下的空间数据资源集成，为空间数据建立高效的共享服务机制已经成为GIS领域研究的热点问题。通过对OGC空间数据统一模型以及GIS用户在空间数据应用方面的需求分析与研究，提出了基于GMLSoAP的空间数据集成服务框架。在此基础上，详细讨论了基于GML空间数据统一模型的空间数据转换和基于SoAP的空间数据服务的建立以及网格环境下虚拟化空间数据服务应用模型，并且实现了多数据源、多类型空间数据集成应用的实验环境。     

水利数据多库智能整合机制研究与应用

面向多种水利要素的整合应用需求,结合水利数据分库独立管理的特点,提出水利数据多库智能整合机制,利用统一数据资源索引模型对异构的水利业务数据进行一体化描述与整合,支持异构数据库的接入与动态扩展,并提出水利数据整合资源的服务工作流,为水利数据资源的有效整合提供可行的思路。该机制在长江水文资源整合和应用服务系统中得以验证,可实现多个水利业务数据库的整合,极大提升水利数据的管理和服务效率。     

基于网格服务的分布式异构数据集成研究

随着作战指挥训练模拟系统的快速发展和应用,如何访问和操作早期建设的异构的分布的基础数据资源,是当前急需解决的问题。在分析了现有异构数据集成系统不足的基础上,通过引入网格服务技术,提出了一个基于网格的分布式异构数据集成模型。同时引入基于元模型的元数据目录服务技术,一定程度上解决了数据集成中的语义冲突的问题,使异构数据集成更加高效。最后通过一个应用实例验证该模型的可行性。     

异构安全数据集成的本体建模方法研究

异构安全数据集成对安全信息共享和安全业务协同处理具有重要意义,是数据集成领域的一个重要方向。在分析异构安全数据现状的基础上,研究了现有的基于本体的数据集成建模方法和异构系统间实现安全策略的协同。通过对本体语言OWL进行安全性扩展,提出了一个异构安全数据的本体建模方法并通过实例进行了验证。     

支持异构数据按需集成的数据服务聚合代数

传统的数据集成方法无法应对互联网的开放、动态和异构性,对用户即时、个性化的集成需求支持有限。数据服务是互联网环境下数据集成的基本单元。提出了数据服务聚合代数,基于嵌套关系和嵌套表格提供的良好的可视化集成环境,提供了基于语义映射关系的集成理论体系,支持在异构环境下复杂数据的直接集成,能够为数据按需快速集成提供强有力的支撑。聚合代数提供了一系列的性质保障,保证集成过程中的数据完整性和正确性。通过一个案例说明了数据服务聚合代数的效果。     

面向业务的数据集成系统设计与实现

在企业数据集成过程中,大多采用适配器实现异构数据源的访问,针对每个数据源开发一个特定的数据源适配器,存在开发难度大,开发周期长的问题。同时,由于各个业务系统数据的复杂性,导致数据集成系统的配置、部署复杂。自主研发的面向业务的数据集成系统,不仅解决了分布式环境下异构数据的集成,同时,使数据集成系统具有良好的扩展性及部署的简单性。介绍了系统的体系结构,给出了数据源适配器开发框架,提出了一种基于中间表的增量数据获取及发送方法,并结合某百货集团业务需求,给出了数据集成的方案。