基于数据交换与同步的作业调度方案

多机作业调度问题是一个经典的NP难问题,在应用中由于实际需要,会出现各种约束和变形,调度问题的研究成果决定着系统的性能.DataTurbo是作者参与的一个用于解决分布式数据迁移、集成和融合的平台,该平台承担着大数据量的分布式传输任务.在DataTurbo平台基础上,提出一种适用于数据交换与同步的分布式作业调度方案,并构建一个灵活的分布式调度算法框架,解决相关的调度问题.该调度方案是一种在线的、可并发的、作业可分解的多机调度方案.仿真实验结果显示,该调度方案在任务负载大、调度点稀疏情况下优势明显,能适用于数据交换同步作业,可作为数据交换与同步作业的动态调度方案,并为相关启发式算法建立基础模型.     

分层异构控制软件的构件化建模和设计

在分离控制软件计算功能成分与交互行为成分的基础上,提出了一种异构控制软件构件化建模设计方法。采用层次化思想实现软件构架,管理异构控制模型,实现构件与设计模式复用。引入“管理器”的概念来描述构架如何将一组原子构件的计算成分集成为支持异构模型的复合构件。在分布式实时平台上通过实现简化的构件化分层异构控制软件验证该方法的可行性。     

基于GML的多源异构空间数据集成研究

深入分析了数据格式转换、直接数据访问和数据互操作3种数据集成模式,描述了一个基于GML数据互操作模式的、多源异构空间数据集成模型,并分析了模型的运行机制和关键技术.该模型通过使用相应的GML转换接口把分布式异构空间数据源转化为统一的GML格式文档,通过集成引擎和相应的集成规则对异构空间数据进行有效的集成,实现数据共享的目的.     

一种面向领域WEB服务的数据中心模型

提出一种通用的面向领域WEB服务的数据中心模型.利用语义集成、数据映射、数据仓库及其他数据集成技术,不仅完成分布式异构数据源的无缝数据集成,而且实现数据源与数据中心之间的数据共享和透明数据交换,为领域WEB服务提供统一数据服务.在"油气生产系统软件集成平台"中采用该模型,组建了中国石油油气井生产领域数据中心,构建一个面向油气井生产领域,集生产管理、设备管理、工作流程控制、优化设计、故障诊断、辅助决策等功能为一体的WEB服务平台,解决了海量、分布式异构数据源的有机集成和无缝共享问题.从而验证了该模型的正确性及可行性.     

数字化校园数据中心的设计与实现

数据中心的建设是数字化校园建设的重点内容。本文提出了数字化校园数据中心的设计与实现方案,利用XML技术集成异构数据,利用Web Service接口技术实现数据信息共享。     

面向事件处置的信息服务集成调度模型

以电子政务、电子商务等城市应用为背景,针对这些应用中跨领域事件处置所涉及的异构、分布式资源、服务集成调度以及跨领域知识共享问题,提出了一个面向事件处置的、基于规则的信息服务集成调度模型.该集成调度模型具有4个分层结构,包括资源层(resource layer)、知识层(knowledge layer)、业务层(business layer)和表示层(representation layer).重点就知识层形式化业务规则的定义、资源和服务的引用以及规则引擎等给出了详细的设计和实现.最后,对该模型进行了验证,实现了一个城市应急联动应用中的统一接警事件处置原型系统.     

基于组件的大数据分析服务平台

随着数据规模的快速增长,单机的数据分析工具已经无法满足需求。针对大数据的分析问题,设计并实现了一种基于组件的大数据分析服务平台Haflow。Haflow自定义了业务流程模型和可扩展的组件接口,组件接口支持各种异构工具的集成。系统接收用户定义的业务流程,将其翻译成执行流程实例,提交到Hadoop分布式集群上执行。Haflow是一个可扩展的、分布式的、支持异构分析工具的、面向服务的大数据分析服务平台。提出该平台有两重意义:一方面平台将与数据分析业务无关的工作封装起来,支持各种异构组件,以加快分析应用的开发速度;另一方面,平台后端使用Hadoop分布式系统来实现多任务的并发,从而提高应用的平均执行速度。     

数据交换与共享技术在交通行业数据资源整合中的应用研究

从交通行业信息化的实际需求出发,论述了分布式异构数据环境下不同数据业务节点间的信息交互与数据共享平台构建方案,从整体设计思路、系统逻辑结构和工作机制三个方面对该数据交换与共享平台作了详述,探讨了分布式异源数据访问、数据整合与集成、数据同步复制乃至分布式协同工作等各类场景下的工作实现机制.并以此应用于交通行业数据资源整合平台环境中,产生了分布式应用间的调用规范、分布式数据源的接入规范、数据传递的格式规范等自主设计的技术成果.上述成果已应用于浙江交通数据中心的建设中,并作为交通部信息化示范工程的核心组成部分,在交通数据资源整合应用中取得实际成效.     

通用数据转换平台研究与实现

针对数据集成中各种数据异构问题而产生的数据转换需求,提出了基于面向图编程的数据转换过程模型,设计并实现了一个基于Java和SWT技术的通用数据转换平台。同时也对系统的体系结构和具体实现如转换节点设计和数据转换引擎等关键部分进行了论述。     

数据集成中消息中间件的设计

数据集成中的同步和复制是两个重要的方面，文章分析了分布式环境下的数据同步和复制方法，提出了异构数据库复制的消息中间件设计方案，它是上海交通大学数据中心建设的数据平台基础。     

DataTurbo：一种插件化数据交换与集成工具*

介绍了笔者研发的一种基于统一数据模型和扩展数据流模型实现的插件化数据交换和集成工具DataTurbo,它以示例驱动的界面引导用户将可配置的功能插件快速、灵活地组合构成数据流程,实现自动、稳健和高效的数据物化集成。统一数据模型降低了以往ETL工具使用中由数据存储格式和语义差异造成的复杂性,同时提高了插件和工具的可扩展性。扩展数据流模型支持流程事务的定义和基于共享状态的异步事件响应,前者通过模型变换,为流程添加易于理解的控制信息;后者允许系统快速响应异常事件。DataTurbo已经成功部署并服务于广州市番禺区     

ClowdFlows: Online workflows for distributed big data mining

The paper presents a platform for distributed computing, developed using the latest software technologies and computing paradigms to enable big data mining. The platform, called ClowdFlows, is implemented as a cloud-based web application with a graphical user interface which supports the construction and execution of data mining workflows, including web services used as workflow components. As a web application, the ClowdFlows platform poses no software requirements and can be used from any modern browser, including mobile devices. The constructed workflows can be declared either as private or public, which enables sharing the developed solutions, data and results on the web and in scientific publications. The server-side software of ClowdFlows can be multiplied and distributed to any number of computing nodes. From a developer’s perspective the platform is easy to extend and supports distributed development with packages. The paper focuses on big data processing in the batch and real-time processing mode. Big data analytics is provided through several algorithms, including novel ensemble techniques, implemented using the map-reduce paradigm and a special stream mining module for continuous parallel workflow execution. The batch mode and real-time processing mode are demonstrated with practical use cases. Performance analysis shows the benefit of using all available data for learning in distributed mode compared to using only subsets of data in non-distributed mode. The ability of ClowdFlows to handle big data sets and its nearly perfect linear speedup is demonstrated.     

分布式地球系统科学数据共享平台研究

科学数据共享平台是科学数据共享活动的重要支撑,既是标准规范和数据资源物化的平台,又是用户服务的窗口,其关键是要实现数据资源由数据生产者向数据使用者的流动。在分析分布式地球系统科学数据共享平台内涵的基础上,提出了以“总中心、认证中心和若干分中心”为构架的“物理上分布、逻辑上统一”的分布式软件体系。对用户单点登录与权限认证、数据中心信息同步、元数据汇交与同步收割、多源异地数据资源透明访问等关键技术进行了详细的论述。基于Java EE环境,研制开发了分布式地球系统科学数据共享平台,软件平台能够实现跨部门、跨操作系统的部署。目前,软件平台已经部署在总中心和13家分中心,为用户提供了稳定的“一站式”数据共享服务。     

动态数据处理平台分布式缓存替换算法仿真

针对传统分布式缓存替换算法路由器命中缓存性能不足的问题,提出一种动态数据处理平台分布式缓存替换算法。描述动态数据处理平台分布式数据缓存信息,构建动态数据处理平台的缓存架构表,并根据缓存情况替换缓存架构表,通过不断替换的缓存架构表改进权重替换算法,在算法中添加缓存对象这一参数,并通过改进后的算法计算缓存对象的更新权重值及其权重成本,根据计算成本替换LRU链表中的尾指针元素,当元素已存在缓存中并且被命中时、或出现被请求的新元素时,则更新LRU链,构造新的LRU链表,通过重构的LRU链表构建分布式缓存替换策略,从而实现动态数据处理平台分布式缓存替换算法的构建。为了证明动态数据处理平台分布式缓存替换算法的优越性,将其与传统分布式缓存替换算法进行比较,实验结果证明,上述算法的路由器命中缓存性能优于传统算法,更适合进行动态数据处理平台的分布式缓存替换。     

基于网格的数据挖掘算法

为了克服传统数据挖掘算法与分布式数据挖掘算法的不足．提出了一种基于网格平台的数据挖掘算法,并改进了原有的Apriori算法,使其应用于网格平台。基于网格的数据挖掘算法具有合并计算力,安全,高效,节约硬件成本等优势已越来越受到学术界的重视。     

CDMA1x数据服务平台的设计与实现

CDMA 1x数据服务平台提供对移动增值业务系统的综合管理功能及各业务系统一些公共的业务支撑功能,是一个大型应用软件。详细论述了CDMA 1x数据服务平台的设计与实现方法,以及面向服务的设计思想和组件技术在平台设计中的应用,并且阐述了平台的可靠性和安全性设计。     

一种提高分布式信息服务平台QoS的方案

随着分布式系统的发展和完善,其应用日趋广泛,同时用户对分布式系统的服务质量(QoS)提出了更高的要求。该文设计了一个基于分布式信息服务平台的协调中间件模型,该模型引入数据新鲜度作为新的QoS参数,从而满足了用户的定量QoS要求,提高了平台的服务质量。     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

基于Web的跨平台分布式多线程文件服务器设计

分析了以往分布式文件服务器的不足,提出了一种以J2EE技术为核心的基于Web的跨平台分布多线程文件服务器的设计方案,该分布式文件服务器由一个集中控制单元和多个本地文件服务器组成,集中控制单元以数据库的地文件逻辑信息进行集中式管理,文件的物理信息则上位于Web不同节点上的本地文件服务器分布式地管理,本地文件服务器支持多线程文件操作和Windows,Unix,Linux等多种操作系统的文件系统。