电磁环境可视化系统的设计与开发

本文构建了电磁环境可视化系统的总体框架,将系统划分为数据预处理与基础地理环境构建、数据库管理与维护、电磁环境计算与分析、电磁态势可视化和综合统计分析与决策支持五个模块.介绍了系统各模块的设计和实现方法,完成了系统的总体开发和集成,实现了区域电磁环境计算与可视化,为指挥员提供及时、全面、动态的电磁态势信息.     

城市内涝三维可视化应急管理信息系统

为提升城市防洪减灾能力,通过融合北斗卫星监控、大数据分析、云服务和综合集成等技术,设计城市内涝三维可视化应急管理信息系统。构建包含感知层、数据层、服务层、应用层和客户层的系统体系架构,采用北斗技术实现多源信息的全天候、多维度动态监测与传输,同时基于Hadoop平台对海量数据资源进行分析和存储,构建城市三维可视化集成环境,利用综合集成技术为用户提供个性化的内涝应急管理服务。以西安市为研究区域,实现系统多源信息资源分析、内涝监测、内涝预警和内涝预案等功能模块。应用结果表明,该系统可提供全天候、多方位的内涝应急管理服务,适用性强、可扩展性好,能够为科学应对城市内涝提供决策支持。     

高校大数据平台的构建与应用

根据高校信息化对数据可视化的需求,笔者首先构建了高校大数据平台的总体框架,对数据采集、数据清洗和数据可视化做了着重阐述;然后就高校大数据平台的具体应用构建了四大数据分析主题,助力高校管理效率和决策水平的提升,为师生提供优质的数据服务。     

数据仓库在民航客运销售领域中的应用研究

通过数据仓库技术,对大量存在于计算机信息系统中的数据进行加工、分析,可产生用于决策支持的信息。该文探讨了数据仓库技术在民航客运销售领域中的构建模式和应用,建立了航空公司客运销售数据仓库的数据模型和系统ETL实现。     

基于ETL技术的企业信息集成研究

本文研究了数据仓库ETL技术,并将ETL技术运用在企业信息集成过程中。本文以PDM和ERP系统为研究对象,阐述了ETL用于数据集成的方法、过程和集成架构。开发了可视化集成开发ETL工具,利用该工具从PDM系统中获取产品结构数据,实现PDM和ERP系统的数据集成。运用ETL技术能够简化企业信息集成开发,具有低耦合性、易于扩展的特点。     

中小型金融机构数据平台建设研究

在现代金融机构日常的经营活动中,大量的高质量数据被用于各金融机构业务流程运转、决策支持、风险管理、绩效考核等管理决策过程中。为了使这些数据更好地加以利用,构建一套行之有效的数据平台体系尤为重要和迫切。从分析国内金融机构数据平台建设的发展概况和经验出发,以中小型金融机构数据平台建设实践为例,构建了基于ETL数据处理,以源系统、ODS、FSD到目标系统金融数据集成过程为核心的金融机构数据平台,实际应用效果显著。     

一个医保基金风险防控数据仓库的设计和实现

上海医保系统基础建设实施已基本完成,全面覆盖业务领域,积累了丰富的历史数据.但由于数据规划不足,导致数据资源利用率不高,难以有效提供决策支持.数据仓库是提供决策支持的核心,因此,结合元数据管理和ETL(Extraction Transformation Loading)技术,构建了一个医保基金风险防控数据仓库,实现了医保异构数据源的有效整合,为医保基金风险管理提供了良好的数据基础.系统通过在上海医保基金风险管理中的实际应用,取得了良好效果.     

面向数据集成的ETL系统设计与实现

ETL是一类用于从一个或多个业务数据库中抽取数据，进行清理转换并加载到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中，实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点，我们提出了一个ETL过程模型，开发了一个面向数据集成的ETL系统DataIntegrator。本文对ETL过程模型、系统总体结构及若干关键技术进行论述。DataIntegrator已经应用于信息系统的建设中，为企业应用集成提供了很好的支持。     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...     

基于Hadoop平台的OLAP煤炭销售数据分析系统

针对煤炭销售数据量大而信息量少的问题,开发了基于Hadoop平台的OLAP煤炭销售数据分析系统,介绍了系统设计思想及架构,并以销售量统计为例阐述了实现数据深层次快速挖掘和直观显示的具体过程。该系统利用Hadoop云平台对数据进行ETL处理,创建Hive分布式数据仓库,并采用Hive的HQL语言进行OLAP统计分析,能够快速、准确地实现对销售量信息的多层次、多角度、深层次的数据挖掘、统计和分析,并直观、多角度地反映数据分析结果。     

改进布谷鸟算法优化混合核LSSVM的卷烟销售量预测

为了提高卷烟销售量预测精度,提出了基于一种改进布谷鸟算法（MCS）优化混合核最小二支持向量机（LSSVM）的卷烟销售量预测模型（MCS-LSSVM）。收集卷烟销售量数据,并构建LSSVM学习样本,然后混合核函数的LSSVM对样本进行训练,并采用改进布谷鸟算法对混合核函数参数进行优化,最后建立卷烟销售量预测模型,并用于某卷烟公司卷烟销售的预测。结果表明,相对于对比模型,ICS-LSSVM模型获得了更优的建模效果和更高的预测精度。     

面向城市基础设施智慧管养的大数据智能融合方法

针对运维大数据维度高、形式多样化和变化迅速等特性,为提高数据融合效率以及平台的数据统计和决策分析性能,降低抽取-转换-加载（ETL）执行时间开销和数据中心负担,面向智慧管养需求提出一种多层次任务调度（MTS）ETL框架（MTS-ETL）。首先,将数据仓库分为数据临时区、数据仓储区、数据分类区和数据分析区,并根据所分区域将完整的ETL过程划分为4个层次的ETL任务调度环节,同时设计了多频率ETL运行调度以及顺序和非顺序两种ETL工作模式;接着,基于MTS-ETL框架的非顺序工作模式进行数据融合的概念建模、逻辑建模和物理建模;最后,利用Pentaho Data Integration设计ETL转换模块和工作模块以实现数据融合方法。在交通流量数据融合实验中,该方法融合136754条数据的时间仅为28.4s;在千量级的数据融合实验中比传统ETL方法的总平均执行时间降低了6.51%;报表分析结果表明其在融合400万条数据时依然能保证ETL过程的可靠性。所提方法能够有效融合运维大数据,提高平台统计分析性能,并维持ETL执行时间开销在较低水平。     

Automating ETL processes using the domain-specific modeling approach

The development of Extract–Transform–Load (ETL) processes is the most complex, time-consuming and expensive phase of data warehouse development. Yet, the dynamics of modern business systems demand a more agile and flexible approach to their development. As a result, current research in this area is focused on ETL process conceptualization and the automation of ETL process development. This paper proposes a novel solution for automating ETL processes using the domain-specific modeling (DSM) approach. The proposed solution is based on the formal specification of ETL processes and the implementation of such formal specifications. Thus, in accordance with the DSM approach, several new domain-specific languages (DSLs) are introduced, each defining concepts relevant for a specific aspect of an ETL process. The focus of this paper is the actual implementation of the formal specification of an ETL process. To this end, a specific ETL platform (ETL-PL) is introduced to technologically support both the modeling of ETL processes (i.e., the creation of models in accordance with the introduced DSLs) and the automated transformation of the created models into the executable code of a specific application framework (representing ETL-PL’s execution environment). It should be emphasized that ETL-PL actually presumes the dynamic execution of ETL models or, more precisely, the executable code is generated at runtime. Thus the execution environment consists of code generator components and the components implementing the application framework. ETL-PL has been implemented as an extension of the .NET platform.     

基于ARMA的混合卷烟销售预测模型

为了提高卷烟销售预测准确性,平衡生产与需求,协同工商业,建立切实合理的月供应计划,提出了一个基于ARMA(autoregressive moving average model,自回归滑动平均模型)的混合卷烟销售预测模型,实现卷烟月总量的预测。该模型首先基于ARMA建立月预测模型;再用计划评审技术PERT得到月预测经验期望值;最后通过设定加权系数,综合两个预测值得到月预测销售总量。实验结果证明该模型能够较好地预测出规格卷烟月销售总量值变化。     

水库综合信息管理平台关键技术研究与应用

通过对大中型水库水利信息化系统应用现状的分析,针对数据分散、交互能力差、可视化能力低、权限管理缺乏等系统研发及应用难题,开展水库综合信息管理平台相关技术研究。管理平台关键技术包括：利用 ETL 工具对库区多专业整合形成平台专业业务数据库,实现基于海量数据的监测资料分析;灵活配置数据源向访问层提供屏蔽数据库厂商差异性的统一数据接口,实现基于 JWT 鉴权和 RBAC 模型的用户权限与接口访问控制;利用工程 CAD 制图转换成 SHP 格式,提高水库综合信息可视化表达能力。基于关键技术开发的水库综合信息管理平台在多个水库得以应用,可有效提高水库运行效率,减轻运行管理人员的工作量,为其他大中型水库信息化建设提供参考。     

神经网络在卷烟销售量预测的应用研究

研究卷烟销售预测准确问题,卷烟销售量具有季节性和周期性动态变化规律,并受经济、人口等因素的影响,使系统存在明显的非线性特征,波动范围比较大,传统线性预测模型难以准确预测。为了提高卷销售预测精度,提出一种能够反映卷烟销售量变化规律的Elman神经网络的卷烟销售预测模型。首先采用逐步拓阶方法确定卷烟销售量的最佳滞后阶数,然后利用最佳滞后阶数最对卷烟销售数据进行重组,并输入Elman神经网络学习,利用Elman神经网络的动态和反馈特点对卷烟销售量进行预测。将建立的模型应用于云南某烟草公司某种卷烟销售的预测,结果表明,Elman神经网络模型有效提高了卷烟销售预测精度,降低了预测误差,为烟草行业销售管理预测提供科学依据。     

基于Spark框架的乘潮水位计算与可视化平台

乘潮水位计算是海洋环境信息处理的重要组成部分,具有计算量大、计算复杂度高、计算时间长等特性。采用传统集群计算模式实现乘潮水位计算业务,存在计算成本高、计算伸缩性和交互性差的问题。针对以上问题,提出一种基于Spark框架的乘潮水位计算和可视化平台。结合对Spark任务调度算法的研究,设计和实现了一种基于节点计算能力的任务调度算法,实现了长时间序列的多任务乘潮水位数据的检索、获取、数值计算、特征可视化的并行处理,达到了海量海洋环境数据计算和可视化处理的目的。实验结果表明,提出的基于Spark的乘潮水位计算和可视化平台可以有效地提高海量乘潮水位数据的分布式并行处理的效率,为更加快速和高效的乘潮水位计算提供了一种新的方法。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

面向数据质量的ETL框架的设计与实现

针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构.根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等.该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理.基于该设计思想开发一个ETL工具-DQETL.DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理.最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤.