数据ETL过程中的实体识别方法

实体识别是根据记录所包含的各种描述信息来确定与之相对应的现实实体，记录的相似匹配是数据集成中最具挑战的工作。分析了常见实体识别算法，提出了实体识别过程框架，用以实现数据ETL的数据规约功能。在开发的实现语义数据集成的联通统一客户资料系统(UCIS)中，用实体识别算法进行测试，得到的平均返回率和精度分别为86．3％、96．5％，能够满足工程应用的要求。     

数据ETL过程中的数据质量控制

分析产生数据质量问题的原因，并对数据质量问题进行了分类，建立数据质量评价的量化标准。提出通过模式集成解决模式层次上的数据质量问题，通过数据清洗解决实例层次上的数据质量问题，并概述了数据清洗算法，提出分四步进行数据ETL数据清洗。     

基于Hadoop的大数据网络安全实体识别方法

本文主要针对Hadoop的大数据网络安全实体识别方法展开研究,希望能够为相关工作者提供理论帮助。     

BI项目中ETL设计与思考

ETL是BI（Business Intelligence,商业智能）项目中的重要环节。本文阐述了ETL的相关概念，重点讨论了ETL的分组模块和设计思路，对ETL的两种实现方式进行了比较。     

非结构化数据的ETL设计

为了实现非结构化数据的ETL处理,分析了数据整合的发展现状和业务需求,描述了目前国际流行的公共仓库元模型（CWM）以及在ETL实现中的作用,详细分析了结构化数据和非结构化数据的不同特点。针对两种数据的差异,提出了解决非结构化数据的属性提取和数据打包的方法,为非结构化数据形成元数据奠定了基础,从而实现了非结构化数据的ETL设计,设计完全满足标准的数据整合要求。     

ETL数据治理在高校信息化建设中的运用

信息化是当今世界的重要发展趋势,且应用于多个领域。高校是我国培养人才的重要媒介,提升高校的信息化建设水平,可以有效加强高校的人才培养质量。文章分析了ETL数据治理在高校信息化建设中的运用,找出了ETL数据处理存在的不足,并分析了出现的问题,找出最佳解决办法,总结了ETL数据治理在高校信息化建设中的运用方法。     

面向数据库清洗的数据质量控制设计

信息处理技术的不断变革,使每个行业都拥有了许多计算机信息系统,同时也产生了大量的数据。因此能够使数据有效地进行组织的日常运作和判断,要求数据可靠准确是研究的热点,文中提出了一种ETL与数据清洗结合的分布式数据集成工具,将数据清理的技术引入到ETL中,制定数据清洗规则,并基于统计的方法,聚类方法,关联规则的方法等提出数据清洗的算法,并进行比较,提出清洗数据信息的框架,从而提高数据的质量,进行数据清洗评估,认为方法可行有效,具有实际应用意义。     

ETL技术的装备大数据治理应用

文章针对ETL技术下的装备大数据治理应用进行研究,获取相关的数据信息,主要目的就是帮助军用和民用装备领域能够更好地处理数据融合方面的问题。基于此,文章提出一套较为详细的治理方案,涵盖清洗服务、数据抽取和加载等方面的内容,同时在现有技术基础上提出标准统一和增量抽取等应用技术,这些都将为数据高效融合提供重要的途径。     

基于ETL和JMS的数据同步的设计与实现

分析了发电集团级数据的同步需求,提出采用ETL技术进行数据抽取和转换,并将数据提供给消息发送者（JMS服务）,采用JMS技术进行数据传输和消息发送。通过分析实例描述了系统的设计思路和实现方法,并给出了关键技术的主要代码,成功实现了异构数据库的数据同步。     

基于Spark分布式ETL在海量后勤数据的应用

在处理某大型企业的海量后勤大数据时,传统的基于MapReduce的ETL技术在数据提取、转换过程中,因为频繁进行磁盘读取的原因,存在数据处理效率不足的问题。考虑到Spark是基于内存操作的计算引擎,不依赖于磁盘操作,对数据的提取、转换效率的提升有一定帮助,因此文中采用了基于Spark的分布式ETL技术来处理这些海量数据,并通过实验进行效率比较。     

ETL在超市大数据量中的应用研究

数据抽取、转换和装载（Extract,Transform and loading,简称ETL）是数据仓库、数据挖掘以及商业智能等技术的基石.文中首先简单介绍了ETL概念及其意义,然后设计和开发了应用于超市行业商业智能的ETL程序,已在超市行业管理信息与决策支持系统中得到应用.     

基于DW的银行客户识别系统的设计与实现

为了识别银行客户并对客户提供差异化、个性化服务,依托工商银行总行现有的企业级数据仓库,在银行个人客户总资产识别方法的基础上对工商银行的客户识别方法进行了改进。提出了新的客户识别方法,设计了省分行数据集市＂两级、三层＂的系统架构,并实现了数据集市模型、ETL和前端展现,解决了以往不能对不同数据源的数据进行抽取、转换、装载等操作,满足了银行业务部门的需要。     

基于线状特性的大数据地铁用户识别与定位方法

从MR原始数据特性出发研究数据结构与字段,采用基于线状特性分析MR大数据的地铁用户识别过滤方法和位置定位方法,该方法经过验证能够有效输出地铁用户数据并定位在地图上,解决人工地铁测试效率低且测试片面的问题,实现基于大数据的自动化地铁网络评估,提供海量的有效定位数据用于地铁评估与分析。     

星级酒店HVAC系统多变量过程模型辨识仿真分析

基于星级酒店中央空调系统HVAC,是一个多干扰,控制滞后的闭环系统,为了实现控制器对其控制精确,达到节能降耗的目的,针对酒店变风量HVAC系统,提出一种多输入多输出过程的闭环辨识方法,采用设定值阶跃测试,得到滞后的输出响应,通过输入、输出数据进行模型识别,得出传递函数矩阵模型,使用matlab对模型仿真分析,将仿真结果与实际模型对比研究,结果表明,使用该方法得出的模型精确度较高.该方法不需要动态过程的先验知识,便于推广使用.     

A recombination information process method of missing data in WSN

With reference to reducing dimensionality or predicting data missing mechanism, this paper approaches the function between distribution of missing data and topology of wireless sensor networks, and presents a recombination information missing data process method. As the missing data normally come from communication especially media accessing mechanism of carrier sense multiple access (CSMA) or time division multiple access (TDMA), the paper shows that the packets loss process is normally Poisson stochastic process. And the paper studies maximum missing data rates of some different topology networks (for example, the topology of star, hierarchical cluster tree, and mesh). In the end, the paper estimates the recombination information missing data processes method by simulations and experiments.     

疫情下的数据利用和个人信息保护再权衡

在新冠肺炎疫情抗击中,大数据的利用为抗击疫情提供了有力武器,同时也凸显了在公共突发事件下如何权衡公共需要与个人信息保护这一重要问题。目前我国已经基本建立了公共突发事件下的信息利用规则,赋予政府部门广泛的信息收集、利用职责,但相关规则与个人信息保护制度的协调性不足。建议加强对公共突发事件下的数据利用与个人信息保护再权衡,细化相关场景下的数据利用具体规则。     

利用位置和运动信息的目标识别

研究了利用舰载3D雷达获得的目标位置和运动信息的目标识别问题.目标识别过程分为3级,前2级是类间识别,第3级是类型识别.首先,基于目标距离和高度进行粗分类;然后,基于目标速度、加速度、仰角变化率和方位变化率,并使用模糊综合评判的方法进行精细分类;最后,基于目标高度进行类型识别.仿真结果表明,所提算法的识别效果较好,且便于工程实现.     

数据融合技术在车辆轴型识别系统中的应用

为了设计高可靠性和稳定性的轴型识别系统,为高速公路计重收费提供准确的收费依据和降低测轮器的维修成本,对高速公路计重收费的车辆轴型识别系统进行了研究。分析了车轴单/双轮和各种常见车辆的轴型特点及识别原理,提出在称重仪表中利用数据融合技术即把来自轮轴识别器、秤台、轴重、光栅和专家系统经验等数据进行融合对车辆轴型进行综合判断,最终给出正确的轴型编码。现场试验表明该系统不仅在各部分正常工作时能保证99%以上的识别率,而且在测轮器损坏时也能保证97%以上的识别率。