大数据环境下的数据清洗框架研究

在大数据环境下会不可避免的存在一些脏数据,严重的影响了数据质量,而数据清洗是提高数据质量的重要方法,对数据清洗框架的研究可以帮助大数据的系统决策。提出了一个大数据环境下数据清洗的一般框架,并对核心的数据清洗模块中的三个子模块进行详细的分析,包括不完整数据清洗子模块、不一致数据修复子模块和相似重复记录数据清洗子模块,且讨论了其清洗的具体流程。     

两阶段CP-Copula的风电机组异常数据清洗算法北大核心

风电机组在实际运行过程由于运行环境影响及人为调控等因素影响,导致风功率曲线中存在大量异常运行数据,给风电机组的监测与控制带来严重干扰。提出一种基于变点分组(Change Point)和Copula理论组合的两阶段异常数据清洗算法。根据风电机组异常运行数据的分布特征和产生原因,将异常数据划分为堆积型异常数据和分散型异常数据;利用变点算法最大限度的清洗大部分堆积形异常数据和少量分散型异常数据,提高正常数据占比;结合Copula函数计算风速和功率的依赖关系,并依据依赖关系建立基于Copula的概率功率曲线,进一步清洗剩余分散型异常数据。通过内蒙古某风电场实际运行数据验证了算法的有效性,结果表明清洗效果好,可有效识别出三类异常数据,具有一定的工程实用价值。     

基于置信区间的偏离群数据检测方法

异常数据检测与处理是数据仓库系统中数据清洗领域的研究热点。该文提出一种基于置信区间的偏离群数据检测方法,从总体中筛选出有效样本,利用遗传算法从中找到可信样本,利用可信样本确定置信区间,基于置信区间对总体进行检测及处理。该方法所处理的数据不需要与时间相关,且可以快速地识别、检测出大数据量中的“脏数据”。实验结果表明,该方法能有效地解决无规则状态下的偏离群数据的检测,并在实际应用中取得了良好效果。     

可扩展和可交互的数据清洗系统

可扩展性和可交互性是数据清洗系统的主要特征。为了说明此系统的特点,列举产生异常数据的原因,用系统框架图来解释各个功能模块,提出用统计学等方法检测异常数据,针对不同类型的异常数据提出相应的清洗策略,并说明如何评估算法的优良性和数据准确性,最后用流程图来说明整个系统。人口数据清洗结果显示人口数据质量大幅度提高了,同时也证明此系统有很高的执行效率。     

可扩展和可交互的数据清洗系统

可扩展性和可交互性是数据清洗系统的主要特征。为了说明此系统的特点，列举产生异常数据的原因，用系统框架图来解释各个功能模块，提出用统计学等方法检测异常数据，针对不同类型的异常数据提出相应的清洗策略，并说明如何评估算法的优良性和数据准确性，最后用流程图来说明整个系统。人口数据清洗结果显示人口数据质量大幅度提高了，同时也证明此系统有很高的执行效率。     

水利信息化网络安全防护体系浅议

大数据时代的到来对各行各业的发展均带来了重要影响,可以针对海量数据进行合理应用,提取大数据内在的价值和规律,有效提升了工作效率和工作质量.水利工作在开展过程中也会涉及大量数据,为此水利行业开始重点针对数据平台和系统进行建设,形成了水利行业信息化转型的发展趋势.但是水利信息化工作系统也容易受到外来因素的攻击和影响,出现网...     

水利系统异构数据动态集成的设计和实现

在随着水利企业信息化的逐步深入,企业内部之间存在着大量异构信息的交互和共享,开放性和集成性成了企业信息化的重要发展方向。本文就结合飞来峡水利枢纽数据集成系统的实际开发情况,提出了以元数据模型,Java 和XML 技术建立适用于企业信息化的面向异构系统数据集成的框架结构,并对实现框架结构所涉及的技术设计和实现方法进行了详细的分析和说明。     

基于异步数据云的云备份平台

随着信息化技术的发展,信息系统安全在企业管理中显得越来越重要。在分析了云存储技术架构的基础上,提出了一种新的基于异步数据云的系统备份平台,将逻辑数据云与物理数据云接入网络,提供稳定、高效的数据备份功能,并针对不同备份对象制定备份策略,从而达到备份资源优化的目的。在浙江中烟备份系统的应用实施,充分说明该平台是一种适用于跨地域、大数据量的数据备份方案。     

水利业务系统数据加密方案实践

随着水利信息化的部署推进和等保 2.0 及数据安全法的实行,数据加密成为水利行业新系统设计或老系统改造时面临的一个重要问题。从架构设计角度出发,对业务系统中应用层、中间件层、数据库层、文件和存储层等各个层面的数据加密方案进行分析,从加密粒度、加密性能、数据处理能力、实施成本等方面进行对比,给出不同层面数据加密方案适用的场景,同时重点针对数据库层加密,结合水利业务分析透明加密、硬加密 2 种方案的加密算法和性能,为水利业务系统架构设计提供参考。分析结果表明：不同的业务需求适合不同的数据加密方案,其中, 数据库层透明加密适用于大部分水利业务场景。     

大数据助推公安信息化建设

近年来,随着公安信息化建设的逐步深入,大量的公安信息系统已经建立起来,这些系统的建立和使用,使公安信息系统中积累了大量的原始信息和结果信息。这些信息格式多样,容量巨大,如果不善加管理和利用,必将成为系统中的"数据包袱",无法产生任何价值,从而造成公安财富和成果的大量浪费。本文基于公安信息化领域的大数据应用需求,建立了大数据处理的系统总体架构和数据访问服务架构,并借助几个典型应用,描述了大数据应用的功能设计以及涉及的关键技术。