水利普查数据更新维护对策研究

水利普查数据更新维护是全国水利普查成果长期有效应用的重要支撑和保障。第一次全国水利普查后,数据更新是否及时,质量能否保障,共享能否畅通,以及现有数据能否满足需求等问题将是影响普查成果在水利信息系统应用的重要制约因素。针对这些问题,着眼于构建"统一化、专业化、标准化"的水利数据中心,形成一体化的国家基础水信息平台为总体目标,提出数据更新维护应遵循的多样性、适用性、规范性、协同性、同步性等5项原则,重点研究数据更新维护实施的技术手段及路径,并初步探讨相关标准、管理制度及工作流程,以建立数据更新维护过程的长效机制,确保水利数据资源得到充分利用。     

充分利用现代信息技术 全力做好水利普查工作

数据处理工作是水利普查工作的重要组成部分,是水利普查的关键环节,必须采用科学的普查方法和先进的技术手段,才能确保所有普查数据能有效、快速、安全地采集和汇集。详细阐述了水利普查目前需要重点做好的4个方面的工作:认真完善数据处理软件,奠定普查工作基础;高度重视工作底图应用,提高水利普查效率;切实重视系统安全与保密工作,确保普查工作的顺利进行;充分利用信息化建设成果,发挥信息化部门的支撑作用。     

水利普查成果数据立方体并行计算方法研究

水利普查成果数据具有数据量大、维度多、维度分层等特点,因此物化水利普查成果数据立方体,所需的时间空间成本非常高。提出一种基于Map/Reduce计算模型进行外壳片段立方体并行计算的新方法。实验结果表明,该方法能够有效地提高在大数据集上计算外壳片段立方体的效率,降低物化水利普查成果数据立方体的时间空间成本。将水利普查成果数据立方体应用于多维分析系统,从多方面清晰直观地展现水利普查成果数据。     

并行数据挖掘方法在水利普查成果分析中的应用

随着第一次全国水利普查的结束,海量的水利普查数据随之产生。将云计算技术应用在水利普查数据挖掘领域,可以更加快速、高效和低成本地为水利决策提供科学、合理的支持。本文提出基于Map/Reduce的水利普查数据决策树分类挖掘方法MRC4.5算法,并将该算法应用于全国水利普查地下水取水井数据挖掘中。实验结果表明,与传统的C4.5算法相比,MRC4.5算法在处理大规模数据集时具有更高的执行效率和良好的加速比。     

大型软件系统数据质量问题研究

针对当前大型软件系统因支撑数据的质量问题给整个系统带来的直接或潜在危害,深入分析了产生数据质量问题的根本原因、易发阶段、严重等级等相关要素,剖析了科学的数据质量管理制度和完备的数据质量管理体系,提出了数据采集、数据整合、数据清洗、数据挖掘等先进的数据质量控制工作原理.以基于分类模式的数据挖掘技术为例,介绍实现数据质量控...     

一种海量地震资料采集质量管理系统

针对野外地震数据分析与评价工作缺乏客观、完整、有效的质量控制的实际情况，设计了一个涵盖地震数据采集全过程的管理系统，提出了一个新型的数据评价模型，给出了模型框架和海量数据的处理策略。试验结果表明系统可以有效的控制地震数据采集的质量。     

关于水利信息化建设项目前期文档编制的思考

结合水利信息化建设项目前期工作文档编制涉及的3个行业标准,阐述了水利信息化项目建设中前期工作的重要性、工作中的阶段划分和所要解决的重点问题,提出了在实际工作中运用3个标准的一些体会和思考。     

基于Hive的水利普查数据仓库

针对水利普查数据海量、多维的特点,研究近年来在“大数据”概念下发展迅速的Hadoop与Hive,结合传统数据仓库在多维数据分析方面的成熟技术,提出基于Hive的水利普查数据仓库的构建方法,描述数据仓库系统的架构,并根据Hive的设计特点,通过分桶、消减维度表和冗余事实表的方法来改进传统的多维分析模型,最后搭建集群系统对水利普查数据集进行查询与分析测试。测试结果表明该数据仓库可以满足海量多维水利普查数据的存储与查询要求。      

基于相似性搜索的水利普查数据融合

针对第一次全国水利普查数据融合存在的问题,提出自适应编辑距离相似性度量,通过调整编辑操作权重及启发式学习权重等措施,对传统的编辑距离进行改进,提高相似性搜索的准确性,并给出基于编辑距离的水利普查数据融合的方法和流程,算法的有效性在第一次全国水利普查数据处理中得到验证。     

地下管线管理信息系统的数据质量与质量控制

地下管线管理信息系统的数据主要为地理数据(空间数据和属性数据);数据质量内容主要包括位置精度、属性精度、逻辑一致性和完整性;影响数据质量的主要因素基本体现在数据采集、数据处理、数据应用的生产过程中;数据的质量控制应贯穿于数据生产的整个过程中,其中,源数据采集和数据处理过程中的质量控制是关键环节。     

智慧水利大数据基础体系架构和标准体系研究

为解决水利大数据概念内涵不清晰,体系架构不统一,标准规范不完善,应用目标不明确等问题,将大数据理论技术与水利行业特点相结合开展水利大数据理论框架的研究。在充分研究调研大数据应用现状基础上,解析水利大数据的体量巨大、复杂多样、新老结合、价值很高、模糊很大、交互性、效能性和共情性等内涵特征;从数据源、管理、计算和应用等4个层面提出适用于智慧水利建设的水利大数据基础体系架构,并从功能、技术、部署角度进行阐述;设计水利大数据实时与离线分析场景的应用框架,用于支撑智慧水利环境下的水利大数据分析和决策;提出水利大数据相关管理规范和应用标准体系框架;总结水资源、水环境水生态、水灾害、水工程、水监督、水行政、水公共服务等水利大数据的应用场景。研究成果符合水利行业实际情况,可以被借鉴用来指导水利大数据的研究和应用工作。     

基于B/S架构的电子表格数据上报系统设计与实现

数据上报是日常工作中的一项经常性、基础性工作.各部门分布在不同地域,日常工作中各部门员工多用网盘、邮件上报表格数据,再由数据采集人员逐份处理表格,对上报数据进行汇总、存档.不仅过程繁琐,还存在数据传输过程保密性差、数据汇总费时费力、数据查询仅靠人工操作、数据存档不安全等问题.为提高表格数据上报的便捷性和安全性,开发了基于B/S架构的电子表格数据上报系统.     

地理信息系统的质量特性和质量控制

结合笔者近几年来从事地理信息系统数据采集和数据质检的具体实践和工作体会 ,重点阐述了地理信息系统数据的质量特性、质量控制内容和质量控制技术。     

国际

产品数据采集质量控制是PDM系统中应用中难点.无论应用国外PDM系统还是国产PDM软件,采集的数据质量都难于保证,大大影响了PDM系统实施和应用.本文对这一问题提出了完善的产品数据质量控制方法.     

省级智慧水利数据标准体系建设

针对智慧水利建设过程中存在的基础数据不统一,对象代码不统一,数据标准不一致,同一数据在不同业务和层级之间存在重采、重存等问题,根据智慧水利建设顶层设计和水利信息化相关标准规范要求,结合项目实践经验与思考,总结省级智慧水利数据标准体系建设的总体思路、主要内容和方法。从管理组织、制度、保障措施等方面落实标准体系建设前置条件;按业务领域、数据类型、数据质量问题、系统开发时间等纬度推动标准化建立过程;从基础、采集传输、存储管理、质量管理、安全管理、共享与服务等6个方面提出数据标准体系框架,并从技术层面对框架具体实践方法和要点进行阐述。总结成果符合水利行业实际情况,可为智慧水利数据中心建设提供技术参考。     

水利普查对象和指标编码初探

水利普查是一项重大的国情国力调查,是国家资源环境调查的重要组成部分。水利普查对象和指标的编码对于普查工作非常重要,编码是否科学直接关系到普查工作的成败。对水利普查编码任务、目的,编码方案,以及普查对象、指标编码进行了初步探索。     

基于门户统一搜索引擎的水利普查数据应用

在简要介绍水利信息门户的基础上,详细阐述门户的统一搜索引擎技术路线、构架和实现原理,提出水利普查数据以资源方式应用于门户,并与其他水利数据资源整合,利用统一搜索引擎在门户客户端检索和发布,实现数据资源在应用层面的融合和共享。     

水库基础数据治理工作的研究与实践

水库相关数据对多项水利业务应用支撑作用显著,是水利行业重要的基础数据。为避免重复建设,充分共享和挖掘水库基础数据的价值,以水库数据治理为研究对象,以数据仓库和数据中台为理论指导,融合水库基础、工程督察、水情等信息数据,构建以基础层、明细层、专题层、应用层为框架的数据资源体系,并同步开展数据资产、安全管理和数据服务工作。在统一的数据资源体系基础之上,充分利用自然语言处理、语音识别、大数据分析等先进技术进行数据智能融合应用,完成水库标签画像、语音智能问答、数据标准建立、数据质量控制等成果,为今后进一步的水利数据治理工作提供参考经验。     

基于水利普查数据的函数依赖关系算法

条件函数依赖(Conditional Functional Dependencies,CFDs)在数据库一致性的检测上应用广泛。为检测水利普查数据的一致性,本文针对水利普查数据特点,将普查数据分为度量、维度2部分,并对度量数据进行聚类,引入条件函数依赖的概念,同时重新定义条件函数依赖,改进发现条件函数依赖的算法(即CTANE算法);以水库工程数据为例,验证本文改进的算法能准确高效地发现水利普查数据中的条件函数依赖,为检测数据一致性做好准备。     

水利普查成果分析中数据立方体计算研究

n维的立方体将生成2n个聚集立方体.如何进行立方体计算,在存储空间和查询时间方面寻求平衡,成为多维分析应用中的关键问题.基于部分物化的策略,并结合水利普查数据特征,改进Minimal cubing方法,提出了层次维编码片段方法HDEF cubing.该方法利用编码长度较小的层次维编码及其前缀,快速检索出与查询关键字相匹配的层次维编码,减少了多表连接操作,从而提高查询效率.以水利普查数据为例,验证了改进的立方体计算方法能高效地对立方体进行存储和查询,适用于水利普查成果分析.