《全国水利普查数据处理系统总体设计》通过审查

<正>2010年10月17日国务院第一次全国水利普查办公室在北京组织召开了《第一次全国水利普查数据处理系统总体设计》(以下简称《总体设计》)审查会,第一次全国水利普查办公室副主任庞进武、蔡阳、黄河出     

充分利用现代信息技术 全力做好水利普查工作

数据处理工作是水利普查工作的重要组成部分,是水利普查的关键环节,必须采用科学的普查方法和先进的技术手段,才能确保所有普查数据能有效、快速、安全地采集和汇集。详细阐述了水利普查目前需要重点做好的4个方面的工作:认真完善数据处理软件,奠定普查工作基础;高度重视工作底图应用,提高水利普查效率;切实重视系统安全与保密工作,确保普查工作的顺利进行;充分利用信息化建设成果,发挥信息化部门的支撑作用。     

在第一次全国水利普查数据处理试点培训班上的讲话

<正>(2010年5月28日)第一次全国水利普查数据处理试点培训班今天正式开班了,首先,我谨代表矫勇副部长,代表国务院第一次全国水利普查领导小组办公室,对大家的到来表示热烈欢迎!本次培训是继水利普查试点综合培训和专业培训之后,举办的又一个重要培训     

第一次全国水利普查数据处理试点培训班在南京举行

<正>2010年5月29～31日,第1次全国水利普查数据处理试点培训班在江苏南京举行。国务院第1次全国水利普查领导小组办公室副主任庞进武在开班仪式上作动员讲话,领导小组办公室副主任黄河主持开班仪式,领     

水利普查对象和指标编码初探

水利普查是一项重大的国情国力调查,是国家资源环境调查的重要组成部分。水利普查对象和指标的编码对于普查工作非常重要,编码是否科学直接关系到普查工作的成败。对水利普查编码任务、目的,编码方案,以及普查对象、指标编码进行了初步探索。     

基于Hive的水利普查数据仓库

针对水利普查数据海量、多维的特点,研究近年来在“大数据”概念下发展迅速的Hadoop与Hive,结合传统数据仓库在多维数据分析方面的成熟技术,提出基于Hive的水利普查数据仓库的构建方法,描述数据仓库系统的架构,并根据Hive的设计特点,通过分桶、消减维度表和冗余事实表的方法来改进传统的多维分析模型,最后搭建集群系统对水利普查数据集进行查询与分析测试。测试结果表明该数据仓库可以满足海量多维水利普查数据的存储与查询要求。      

水利普查数据质量控制的研究

水利普查数据质量控制是水利普查数据采集和处理的关键,如果没有一定措施保障数据质量,致使数据失真失实,会影响决策的科学性,故应对由广大水利普查员完成获得的水利普查数据质量控制进行研究。水利普查数据处理主要有数据采集、表格填写、表格电子化、汇总分析4个阶段,每个阶段都有相应的工作方法,针对大量的可在短时间内参与开展水利普查工作的人员对标准掌握难以达到完全一致的问题,提出应尽量简化执行标准和操作规范,并从概念上提出影响4个阶段数据质量的因素及控制对策。     

水利普查成果数据立方体并行计算方法研究

水利普查成果数据具有数据量大、维度多、维度分层等特点,因此物化水利普查成果数据立方体,所需的时间空间成本非常高。提出一种基于Map/Reduce计算模型进行外壳片段立方体并行计算的新方法。实验结果表明,该方法能够有效地提高在大数据集上计算外壳片段立方体的效率,降低物化水利普查成果数据立方体的时间空间成本。将水利普查成果数据立方体应用于多维分析系统,从多方面清晰直观地展现水利普查成果数据。     

并行数据挖掘方法在水利普查成果分析中的应用

随着第一次全国水利普查的结束,海量的水利普查数据随之产生。将云计算技术应用在水利普查数据挖掘领域,可以更加快速、高效和低成本地为水利决策提供科学、合理的支持。本文提出基于Map/Reduce的水利普查数据决策树分类挖掘方法MRC4.5算法,并将该算法应用于全国水利普查地下水取水井数据挖掘中。实验结果表明,与传统的C4.5算法相比,MRC4.5算法在处理大规模数据集时具有更高的执行效率和良好的加速比。     

辽宁省水利普查成果查询应用系统设计要点

辽宁省结合第一次水利普查成果,积极开展普查成果开发应用实践活动,开发建设辽宁省水利普查成果查询应用系统,取得良好的效果。结合辽宁省水利普查成果查询应用系统功能设计,归纳总结出设计要点,以供交流与参考。     

水利普查数据更新维护对策研究

水利普查数据更新维护是全国水利普查成果长期有效应用的重要支撑和保障。第一次全国水利普查后,数据更新是否及时,质量能否保障,共享能否畅通,以及现有数据能否满足需求等问题将是影响普查成果在水利信息系统应用的重要制约因素。针对这些问题,着眼于构建"统一化、专业化、标准化"的水利数据中心,形成一体化的国家基础水信息平台为总体目标,提出数据更新维护应遵循的多样性、适用性、规范性、协同性、同步性等5项原则,重点研究数据更新维护实施的技术手段及路径,并初步探讨相关标准、管理制度及工作流程,以建立数据更新维护过程的长效机制,确保水利数据资源得到充分利用。     

新技术“普查”人口数据库

根据国家普查项目和周期安排的有关规定,国务院决定于11月1日开展第六次全国人口普查。全国普查工作的信息化需求随着计算中心机构的成立不断增加,统计信息化系统相继承担了多次大型普查数据处理工作任务,比如1990年全国人口普查、1993年全国首次第三产业普查、1998年全国第三次工业普查。     

基于相似性搜索的水利普查数据融合

针对第一次全国水利普查数据融合存在的问题,提出自适应编辑距离相似性度量,通过调整编辑操作权重及启发式学习权重等措施,对传统的编辑距离进行改进,提高相似性搜索的准确性,并给出基于编辑距离的水利普查数据融合的方法和流程,算法的有效性在第一次全国水利普查数据处理中得到验证。     

基于Oracle数据仓库的水利普查数据展现系统

文章在介绍Oracle数据库服务及相关体系软件结构的基础上,给出了利用Oracle数据仓库建立水利普查数据展现系统的实现技术,解决了因为原始数据库数据量庞大,数据关系复杂,导致数据查询速度慢等性能问题,并从多方面清晰、简洁、直观地展现水利普查数据.     

基于水利普查数据的函数依赖关系算法

条件函数依赖(Conditional Functional Dependencies,CFDs)在数据库一致性的检测上应用广泛。为检测水利普查数据的一致性,本文针对水利普查数据特点,将普查数据分为度量、维度2部分,并对度量数据进行聚类,引入条件函数依赖的概念,同时重新定义条件函数依赖,改进发现条件函数依赖的算法(即CTANE算法);以水库工程数据为例,验证本文改进的算法能准确高效地发现水利普查数据中的条件函数依赖,为检测数据一致性做好准备。     

水利普查成果分析中数据立方体计算研究

n维的立方体将生成2n个聚集立方体.如何进行立方体计算,在存储空间和查询时间方面寻求平衡,成为多维分析应用中的关键问题.基于部分物化的策略,并结合水利普查数据特征,改进Minimal cubing方法,提出了层次维编码片段方法HDEF cubing.该方法利用编码长度较小的层次维编码及其前缀,快速检索出与查询关键字相匹配的层次维编码,减少了多表连接操作,从而提高查询效率.以水利普查数据为例,验证了改进的立方体计算方法能高效地对立方体进行存储和查询,适用于水利普查成果分析.     

基于门户统一搜索引擎的水利普查数据应用

在简要介绍水利信息门户的基础上,详细阐述门户的统一搜索引擎技术路线、构架和实现原理,提出水利普查数据以资源方式应用于门户,并与其他水利数据资源整合,利用统一搜索引擎在门户客户端检索和发布,实现数据资源在应用层面的融合和共享。     

基于Hadoop云平台的水利普查数据挖掘系统的设计和实现

针对水利普查数据量大、属性维度多等特点,论文通过探讨和分析Hadoop的组成和运行机制,提出了一种基于Hadoop云平台的水利普查数据挖掘系统,介绍了系统的设计思想及架构,详细阐述系统内各个模块的功能作用。该系统利用Hadoop云平台实现了一种改进后的并行关联规则算法,既充分利用了Hadoop平台并行处理数据的能力,又降低了开发所需的成本。通过进行单机对比测试和集群测试,证明了系统具有更好的可用性和较高的挖掘效率。     

基于J2EE架构的经济普查系统设计与实现

设计并实现了基于J2EE架构的经济普查系统。利用J2EE多层结构模型的优点,将系统分为表示层、业务逻辑层和数据支持层等层次,介绍了各层次的设计,提出了经济普查系统中基于J2EE和MVC模式的解决方案;从设计者的角度,详细阐述了整个系统的架构与实现。建立了一套经济普查管理软件,对经济普查数据实行集中管理、实时处理。     

水利部机关人事劳动教育业务管理应用软件开发项目通过初步验收

<正>2010年5月10日,水利部人事司和水利部水利信息中心联合在北京组织召开了水利电子政务项目人事劳动教育业务管理应用软件统一开发部分和部机关部署定制部分初验会,参加会议的有水利部人事司各处室负责人及水利信息中心、人才资源开发中心和7个流域机构人事部门的专家和代表。会议由水利信息中心蔡阳副主