水利普查成果数据立方体并行计算方法研究

水利普查成果数据具有数据量大、维度多、维度分层等特点,因此物化水利普查成果数据立方体,所需的时间空间成本非常高。提出一种基于Map/Reduce计算模型进行外壳片段立方体并行计算的新方法。实验结果表明,该方法能够有效地提高在大数据集上计算外壳片段立方体的效率,降低物化水利普查成果数据立方体的时间空间成本。将水利普查成果数据立方体应用于多维分析系统,从多方面清晰直观地展现水利普查成果数据。     

并行数据挖掘方法在水利普查成果分析中的应用

随着第一次全国水利普查的结束,海量的水利普查数据随之产生。将云计算技术应用在水利普查数据挖掘领域,可以更加快速、高效和低成本地为水利决策提供科学、合理的支持。本文提出基于Map/Reduce的水利普查数据决策树分类挖掘方法MRC4.5算法,并将该算法应用于全国水利普查地下水取水井数据挖掘中。实验结果表明,与传统的C4.5算法相比,MRC4.5算法在处理大规模数据集时具有更高的执行效率和良好的加速比。     

水利普查数据质量控制的研究

水利普查数据质量控制是水利普查数据采集和处理的关键,如果没有一定措施保障数据质量,致使数据失真失实,会影响决策的科学性,故应对由广大水利普查员完成获得的水利普查数据质量控制进行研究。水利普查数据处理主要有数据采集、表格填写、表格电子化、汇总分析4个阶段,每个阶段都有相应的工作方法,针对大量的可在短时间内参与开展水利普查工作的人员对标准掌握难以达到完全一致的问题,提出应尽量简化执行标准和操作规范,并从概念上提出影响4个阶段数据质量的因素及控制对策。     

水利普查数据更新维护对策研究

水利普查数据更新维护是全国水利普查成果长期有效应用的重要支撑和保障。第一次全国水利普查后,数据更新是否及时,质量能否保障,共享能否畅通,以及现有数据能否满足需求等问题将是影响普查成果在水利信息系统应用的重要制约因素。针对这些问题,着眼于构建"统一化、专业化、标准化"的水利数据中心,形成一体化的国家基础水信息平台为总体目标,提出数据更新维护应遵循的多样性、适用性、规范性、协同性、同步性等5项原则,重点研究数据更新维护实施的技术手段及路径,并初步探讨相关标准、管理制度及工作流程,以建立数据更新维护过程的长效机制,确保水利数据资源得到充分利用。     

充分利用现代信息技术 全力做好水利普查工作

数据处理工作是水利普查工作的重要组成部分,是水利普查的关键环节,必须采用科学的普查方法和先进的技术手段,才能确保所有普查数据能有效、快速、安全地采集和汇集。详细阐述了水利普查目前需要重点做好的4个方面的工作:认真完善数据处理软件,奠定普查工作基础;高度重视工作底图应用,提高水利普查效率;切实重视系统安全与保密工作,确保普查工作的顺利进行;充分利用信息化建设成果,发挥信息化部门的支撑作用。     

基于水利普查数据的函数依赖关系算法

条件函数依赖(Conditional Functional Dependencies,CFDs)在数据库一致性的检测上应用广泛。为检测水利普查数据的一致性,本文针对水利普查数据特点,将普查数据分为度量、维度2部分,并对度量数据进行聚类,引入条件函数依赖的概念,同时重新定义条件函数依赖,改进发现条件函数依赖的算法(即CTANE算法);以水库工程数据为例,验证本文改进的算法能准确高效地发现水利普查数据中的条件函数依赖,为检测数据一致性做好准备。     

基于Hive的水利普查数据仓库

针对水利普查数据海量、多维的特点,研究近年来在“大数据”概念下发展迅速的Hadoop与Hive,结合传统数据仓库在多维数据分析方面的成熟技术,提出基于Hive的水利普查数据仓库的构建方法,描述数据仓库系统的架构,并根据Hive的设计特点,通过分桶、消减维度表和冗余事实表的方法来改进传统的多维分析模型,最后搭建集群系统对水利普查数据集进行查询与分析测试。测试结果表明该数据仓库可以满足海量多维水利普查数据的存储与查询要求。      

水利数据的信息图展现研究初探

随着网络化的快速发展及智能移动终端的普及,信息图因具有直观、安全等特点,在数据可视化、信息传播等方面起的作用愈加显著。在概述信息图的基础上,介绍制作信息图的工具,并提出用信息图展示水利数据的具体方法和流程等;结合具体项目,实现水文日报信息图和汇总水利普查数据的鱼骨图。结果表明,相比于传统的信息展示方式,信息图更加直观、图文并茂,丰富水利信息化数据的展现和应用方式,对于防汛防旱、生态保护等具有重要意义和应用价值。     

基于相似性搜索的水利普查数据融合

针对第一次全国水利普查数据融合存在的问题,提出自适应编辑距离相似性度量,通过调整编辑操作权重及启发式学习权重等措施,对传统的编辑距离进行改进,提高相似性搜索的准确性,并给出基于编辑距离的水利普查数据融合的方法和流程,算法的有效性在第一次全国水利普查数据处理中得到验证。     

基于门户统一搜索引擎的水利普查数据应用

在简要介绍水利信息门户的基础上,详细阐述门户的统一搜索引擎技术路线、构架和实现原理,提出水利普查数据以资源方式应用于门户,并与其他水利数据资源整合,利用统一搜索引擎在门户客户端检索和发布,实现数据资源在应用层面的融合和共享。     

基于Oracle数据库海量数据的查询优化研究

系统数据库数据量大时,常常会遇到系统响应时间过长、占用系统资源过多等一系列问题。因此对海量数据查询技术的研究就很必要。文中基于Oracle数据库,采用各种措施和方法来提高响应速度：合理设计数据库结构、使用索引、分区、SQL语句优化等手段优化数据库。另外,分页显示查询结果也能很大地提高查询速度。实验证明,优化后速度明显提高了很多。因此可见,文中采用的优化方法对海量数据的查询优化是正确有效的。     

Oracle中数据装载与数据重组的研究

数据装载和数据重组是在管理和维护Oracle数据库中经常遇到的问题。文中介绍了目前向Omcle数据库中装载数据的几种常用方法，并简要介绍了数据重组的问题。文中随后给出了这几种方法的使用原则以及性能分析，最后讨论了这几种方法的应用场合。     

将Excel数据加载到Oracle9i数据库

本文讨论了在Oracle9i数据库中加载外部数据的方法,提出了一种将MicrosoftExcel电子表格数据加载到Oracle数据库的方法。     

将Excel数据加载到Oracle9i数据库

本文讨论了在Oracle9i数据库中加载外部数据的方法，提出了一种将Microsoft Excel电子表格数据加载到Oracle数据库的方法。     

基于Oracle数据库的作战数据虚拟化安全应用方法研究

随着作战数据库应用系统中大量重要、敏感数据的增长,数据库中数据的安全显得极为重要。本文尝试基于Oracle的数据库管理系统进行作战数据安全访问控制,重点介绍通过虚拟专用数据库(Virtual Private Database,VPD)实现多个相关数据库间共享表的安全,以达到"细"粒度访问控制。     

基于Oracle ODM的数据挖掘研究

通过对当前企业数据挖掘应用需求和企业软硬件环境的考察，指出采用Oracle ODM构建紧耦合型数据挖掘系统能够节约成本和提高软件性能，适应企业决策需求。通过一个基于自适应贝叶斯网络实现挖掘应用的实例．给出了采用Oracle ODM进行数据挖掘的基本方法，说明了Oracle ODM有利于快速、高效开发企业数据挖掘系统。     

Oracle数据库在属性数据管理中的另类用法

在地理信息系统平台上,实现图元形体数据与属性数据的分离,将图元的属性数据导入到Oracle数据库中进行管理;应用程序通过Oracle数据库,实现对图元属性数据的添加、删除、修改、查询等功能;在数据库中建立数据字典,对各个对象数据表的字段信息进行管理。文章以GeoView3D软件为例,并给出了实现这一构想的思路和方法。