并行数据挖掘方法在水利普查成果分析中的应用

随着第一次全国水利普查的结束,海量的水利普查数据随之产生。将云计算技术应用在水利普查数据挖掘领域,可以更加快速、高效和低成本地为水利决策提供科学、合理的支持。本文提出基于Map/Reduce的水利普查数据决策树分类挖掘方法MRC4.5算法,并将该算法应用于全国水利普查地下水取水井数据挖掘中。实验结果表明,与传统的C4.5算法相比,MRC4.5算法在处理大规模数据集时具有更高的执行效率和良好的加速比。     

《全国水利普查数据处理系统总体设计》通过审查

<正>2010年10月17日国务院第一次全国水利普查办公室在北京组织召开了《第一次全国水利普查数据处理系统总体设计》(以下简称《总体设计》)审查会,第一次全国水利普查办公室副主任庞进武、蔡阳、黄河出     

水利普查数据更新维护对策研究

水利普查数据更新维护是全国水利普查成果长期有效应用的重要支撑和保障。第一次全国水利普查后,数据更新是否及时,质量能否保障,共享能否畅通,以及现有数据能否满足需求等问题将是影响普查成果在水利信息系统应用的重要制约因素。针对这些问题,着眼于构建"统一化、专业化、标准化"的水利数据中心,形成一体化的国家基础水信息平台为总体目标,提出数据更新维护应遵循的多样性、适用性、规范性、协同性、同步性等5项原则,重点研究数据更新维护实施的技术手段及路径,并初步探讨相关标准、管理制度及工作流程,以建立数据更新维护过程的长效机制,确保水利数据资源得到充分利用。     

在第一次全国水利普查数据处理试点培训班上的讲话

<正>(2010年5月28日)第一次全国水利普查数据处理试点培训班今天正式开班了,首先,我谨代表矫勇副部长,代表国务院第一次全国水利普查领导小组办公室,对大家的到来表示热烈欢迎!本次培训是继水利普查试点综合培训和专业培训之后,举办的又一个重要培训     

在第一次全国水利普查工作试点地区普查办公室主任会议上的讲话

<正>(2010年6月22日)今年4月22日第一次全国水利普查试点工作启动以来,各级试点地区水利普查机构在国务院水利普查办公室的统一部署下,健全了工作机构、落实了工作人员,开展了大规模的培训,试点工作稳步推进,取得了很多好的经验、好的做法,也遇到     

辽宁省水利普查成果查询应用系统设计要点

辽宁省结合第一次水利普查成果,积极开展普查成果开发应用实践活动,开发建设辽宁省水利普查成果查询应用系统,取得良好的效果。结合辽宁省水利普查成果查询应用系统功能设计,归纳总结出设计要点,以供交流与参考。     

一种基于权重的时间序列相似性度量

依据时间序列的形态特征,为基于欧氏距离的相似性度量加入奖惩因子,使其能反映序列形态的相似性.同时根据相关的背景知识给时间序列不同的维设定不同的权重,并给出一种自动求权重集合的算法.该算法成功应用于福泉高速行车数据以及仿真数据的相似性度量.     

一种节点加权的相似重复XML数据检测算法

XML类型的数据成为当前主流的数据形式,本文提出一种检测XML数据相似性的方法,即将XML文档转换成树结构的基础上,对树结构的节点加权,并结合树编辑距离算法。通过XML带权树各属性权值计算的相似度对数据进行粗略匹配与聚集,而在重新聚集的集合中使用树编辑距离算法更直接的进行相似性检测。由于XML数据集合范围的缩小,树编辑距离算法操作的次数减少,从而节省了一定的时间。     

一种基于数据划分的字符串相似连接外存算法

字符串相似连接操作具有广泛应用,因而将着重研究基于编辑距离的字符串相似连接.而现有的字符串相似连接算法大多为内存算法.实际应用中的数据集越来越大,有必要针对超大规模数据集研制字符串相似性连接外存算法.利用组合频率向量划分数据集,并提出了基于编辑距离的字符串相似性连接外存算法框架,证明了磁盘调度问题的难度并提出了不同的启发式磁盘调度方法.此外,还提出了基于该外存算法框架实现字符串相似性连接增量式计算的方法.实验结果表明,数据划分方法可以有效地过滤不相关的数据子集;磁盘调度算法能够有效减少磁盘IO次数;外存算法是高效的;增量式计算方法能够高效地处理数据更新.     

第一次全国水利普查数据处理试点培训班在南京举行

<正>2010年5月29～31日,第1次全国水利普查数据处理试点培训班在江苏南京举行。国务院第1次全国水利普查领导小组办公室副主任庞进武在开班仪式上作动员讲话,领导小组办公室副主任黄河主持开班仪式,领     

基于模糊证据理论的水质环境状态估计

从信息融合的角度，将湖泊水质环境多因子综合评价过程看成是一个多源数据融合处理与状态估计过程，提出基于相似度的模糊证据理论，评估湖泊水体富营养状况．通过引入模糊集合的相似度，一方面，确定模糊焦元的权值，并修改证据模型；另一方面，确定模糊焦元对类别焦元的信任函数的贡献因子，并建立状态估计与评价模型，使其能够处理湖泊水体富营养状况的突发性带来的某些焦点元素的显著变化问题．对太湖水体富营养状况的评估做了实证分析，并与营养状态指数评价方法进行比较，结果一致，说明基于相似度的模糊证据理论的估计方法可行．     

Estimating population from photographically determined residential land use types

The U. S. Bureau of Census conducts a census of population characteristics every ten years, a major element of which is existing population size. These latter data are essentially out of date by the time of census publication and become increasingly so as time progresses. In order to supply much needed intercensal urban population size data, a methodology is proposed which relates land use information from aerial photography to characteristic spatial population density figures obtained from U. S. Census data to generate accurate and timely urban population estimations. This proposed methodology was applied to four California cities and produced results ranging from an underestimate of 9.17% to an overestimate of 7.00%. While the error factors encountered in individual cities were significant, the composite error for the four cities together was only 4.51% (underestimation). Analysis of the suspected sources of error indicated that several minor modifications of the proposed methodology might increase the accuracy of the method. The relative ease and low cost associated with the application of the proposed methodology to four California cities suggests that the proposed methodology may be highly useful for planning and administrative purposes at local and regional levels.     

基于小波相似度加权的图像融合算法

为了获得较好的图像融合效果,针对传统相似度算法存在的不足,提出一种基于小波相似度加权的图像融合算法。采用小波相似度描述图像细节结构信息,并使用对比度敏感函数对不同尺度的小波系数进行加权,然后利用加权相似度对图像进行融合,最后采用仿真实验对算法性能进行测试。实验结果表明,该算法能够进一步衡量图像间的结构相似度,图像融合过渡效果更加自然,取得了优于传统相似度方法的融合效果。     

中国人口普查地理支撑技术研究

介绍了人口普查地理支撑工作,论述了地理信息在人口普查工作中的作用,针对目前人口普查地理信息应用的现状,指出了其在数据收集、管理和应用等方面的不足,进而提出了5种解决方案。这些方案在全国人口普查试点工作中进行了检验,并对它们进行了比较、分析和评价,归纳了各种方案的适用性,供第六次全国人口普查工作参考。     

基于代理和熵权的无线传感器网络数据融合

为了解决节点分布密集环境中网络数据融合能耗较大的问题,提出了一种基于代理和熵权的分组融合算法。该算法首先通过节点监测数据相似度的对比,摒除组内故障节点的影响;然后采用C/S模式对组内节点进行融合,以组融合数据代替节点数据参与融合;最后采用代理模式对各组融合数据进行熵权融合。仿真结果证明该方案能以较小的能耗代价获取准确的融合结果,有效减少了网络延迟。     

句子相似度计算及其应用

随着互联网技术的发展,智能答疑系统也受到了更多的关注,应用它能够及时给学生提供学生疑惑的问题答案。智能答疑系统通常包括问句理解、信息检索、答案抽取和选择三个主要部分,其中句子相似度计算是问句理解的一部分,它的性能将直接影响到最后答案的准确性。本文通过对词型和普通的编辑距离算法为基础,加入了词性的语义信息,提出了一种新的句子相似度算法,并将其应用到计算机基础课程答疑系统中,使得系统的正确率有了较大的提高。     

Developing a census data-mapping package for Sirius]

This paper describes the development of a census data-mapping package for the Sirius microcomputer. The major objective was to display data from the 1981 United Kingdom Census Small Area Statistics onto various map bases for use in published reports and for interactive comparisons among census variables     

Improving matrix-based dynamic programming on massively parallel accelerators

Dynamic programming techniques are well-established and employed by various practical algorithms, including the edit-distance algorithm or the dynamic time warping algorithm. These algorithms usually operate in an iteration-based manner where new values are computed from values of the previous iteration. The data dependencies enforce synchronization which limits possibilities for internal parallel processing. In this paper, we investigate parallel approaches to processing matrix-based dynamic programming algorithms on modern multicore CPUs, Intel Xeon Phi accelerators, and general purpose GPUs. We address both the problem of computing a single distance on large inputs and the problem of computing a number of distances of smaller inputs simultaneously (e.g., when a similarity query is being resolved). Our proposed solutions yielded significant improvements in performance and achieved speedup of two orders of magnitude when compared to the serial baseline.     

适合人口普查区域划分的遥感影像最佳空间分辨率研究

根据人口普查区域划分对地理信息的需求,分析总结了不同区域类型和不同人口数量等级普查区域对遥感影像的要求。对主要确定普查区域界线的地物进行了归纳,依据遥感影像最佳空间分辨率的概率模型,分析得出不同区域满足人口普查区域划分需要的遥感影像最佳空间分辨率,并通过实验区的实际应用进行了验证,作为全国人口普查普查区域划分及制图选择遥感影像空间分辨率的依据。