水利大数据应用初探

面对"节水优先、空间均衡、系统治理、两手发力"的治水新思路,新一届水利部党组提出"水利工程补短板、水利行业强监管"的水利改革发展总基调,由此带来的一系列传统水利信息采集、处理和服务不适应问题越来越突出,传统水利信息工作模式已无法满足当前水利工作改革发展需要,二者之间甚至产生不可调和的矛盾。为此,只有采用新一代信息技术,尤其是大数据技术才能有效解决这一矛盾。通过对水利工作面临的主要问题,大数据及其应用特点,以及将两者结合形成13种可行的水利大数据典型应用的介绍,从利用大数据快速处理、综合和关联分析的能力解决传统方式难以解决的水利工作面临的主要问题方面,对大数据在水利中的应用进行初步探讨和研究。     

水利大数据建设思路探讨

随着信息化技术的不断演进和发展,"互联网+"、大数据、云计算、物联网等先进信息技术正成为水利信息化发展的新引擎和新动力。从水利大数据体系建设、分析平台搭建和应用方向3个方面探讨大数据技术在水利管理领域中的应用,提出水利大数据体系建设需要整合的内外部及互联网数据、利用主流大数据组件搭建大数据分析平台的方法、结合水利管理业务进行大数据分析场景设计的思路,为水利大数据分析提供数据体系、分析平台、水利业务应用等层面的建设思路。     

遥感科学数据应用态势分析

遥感数据是影响遥感科学研究方法、实验思路、解决方案的重要因素之一。以探索面向遥感科学数据的学科情报分析框架为目标,以《Remote Sensing of Environment》期刊1999~2018年发表的学术论文为例,利用文献计量和知识图谱分析方法,展现遥感科学数据的利用情况。结果表明:满足特定专业领域需求的遥感科学数据日益丰富,光学遥感、微波遥感和激光雷达数据的应用结构已发生明显变化,从20世纪90年代的8∶1∶1发展为5∶3∶2,多角度观测、机载观测平台等新型观测方式展现出独特的优势。遥感科学数据和相关研究分析方法的发展和完善,不断推动对复杂地理生态过程以及人类活动对环境影响的系统化、综合性理解。     

大数据技术在水利统计查询分析系统中的应用

目前水利统计信息系统收录了全国各省市、自治区的农业灌溉、供用水、水土保持、水利建设投资、 农村水电、水文站网等行业数据,这些数据来源渠道广、涉及维度多、信息量级大,传统的数据分析手段已经很难满足水利业务分析的需要。为解决水利统计数据体量大、类型多、分析慢的问题,基于大数据技术提出包含从数据接入到业务应用的架构体系,设计综合展示、空间分析、智能分析及多维分析等功能模块,建立基于大数据技术的水利统计查询分析系统。结果表明：大数据水利统计查询分析系统不仅能够满足水利统计业务分析的需要,而且可以统筹分析不同类别、频率的数据,为水利统计查询分析业务提供平台支撑,同时也为大数据技术应用于其他行业提供参考。     

遥感影像样本大数据建库与应用方法

研究一种基于关系型数据库与分布式文件系统融合的遥感影像解译样本大数据建库方法.解析了数据库建设过程,讨论了建库关键技术问题与解决方法;在建成样本数据库基础上,研究了样本数据应用方法,分析了几种应用实例,探索了样本数据应用模式;以选取的研究区域内大规模样本数据为对象,验证了数据库建设中数据处理过程及效率,同时,以地理国情普查分类体系中地表覆盖10个一级类为例,对研究区域各类别样本空间分布与密度等特征进行了分析.结果表明：利用关系型数据库与分布式文件系统融合的方法对样本大数据进行建库与管理,对样本数据的检索、分析及推广应用,具有很好的效能和适用性.     

深度先验图像特征在城市遥感大数据中的应用

图像特征提取始终是计算机视觉和图像处理的核心任务.随着深度学习的快速发展,卷积神经网络逐渐取代传统图像特征算子,成为特征提取的主要算法.本文针对城市遥感数据众包标记系统中的数据关联问题,结合卷积神经网络和池化编码,提出基于深度先验的图像特征提取方法.该特征能有效聚焦室外图像近处物体,并通过图像检索实验验证了其对室外图像的良好表征能力.     

水利行业大数据汇集管理体系建设的思考

面向当前国内水利行业大数据建设,以提高数据管控效果、提升大数据价值为目标,思考提出一套水利大数据汇聚管控的顶层体系.研究提出不同管理权限水利数据节点之间的数据汇集管理结构,分析国家、流域、省、市和库站等不同管理类别和层级的数据汇集管理过程,梳理其中数据管理的主体与内容,并针对不同情境实现数据的直属、统筹及协商管理,在管...     

水利舆情大数据监测应用研究

随着社交媒体的发展,水利网络舆情事件的发生次数呈上升趋势,监测分析难度日益加大.为解决水利网络舆情监测问题,开发建设水利舆情大数据监测分析平台十分必要.通过对基础设施、数据资源、舆情智能分析、舆情大数据可视化4个模块的构建,水利舆情大数据监测分析平台初步实现舆情大数据监测分析能力,形成较完善的水利行业舆情大数据工作机制...     

分级存储技术及其在水利大数据处理中的应用

随着水利信息化的快速发展,水利大数据应用日益广泛,通常的存储技术已经无法满足需要,存储容量及数据读写速率已成为大数据处理发展过程中的瓶颈。与全国山洪灾害防治管理平台中的分级存储数据集群建设实践相结合,根据信息生命周期理论,应用分级存储技术与方法,再结合水利数据特性制定迁移策略,搭建分级存储集群,有效地满足对海量数据存储和处理速率的需求,打破存储对大数据处理的制约。最终,该分级存储集群能够在节省存储成本的同时有效增加存储容量并提高对数据的读写速率,从而使集群的综合性能趋于平衡。     

大数据平台在智慧教育中的应用思考

在大数据环境下,如何高效地存储和检索教育资源成为教育大数据亟待解决的问题。智慧教育涉及教学、管理和资源等全流程,而教育大数据在时间空间上分散孤立,数据内涵差异巨大,大量结构化与非结构化数据共存。从学生和教师的用户角度来看,高校缺乏提供个性化服务的能力,在教学和生活方面都还存在很大的提升空间。本文就大数据平台在智慧教育中的应用提出一些思考,重点研究教育大数据之间的动态关联,教育大数据语义推荐,教育大数据搜索和可视化等多方面技术。     

遥感数据异地备份中数据一致性方法研究与实现

近年来,遥感数据的备份与容灾是数据存储与安全领域内备受关注的问题。异地备份的目的是实现数据的互备份和互检索,实现遥感数据动态备份与快速恢复。本文根据遥感数据异地备份自身的特点,在借鉴分布式数据库系统中维护数据一致性方法的基础上,提出了基于消息队列机制的异步复制控制法、差错控制法和同步文件比对法3种维护遥感数据一致性的方法,同时对这3种方法的区别和联系进行了初步分析。     

TM与ETM影像融合用于地质构造解译

多源遥感影像数据融合是一种通过高级影像处理技术来复合多源遥感影像的技术，其目的是将单一传感器的多波段信息和不同传感器提供的信息加以综合，以提高获取信息的有效性和准确性，解译的可靠性，以及形成对目标的完整一致的描述。本采用TM与ETM经图像处理和融合，用于对地质构造解译，取得良好效果。     

遥感数据异地归档方法研究与实现

遥感数据异地备份是在数据中心和备份端各自保存一份遥感数据,并提供数据恢复手段的容灾技术.遥感数据异地归档是遥感数据异地备份的基本组成部分,是实现遥感数据异地备份的关键.为实现遥感数据异地备份中异地归档功能,本文针对异地归档过程中的难点和问题,提出了遥感数据异地归档方法,并从技术角度出发提出解决方案.     

国际遥感的现状和发展趋势

自1972年美国第一颗陆地卫星发射以来,遥感在世界范围内得到了迅速的发展和广泛的应用,引起了各界人士和许多国家的关注和重视。但是,从目前遥感,特别是航天遥感的技术水平和应用状况来看,尚不能满足有效地解决各应用领域中不断地提出来的各种实际问题的需要。     

历史云量数据在遥感卫星区域化采集模型中的应用研究

本文从建立遥感卫星区域化采集模型的角度出发,研究了历史云量数据在遥感卫星区域化采集模型中的应用,提出了历史云量数据在遥感卫星区域化采集模型中的应用模型,并以风云气象卫星历史云量资料作为参考数据进行了试验。试验表明将历史云量数据引入遥感卫星区域化采集模型中加以应用,能够使规划区域化采集方案时偏向选择历史平均云量较小的成像条带,为提高光学遥感卫星数据采集效率提供一种有效的方法。     

海量卫星遥感数据共享的关键技术

在对遥感数据共享的研究现状及其存在的难点问题进行综合分析的基础上,从元数据共享、标准数据产品共享、遥感信息共享3方面内容,分别对遥感数据共享到遥感信息共享的关键技术进行研究。并给出基于网络服务技术实现遥感信息共享与综合信息集成共享服务的框架结构和基本步骤。     

遥感影像数据挖掘研究进展

遥感影像数据挖掘是一个有着广阔应用前景的研究领域。由于遥感影像数据库的海量特征，遥感影像数据挖掘已成为空间数据挖掘的主流。依据遥感影像数据挖掘的方法和目的，从图像索引和检索、图像分类、图像聚类、空间关联规则挖掘、影像变化检测以及高光谱数据挖掘六个方面对遥感影像数据挖掘的国内外研究现状进行了综述。并指出了遥感影像数据挖掘和知识发现中应该着力解决和注意的几个问题。     

遥感数据处理运行控制中的工作流应用

遥感数据处理地面系统的运行控制存在传感器众多、处理算法复杂、流程缺乏统一管理等问题。为此,提出结合工作流技术的通用运行控制模型,将控制逻辑和业务逻辑完全分离,简化系统结构和编程模式,作业管理系统可满足处理算法对资源的不同需求。测试结果表明,运行控制系统响应快速,系统空载时作业响应时间约为0.3 s,随着系统负载的增加,运行控制的延迟没有显著增加。