网格环境下的数据存储

数据存储可以使利用不同存储环境的用户有效地访问数据。本文对网格环境下的主要存储技术进行了介绍。讨论了在本地和远程存储数据时，存储方法要考虑的问题；数据存储的基本传输和存储单元及存储模式。     

网格环境下的数据存储

数据存储可以使利用不同存储环境的用户有效地访问数据。本文对网格环境下的主要存储技术进行了介绍。讨论了在本地和远程存储数据时,存储方法要考虑的问题;数据存储的基本传输和存储单元及存储模式。     

数据网格中高效的分布式存储策略

在当前数据网格软件中间件系统的基础上,提出一种基于信息散列算法的分布式存储策略。采用信息散列算法对数据文件进行散列处理,将其分布存储于数据网格系统的多个存储服务器。理论分析和实验模拟结果证明,与传统的数据复制技术相比,该策略具有较高的可靠性和并行访问性能。     

面向应用的虚拟桌面网格架构

针对桌面网格中出现的应用部署难、作业结果差异大、系统可扩展性差等问题,基于虚拟化技术提出一种桌面网格架构。利用虚化技术的隔离性和封装性,通过面向应用的作业调度策略以及有限生命周期的虚拟机控制方式,实现一个易于扩展且易于部署的桌面网格架构。分析及测试结果表明,该架构适用于大规模应用场景,架构中所采用的面向应用的调度策略以及虚拟机控制方式是有效可行的。     

数据网格环境下一种动态自适应的副本定位方法

在数据网格中，数据常常会由于性能和可用性等原因进行复制，如何有效地定位数据的一个或多个副本的物理位置是数据网格系统需要解决的重要问题，提出了一种可扩展、动态自适应的分布副本定位方法——DSRL，DSRL使用宿主结点来支持对同一数据多个副本的同时高效定位，使用本地副本定位结点来支持对副本的本地查询。DSRL提出了一种动态均衡映射方法，将全局副本定位信息均衡分布在多个宿主结点上，并且能够自适应宿主结点的动态加人或退出，详细描述了DSRL的组成，并对DSRL方法的正确性和负载平衡等特性进行了证明，分析和实验表明，DSRL方法有着良好的可扩展性、可靠性、自适应性和性能，并且实现简单，有着较好的实用性。     

基于遥感数据访问与集成的网格中间件

借助数据网格强大的数据管理功能,可以整合分散复杂的遥感数据,为遥感数据处理提供一致的存取环境。遥感数据访问与集成网格中间件的研究目的是为访问分散的、异构的遥感数据提供统一的网格服务接口,使孤立的遥感数据之间实现资源共享。该文利用OGSA-DAI设计,实现了遥感数据访问和集成网格服务,构建了一个高性能遥感数据共享系统,分析了系统的关键性技术及实际应用。     

海量数据处理中的网格技术应用

网格是继Internet和Web之后第三次信息技术革命,最终将改变分布式资源的共享和服务方式。该文主要讨论了海量数据的产生、存储、处理,以及其对数据网格技术的需求,分析了欧洲数据网格和LHC计算网格的功能,并探讨了网格技术研究的最新情况。     

基于云计算的图书馆海量数据存储研究

基于云计算的数据存储技术改变了现代图书馆的管理模式,也更新了传统的信息服务方式。现代数字图书馆系统的构建将沿着网络信息服务产业的发展方向搭设,对以往的数据存储模式形成较大的冲击。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。     

基于HBase的遥感数据分布式存储与查询方法研究

遥感影像的存储与查询是地理信息处理中重要的内容,在海量遥感影像的实时处理中发挥着重要作用。针对传统的遥感影像处理中存在单节点故障、扩展性低和处理效率低等问题,提出了一种基于HBase的遥感数据分布式存储与查询方案。该方法首先采用均匀网格对遥感影像进行划分,并根据划分结果设计了一种基于网格ID和Hilbert曲线相结合的索引方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。另外,采用MapReduce的并行处理方法对影像数据进行并行写入和查询。实验结果表明,与MySQL和MapFile相比,该方法可以有效地提高数据的写入和查询速度,且具有较好的可扩展性。     

基于云计算的图书馆海量数据存储研究

基于云计算的数据存储技术改变了现代图书馆的管理模式,也更新了传统的信息服务方式。现代数字图书馆系统的构建将沿着网络信息服务产业的发展方向搭设,对以往的数据存储模式形成较大的冲击。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。     

基于GDAL框架的多源遥感数据的解析

针对图像软件系统工程项目中涉及的多源遥感数据的预处理问题,研究了当前几种典型卫星数据的不同存储格式,提出了对各种遥感数据进行解析的方法.通过对地理空间数据抽象库( GDAL)原有功能进行完善和扩展,并重新编辑发布动态链接库( DLL)版本,设计了多源遥感数据在GDAL框架体系下的统一解析模式,实现了遥感数据解析结果存储为项目中通用的统一数据格式(如Tiff格式),为后续的遥感数据处理和定量遥感数据产品的生产提供数据基础和技术支持.     

基于自编码神经网络的航空物探遥感数据分类方法研究

航空物探遥感数据的采集过程中受到电磁波辐射等外界因素的影响,导致航空物探遥感数据分类准确率较低,为此提出基于自编码神经网络的航空物探遥感数据分类方法;根据航空物探对象的基本特征,设置遥感数据的分类标准;通过辐射校正、几何纠正、噪声消除等步骤,完成航空物探遥感数据的预处理;构建自编码神经网络,利用自编码神经网络算法,从光谱、形状、纹理等方面提取遥感数据特征,通过特征匹配确定航空物探遥感数据的所属类型;通过分类性能测试实验得出结论：所提方法的全局遥感数据分类成功率和错误率的平均值分别为99.8%和0.6%,局部遥感数据分类的成功率和错误率的平均值分别为99.8%和0.3%,即所提方法在分类性能方面具有明显优势。     

基于多源遥感数据融合的土壤水分反演研究

土壤含水量作为地表的重要参量之一,对地球能量循环、水循环、碳循环及生态环境都有十分重要的意义。以南京市金川河流域为研究区,融合哨兵 2 号 L2A 数据和 Landsat 8 遥感数据 2 种数据源,分别采用偏最小二乘法(PLSR)、最小二乘-支持向量机(LS-SVM)、反向传播神经网络(BPNN)和随机森林(RF)4 种建模方法,建立遥感数据与土壤含水量之间的关系,并进行模型的验证与评价。结果表明：1)土壤含水量与哨兵 2 号和 Landsat 8 各波段反射率均呈负相关关系,和海岸带监测波段(波长为 430~450 nm)和近红外波段(波长为 2 100~2 300 nm)相关性最佳;2)融合后的遥感数据相较于单一遥感数据源,预测土壤含水量的能力更佳, 最优模型 R2 达 0.996,均方根误差仅为 0.003 g/g;3)4 种建模方法中,建模效果从好到差依次为 PLSR,RF, LS-SVM,BPNN。融合哨兵 2 号 L2A 和 Landsat 8 数据,结合 PLSR 建模方法可进行土壤含水量的精准反演, 相较于现有研究反演精度大大提升,对研究该地区地表与地下水循环和生态环境治理有一定参考价值。     

Research and application of flood detention modeling for ponds and small reservoirs based on remote sensing data

This paper proposes a method of small reservoir flood detention modeling that utilizes data from the American land resources satellite Landsat TM/ETM+. Precipitation and potential evapotranspiration are taken as the control conditions in this method on the basis of basin terrain classification. The objective of this method is to solve the question of a small-scale water conservancy project’s influence on flood forecasting precision, which can be used in the basin with multitudinous small reservoirs in the u...     

遥感影像数据云存储平台的安全防护机制研究

针对基于Hadoop的遥感影像数据云存储平台存在的认证机制不完善、访问控制过于简单等安全问题,采用Kerberos认证结合令牌认证的身份认证机制,提出了基于用户属性与遥感影像数据属性的多维细粒度访问控制策略,达到了完善平台认证机制和增强平台访问控制的目的.实验结果证明,提出的身份认证机制和访问控制策略能有效增强遥感影像数据云存储平台的安全防护能力,且对平台性能影响很小.     

遥感大数据研究现状与发展趋势

目的 遥感数据空间分辨率、时间分辨率、光谱分辨率以及辐射分辨率不断提高,数据类型也不断增加,从航天、航空、临近空间等遥感平台所获取的遥感数据量急剧增加,遥感数据已经具有明显的大数据特征。本文旨在从系统应用的角度分析遥感大数据处理中涉及的关键技术与问题,为相关研究人员提供有价值的参考。方法 在参考大量文献的基础上,首先阐明遥感大数据的特点。其次,从GPU硬件加速、集群、网格、云计算、云格、复杂高性能计算等角度介绍了遥感大数据处理系统。再次,从分布式集群化存储技术等,分析了遥感大数据处理的关键技术。最后,从遥感大数据的多类不确定性、信息融合、机器学习、分析平台等出发,说明了目前研究存在的问题;从遥感大数据多类不确定性建模,面向遥感大数据的机器学习方法等角度说明了遥感大数据发展的趋势。结果 本文详细梳理了遥感大数据的特点、典型的处理系统、核心技术,力图总结出在实际应用与学术研究中该领域需要解决的关键问题以及未来的发展趋势。结论 大数据技术为遥感数据挖掘与知识获取带来了机遇与挑战,面向大数据的机器学习、数据统一分析框架、面向大数据的信息深度融合等问题的突破,将促进遥感知识挖掘的进一步发展。     

容差粗糙集卫星遥感数据分类

结合粗糙集理论和遥感数据中地物光谱特征空间分布信息,提出了一种基于光谱特征邻域的容差粗糙集分类方法,用来处理卫星遥感数据分类中的不确定性问题。利用北京地区Landsat-5 TM数据进行分类试验,对算法分类过程进行讨论及其分类结果进行验证分析;结果表明：文中方法在可理解性和稳定性上体现出比较好的性质,能够有效处理卫星遥感数据分类中存在的不确定性因素,在具有复杂光谱特征地物分类方面具有发展潜力。     

基于IP-SAN的海量数据存储算法研究与实现

随着企业信息爆炸性增长,海量信息存储成为目前存储行业研究的热点。为了解决海量数据存储过程中的数据孤岛问题,消除数据重复进而实现对唯一数据源的多维应用,首先提出了基于IP-SAN技术的海量数据存储方案,系统架构以IP-SAN为数据中心作为底层硬件支持,以基于拟序的关联备份任务模型实现系统底层数据执行机制,采用层次化的数据集成方案来实现高层应用;其次,给出了拟序备份和层次化异构数据集成的关键算法,最后对该方案在飞机设计数字化工程中的实际应用案例进行分析,表明该方案的实际应用价值。     

遥感数据集群处理作业调度管理系统研究

高性能遥感数据集群处理技术提高了遥感数据处理的速度和精度。作业调度管理是集群处理系统的核心组成部分,有助于提高系统的吞吐率和资源使用率。常用调度管理系统通用性强,但针对性差,自动化程度低,资源使用存在盲目性。针对遥感数据集群处理,基于集群作业调度管理系统Open PBS,提出一种最优资源自动分配的"双级调度策略";应用分层架构和面向服务的软件开发思想,采用ICE中间件的网络通信技术,使用XML格式作为数据交换模式,研究并实现C/S(Client/Server)架构的灵活、友好、高效的遥感数据集群处理作业调度管理系统。