数据密集型计算编程模型研究进展

作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统上研发了分布式编程系统.编程模型可以降低开发人员在大规模集群上编程的难度,并让程序充分利用集群资源,但设计这样的编程模型面临巨大挑战.首先说明了数据密集型计算的特点,并指出了编程模型要解决的基本问题;接着深入介绍了国际上代表性的编程模型,并对这些编程模型的特点进行了比较和分析;最后对当前所面临的问题和今后的发展趋势进行了总结和展望.     

一种适应数据与计算密集型任务的私有云系统实现研究*

与公有云计算相比,针对数据与计算双重密集型任务的私有云计算系统对计算效率和系统管理效率提出了更高的要求,目前的公有云计算系统显得过于复杂和繁琐,因此需要一种简便易用的能够适应数据与计算密集型任务的私有云计算系统实现。借鉴公有云计算的相关理论和实现方法,提出了一种针对数据与计算双重密集型任务的私有云计算系统实现方案。该方案通过作业文件描述用户的计算任务,确定计算任务的计算模型和计算的输入输出文件;针对私有云的特点,简化Google云计算系统的MapReduce并行处理框架,得到更加直观的数据计算模型;自动连     

面向新型处理器的数据密集型计算

近年来,随着数据量的不断增大,数据密集型计算任务变得日益繁重.如何能够快速、高效地实现在大规模数据集上的计算,已成为数据密集型计算的主要研究方向.最近几年,研究人员利用新型的硬件处理器对数据密集型计算进行加速处理,并针对不同新型处理器的特点,设计了不同形式的加速处理算法.主要对新型硬件处理器基于数据密集型计算的研究进行了综述.首先概述了新型硬件处理器的特点;然后,分别对新型处理器FPGA和GPU等硬件进行性能分析,并分析了每种处理器对数据密集型计算的效果;最后提出了进一步的研究方向.     

海量遥感图像数据实时预处理系统结构设计

随着遥感技术的发展,遥感图像的分辨率和采样率越来越高,实时完成海量遥感图像数据的预处理已成为急需解决的关键问题。本文分析了遥感图像预处理算法的可并行性,提取了算法要素。提出了适用于大数据量遥感图像实时预处理的分布并行处理系统的结构设计方案。     

遥感卫星图像几何粗校正的数据并行方法研究

主要研究星上遥感图像的实时几何粗校正问题．卫星遥感图像现在一般都大到上万个像素行和列,采用传统的单个处理器的串行方式在星上进行实时处理是难以满足应用要求的．提出了一种在一维PE阵列的SIMD计算机上采用基于处理元阵列平移的数据并行校正方法,并根据NASA的LANDSAT-1卫星的有关的参数,对该方法进行了详细讨论,给出了具体的实现方法．通过对复杂性和加速比的讨论,表明该方法在性能上比采用单个处理器的串行方法提高了N倍．     

基于PVM的网络并行计算在遥感图像处理中的应用

并行虚拟机PVM是一种通用的网络并行程序开发环境,大数据量的地形图像处理若采用并行计算将会提高处理速度,尤其在DEM的可视化方面。该文结合“数字清江”项目中地形图像处理的具体问题,对利用基于PVM的微机网络平台进行并行计算做了有益的探索。     

分布式并行遥感图像处理中的数据划分

讨论了分布式并行遥感图像处理的数据划分问题,为了便于分析该问题,提出了图像处理应分为三类,即：点处理、线处理和域处理,同时还提出了数据通讯量应当进一步细分为净通讯量和实际通讯量。通过对不同数据划分方式的净通讯量和实际通讯量的分析,得出了在三类图像处理中数据划分的最佳方式,另外,文章在最后还进一步分析了非平均分析的数据划分问题。     

云环境下面向负载均衡的数据密集型工作流的数据约简策略

如何对数据密集型工作流应用进行高效合理地调度成为云计算领域亟待解决的关键问题之一。针对此问题,首先构造数据密集型工作流的有向超图模型。然后提出了数据支持能力概念,通过基于数据支持能力的合并操作对模型进行约简。最后优化超图多层剖分算法,提出数据约简的数据密集型工作流调度策略HEFT-P。研究结果表明,HEFT-P相比典型的工作流调度策略HEFT、CPOP、MCP,能够很好地对数据密集型工作流进行约简优化,获得较少的调度时间。     

基于分布式计算的遥感图像水体识别研究

为了提高遥感数据的处理速度,解决遥感信息提取中的数据密集与计算密集问题,将并行计算的思想引入到遥感图像的处理与信息提取中,构建基于Landsat ETM+影像的分布式遥感图像水体提取模型。以渭干河流域为研究区,利用单波段阈值法、多波段谱间关系法、水体指数法等方法进行水体信息自动提取的实验。实验结果表明,该模型具有较高的识别精度,能够快速识别水体,并具有稳定的可扩展性和伸缩性。     

基于流式计算的遥感卫星数据快视处理方法

随着高分辨率遥感卫星数据获取能力和地面数传接收能力的提高，现有遥感卫星快视处理系统的处理负载增大，实时性要求越来越难以满足。针对这些问题，采用流式计算思想提出了一种新的遥感卫星数据快视处理系统设计方法。在分析遥感卫星数据快视处理数据流特点的基础上，应用Storm框架对现有系统进行并行优化，设计遥感数据流处理任务拓扑结构，同时利用消息队列中间件Kafka改进处理单元间数据交换和数据缓存方式。实验表明，该系统在数据吞吐率和可靠性方面测试效果良好。     

基于PDE方法的遥感图像处理

前期处理后的遥感图像中主要剩有高斯白噪声和椒盐噪声,传统平滑滤波技术很难同时兼顾除噪和保持边缘的要求;所改进的偏微分方程（PDE）滤波算法能很好地适应遥感图像噪声特征,在消除噪声的同时能很好的保留边缘和纹理细节;仿真实验验证了算法的正确性及有效性;研究了算法关键参数的选择范围和处理效果,为实际应用提供指导。     

分布共享存储的遥感图像并行预处理系统结构研究

随着遥感技术的发展,遥感图像的分辨率和采样率越来越高,对遥感图像预处理系统性能的要求也日益提高。本文介绍一种能高效实现遥感图像预处理的分布共享存储并行处理系统结构。     

基于MPI并行计算的卫星遥感数据变化监测系统设计

为控制卫星遥感数据变化指征与非变化指征之间的实值误差,实现对卫星遥感数据传输变化行为的准确监测,设计基于MPI并行计算的卫星遥感数据变化监测系统。建立A/D转换电路与Zigbee网络节点的匹配关系,将所得卫星遥感数据按需分配给传感器模块与协调器设备,完成数据采集与监测终端的硬件设计。按照并行拓扑结构连接形式,实施MPI的基本调用,再联合数据进程编写原则,实现对MPI并行计算的完善。根据传感器几何校正原理,求取遥感数据度量值,再分析核函数表达式,完成对卫星遥感数据的处理。利用MPI并行计算,控制数据采集与监测终端的硬件执行设备,完成卫星遥感数据变化监测系统设计。实验结果表明,所设计系统的卫星遥感数据变化指征与非变化指征之间的实值误差明显缩小,能够准确监测卫星遥感数据传输变化行为。     

海量遥感影像数据存储技术研究

介绍现有海量遥感影像数据的存储管理方式及其存在的不足,研究基于分布式文件系统的海量遥感影像数据存储技术,通过研制的D—MaRISS系统,说明所采用的分布式文件系统的结构和影像数据的组织方式。实验表明,该技术能高效地实现对海量遥感影像数据的存储管理。     

遥感数据异地归档方法研究与实现

遥感数据异地备份是在数据中心和备份端各自保存一份遥感数据,并提供数据恢复手段的容灾技术.遥感数据异地归档是遥感数据异地备份的基本组成部分,是实现遥感数据异地备份的关键.为实现遥感数据异地备份中异地归档功能,本文针对异地归档过程中的难点和问题,提出了遥感数据异地归档方法,并从技术角度出发提出解决方案.     

基于ETM＋遥感影像的图像融合技术比较研究

随着遥感技术的迅速发展,人们在对地物进行解译时对遥感数据的分辨率提出更高的要求。本文分别利用3种不同的图像融合技术对研究区的ETM＋遥感数据进行处理,使其空间分辨率提高了一倍,并对3种方法进行比较研究,得出一些有益的结论。     

一种基于本体的多源遥感数据集成系统

文章针对多源遥感数据集成共享的需求,分析了遥感数据源存在的数据冲突,提出了一种基于本体的遥感数据集成模型。通过OWL表示本体和映射关系,实现全局遥感数据本体与局部数据本体的冲突消解。     

基于工作流的图像处理网格平台及其遥感应用

图像处理网络平台基于工作流实现资源共享和协同计算,是一个灵活、动态的图像处理问题解决环境.其中,网格工作流技术可满足灵活多变的应用需求,通用服务请求代理能实现异构网格服务的简单调用,动态工作流模型利用具有较强描述功能的扩展有向无环图建模语言进行定义.该平台已成功地应用于遥感图像处理.