大数据背景下集群调度结构与研究进展

集群调度一直以来是集群计算方向的热点研究问题.集群调度研究主要关注在固定的集群资源条件下,数据处理作业如何快速、精确地获得所需运行资源,从而达到预先设定的执行目标.随着大数据计算的发展,集群环境在过去10年内持续且快速地发展变化,集群调度场景和目标也日趋复杂.尤其是在大数据背景下,传统集中调度结构的性能瓶颈被放大,研究者开始向全新的调度结构进行探索,应运而生了众多新思路、新结构.从大数据背景下集群调度研究的主要研究问题出发,分别介绍了大数据背景下的4种集群调度结构:集中结构、双层结构、分布式结构以及混合结构,并对各结构的产生原因、适用场景、优劣、典型研究工作、研究进展进行分析,并尝试对各结构的未来发展进行展望.     

基于状态表调度的相控阵雷达高可用处理集群

相控阵雷达具有高速大容量的目标信息采集能力,要求计算机必须具备高性能的数据处理能力。论文从相控阵雷达数据处理系统的高可用性角度出发,考虑故障监测、系统重构的因素,提出了一种基于状态表调度的计算机集群负载平衡算法,实现了数据的高可用、高性能处理。     

集群系统的调度策略研究

本文通过介绍与集群系统的相关概念进一步对系统的调度策略做细化讨论,从集群的服务与进程方面进行不同策略之间比较、分析、总结,并对不同策略使用提出相应优点与不足之处.     

Hadoop集群作业的调度算法

Hadoop集群作业调度算法一直都是社区中讨论最热门的话题之一,当前有大量的设计与实现围绕着它展开。作业调度算法已经作为Hadoop实现中一个可插拔的组件,这也为大家能够对它进行更深入的探索打开了方便之门。     

多集群作业调度系统MCJSS的设计与实现

研究多集群的管理模式,设计支持多集群的用户决策和系统决策两种调度方式,提出基于PBS的多集群作业调度MCJSS架构。利用PBS的扩展接口,实现MCJSS的核心模块,管理多集群作业提交、作业转发和负载信息收集。给出了多集群间基于预测最轻负载转发的调度策略。运用两层负载信息收集策略服务于转发机制,利用组合单项负载的阈值来判断转发时机和目的集群。实验证明,相同的作业在相同规模但是不同组织形式的多集群和单集群组织模式下,多集群的系统吞吐量大于单集群组织模式。     

基于多维QoS的集群作业调度算法

调度技术是集群作业管理系统的关键技术之一。但是,目前大多数集群作业管理系统采用的调度技术,很少按照应用对系统资源的需求加以详细区分和权衡,无法同时满足不同应用在高吞吐量、高可用性和实时性等方面的要求,造成了资源的闲置和资源因为负载过重而无法正常工作。该文正是注意到了这种不足,根据不同应用的需求和实时收集到的资源信息,引入了多维QoS的概念,并给出了多维QoS的数学模型,提出了一种基于多维QoS的集群作业调度算法JSBMQ,充分提高了系统的资源利用率和平均响应时间,使集群可以提供不问断的高效的计算服务。     

共享集群基于HDFS的数据块密度调度策略

随着云计算技术和海量数据处理技术的发展,共享集群逐渐采用HDFS作为分布式文件系统并通过虚拟化的方式管理计算资源,为计算框架和应用提供运行资源,造成应用运行过程中计算资源和数据存储的分离。海量数据处理应用的数据本地性是影响其性能的关键因素之一。目前,共享集群管理框架调度器的研究主要集中在通过提升调度的并行度来提高系统的吞吐量和资源利用率,而其在调度的质量方面还存在一些缺陷,如应用的数据本地性问题。提出基于数据块密度的调度策略,来提高应用的数据本地性, 根据数据块的密度为应用等比例分配计算资源,减少应用运行过程中的跨主机I/O,从而提升应用的性能。实验表明,基于数据块密度的调度策略能够有效减少数据密集型作业的运行时间,该策略能够使应用达到90%的数据本地性。在测试应用WordCount和TeraSort中,该策略使应用缩短了20%左右的运行时间。     

Web集群服务器的分离式调度策略

主要用排队论方法讨论了Web集群整体性能与请求调度策略之间的关系，所获得的结论是：在Web集群非过载情况下，一部分后端服务器仅处理静态请求而另一部分后端服务器仅处理动态请求的分离式调度策略要好于所有后端服务器既处理静态请求又处理动态请求的混合式调度策略。用SPECweb99测试工具所做的实际测试更进一步证明：当负载参数为120个连接时，采用分离式调度策略的Web集群服务器可完成63个连接，而采用混合式调度策略的Web集群服务器仅能完成36个连接，性能提高了22.5%。     

轻量级遥感数据分布式调度框架DataboxMR

[目的]目前,基于通用平台处理遥感数据,在提升处理效率的同时,也带来了执行轻量级任务效率低、用户使用门槛高、迁移代价大的问题.为降低用户处理轻量级任务的复杂度,降低基于通用平台处理带来的迁移代价,提高用户对任务调度端的控制力.[方法]本文提出了一个高效处理遥感数据的轻量级分布式调度框架(DataboxMR).框架基于U...     

基于强化蚁群算法的任务DAG在线网格集群资源调度

网格集群资源调度是一个NP难题,而现有的调度方法通常具有任务调度效率低和负载不均衡的问题,由此设计了一种基于强化学习算法和蚁群算法融合的协同依赖型任务调度方法;首先对基于DAG的网格集群协同调度数学模型进行了定义,然后,采用改进的一步TD算法即Q-Learning算法实现集群资源的初始分配,从而得到最优调度方案以及对应的Q值,在此基础上提出一种改进的蚁群算法实现网格集群资源到任务分配的进一步优化,将Q-Learning算法得到的分配方案的Q值用于初始化蚁群路径中的信息素,以避免蚁群的盲目搜索,同时将Q值引入路径概率函数中使得蚂蚁具有启发式的搜索能力,从而获得协同依赖多任务集群调度的最终方案;在Gridsim环境下进行仿真试验,结果表明文中方法能有效地实现网格集群调度,且较其它方法具有任务调度效率高、CPU利用率高和负载均衡的优点,具有较大的优越性.     

卫星遥感及图像处理平台发展

航天科技是国家综合国力和科技实力的重要体现,而卫星遥感则是航天科技转化为生产力最直接、最现实的途径之一。遥感数据获取与分发、数据处理与信息提取是卫星遥感应用的两个基本步骤。随着国家民用空间基础设施规划中的遥感卫星体系稳步推进,以及商业卫星遥感的蓬勃发展,我国的卫星遥感数据获取能力呈现质量齐升之势。但同时,作为卫星遥感应用的基础设施和关键工具,遥感图像处理系统平台逐渐成为制约自主卫星数据应用和空间信息业务发展的重要因素之一。本文围绕卫星遥感对地观测主题,从卫星遥感数据获取能力、卫星遥感数据处理系统平台两方面,对国内外现状进行综述,在此基础上分析了卫星遥感的发展趋势。     

跨平台的遥感影像处理系统设计与实现

针对军事遥感影像应用时效性的需求以及在自主可控国产软硬件环境下开发军事应用系统的需要,对国产软硬件环境与主流商用系统差异进行了分析,在此基础上对软、硬件兼容技术进行了研究,基于分层思想设计了高内聚、低耦合的遥感影像处理系统,提出源代码一致的跨平台程序设计方法,基于开源Hadoop平台实现了遥感数据管理与高性能计算,并在此基础上生成基于国产软硬件环境下的遥感影像自动处理系统,实现了遥感影像准实时处理,运用于军事应用系统。该跨平台系统设计与实现方法显著提高跨平台应用软件开发效率,且有利于提高系统的稳定性,可以应用于其他类似跨平台系统设计开发。     

桌面网格环境下遥感数据动态存储模式研究

基于网格体系结构节点资源能够被共享并被协同使用的概念,设计在分布式节点上实现数据存储和传递的网格数据存储系统.该系统允许网格用户在本地将数据上传到网格,网格管理节点负责对参与共享存储资源的节点进行管理,并将预定大小的数据分配到相应节点存储,同时响应网格用户的请求,使用基于Hash表的路由信息,找到对应请求网格数据的最佳路径,并激活网格线程,实现网格数据在节点间的完整传递.基于Alchemi网格中间件和.NET框架对遥感数据而进行的开发和应用表明,桌面网格动态存储是一个可行的网格计算应用.     

基于GDAL框架的多源遥感数据的解析

针对图像软件系统工程项目中涉及的多源遥感数据的预处理问题,研究了当前几种典型卫星数据的不同存储格式,提出了对各种遥感数据进行解析的方法.通过对地理空间数据抽象库( GDAL)原有功能进行完善和扩展,并重新编辑发布动态链接库( DLL)版本,设计了多源遥感数据在GDAL框架体系下的统一解析模式,实现了遥感数据解析结果存储为项目中通用的统一数据格式(如Tiff格式),为后续的遥感数据处理和定量遥感数据产品的生产提供数据基础和技术支持.     

Research and application of flood detention modeling for ponds and small reservoirs based on remote sensing data

This paper proposes a method of small reservoir flood detention modeling that utilizes data from the American land resources satellite Landsat TM/ETM+. Precipitation and potential evapotranspiration are taken as the control conditions in this method on the basis of basin terrain classification. The objective of this method is to solve the question of a small-scale water conservancy project’s influence on flood forecasting precision, which can be used in the basin with multitudinous small reservoirs in the u...     

遥感图像目标识别的并行处理方法

为提高遥感图像目标识别的速度，减少消耗的时间，提出了一种特殊的遥感图像目标识别的并行处理方法。基于这种方法，只需对串行识别算法做较少的改动即可实现遥感图像目标识别的并行化处理，无需设计专门的并行识别算法，以较低的代价解决了遥感图像目标识别耗时较多的问题。     

基于自编码神经网络的航空物探遥感数据分类方法研究

航空物探遥感数据的采集过程中受到电磁波辐射等外界因素的影响,导致航空物探遥感数据分类准确率较低,为此提出基于自编码神经网络的航空物探遥感数据分类方法;根据航空物探对象的基本特征,设置遥感数据的分类标准;通过辐射校正、几何纠正、噪声消除等步骤,完成航空物探遥感数据的预处理;构建自编码神经网络,利用自编码神经网络算法,从光谱、形状、纹理等方面提取遥感数据特征,通过特征匹配确定航空物探遥感数据的所属类型;通过分类性能测试实验得出结论：所提方法的全局遥感数据分类成功率和错误率的平均值分别为99.8%和0.6%,局部遥感数据分类的成功率和错误率的平均值分别为99.8%和0.3%,即所提方法在分类性能方面具有明显优势。     

航空遥感数据同化算法集成计算与可视化

遥感数据同化技术在动力模型框架内,使用数据同化算法对动力模型输出的定量(物理、化学量)数据与观测数据进行一致性处理与结果误差分析。将多源遥感数据同化到动力模型预测与参数估计中,可帮助改善地表、大气和海洋变化的分析和预测精度。以国家发改委"十二五"建设的国家航空遥感系统项目为依托,针对航空遥感系统10种传感器设计开发数据同化系统。因无法找到适用于该系统的3DVAR和EnKF算法程序,必须自主开发核心算法程序。介绍了研究开发的航空遥感数据同化算法集成计算与可视化系统及其核心算法的关键技术流程。实验结果证实,该系统可以有效地对航空遥感数据进行同化。     

遥感大数据研究现状与发展趋势

目的 遥感数据空间分辨率、时间分辨率、光谱分辨率以及辐射分辨率不断提高,数据类型也不断增加,从航天、航空、临近空间等遥感平台所获取的遥感数据量急剧增加,遥感数据已经具有明显的大数据特征。本文旨在从系统应用的角度分析遥感大数据处理中涉及的关键技术与问题,为相关研究人员提供有价值的参考。方法 在参考大量文献的基础上,首先阐明遥感大数据的特点。其次,从GPU硬件加速、集群、网格、云计算、云格、复杂高性能计算等角度介绍了遥感大数据处理系统。再次,从分布式集群化存储技术等,分析了遥感大数据处理的关键技术。最后,从遥感大数据的多类不确定性、信息融合、机器学习、分析平台等出发,说明了目前研究存在的问题;从遥感大数据多类不确定性建模,面向遥感大数据的机器学习方法等角度说明了遥感大数据发展的趋势。结果 本文详细梳理了遥感大数据的特点、典型的处理系统、核心技术,力图总结出在实际应用与学术研究中该领域需要解决的关键问题以及未来的发展趋势。结论 大数据技术为遥感数据挖掘与知识获取带来了机遇与挑战,面向大数据的机器学习、数据统一分析框架、面向大数据的信息深度融合等问题的突破,将促进遥感知识挖掘的进一步发展。     

“遥感数字影像处理”实验课教学改革初探

实验教学是遥感数字影像处理课程的重要组成部分,针对其特点,从实验环境、教学内容、教学方法以及实验考核等方面进行一系列改革。实践结果表明,这些改革措施可以有效帮助学生对知识的理解和掌握,达到了预期的教学效果。