异构Hadoop集群下的负载自适应反馈调度策略

随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.0上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

云环境下虚拟机集群系统动态负载均衡机制

针对传统的物理集群系统无法灵活应对大型互联网应用的问题,提出一种云环境下虚拟机集群的综合负载均衡机制。该方法首先定期地采集集群中虚拟机节点的CPU、内存、连接数、响应时间,以及所在物理主机的负载状况等指标信息,然后加权计算节点的综合负载并得出其权值,最后通过调度器进行任务请求的合理分配,从而解决了传统集群系统负载不均且不能适应多变的网络环境等诸多问题。实验结果表明,与加权轮询法(WRR)和加权最少连接法(WLC)调度方案相比,该机制能够在并发量较大时维持较低的响应时间,并能够根据集群中综合负载的状态实时地增加或减少虚拟机数量,通常在5s之内达到整体集群的负载均衡。     

Moodle系统的集群方案与案例分析

在单一服务器的Moodle系统负载能力趋于饱和的情况下,应考虑把过于集中的负载分摊给多台服务器。运用开源软件的技术和资源,讨论Moodle系统的集群化建构方案,重点探讨多Web服务器协同工作时需要解决的存储共享、负载均衡等方面的问题,并给出配置实例。Moodle系统的集群化可有效提高系统的整体性能。实例分析表明,对一个双Web节点的Moodle集群系统而言,其事务处理能力平均可提高约60%,响应时间平均可缩短约39%。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

网格环境下集群管理系统

分析了集群接入网格的过程中所面临的问题,研究了在网格环境下使用集群的方法,详细分析了集群接入网格需要提供的接口和服务,并实现了一个网格环境下集群管理的原型系统,将集群转化成为一种标准的、透明的资源接入网格.通过该系统用户能够在任何地方使用分布在各处的集群资源,系统能保证用户提交的作业正确、有效的运行,并及时向用户反馈提交作业的相关信息.实验分析表明,该系统能够有效的整合集群计算资源,从而提高计算能力,增大全局吞吐量.     

基于用户云服务集群的资源动态调度研究

用户购买云服务器设施来搭建用户服务器集群,并将业务迁移到云服务器上后,很大程度上没有充分利用购买的计算资源。而随着业务量访问增加,传统的用户集群往往会通过增加服务节点来应对此情况,此时又需购买额外的云服务设施。论文基于传统用户的集群系统,使用改进的TOPSIS（逼近理想解排序法）算法结合集群监控信息来动态调度集群中节点上的应用。实验表明,该方案可以充分发挥用户购买的云服务器设施的计算资源,利用用户私有闲置资源来应对业务的突发访问,合理的调度用户服务器集群之间的业务应用分配,提高用户集群资源利用率的同时也保证了应用服务质量,节约了用户成本。     

多集群作业调度系统MCJSS的设计与实现

研究多集群的管理模式,设计支持多集群的用户决策和系统决策两种调度方式,提出基于PBS的多集群作业调度MCJSS架构。利用PBS的扩展接口,实现MCJSS的核心模块,管理多集群作业提交、作业转发和负载信息收集。给出了多集群间基于预测最轻负载转发的调度策略。运用两层负载信息收集策略服务于转发机制,利用组合单项负载的阈值来判断转发时机和目的集群。实验证明,相同的作业在相同规模但是不同组织形式的多集群和单集群组织模式下,多集群的系统吞吐量大于单集群组织模式。     

基于LT-backfilling算法的集群作业调度系统

在胖节点集群系统中，目前的reservations, backfilling等主流调度算法未能充分考虑单节点过载情况。该文在传统backfilling算法基础上，充分考虑节点当前负载，将预约、回填策略相结合，提出了一种新的LT-backfilling调度算法。设计了基于XML业务流程模板的二层作业调度系统，用户不仅可以提交单个作业，而且可以提交一组具有数据相关性的作业流，使得作业调度系统更加实用化。 LT-backfilling；负载均衡；作业调度；XML；作业流     

一种采用消息模型的多集群作业管理方案设计

文中针对多集群环境资源异构且地域分散、网络环境不可靠以及面向用户需求的特点,提出了一种采用消息模型的多集群作业管理方案。该方案采用全局一局部的层次调度方法,基于发布一订阅的消息模型,根据当前网络环境、用户作业的资源需求、各集群自身负载情况进行综合统一调度管理。实践证明,采用该方案设计实现的多集群作业管理系统实现了多集群环境下的资源监控、资源管理、作业调度、作业控制、数据管理等功能,有效解决了在资源异构及网络环境不可靠条件下的系统稳定性问题,显著提高了多集群系统作业吞吐能力。     

FreeMarker模板引擎在线动态生成Excel和Word文档技术

由于Java生成Word和Excel文档十分困难且代码量也比较大,本文提出FreeMarker模板引擎在线动态生成Excel和Word文档的方案,并把相关技术应用到库尔勒科技服务平台,经过实践证明,该方案生成的Word和Excel文档符合Office标准,打印也不会变形,是当前用来生成具有固定结构的Excel和Word文档的较佳方案。     

广州市地表温度反演与土地利用覆盖变化关系研究

利用环境星1A/1B遥感影像,运用Jiménez-Munoz & Sobrino's普适性单通道算法定量反演广州市的地表温度(Land Surface Temperature,LST) ,结合MNF主成分分析和支持向量机获取的不透水面分布格局,利用面向对象分类方法获得了土地利用覆盖情况,重点研究广州市不透水面、土地覆盖和植被指数与城市热环境的定量关系。研究结果显示:基于大气水汽含量实测数据的JM&S普适性单通道算法反演结果更精确;广州市2009~2011年的不透水面面积和土地覆盖与平均地表温度相关性分析表明:广州市连续3 a呈现城市扩张的现象,城市热效应显著加剧;城市平均地表温度与不透水面面积呈现正相关,与城市的植被指数和裸土指数呈现负相关。     

经典BLP安全公理的一种适应性标记实施方法及其正确性

经典的 Bell & L a Padula( BL P)模型是在计算机安全系统中实现多级安全性 ( ML S)支持的基础 ,被视作基本安全公理 .结合以 L inux为基础的一个安全操作系统 ( RS- L inux)的开发 ,讨论抽象的 BL P安全公理在安全操作系统实现中的实际意义 .从理论上构造 BL P公理的一种新的实施方法 ( ABL P方法 ) ,并给出该方法的正确性证明 .ABL P方法主要由 3条访问控制规则构成 ,其特点是允许主体的当前敏感标记进行适应性调整 ,它以常规实施方法为基础 ,克服了常规实施方法在标记指派方面的不足 ,为安全判定增加了灵活性 .     

OWL文件向关系数据库的映射及存储研究#br#

 针对现有本体存储模式存在的无法推理及操作不便等缺陷,本文提出一种新的OWL（Web Ontology Language）文件向关系数据库映射及存储的模式。该模式将本体文件数据提取至由本体ER图（Entity Relationship Diagram）设计的底层数据库中,同时在提取过程中自动获取隐含语义数据,再将底层数据库中的数据映射为便于用户操作的数据库。实验结果表明,该模式既保留了本体文件的隐含语义,又提高了查询效率,同时极大地方便了普通用户对本体数据的操作。     

一种TD-LTE与eHRPD系统重叠覆盖下的负载均衡算法

 针对3G的eHRPD和4G的TD-LTE移动通信系统进行混合组网时,每种网络制式下的小区在用户增多时都有可能过载,除了传统的与邻近小区进行基站的切换,还可以在不同制式之间进行垂直切换。本文以网络资源利用率为参考,对系统内的用户进行异系统垂直切换,从而使混合组网后的系统负载得到均衡。通过该整合系统的仿真,在保证无线链路丢失率不受显著影响前提下,该方法使得蜂窝小区的平均吞吐率有所提高,并能找到使得吞吐率最大时的最佳切换阈值。     

应用重轨星载InSAR技术监测三峡库区滑坡形变探讨

三峡库区滑坡灾害严重,应用传统监测方法不仅耗资巨大,而且效率不高。通过对近年来迅速发展起来的地表形变探测新技术--重轨星载InSAR技术进行了相关研究,并针对三峡库区近地表大气水汽含量变化频繁的特点,研究了大气水汽变化对重轨星载InSAR观测精度的影响,在对Zebker的相关研究结论进行实证后,探讨了重轨星载InSAR技术应用于三峡库区滑坡监测的可行性。     

中国江淮、黄淮地区陆面微波比辐射率的变化特征

陆面微波比辐射率较高且易变,造成陆面上反演降水以及其它大气参数较为困难。对于地表特征复杂的中国,陆面微波比辐射率的研究还很有限。通过利用Tropical Rainfall Measuring Mission (TRMM)卫星上同步扫描的VIRS（红外和可见光）与TMI（微波）资料以及微波辐射传输模式反演了中国江淮、黄淮地区陆面微波比辐射率。然后,结合MODIS提供的地表类型数据,分析了江淮、黄淮地区不同地表微波比辐射率的时空变化特征。 结果表明该地区的农作物地表比辐射率最小,垂直与水平比辐射率极化差最大;而森林地表比辐射率最大,极化差最小。此外,不同地表的微波比辐射率昼夜变化明显,季节变化不明显。比辐射率估算误差中,地表温度、微波亮温和大气相对湿度3因子的准确计算对22 GHz和85 GHz的影响较为明显,对其它通道影响较小。对于小于85 GHz的通道,比辐射率估算精度受微波亮温的影响最为明显,地表温度其次,相对湿度最小;对于高频85 GHz,相对湿度的影响最明显,其次是微波亮温,最后是地表温度。     

基于GIS的图书馆文献计量分析

图书馆在提供文献收集、整理和查阅等功能的基础上,开展了大量研究工作并发表了丰富的研究成果。对发表的文献进行信息挖掘,可为相关研究提供参考和借鉴。通过趋势线分析获取各个国家图书馆在不同时期的发文趋势,采用质心法可以刻画出全球图书馆国际发文数量随着时间变化其重心发生迁移的特征。分析结果显示,这两种方法成功地应用到了文献计量分析中,为文献计量学研究提供了新的方法。     

内蒙古锡林浩特草原GLASS LAI产品的真实性检验

结合内蒙古锡林浩特草原区域的实地测量数据和Landsat TM高分辨率遥感数据,对两景GLASS LAI产品进行真实性检验,同时以MODIS LAI产品为比照。结果表明:①GLASS LAI产品和MODIS LAI产品均高估,其中7月中旬GLASS LAI产品高估约11%,其高估的程度明显小于MODIS LAI(高估约36%),而8月末两者高估的程度相似;②GLASS LAI产品与Landsat TM反演LAI产品有较好的一致性,两期数据的决定系数R²分别达到0.72和0.58,优于MODIS LAI产品(0.61和0.27);③GLASS LAI和MODIS LAI两个产品的误差主要来自于模型的准确性,真实性检验中数据定量化误差小于5%。结论表明:GLASS LAI产品数据在锡林浩特草原区域的观测精度和一致性都优于MODIS LAI产品数据,更适用于相关研究。     

基于时序背景LDA与协同过滤的混合推荐模型

现有的个性化推荐通常会忽略时间信息对用户行为的影响,导致预测准确性较低。本文根据用户属性信息和用户评分信息,建立基于时序背景LDA与协同过滤的混合模型(TLDA-CF)。通过离线与在线推荐提高推荐效率;根据用户对项目的评分信息,以及各时间段内项目的被访问量分别建立LDA模型,解决数据稀疏性问题;设置动态权值平衡用户选择趋势提高推荐准确性;对于没有评分信息的新用户,采用用户聚类,引用协同过滤算法预测新用户喜好,解决冷启动问题。将该算法应用在MovieLens数据集上,实验结果表示,该算法在推荐召回率和准确率、F1值上都优于传统的LDA模型。