Hadoop YARN大数据计算框架及其资源调度机制研究

Hadoop 2.0提出一种新的资源管理系统YARN,它可以支持多种大数据计算框架(如Map Reduce、Storm、Spark等),目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此,文章在分析Hadoop YARN计算框架的基本结构和工作流程的基础上,重点研究Hadoop YARN中的资源调度机制,包括其资源调度器的模型与机制,及其目前已经实现的容量调度器(Capacity Scheduler)和公平调度器(Fair Scheduler)的设计思想、工作原理和脆弱性,并探讨其下一代欧米伽调度器(Omega Scheduler)的主要设计思想。     

基于图着色的事务调度算法的设计

将处理对象抽象转换为事务,对于事务的调度问题提出了基于图着色思想的算法.将事务以及之间的联系建立事务调度模型,同时等价地转化为图着色问题,通过对图中的顶点着色来实现具有冲突的事务的调度.与一般图着色处理方式不同的是,本算法思想采用了对节点进行着色的思想来实现事务调度.基于图着色的算法的设计与实现使多事务多冲突问题得到解决、并且最大程度满足事务执行所需各元素的特殊要求.     

基于微服务和TCC 分布式事务的在线教育平台设计方法研究

传统的单体应用架构开发的在线教育平台存在可扩展性差、部署效率低等问题。通过研究提出一种基于微服务架构和TCC 分布式事务的设计方法,对平台按照功能进行解耦合垂直拆分成多个独立的微服务,使用Spring Cloud 构建微服务来应对高并发和实现快速自动化部署。基于TCC 分布式事务框架,执行服务间的调用事务,确保数据一致性。平台在线运营已经超过一年,为超过8 万多名学习者提供稳定的学习管理服务,证明该设计方法有效。     

构建基于负载均衡和TAF的CRM系统高可用性方案

电信运营商的CRM系统以支撑客户为导向的运营体系的重要管理系统,本文在认真总结分析了某电信运营商CRM系统的组网架构后,针对业务特点,设计了基于负载均衡+TAF特性实现CRM系统高可用性的方案,项目的成果具有很强的实用性和可推广价值。     

基于兼存率与单项事务的关联规则优化算法

文中研究基于兼存率(多个项同时存在的概率)与单项事务(仅包含一个项的事务)筛选提出关联规则优化算法ARO,通过对数据集D中每个项与事务T进行处理来过滤无用或干扰的数据,从而得出更加准确、显著的关联规则。实验结果表明,在标准数据集中,对比传统算法META,ARO算法在关联规则分析的显著性与准确性方面均有性能提升。     

基于云计算的网络通信负载均衡调度方法

传输信道节点的负载在调度过程中会发生相应的变化,以固定的目标为基础进行调度将影响最终的效果,为此,提出基于云计算的网络通信负载均衡调度方法研究。以处理时间为基准,结合调度时间差对网络通信节点的负载进行分析,确定调度目标,设置云计算的信息素挥发系数为0.3,以此实现对目标调度信道的快速搜索。仿真测试结果表明,设计调度方法下,数据中心的响应时间始终小于1.50s,未出现超时情况。     

一种基于QoS的事务工作流并发调度算法

并发冲突引起的连锁夭折会降低系统性能,提出了一种基于QoS的事务工作流调度算法,该算法适应异构环境需求,支持基于QoS的延迟调度优化策略和SAFE集合扩充优化策略,可根据QoS参数调整相应的调度决策,在保证分布异构环境中复杂事务工作流并发正确性的同时减少连锁夭折.证明了算法不会引起循环等待和饿死现象,可保证调度的可串行性和可恢复性,性能模拟表明该算法适用于长期运行的事务工作流的并发调度,可有效减少连锁夭折,从而减少由此带来的性能损失.     

基于并发事务逻辑的Web服务编制验证

 服务编制解决的是组织之间的业务集成问题,面临的是一个广泛分布、动态、自治、异构的网络环境,保障组合服务的正确执行以及相关特性的验证问题显得尤为重要.形式化方法是一种有效的解决方法,服务编制需要建立在严格的形式化模型的基础上,可以通过具有明确的、形式化语义的形式化模型研制验证工具来完成组合服务正确性的验证.本文基于并发事务逻辑(CTR:Concurrent TRansaction Logic)对服务编制的元素进行了描述和建模,给出了从WS-BPEL到并发事务逻辑的转换规则,讨论了服务编制在CTR中的验证问题以及WS-BPEL和CTR的表达能力,最后给出了一个实际的服务编制在CTR中建模的例子,验证了服务编制的CTR模型的有效性.     

一种基于模式的服务整合优化框架研究

现代服务系统日渐呈现出开放式、整合化和规模化的趋势,研究新特征下整合服务设计和运营的系统化优化方法具有重要意义。探讨服务模式的概念和基本性质,进而提出一种基于模式的服务整合优化框架。结合按需服务的生命周期,识别框架中所包含的若干关键问题,并给出利用服务模式进行服务整合优化的基本过程及几个关键问题的相互关系,为考虑需求规模、服务容量、服务不确定性和收益优化等服务价值特性的领域服务整合优化提供指导。     

基于微服务架构的下一代IP网络测试体系框架

下一代IP网络是未来新型公共网络,融合有线无线一体化、宽带窄带一体化、传输接入一体化以及有源无源一体化的全新型业务网络,其面临的应用场景也变得复杂化和多样化。然而,每个应用场景的需求及标准各不相同,对标现有的网络技术、协议、标准规则仍有较大差距。为保障新应用场景下各技术、设备等方面的完备性及安全性,满足未来网络技术发展产生的新应用特征,需建立全方位统一的测试体系。提出在基于微服务架构的基础上强调对业务的赋能,综合不同应用场景特征,建立基于下一代IP网络场景的全过程领域驱动模型。以构建多渠道、全方位的微服务测试框架,为网络技术的发展提供支持手段。     

满足原子事务与QoS端对端约束的服务优化选择方法

提出了一种基于层次服务候选图(SCG)模型优化选择方法,该方法首先利用提出的构造规则和规约规则来构造SCG模型,以建模候选服务之间的事务约束关系,并且该模型关于事务约束的正确性得以证明;其次,提出一种基于广度优先搜索(BFS)的全局QoS感知近优选择算法,该算法基于每个任务的事务属性进行放松剪枝,以控制算法的搜索规模在多项式时间内完成。最后,以网络在线发布的实际Web服务QoS数据和随机产生数据为测试集做模拟实验,结果表明本文提出方法在全局QoS效用和选择成功率方面优于其他相关方法,同时实验通过实现事务约束自动机从实践上也验证了该方法的正确性。     

基于服务组件框架的分布式数据融合仿真系统设计

分析了面向服务架构与服务组件框架(SCA)对分布式系统的影响,提出了基于SCA规范的分布式多数据融合仿真系统设计方案,进行了抽象构件和业务构件的设计,完成了描述了Java语言的SCA模块实现方式,通过WebService绑定实现了系统的整合。仿真实例表明,该方案满足了分布式仿真系统对异构性的要求,提高了系统的灵活性与业务模型的可重用性。     

基于邻区集的LTE负载均衡算法

考虑LTE用户信噪比,借助物理资源块的服务能力推算小区负载的变化状态,提出的NSLB算法能够动态地根据每个小区的负载,自动计算其邻区集需要进行用户转移的小区。引入均衡因子,使所有小区最终达到预先设定的收敛目标,有效利用网络资源。最后,通过matlab搭建了一个仿真平台,验证算法的收敛性能、过载用户数及小区吞吐量的变化情况。     

基于SCE-MI标准的事务级SoC协同仿效平台设计

讨论并介绍了基于事务的验证方法和SCE-MI标准,提出了一种基于SCE-MI标准的层次化事务级SoC协同仿效平台架构,并给出了该平台的具体实现方案;给出了一个基于该平台搭建的SoC验证环境实例及部分相关实验结果。     

基于分布式追踪的微服务智能监测框架

本文提出一种基于分布式追踪的微服务智能监测框架,通过分布式代理监测微服务执行轨迹信息,根据应用历史监测数据建立异常检测模型,在运行时检测微服务应用的异常行为。该框架使用开源分布式追踪工具OpenTracing来收集事件流信息,使用LSTM模型建模服务调用的事件序列,采用时间序列分析方法检测异常事件,具有较好的智能化和通用性。     

基于SSH框架的企业人力资源管理信息系统建设探讨

科学技术的发展,尤其是计算机网络技术的飞速发展,给企业信息化管理提出了更多的要求,现代化企业未来的发展必须重视信息化系统改革,作为企业发展的关键点,人力资源对于企业生存和发展有着重要的影响,企业人力资源信息化管理对于企业信息化发展有着重要的作用,本文以此为背景,首先对SSH框架进行了简单的介绍,其次对国内企业人力资源管理信息系统发展现状进行了分析上,在此基础上提出了基于SSH框架的人力资源管理信息系统建设构想.     

基于反馈调度的MapReduce负载均衡分区算法研究

Map Reduce是一种处理大规模数据的并行计算模型,针对传统模型中reduce阶段各结点负载不均衡的问题,提出reduce阶段负载均衡分区算法。算法将map阶段产生的中间数据划分为更多的分区,减少了每个分区的工作量,引入了反馈机制来进一步提高调度策略的性能,每次给reducetask分配都是基于反馈信息选择最优的分区,reducetask完成工作之后会继续获得新的分区,直到所有的分区都被分配完毕,实现了动态调节各reducetask的负载。通过重写Hadoop平台内核实现了算法并进行了实验分析,结果表明,该算法在不影响Map Reduce模型的情况下显著地缩短了任务的处理时间。     

一种微服务架构下的负载均衡策略

基于一致性哈希算法的负载均衡技术,常被用于解决分布式系统的横向扩展问题。微服务架构与传统的分布式软件架构不同,采用了客户端负载均衡策略,由于一致性哈希算法本身并没有相关的负载均衡措施,在请求过度集中的情况下,会导致服务节点间的数据倾斜。文章提出基于线性同余法的一致性哈希访问策略,结合了随机算法和哈希算法的优势,为解决客户端负载均衡问题提供了一种新的思路。     

基于FPGA的流量负载均衡系统设计

介绍一种FPGA实现的流量负载均衡系统设计。该系统用于一路oc-192速率数据到四路oc-48速率数据的高速数据交换。设计基于区分服务,对有服务质量协议的数据固定队列交换，保证其QoS，并采用随机早期丢弃算法．提高对付网络拥塞的能力对无服务质量协议的数据采用灵活的最短队列交换，充分利用带宽。文中提出系统结构，给出存储单元管理方案,并且分析了结构的合理性，最后给出设计的硬件仿真结果。     

基于定价优化的QoS框架设计

商用的Internet中资源和服务以商品的形式出现,因此引入定价机制对解决资源分配问题将产生重要作用.把资源竞争过程中的竞争者抽象为用户、网络节点和ISP,分别分析了价格对其QoS的影响,建立了优化模型.提出了一个基于智能代理的简单且灵活的优化框架,使得实际网络中资源竞争者能够对价格的变动作出合理的反应,从而提高了整个网络的QoS.