基于蚁群算法的Hadoop资源感知调度器研究

通过研究蚁群算法,针对现有Hadoop调度器的不足,提出一个基于蚁群算法的Hadoop资源感知调度器及其具体实现方案。从而使Hadoop作业调度器可以更有效地对任务进行分配,提高整体架构的作业性能。通过实验证明,利用蚁群算法实现的资源感知调度器在同构环境中虽没有明显改善系统计算速度,但是在异构环境中可以很好提高系统处理任务的性能,降低了运算时间。     

人工蜂群算法求解资源受限项目调度问题

针对资源受限项目调度问题,提出了一种基于人工蜂群算法的优化方法。人工蜂群算法中每个食物源的位置代表一种项目任务的优先权序列,每个食物源的位置通过扩展串行调度机制转换成可行的调度方案,迭代中由三种人工蜂执行不同的操作来实现全局最优解的更新。实验结果表明,人工蜂群算法是求解资源受限项目调度问题的有效方法,同时扩展调度机制的引入可以加速迭代收敛的进程。     

Hadoop下基于统计最优的资源调度算法

云计算集群中的资源存在异构和节点稳定性问题.异构资源的计算能力不同会导致较突出的作业任务同步问题,而某个节点的不稳定状态会使运行于该节点的任务大量备份或重新计算.针对上述两问题将严重影响集群作业的执行进度,在Hadoop平台下利用统计方法,提出一种资源调度算法,对计算资源较少的节点和不稳定状态的节点进行标志并降权,让集群尽可能调度资源较好的稳定节点.实验结果表明,该算法能够在一定程度上减少作业的周转时间,提高集群的效率和吞吐量.     

基于QoS模型感知的云作业调度算法

为了提高云作业调度的成功率,保证用户的服务质量,提出了一种基于QoS模型感知的云作业调度算法。首先从作业分为大作业和小作业两种,小作业直接在私有云平台中完成调度,然后将大作业在混合云中台上进行调度,并通过权值较小的子任务优选部署到公有云上,最后采用仿真测试实验检验算法的性能。仿真结果表明,相对于其他云作业调度算法,该算法提高了作业调度的成功率,缩短了作业的实际完工时间,获得了满足用户服务质量的云作业调度结果。     

云计算环境下基于ABC-QPSO算法的资源调度模型

为了提高云计算资源的利用率,保证节点负载均衡,提出一种人工蜂群算法和量子粒子群算法相融合的云计算资源调度模型(ABC-QPSO)。首先将人工蜂群算法的搜索算子作为变异算子引入到量子粒子群算法中,以解决量子粒子群算法早熟收敛缺陷,然后以任务完成时间最短作为量子粒子群的适应度函数对云计算资源调度进行优化,最后在Cloud Sim平台上对ABC-QPSO的性能进行测试。结果表明,ABC-QPSO算法不仅克服了QPSO算法的不足,而且有效缩短了任务的完成时间,提高了云计算资源利用率,适合于进行大规模任务的云计算资源调度。     

蜂群算法求解资源受限项目调度问题及仿真

蜂群算法作为一种较为新颖的启发式算法已经在多种类型的优化问题求解过程中表现了优秀的性能.针对蜂群算法在项目调度问题中的模型求解资源受限的问题,提出对求解方法进行改进,采用人工蜂群算法和蜂群优化算法两类典型的蜂群算法,对资源受限项目调度问题进行优化设计,并在benchmark上进行仿真并与传统的调度优化算法进行比较.实验结果表明,新设计的两类蜂群算法在调度成功率和收敛速度方面均有更好表现,人工蜂群算法求解的质量方面更优,蜂群算法在收敛速度上更具有优势.     

蜂群算法解决集聚约束调度问题

为满足真实调度环境中常见的集聚约束问题,本文提出以蜂群优化为基础的调度算法,形成个性化调度方案。算法通过模仿蜂群的"觅食"和"舞蹈"行为实现寻优操作,通过赋予蜜蜂不同的"信念"实现种群的多样化,通过将集聚约束以社会规范的形式融合到蜜蜂觅食过程中满足用户对调度的个性化要求,通过蜜蜂在舞蹈过程中展示行走路径和选择参考路径实现蜂群"经验"共享。对若干标准算例的测试结果及与其它算法的比较验证了本文算法的有效性。     

多资源公平调度器在Hadoop 中的实现

目前Hadoop的作业调度算法都是将系统中的多类资源抽象成单一资源,分配给作业的资源均是节点资源中固定大小的一部分,称为插槽。这类基于插槽的算法没有考虑到系统多资源的差异性,忽略了不同类型作业对资源的不同需求,因此导致系统在吞吐量和平均作业完成时间上性能低下。本文研究了多资源环境下公平调度算法在Hadoop中的实现,设计了一种多资源公平调度器MFS(Multi-resource Fair Scheduler)。MFS采用了DRF(Dominant Resource Fairness)调度思想,使用需求向量来描述作业对各类资源的需求,并按照需求向量中各资源的大小给作业分配资源。MFS能更加充分有效地使用系统的各类资源,并能满足不同类型作业对资源的不同需求。实验表明相比于基于插槽的Fair Scheduler与Capacity Scheduler,MFS提高了系统的吞吐量,降低了平均作业完成时间。     

基于蚁群算法的Hadoop调度算法研究

为有效提高Hadoop集群作业调度的效率,提出一种基于蚁群算法的自适应作业调度的方案,有效利用蚁群算法正反馈的优势特点,使Hadoop作业调度器更高效地对任务进行分配,提高整体架构的作业性能。实验结果表明,该算法能够很好的平衡资源负载,减少任务的完成时间,提高系统处理任务的性能。     

离散人工蜂群算法求解资源时变的项目调度问题

针对资源量随时间变动的项目调度问题提出了一种新的离散人工蜂群求解算法。算法食物源的位置采用基于任务排列的编码方法,并提出一种可以保持解的离散性和可行性的候选食物源生成方法。仿真结果表明,该算法能有效地求解资源时变的受限项目调度问题,研究发现在保持资源总量不变甚至减少的情况下,通过调整资源配置能够显著缩短项目工期,可见资源配置优化在项目管理中的重要作用。     

基于渗透式人工蜂群与蚁群优化混合的负载平衡算法

针对当前云计算负载平衡调度过程中出现的虚拟机迁移效率低和能耗高问题,提出了一种基于渗透式人工蜂群与蚁群混合优化负载平衡算法,该算法将化学渗透行为与生物启发的负载平衡算法相结合,在充分利用人工蜂群和蚁群两种优化算法优点的同时,将渗透技术应用于负载均衡。由于渗透技术支持通过云基础设施迁移的虚拟机的自动部署,从而克服了现有仿生算法在实现物理机之间负载平衡方面的缺点,提高了迁移效率。实验结果表明,以现有负载平衡算法相比,提出的算法在迁移性能上提升明显。     

基于改进人工蜂群算法与MapReduce的大数据聚类算法

针对大数据聚类算法计算效率与聚类性能较低的问题,提出了一种基于改进人工蜂群算法与MapReduce的大数据聚类算法。将灰狼优化算法与人工蜂群算法结合,同时提高人工蜂群算法的搜索能力与开发能力,该策略能够有效地提高聚类处理的性能;采用混沌映射与反向学习作为ABC种群的初始化策略,提高搜索的解质量;将聚类算法基于Hadoop的MapReduce编程模型实现,通过最小化类内距离的平方和实现对大数据的聚类处理。实验结果表明,该算法有效地提高了大数据集的聚类质量,同时加快了聚类速度。     

一种结合人工蜂群和K-均值的混合聚类算法

传统的K-均值聚类算法虽然收敛速度快,但由于过度依赖初始聚类中心,算法的鲁棒性较差。为此,提出了一种改进人工蜂群算法与K-均值相结合的混合聚类方法,将改进人工蜂群算法能调节全局寻优能力与局部寻优能力的优点与K-均值算法收敛速度快的优点相结合,来提高算法的鲁棒性。实验表明,该算法不仅克服了传统K-均值聚类算法稳定性差的缺点,而且聚类效果也有了明显改善。     

Elite-guided multi-objective artificial bee colony algorithm

Multi-objective optimization has been a difficult problem and a research focus in the field of science and engineering. This paper presents a novel multi-objective optimization algorithm called elite-guided multi-objective artificial bee colony (EMOABC) algorithm. In our proposal, the fast non-dominated sorting and population selection strategy are applied to measure the quality of the solution and select the better ones. The elite-guided solution generation strategy is designed to exploit the neighborhood of the existing solutions based on the guidance of the elite. Furthermore, a novel fitness calculation method is presented to calculate the selecting probability for onlookers. The proposed algorithm is validated on benchmark functions in terms of four indicators: GD, ER, SPR, and TI. The experimental results show that the proposed approach can find solutions with competitive convergence and diversity within a shorter period of time, compared with the traditional multi-objective algorithms. Consequently, it can be considered as a viable alternative to solve the multi-objective optimization problems.     

基于局部搜索的人工蜂群算法

针对人工蜂群算法存在收敛速度慢、易早熟等缺点, 提出一种改进的人工蜂群算法. 利用随机动态局部搜索算子对当前的最优蜜源进行局部搜索, 以加快算法的收敛速度; 同时, 采用基于排序的选择概率代替直接依赖适应度的选择概率, 维持种群的多样性, 以避免算法出现早熟收敛. 对标准测试函数的仿真实验结果表明, 所提出的算法具有较快的收敛速度和较高的求解精度.     

基于动态搜索策略的人工蜂群算法

为避免人工蜂群算法陷入早熟,提出一种基于动态搜索策略的人工蜂群算法,新算法改进了人工蜂群算法的搜索策略,将两种不同的搜索策略组合成新的搜索策略,以便动态利用两种不同搜索策略的优点,平衡了算法的局部搜索能力和全局搜索能力。基准函数的仿真实验表明,新算法收敛速度快、求解精度高、鲁棒性较强,适合求解高维复杂的全局优化问题。     

基于分布估计的二进制人工蜂群算法

为了充分利用种群的全局统计信息,将分布估计算法引入二进制人工蜂群算法,提出一种基于分布估计的二进制人工蜂群算法。该算法利用分布估计算法获得的全局统计信息引导候选解的产生,提高了全局探索能力;采用直接针对离散域的多维邻域更新策略,加快了收敛速度,降低了计算复杂度。仿真结果表明,与传统二进制人工蜂群算法相比,改进算法在优化精度、收敛速度和鲁棒性方面均有明显改善。     

基于分治策略的改进人工蜂群算法

人工蜂群(ABC)算法存在着收敛速度不够快、易陷入局部最优的缺陷。针对这一问题,提出一种改进的人工蜂群(DCABC)算法。应用反学习的初始化方法产生初始解,引入分治策略对蜜源进行优化,在采蜜蜂发布更新的蜜源信息后,跟随蜂选择最优蜜源,并采用分治策略进行迭代优化。通过对经典测试函数的反复实验及与其他算法的比较,表明了所提出的算法具有良好的加速收敛效果,提高了全局搜索能力与效率。     

基于信息熵的改进人工蜂群算法

为了克服人工蜂群算法在处理复杂性问题时收敛速度慢、收敛精度不高、易早熟等缺陷,在原始人工蜂群算法的基础上引入信息熵。信息熵本身是不确定性的一种度量,由信息熵的值来度量人工蜂群算法中跟随蜂选择的不确定性,通过控制信息熵的值达到控制算法中跟随蜂选择过程的目的,实现算法的自适应调节。通过对测试函数和不同规模TSP问题的模拟仿真,对人工蜂群算法、蚁群算法和其他改进方法进行了对比,验证了所提出改进方法的可行性和有效性。