Framework for Task Scheduling in Heterogeneous Distributed Computing Using Genetic Algorithms

An algorithm has been developed to dynamically schedule heterogeneous tasks on heterogeneous processors in a distributed system. The scheduler operates in an environment with dynamically changing resources and adapts to variable system resources. It operates in a batch fashion and utilises a genetic algorithm to minimise the total execution time. We have compared our scheduler to six other schedulers, three batch-mode and three immediate-mode schedulers. Experiments show that the algorithm outperforms each of the others and can achieve near optimal efficiency, with up to 100,000 tasks being scheduled     

分布式计算系统中的算法集成方法

算法集成是研制建设综合性数据处理分析系统的一项重要内容.本文基于临近空间科学实验支持系统研制实践,针对面向科学研究需求的数据处理分析系统的算法集成问题,设计了一种大型分布式系统中集成多种类、多版本、多功能算法的方法,通过构建算法插件,满足了此类科学实验支持系统并行开发、插件化调用、灵活扩展、更新迭代的要求.采用该方法集...     

基于遗传算法的IP网流量优化算法

流量工程通过对IP网流量的优化以更有效利用网络资源。现有研究的一个重要方向是把流量工程问题用线性规划建模,并利用传统的Simplex算法求得最优解,文章提出了一种基于遗传算法的求解方法,从一组随机选取的解(染色体)出发,经过交叉、突变等基因进化操作和多代的选择,最终达到预先设定的适应度准则;给出仿真结果和相关讨论;显示该文算法在运算量,处理动态流量需求等方面有较好的应用前景。     

分布式计算机系统中的负荷平衡算法

本文阐述了分布式计算机系统的负荷平衡问题。在能够达到负荷完全平衡和负荷只能近似地达到平衡的两种情况下，本文提出了时间复杂性为Ｏ（ｎ）的负荷平衡算法。最后还讨论了具有不同处理机速度的负荷平衡问题以及求解平衡的算法。     

MapReduce框架下结合分布式编码计算的容错算法

随着分布式系统规模扩大及计算复杂度增加,分布式计算的平均故障修复时间和容错计算所产生的通信开销呈现日益上升趋势.结合分布式编码计算和副本冗余技术,提出一种新的容错算法.map节点应用分布式编码计算的思想,将数据冗余分配至多个计算节点创建编码中间结果,降低计算节点在shuffle阶段的数据传输量.reduce节点通过对接...     

一种利用分布式GA的传感器网络资源管理方法

如何减少能量的消耗和延长整个网络的生存期是传感器网络研究中的核心问题,在保障传感器最少探测概率的基础上,文章提出了一种利用分布式遗传算法的资源管理调度方法。经过仿真实验分析,此方法可以实现传感器网络能量消耗的最少化。     

面向边缘计算应用的拜占庭式容错分布式一致性算法

为解决边缘计算中边缘节点易于被攻击或俘获产生拜占庭错误,从而破坏边缘计算应用可用性的问题,设计一种面向边缘计算应用的拜占庭容错分布式一致性算法Edge-Raft。该算法在现有的经典Raft算法基础上,针对边缘环境中潜在的拜占庭错误进行重新设计,通过引入数字签名、同步日志检测、轮询选举、惰性投票、三阶段日志同步等机制,使其具有拜占庭容错特性的同时,将消息传递的复杂度限制至线性级,保证小于1/3的集群总数的边缘节点发生拜占庭错误时仍能为用户提供有效服务。基于不同节点规模的实验结果表明,与现有Raft算法相比,该算法在保留Raft算法可理解性的基础上,保证算法在边缘环境中的可用性与活性。相比于现有的实用拜占庭容错算法,所提算法将消息传递的时间复杂度限定在线性级,保证该算法在多节点边缘环境中的可拓展性。     

Distributed Parallel Computing Using Navigational Programming

Message Passing (MP) and Distributed Shared Memory (DSM) are the two most common approaches to distributed parallel computing. MP is difficult to use, whereas DSM is not scalable. Performance scalability and ease of programming can be achieved at the same time by using navigational programming (NavP). This approach combines the advantages of MP and DSM, and it balances convenience and flexibility. Similar to MP, NavP suggests to its programmers the principle of pivot-computes and hence is efficient and scalable. Like DSM, NavP supports incremental parallelization and shared variable programming and is therefore easy to use. The implementation and performance analysis of real-world algorithms, namely parallel Jacobi iteration and parallel Cholesky factorization, presented in this paper supports the claim that the NavP approach is better suited for general-purpose parallel distributed programming than either MP or DSM.     

狭义遗传算法

该文讨论了狭义遗传算法的一般框架,并对其运行机理进行了分析。由于狭义遗传算法的搜索过程不是一个遍历的Ｍａｒｋｏｖ过程,搜索空间小,Ｎ此它具有收敛速度快,搜索过程稳定性高、可控制性强等特点。最后,提出了有待研究的问题。     

分布式开放计算环境下通信平台的实现与应用

计算技术正进入以网络为中心的计算时期,为了满足分布式开放计算环境下的通信需求,文章基于ＴＣＰ／ＩＰ协议,利用ＵＮＩＸ操作系统的内部通信机制,设计和实现了一种通信平台,并给出了它在星图识别技术中的一种应用实例。     

云计算中基于遗传算法的数据布局策略

数据布局的合理性直接影响数据中心间的数据调度效率,进而提高对用户的数据采集效率。论文以数据中心之间数据调度为基础建立数学模型,利用分布式云计算技术处理用户的海量数据,并提供高性能计算资源和海量存储资源模式。在分布式云计算系统中,数据密集型计算可以有效处理数据中心之间的数据调度,通过遗传算法的全局优化能力产生最佳的近似解,并最终获得数据布局的最佳近似结果。实验结果表明,遗传算法可以有效地计算出最优数据布局的近似结果,并使数据中心之间的数据调度最小化。     

分布协同交互式遗传算法及其在群体决策中的应用

针对交互式遗传算法单机实现模式存在的局限性,本文提出一种分布协同交互式遗传算法,并介绍了算法实现的关键技术.基于群体决策满意度和用户评价偏好,给出了共享个体数量确定方法和共享个体的选择方法.还提出了合理的评价平台和有效的决策评价指标以及隐含的信息交互方式等.为减轻用户疲劳,基于个体相似度,提出一种类适应度近似策略.最后基于服装的色彩设计问题,给出实验结果,以验证该算法的可行性.     

Solution-Domain-Decomposition Method for Heat Transfer Problem Using Parallel Distributed Computing

Solution-domain-decomposition (SDD) method is formulated for solving heat transfer problem and generalized for solving multi-domain problem. A generalized algorithm is suggested for parallel and distributing computation. Chebyshev expansion on the dependent variables is used for pseudospectral approximation of the governing equation in this study. Linear superposition principle is adapted to incorporate the interactions between the subdomains. By effective subdivision of computational domain, significant computational efficiency and computational memory savings are accomplished without losing spectral accuracy of the solution. Owing to independent characteristics of the subdomains. the scheme is well suited for multi-processor machines. Convergence study reveals that spectra! accuracy is still conserved for the multi-domain calculation. The calculation domain is divided up to 8 subdomains and calculation is distributed up to independent CPUs. Significant speed-up ratio is obtained by distributing the subtasks through the network.     

分布计算技术

由于社会需要的牵引和使能技术的推动，分布计算模式正在深刻地影响着现代信息社会的形成和发展。本文从总体上讨论分布计算技术，试图说明分布计算环境的概念、分布计算技术的发展现状和趋势，以及发展分布计算应用面临的挑战。     

基于XML的Web客户端数据粒状更新与分布式计算

本文以实例介绍了XML在粒状更新Web客户端数据和实现简单的分布工计算方面的应用，并介绍了DOM对象和XML数据岛技术及其应用。     

基于动态遗传算法的网格计算任务调度

针对网格任务调度的动态特性,提出一种改进的遗传算法——动态遗传算法(DGA),设计了新的编码机制和适应度函数,以及相应的选择、交叉和变异算子。根据网格系统各服务节点的计算能力、负载及网络状态进行动态调度,不仅使总的完成时间最短,尽量使主机的空闲时间最短,同时满足每个任务的截止时间的要求。在OPNET环境中构建了一个局部网格仿真模型,对所提出的动态遗传算法进行了仿真实验,并与其他常见网格任务调度算法进行了对比,结果表明动态遗传算法具有很好的优化能力,提供了较好的服务质量。     

基于Spark的并行遗传算法在物流配送问题中的应用

传统的遗传算法在数据量不足的单机情况下可能存在早熟的现象,遗传算法对搜索范围的依赖性很强,大搜索范围的遗传算法往往有更好的表现。为解决以上问题,可把Spark海量存储和并行计算的能力运用到遗传算法的求解上,实现一种粗粒度的并行遗传算法。利用Spark并行执行遗传算法的选择、交叉和变异等操作,可以大大提高遗传算法的搜索范围和执行速度。实验将改进后的遗传算法应用到物流配送问题中,结果表明,与单机和传统的并行模型相比,基于Spark的遗传算法在运行时间上明显减少,同时早熟的现象也得到了缓解。     

云计算中的基于粒子群算法和差分遗传算法的资源调度

云计算资源调度一直以来都是研究的热点, 本文在云计算中引入粒子群算法, 针对该算法局部收敛速度快, 容易陷入局部最优值的缺点. 本文提出了两个改进: 一个是在粒子群种群寻找最优解中引入差分遗传算法, 既可以发挥粒子群全局搜索快的优点, 又可以发挥差分遗传算法局部搜索效率高的优点, 将两种算法优点进行结合弥补粒子群算法不足; 另一个是引入惩罚函数避免了粒子向无效的空间移动, 节约了移动的成本. Cloudsim平台说明本文算法能够有效满足云计算资源分配, 同时在任务完成时间, 成本消耗方面都有了很大的提高, 为云计算的资源分配提供了一种参考.     

An adaptive parallel genetic algorithm system for i‐Computing environment

Many real‐world optimization problems in the scientific and engineering fields can be solved by genetic algorithms (GAs) but it still requires a long execution time for complex problems. At the same time, there are many under‐utilized workstations on the Internet. In this paper, we present a self‐adaptive parallel GA system named APGAIN, which utilizes the spare power of the heterogeneous workstations on the Internet to solve complex optimization problems. In order to maintain a balance between exploitation and exploration, we have devised a novel probabilistic rule‐driven adaptive model (PRDAM) to adapt the GA parameters automatically. APGAIN is implemented on an Internet Computing system called DJM. In the implementation, we discover that DJM's original load balancing strategy is insufficient. Hence the strategy is extended with the job migration capability. The performance of the system is evaluated by solving the traveling salesman problem with data from a public database. Copyright © 2003 John Wiley & Sons, Ltd.     

一种基于量子遗传算法的分布式异构数据库查询优化方法

对于分布式异构数据库,查询优化既是非常复杂的问题,又是影响系统性能的关键因素。该文结合遗传算法和量子计算的优点,提出了基于量子遗传算法的分布式异构数据库查询优化方法。仿真实验表明,该方法有效地提高了分布式异构数据库的查询优化效率。