首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 169 毫秒
1.
随着分布式系统规模扩大及计算复杂度增加,分布式计算的平均故障修复时间和容错计算所产生的通信开销呈现日益上升趋势。结合分布式编码计算和副本冗余技术,提出一种新的容错算法。map节点应用分布式编码计算的思想,将数据冗余分配至多个计算节点创建编码中间结果,降低计算节点在shuffle阶段的数据传输量。reduce节点通过对接收到的编码中间结果进行解码,从而验证中间结果的正确性并得到最终计算结果。实验结果表明,在基于MapReduce的分布式计算框架下,与三模冗余和两阶段三模冗余容错算法相比,该算法在完成容错计算的同时能降低计算过程中的通信开销和平均故障修复时间,并提高分布式系统的可用性和可靠性。  相似文献   

2.
分布式博弈树搜索算法   总被引:1,自引:0,他引:1  
本文提出了分布式博弈树搜索DDS算法,从通信开销、存储开销、加速比等方面分析了算法性能,并与SSS和α-β算法在搜索结点个数方面作了比较,模拟实验表明DDS是一种高效实用的分布式搜索算法。  相似文献   

3.
并行矩阵乘法是线性代数中最重要的基本运算之一,同时也是许多科学应用的基石.随着高性能计算(HPC)向E级计算发展,并行矩阵乘法的通信开销所占比重越来越大.如何降低并行矩阵乘法的通信开销,提高并行矩阵乘的可扩展性是当前研究的热点之一.本文提出一种新型的分布式并行稠密矩阵乘算法,即2.5D版本的PUMMA(Parallel Universal Matrix Multiplication Algorithm)算法,该算法是通过将初始的进程分成c组,利用计算节点的额外内存,在每个进程组上同时存储矩阵A、B和执行1/c的PUMMA算法,最后通过规约操作来得到矩阵乘的最终结果.本文基于BLACS(Basic Linear Algebra Communication Subprograms)通信库实现了一种从2D到2.5D的新型数据重分配算法,与PUMMA算法相结合,最终得到2.5D PUMMA算法,可直接替换PDGEMM(Parallel Double-precision General Matrix-matrix Multiplication),具有良好的可移植性.与国际标准算法库ScaLAPACK(Scalable Linear Algebra PACKage)中的PDGEMM等经典2D算法相比,本文算法缩减了通信次数,提高了数据局部性,具有更好的可扩展性.在进程数较多时,例如4096进程时,系统测试表明相对PDGEMM的加速比可达到2.20~2.93.进一步地,本文将2.5D PUMMA算法应用于加速计算对称三对角矩阵的特征值分解,其加速比可达到1.2以上.本文通过大量数值算例分析了2.5D PUMMA算法的性能,并给出了实用性建议和总结了未来的工作.  相似文献   

4.
差分进化算法(DE)已被证明为解决无功优化问题的有效方法.随着越来越多的分布式电源并网,对配电网潮流、电压均有一定改变,同时也影响了DE的鲁棒性和性能.本文在研究DE基础上,针对其收敛过早、局部搜索能力较差的缺陷,分析了量子计算思想和人工蜂群算法的优势,提出改进量子差分进化混合算法(IQDE).通过量子编码思想提高了种群个体的多样性,人工蜂群算法的观察蜂加速进化操作和侦查蜂随机搜索操作分别提高了算法的局部搜索和全局搜索性能.建立以有功网损最小为目标的数学模型,将IQDE算法和DE算法分别用于14节点和30节点标准数据集进行大量仿真实验.实验结果表明,IQDE算法用更少的收敛时间、更小的种群规模便可以获得与DE算法相同甚至更佳的优化效果,并且可以很好的应用于解决难分布式电源的配电网无功优化问题.  相似文献   

5.
在分布式存储环境下,提出了一种在给定误差范围内快速求解一类Toeplitz循环三对角线性方程组的分布式并行算法,该算法是在仔细研究了方程组结构特点的基础上,通过求解满足给定误差范围的方程组的近似解,从而使得通信开销小,冗余计算量少,数值试验表明:该算法具有较高的加速比和并行效率。  相似文献   

6.
熊超  武小年  张昭 《计算机工程与设计》2012,33(12):4432-4435,4444
欺负算法产生大量通信信息,时间开销大,占用系统资源过高,严重影响了分布式OLAP系统的性能。针对该问题,提出一种基于欺负算法的改进算法。该算法采用一对一的方式直接向性能最优的节点发送选举消息,以降低选举过程中产生信息的通信量和选举时间开销;并通过循环选举保证选举出系统的最优节点担任系统协调者。实验结果表明,该改进算法有效地降低了消息通信量,减少了时间开销,能更好的应用于分布式OLAP系统。  相似文献   

7.
讨论了已有的TDMA算法在端到端延时上的弊端,在优化时隙数的基础上引入链路的使用顺序与数据流向的相关性,提出了分布式TDMA调度算法,利用反向平衡聚合树的生成过程分配时隙,通过控制链路染色顺序分布式优化延时与避免冲突。仿真结果验证了算法在端到端延迟和通信开销上的性能提升。  相似文献   

8.
卷积在统计学、信号处理、图像处理、深度学习等领域有着广泛的应用,且起到了至关重要的作用。在深度神经网络中,使用卷积运算对输入信息进行特征提取的方法是实现神经网络的基础计算单元之一。如何优化卷积的运算速度,提高卷积计算效率一直是亟需探讨的问题。近年来,很多研究指出分布式计算架构可以提高卷积神经网络的计算速度,进而优化深度学习的训练效率,然而由于分布式系统中普遍存在落跑者问题(straggler),该问题可能会拖慢整个系统执行任务的时间,因此该问题也成为了分布式深度学习中一个待解决的问题。文中针对二维卷积计算,结合Winograd算法和分布式编码,提出了一种优化的分布式二维卷积算法。Winograd算法能够有效地加速单次二维卷积计算的速度,分布式编码通过使用一种基于分布式冗余的编码方式能够缓解straggler节点对整个分布式系统计算延迟的影响。因此,提出的分布式二维卷积算法可以在加速二维卷积计算的同时有效缓解分布式系统中的straggler问题,有效提高了分布式卷积的计算效率。  相似文献   

9.
随着大数据时代的到来,K最近邻(KNN)算法较高的计算复杂度的弊端日益凸显。在深入研究了KNN算法的基础上,结合Map Reduce编程模型,利用其开源实现Hadoop,提出了一种基于Map Reduce和分布式缓存机制的KNN并行化方案。该方案只需要通过Mapper阶段就能完成分类任务,减少了Task Tracker与Job Tracker之间的通信开销,同时也避免了Mapper的中间结果在集群任务节点之间的通信开销。通过在Hadoop集群上实验,验证了所提出的并行化KNN方案有着优良的加速比和扩展性。  相似文献   

10.
李慧勇  陈仪香 《计算机应用》2015,35(11):3139-3145
针对车联网中数据流分布式处理的调度问题,提出了多维服务质量(QoS)改进异构计算最早完成时间(HEFT)调度算法.首先,分别建立了车联网中数据流的分布式处理任务的带权有向无环图模型和车联网分布式计算资源的七维QoS属性带权无向拓扑结构图模型.其次,改进经典的HEFT调度算法中的列表构造方法为最高层最小后继任务优先列表构造方法; 同时,将车联网分布式计算资源的七维QoS属性进行分组、降维,转化为两维综合属性优先权:计算性能优先权和通信性能优先权,形成了两种不同用户偏好的多维QoS改进HEFT调度算法.最后,通过算例分析表明:两种不同用户偏好的多维QoS改进HEFT调度算法综合性能优于经典的HEFT调度算法和轮询调度算法.  相似文献   

11.
朱春媚  莫鸿强 《计算机应用》2017,37(7):1972-1976
针对在探讨适应度函数的周期性特点与整数编码元数之间的关联特性时,一阶积木块数量对编码性能的评价不一定成立的问题,提出以累积逃脱概率(AEP)作为遗传算法(GA)编码性能的评价指标,对以频率为正整数m的整数次幂的正弦函数为基函数线性组合构成的适应度函数编码展开研究。首先给出了该类适应度函数的一般形式和m进制整数编码的含义;然后介绍了AEP的定义,并根据函数特点制定了AEP的计算方法;最后分析比较了该类适应度函数在不同整数编码下的AEP,指出其采用m元整数编码时更容易进化。仿真结果表明,该类适应度函数采用m元整数编码时,其最终优化结果和群体适应度均值的上升时间皆明显优于其他编码,反映了AEP能有效评价编码的性能,并再次验证了对于该类适应度函数m元整数编码优于非m元整数编码的结论。  相似文献   

12.
进化参量的选取对量子衍生进化算法(QEA)的优化性能有极大的影响,传统QEA在选择进化参量时并未考虑种群中个体间的差异,种群中所有个体采用相同的进化参量完成更新,导致算法在解决组合优化问题中存在收敛速度慢、容易陷入局部最优解等问题。针对这一问题,采用自适应机制调整QEA的旋转角步长和量子变异概率,算法中任意一代的任一个体的进化参量均由该个体自身适应度确定,从而保证尽可能多的进化个体能够朝着最优解方向不断靠近。此外,由于自适应量子进化算法需要评估个体的适应度,导致运算时间较长,针对这一问题则采用多宇宙机制将算法分布于多个宇宙中并行实现,从而提高算法的执行效率。通过搜索多峰函数最优解和求解背包问题测试算法性能,结果表明,与传统QEA相比,所提出算法在收敛速度、搜索全局最优解及执行速度方面具有较好的表现。  相似文献   

13.
Developing Takagi-Sugeno fuzzy models by evolutionary algorithms mainly requires three factors: an encoding scheme, an evaluation method, and appropriate evolutionary operations. At the same time, these three factors should be designed so that they can consider three important aspects of fuzzy modeling: modeling accuracy, compactness, and interpretability. This paper proposes a new evolutionary algorithm that fulfills such requirements and solves fuzzy modeling problems. Two major ideas proposed in this paper lie in a new encoding scheme and a new fitness function, respectively. The proposed encoding scheme consists of three chromosomes, one of which uses unique chained possibilistic representation of rule structure. The proposed encoding scheme can achieve simultaneous optimization of parameters of antecedent membership functions and rule structures with the new fitness function developed in this paper. The proposed fitness function consists of five functions that consider three evaluation criteria in fuzzy modeling problems. The proposed fitness function guides evolutionary search direction so that the proposed algorithm can find more accurate compact fuzzy models with interpretable antecedent membership functions. Several evolutionary operators that are appropriate for the proposed encoding scheme are carefully designed. Simulation results on three modeling problems show that the proposed encoding scheme and the proposed fitness functions are effective in finding accurate, compact, and interpretable Takagi-Sugeno fuzzy models. From the simulation results, it is shown that the proposed algorithm can successfully find fuzzy models that approximate the given unknown function accurately with a compact number of fuzzy rules and membership functions. At the same time, the fuzzy models use interpretable antecedent membership functions, which are helpful in understanding the underlying behavior of the obtained fuzzy models.  相似文献   

14.
张宗飞 《计算机应用》2010,30(8):2142-2145
针对网络入侵检测系统中入侵特征库的性能普遍较差的缺点,提出了一种优化网络入侵特征库的改进量子进化算法(IQEA)。采用特征向量表示染色体结构,借鉴小生境协同进化思想初始化种群,以个体的匹配程度设计适应度函数,使用动态更新和“优体交叉”策略进化种群。仿真实验表明,IQEA的寻优能力和收敛速度均优于量子进化算法和进化算法,经IQEA优化后的入侵特征库,检测能力强,并具有较好的自适应性。  相似文献   

15.
Developing Takagi–Sugeno fuzzy models by evolutionary algorithms mainly requires three factors: an encoding scheme, an evaluation method, and appropriate evolutionary operations. At the same time, these three factors should be designed so that they can consider three important aspects of fuzzy modeling: modeling accuracy, compactness, and interpretability. This paper proposes a new evolutionary algorithm that fulfills such requirements and solves fuzzy modeling problems. Two major ideas proposed in this paper lie in a new encoding scheme and a new fitness function, respectively. The proposed encoding scheme consists of three chromosomes, one of which uses unique chained possibilistic representation of rule structure. The proposed encoding scheme can achieve simultaneous optimization of parameters of antecedent membership functions and rule structures with the new fitness function developed in this paper. The proposed fitness function consists of five functions that consider three evaluation criteria in fuzzy modeling problems. The proposed fitness function guides evolutionary search direction so that the proposed algorithm can find more accurate compact fuzzy models with interpretable antecedent membership functions. Several evolutionary operators that are appropriate for the proposed encoding scheme are carefully designed. Simulation results on three modeling problems show that the proposed encoding scheme and the proposed fitness functions are effective in finding accurate, compact, and interpretable Takagi–Sugeno fuzzy models. From the simulation results, it is shown that the proposed algorithm can successfully find fuzzy models that approximate the given unknown function accurately with a compact number of fuzzy rules and membership functions. At the same time, the fuzzy models use interpretable antecedent membership functions, which are helpful in understanding the underlying behavior of the obtained fuzzy models.  相似文献   

16.
基于区间适应值灰度的交互式遗传算法   总被引:1,自引:0,他引:1       下载免费PDF全文
郭广颂  何琳琳 《计算机工程》2009,35(14):233-235
针对交互式遗传算法缺乏衡量评价的不确定性问题,采用区间数评价进化个体适应值,利用灰度衡量评价的不确定性。通过区间适应值的灰度分析,提取反映种群进化分布的信息,给出进化个体的自适应交叉和变异概率。应用于服装进化设计系统的分析结果表明,该算法可有效缓解人的疲劳,提高优化效率。  相似文献   

17.
Coevolution is a promising approach to evolve teams of agents which must cooperate to achieve some system objective. However, in many coevolutionary approaches, credit assignment is often subjective and context dependent, as the fitness of an individual agent strongly depends on the actions of the agents with which it collaborates. In order to alleviate this problem, we introduce a cooperative coevolutionary algorithm which biases the evolutionary search as well as shapes agent fitness functions to promote behavior that benefits the system-level performance. More specifically, we bias the search using a hall of fame approximation of optimal collaborators, and shape the agent fitness using the difference evaluation function. Our results show that shaping agent fitness with the difference evaluation improves system performance by up to 50 %, and adding an additional fitness bias improves performance by up to 75 % in our experiments. Finally, an analysis of system performance as a function of computational cost demonstrates that this algorithm makes extremely efficient use of computational resources, having a higher performance as a function of computational cost than any other algorithm tested.  相似文献   

18.
针对传统手工方法优化卷积神经网络(CNN)参数时存在耗时长、不准确,以及参数设置影响算法性能等问题,提出一种基于教与学优化(TLBO)的可变卷积自编码器(CAE)算法。该算法设计了可变长度的个体编码策略,从而快速构建CAE结构,并堆叠CAE为一个CNN;此外,充分利用优秀个体的结构信息来引导算法朝着更有希望的区域搜索,从而提高算法性能。实验结果表明,所提算法在解决医学图像分类问题时,分类精度达到89.84%,高于传统CNN和同类型神经网络。该算法通过优化CAE结构和堆叠CNN解决医学图像分类问题,有效提高了医学图像分类性能。  相似文献   

19.
郭广颂  高海荣  张勇 《控制与决策》2021,36(10):2399-2408
针对机器感知评价和种群进化,提出基于迁移学习灰支持向量回归机的个体适应值预测方法和聚类进化策略.通过共享用户已评价个体适应值学习模型与部分未评价个体适应值学习模型,实现知识模型差异最小化.建立具有迁移学习能力的灰支持向量回归机模型,预测未评价个体适应值.基于聚类子集计算个体平均距离,并设计选择算子和交叉算子,扩大子代搜索区域,增强种群多样性.基于上述策略,采用NSGA-II范式实现交互式进化计算.最后,分析算法时间复杂度,表明算法可提高评价精度,并克服局部收敛问题.将该算法应用于室内灯光调色问题,验证所提出方法的有效性.  相似文献   

20.
王涛  卢显良 《计算机应用研究》2007,24(1):316-317,320
路由算法是制约Peer-to-Peer 系统整体性能的关键因素之一.目前大多数路由算法无法保证全局收敛,而链路延迟、费用、网络带宽等现实制约因素往往在选路时被忽略.针对上述问题,提出了基于遗传算法的R-GA路由算法.通过适度函数和遗传因子,R-GA可以快速地实现全局收敛.同时将链路的延迟、费用、带宽等参数插入到适度函数中, 避免了盲目路由.仿真试验的结果表明,R-GA路由算法在大规模Peer-to-Peer系统中是高效和可扩展的.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号