多元优化算法及其收敛性分析

提出了一种搜索个体分工明确、协同合作的群智能优化算法,并从理论上证明了其收敛性. 由于搜索个体(搜索元)具有分工不同的多元化特点,所以我们称该算法为多元优化算法(Multivariant optimization algorithm, MOA).多元优化算法中, 全局搜索元和局部搜索元基于数据表高效的记录和分享信息以协同合作对解空间进行搜索. 在一次迭代中,全局搜索元搜索整个解空间以寻找潜在解区域,然后具有不同种群大小的局部搜索元组对潜力不同的历史潜在解区域以及新发现的潜在解区域进行不同粒度的搜索. 搜索元找到的较优解按照一定的规则保存在由队列和堆栈组成的结构体中以实现历史信息的高效记忆和共享. 结构体中保存的候选解在迭代过程中不断更新逐渐接近最优解,最终找到优化问题的多个全局最优解以及局部次优解.基于马尔科夫过程的理论分析表明:多元优化算法以概率1 收敛于全局最优解.为了评估多元优化算法的收敛性,本文利用多元优化算法以及其他五个常用的优化算法对十三个二维及十维标准测试函数进行了寻优测试. 实验结果表明,多元优化算法在收敛成功率和收敛精度方面优于其他参与比较的算法.     

基于群智能的连续优化算法研究

在对蚁群优化算法(ACO)和粒子群优化算法(PSO)进行分析的基础上,提出一种解决函数连续优化的群智能混合策略-CA-PSO.在求解过程中,首先对解空间进行区域划分,进而利用ACO在优化初期具备的快速收敛性能,在整个解空间内搜索最优解的敏感区域.然后利用蚁群的搜索结果初始化PSO粒子,利用PSO快速和全局收敛性进行所在小区域内的搜索.种群更新时根据蚁群的拓扑结构和小区域间的阶跃规则,蚁群不断向最优解敏感区域聚集,使得敏感区域内粒子数增加,则局部的PSO搜索策略可以更细密的搜索最优.实例结果表明,CA-PSO既能保证解的分布性与多样性,又避免了在多峰值函数寻优过程中陷入局部最优解而停止运算,最终将收敛到全局最优解.     

集成协方差矩阵自适应进化策略与差分进化的优化算法

不同智能优化算法在求解优化问题时通常表现出显著的性能差异.差分进化(DE)算法具备较好的全局搜索能力,但存在收敛慢、效率低的不足,协方差矩阵自适应进化策略(CMA–ES)局部搜索能力强,具备旋转不变性,但容易陷入局部最优,因此, DE和CMA–ES之间具有潜在的协同互补能力.针对上述问题,提出了一种集成协方差矩阵自适应进化策略与差分进化的优化算法(CMADE).在CMADE框架中, DE算法负责全局搜索, CMA–ES算法进行局部搜索.通过周期性解交换机制实现CMA–ES和DE两个算法间协同交互和反馈控制.在解交换时,从DE种群中选择优秀个体,利用CMA–ES算法在优秀个体周围进行局部搜索.同时在DE和CMA–ES的混合种群中,综合考虑解的多样性和最优性,选取一定比例的解作为DE算法的新种群进行全局搜索,实现全局搜索与局部搜索的动态平衡.将CMADE算法与CMA–ES, DE, SaDE, jDE, EPSDE, ACODE和SHADE算法在CEC2014标准测试集上进行比较实验.结果表明, CMADE整体性能显著优于其它比较算法.     

斐波那契树优化算法求解多峰函数全局最优解的可达性分析

为分析和验证斐波那契树优化算法（Fibonacci tree optimization algorithm,FTO）求解多峰函数全局最优解的算法性能,对算法的可达性问题进行研究.本文基于斐波那契法构造一个斐波那契树结构,在搜索空间中进行全局、局部交替搜索,不易陷入局部最优解.对斐波那契树优化算法基于该结构的可达性进行分析和证明.通过跟踪算法求解过程中坐标点的累积分布仿真实验和到达率的对比实验,分析和验证了算法求解多峰函数全局最优解的可达性.     

多分支混沌变异的头脑风暴优化算法

头脑风暴优化算法是一种受人类群体行为启发的新型群智能优化算法。该算法通过模拟人类使用头脑风暴创造性解决问题的行为,在解空间中分析个体分布,并使用变异生成新个体,多次迭代求得最优解,具有较高的鲁棒性和自适应能力。针对头脑风暴优化算法精度较差、易陷入局部最优导致早熟收敛的缺陷,提出了一种多分支混沌变异的头脑风暴优化算法。该算法选取8种混沌映射,设计了一种多分支混沌变异算子。当原始算法陷入局部最优时,使用多分支混沌变异生成新个体,利用多种混沌运动的遍历性、随机性和多样性,扩大了混沌空间的范围,增强了算法全局搜索的能力。对10个经典测试函数的10、20、30维问题进行测试,并与原始头脑风暴优化算法、粒子群优化算法、遗传算法和布谷鸟搜索算法进行对比,实验结果表明,所提出的算法可以有效避免陷入局部最优,具有更高的稳定性和全局搜索能力。     

生态金字塔粒子群优化算法

为解决粒子群优化算法在处理高维复杂函数时容易陷入局部最优和早熟收敛的问题,提出生态金字塔粒子群优化算法(EP-PSO)。该算法引入生态金字塔系统,使粒子在搜索空间分等级、分子群寻优,有效增加了群体多样性;为增强算法的全局搜索能力,对处于停滞状态的个体极值和全局极值进行动态变异,以达到扩大种群潜在搜索空间的效果。选择15个测试函数验证算法的有效性,结果表明EP-PSO有着良好的寻优性能,能够得到较高精度解,具有较高的效率和可信度。     

基于元胞自动机的教与学优化算法

为解决教与学优化(TLBO)算法易陷入局部最优的问题,提出了一种基于元胞自动机的教与学优化算法(CATLBO)。算法建立了四边形网状元胞自动机模型并指定其邻域结构和规则。为保持种群多样性,在教学阶段提出以一定的概率接收退步个体的策略;为加快收敛并保证解的精度,在学习阶段制定不同学习规则,劣势个体向优势个体学习,优势个体执行混沌扰动进行自我学习。使用多个Benchmark测试函数和经典TSP问题对算法进行了仿真。结果表明:CATLBO算法全局搜索能力强,与基本TLBO等算法相比,在处理高维多峰问题上更具优势。     

多向学习自适应的粒子群算法

粒子群优化算法（PSO）是一种群体智能算法,通过粒子间的竞争和协作以实现在复杂搜索空间中寻找全局最优点。但基本PSO算法存在进化后期收敛速度慢、易陷入局部最优点的缺点,提出了一种多向学习型的粒子群优化算法,该算法中粒子通过同时追随自己找到的最优解、随机的其他粒子同维度的最优解和整个群的最优解来完成速度更新,通过判别区域边界来完成位置优化更新,通过对全局最优位置进行小范围扰动,以增强算法跳出局部最优的能力。对几种典型函数的测试结果表明：改进后的粒子群算法明显改善了全局搜索能力,并且能够有效避免早熟收敛问题。算法使高维优化问题中全局最优解相对搜索空间位置的鲁棒性得到了明显提高,适合于求解同类问题,计算结果能满足实际工程的要求。     

基于历史认知的果蝇优化算法

针对果蝇优化算法的早熟收敛问题,提出了一种新的基于历史认知的果蝇优化算法。新算法通过增加个体“历史认知”的改进策略,优化进化方程,从而避免潜在全局最优解因为不考虑自己的历史轨迹,仅依靠单纯的聚集行为,而使自己的寻优轨迹迂回曲折,错过成为全局最优解的可能;并且通过线性递增的动态变化系数ω调整在迭代寻优过程中个体的“历史”对本次学习的价值,增强算法跳出局部最优,寻找全局最优的能力。对几种经典测试函数进行了仿真和实例计算,结果表明新算法更好地平衡了全局和局部搜索能力,在收敛速度、收敛可靠性及收敛精度上比其他经典智能优化算法有较大的提高。     

电力系统无功优化的柯西粒子群算法

针对传统粒子群算法易陷入局部最优解、收敛速度慢的缺点,提出了柯西粒子群算法,并首次将其应用于电力系统无功优化问题.柯西粒子群算法是基于柯西分布的期望和方差均不存在的原理,对每一代粒子的全局极值进行柯西变异,以此来增加种群的多样性,扩大全局最优粒子的搜索区域,以尽快获得适应度更优的个体,从而可以避免算法陷入局部最优解,同...     

On the convergence of multivariant optimization algorithm

In this paper, we introduce a new global optimization method and study its global convergence property through theoretical and experimental approaches. The proposed method is named as multivariant optimization algorithm (MOA) because the intelligent searchers, which are called as atoms, not only are divided into multiple subgroups but also are variant in responsibility. That is, global atoms explore the whole solution space in the hope of finding potential areas where local atoms start the local exploitation. The proposed method is characterized by two important features. On one hand, global atoms do the global exploration in each loop to jump out from local traps. On the other hand, global and local atoms conduct the global exploration and the local exploitation according to their own responsibility, respectively. These features contribute to increasing the chance of converging to the global best. To study the convergence property of MOA, we carried out the convergence analysis, numerical optimization experiments and the shortest path planning experiments. And the results demonstrate that MOA is globally convergent and superior to the compared methods in the global convergence accuracy and probability in solving complex challenging problems which have one or more features such as deceptiveness, randomly located optimum, asymmetry or multiple traps.     

A whale optimization algorithm based on quadratic interpolation for high-dimensional global optimization problems

Whale Optimization Algorithm (WOA), as a new population-based optimization algorithm, performs well in solving optimization problems. However, when tackling high-dimensional global optimization problems, WOA tends to fall into local optimal solutions and has slow convergence rate and low solution accuracy. To address these problems, a whale optimization algorithm based on quadratic interpolation (QIWOA) is presented. On the one hand, a modified exploration process by introducing a new parameter is proposed to efficiently search the regions and deal with the premature convergence problem. On the other hand, quadratic interpolation around the best search agent helps QIWOA to improve the exploitation ability and the solution accuracy. Moreover, the algorithm tries to make a balance between exploitation and exploration. QIWOA is compared with several state-of-the-art algorithms on 30 high-dimensional benchmark functions with dimensions ranging from 100 to 2000. The experimental results show that QIWOA has faster convergence rate and higher solution accuracy than both WOA and other population-based algorithms. For functions with a flat or sharp bottom, QIWOA is difficult to find the global optimum, but it still performs best compared with other algorithms.     

Study on hybrid PS-ACO algorithm

Ant colony optimization (ACO) algorithm is a recent meta-heuristic method inspired by the behavior of real ant colonies. The algorithm uses parallel computation mechanism and performs strong robustness, but it faces the limitations of stagnation and premature convergence. In this paper, a hybrid PS-ACO algorithm, ACO algorithm modified by particle swarm optimization (PSO) algorithm, is presented. The pheromone updating rules of ACO are combined with the local and global search mechanisms of PSO. On one hand, the search space is expanded by the local exploration; on the other hand, the search process is directed by the global experience. The local and global search mechanisms are combined stochastically to balance the exploration and the exploitation, so that the search efficiency can be improved. The convergence analysis and parameters selection are given through simulations on traveling salesman problems (TSP). The results show that the hybrid PS-ACO algorithm has better convergence performance than genetic algorithm (GA), ACO and MMAS under the condition of limited evolution iterations.     

具有自适应全局最优引导快速搜索策略的人工蜂群算法

针对人工蜂群算法存在开发与探索能力不平衡的缺点,提出了具有自适应全局最优引导快速搜索策略的改进算法.在该策略中,首先采蜜蜂利用自适应搜索方程平衡了不同搜索方法的探索和开发能力;其次跟随蜂利用全局最优引导邻域搜索方程对蜜源进行精细化搜索,以提高其收敛精度和全局搜索能力.14个标准测试函数的仿真结果表明,相比其他算法,所提出的改进算法有效平衡了算法的开发与探索能力,并提高了其最优解的精度及收敛速度.     

A new gradient based particle swarm optimization algorithm for accurate computation of global minimum

Stochastic optimization algorithms like genetic algorithms (GAs) and particle swarm optimization (PSO) algorithms perform global optimization but waste computational effort by doing a random search. On the other hand deterministic algorithms like gradient descent converge rapidly but may get stuck in local minima of multimodal functions. Thus, an approach that combines the strengths of stochastic and deterministic optimization schemes but avoids their weaknesses is of interest. This paper presents a new hybrid optimization algorithm that combines the PSO algorithm and gradient-based local search algorithms to achieve faster convergence and better accuracy of final solution without getting trapped in local minima. In the new gradient-based PSO algorithm, referred to as the GPSO algorithm, the PSO algorithm is used for global exploration and a gradient based scheme is used for accurate local exploration. The global minimum is located by a process of finding progressively better local minima. The GPSO algorithm avoids the use of inertial weights and constriction coefficients which can cause the PSO algorithm to converge to a local minimum if improperly chosen. The De Jong test suite of benchmark optimization problems was used to test the new algorithm and facilitate comparison with the classical PSO algorithm. The GPSO algorithm is compared to four different refinements of the PSO algorithm from the literature and shown to converge faster to a significantly more accurate final solution for a variety of benchmark test functions.     

不等式约束的非线性规划混合遗传算法

针对带不等式约束的非线性规划问题,提出了一个混合遗传算法。该算法分为全局探测和局部开采两个阶段,全局探测阶段是通过在有潜力的小生境内嵌入单纯形搜索,快速确定有前景的区域;而局部开采阶段则是在最有前景的区域进行单纯形搜索。该算法增强了局部搜索能力并同时保持种群的多样性,有效地解决了遗传算法的过早收敛和局部搜索能力弱的问题。典型非线性规划算例验证了混合算法的效率、精度和可靠性。     

基于自适应正态云模型的灰狼优化算法

灰狼优化算法(GWO)是一种模拟狼群等级制度和捕食行为的群体智能算法,存在收敛精度低、易陷入局部最优解等问题,为提高GWO的算法性能,提出一种基于Tent映射和正态云发生器的改进灰狼优化算法(CGWO).在灰狼群初始化阶段引入Tent映射,增加种群个体多样性以提高算法的优化效率;在攻击猎物阶段采用正态云模型对狼群位置进行更新,使算法前期具有较好的随机性和模糊性,提高全局开发能力,助其跳出局部最优解.随着迭代次数增加,自适应调整正态云模型熵值,使后期随机性和模糊性随之减小,有效改善局部开发能力,提高其收敛精度.选用20个通用的标准测试函数对CGWO算法性能进行验证,分别从单峰、多峰以及复合函数寻优结果与多种优化算法进行对比分析.结果表明,在同等测试条件下,CGWO算法寻优效率和收敛精度更高,能很快跳出局部最优解,在全局搜索和局部开发能力上更为平衡.     

增强开发能力的改进人工蜂群算法

为解决人工蜂群（ABC）算法收敛速度慢、精度不高和易于陷入局部最优等问题，提出一种增强开发能力的改进人工蜂群算法。一方面，将得出的最优解以两种方式直接引入雇佣蜂搜索公式中，通过最优解指导雇佣蜂的邻域搜索行为，以增强算法的开发或局部搜索能力；另一方面，在旁观蜂搜索公式中结合当前解及其随机邻域进行搜索，以改善算法的全局优化能力。对多个常用基准测试函数的仿真实验结果表明，在收敛速度、精度和全局优化能力等方面，所提算法总体上优于其他类似的ABC算法（例如ABC/best）和集成多种搜索策略的ABC算法（例如ABCVSS（ABC algorithm with Variable Search Strategy）和ABCMSSCE（ABC algorithm with Multi-Search Strategy Cooperative Evolutionary））。     

云搜索优化算法

本文将云的生成、动态运动、降雨和再生成等自然现象与智能优化算法的思想融合,建立了一种新的智能优化算法-云搜索优化算法(CSO)。生成与移动的云可以弥漫于整个搜索空间,这使得新算法具有较强的全局搜索能力;收缩与扩张的云团在形态上会有千奇百态的变化,这使得算法具有较强的局部搜索能力;降雨后产生新的云团可以保持云团的多样性,这也是使搜索避免陷入局优的有效手段。实验表明,基于这三点建立的新算法具有优异的性能,benchmark函数最优值的计算结果以及与已有智能优化算法的比较展现了新算法精确的、稳定的全局求解能力。