WPLoss:面向类别不平衡数据的加权成对损失

类别不平衡数据是指不同类别的样本数目差异很大,AUC(area under the ROC curve)是衡量不平衡数据分类器性能的一个重要指标,由于AUC不可微,研究者提出了众多替代成对损失函数优化AUC。成对损失的样本对数目为正负样本数目的乘积,大量成对损失较小的正负样本对影响了分类器的性能。针对这一问题,提出了一种加权的成对损失函数WPLoss,通过赋予成对损失较大的正负样本对更高的损失权重,减少大量成对损失较小的正负样本对的影响,进而提升分类器的性能。在20newsgroup和Reuters-21578数据集上的实验结果验证了WPLoss的有效性,表明WPLoss能够提升面向不平衡数据的分类器性能。     

求解约束优化问题的改进帝企鹅优化算法

针对帝企鹅优化算法收敛精度低、易陷入局部最优等问题,提出一种改进帝企鹅优化算法求解约束优化问题.利用动态线性调整粒子数目策略结合两种变异操作的方式,增加算法探索能力与开发能力;通过引入一种存档替换操作机制,完善可行性准则的性能,加快算法收敛速度.基于13个标准测试问题和2个工程优化问题的实验结果表明,该算法对约束优化问题有效可行.     

基于改进风驱动算法的非等间距直线阵综合

针对风驱动优化(WDO)算法在解决非等间距直线阵方向图综合问题时收敛精度不高和局部寻优能力不足等缺陷,提出一种小波变异风驱动优化(WDOWM)算法,其中的小波变异算子采用随机化思想丰富了种群多样性。应用该算法综合不同数目阵元到非等间距直线阵方向图实例中,采用二阶多因素多水平的均匀设计方法确定算法参数组合。仿真结果表明,在要求低旁瓣电平和给定方向零陷的情况下,该算法的收敛精度和收敛速度均优于基本风驱动优化算法;与采用粒子群(PSO)算法优化此问题的已有文献相比,所提算法综合的效果更佳。仿真结果说明了所提算法性能良好,适用于天线阵综合问题。     

基于频繁覆盖策略的随机漂移粒子群优化算法

为了进一步提升随机漂移粒子群优化(RDPSO)算法的全局搜索能力、收敛速度以及在高维问题上的优化能力,提出一种基于频繁覆盖策略的RDPSO(FC-RDPSO)算法,并采用概率统计方法和蒙特卡罗方法分析频繁覆盖策略的可行性.在CEC''2013RPO的测试函数上将FC-RDPSO算法与多种优化算法进行对比,实验结果表明所提算法在收敛速度和全局搜索能力上表现出了突出的性能;在一组被广泛使用的大规模全局优化测试函数上的实验结果表明,FC-RDPSO算法在高维问题上同样表现出了较强的优化能力.     

基于进化策略的板材回弹优化建模研究

以回弹最小为目标提出了一种有效的成形工艺优化方法.通过有限元方法对回弹过程进行建模和分析,以获得不同成形工艺条件下的回弹量作为神经网络的样本信号.利用RBFN来模拟复杂的回弹过程.采用改进的进化策略(ES)算法对已建立的回弹模型进行优化以获得最小回弹.结果表明,提出的RBF网络与ES相结合的方法具有全局搜索特性,对于存在不可微的目标函数的非线性优化问题,能以较快的速度和较大概率收敛于全局最优解.     

全局优化RBF网络的一种新算法

神经网络的输入变量、隐含层结点以及中心的选择对模型的性能都有重大的影响,以前的研究一般只考虑优化网络的参数或其结点数。为解决这个问题,提出了一种新的全局优化算法来自动选择RBF神经网络的输入变量和结点数目,并同时优化其参数。在提出的算法中,RBF网络的结点数目、输入变量的选择和参数都采用二进制编码,并用遗传算法来优化。为提高算法的性能和收敛速度,在遗传算法优化的同时引入了一种高性能的基于梯度的局部搜索算子(结构化的非线性参数优化方法)来优化RBF网络中的参数。Box-Jenkins煤气炉标准时间序列的预测问题被用来检验算法的性能。实验结果表明,提出的算法可以得到非常"紧凑"的RBF网络,且其性能优于其他一些算法。     

求解0-1背包问题的交叉熵方法

交叉熵方法是近几年发展起来的一种优化方法,被应用到许多组合优化问题的求解中并显示出很好的性能.文中使用交叉熵方法来求解一种经典的组合优化问题-0-1背包问题.具体方法是:首先按Bernoulli分布生成变量的随机样本,并根据约束条件修正样本,求出目标函数值样本,然后按照交叉熵最小原理建立分布参数的更新规则.建立了基于交叉熵方法的背包问题求解算法.数值实验表明,与目前常用方法相比,该方法在收敛速度和稳定性上都有较大的优势.     

改进的小脑控制神经网络算法研究

研究小脑控制器神经网络(CMAC)在模式识别中的应用问题.在算法优化过程中,针对模式识别中训练样本中存在着高维、大量冗余信息而传统CMAC不能够对输入信息空间维数降低,从而常导致CMAC网络训练速度慢、识别率低等问题.为了加快CMAC学习速度,提高识别率,提出一种基于粗糙集(RS)的CMAC模式识别方法(RS_CMAC).利用粗糙集约简并删除训练样本中的冗余信息,降低样本的维数,从而优化网络的结构;同时网络中引入了自适应动态学习率,加快网络的收敛速度和学习速度,从而提高识别率.以数码管模式识别为例对算法进行了验证性实验,仿真结果表明,与传统CMAC相比.识别精度有了明显提高,学习速度加快.RS_CMAC方法克服了传统CMAC缺点和不足,是一种有效的模式识别方法,为实际应用提供依据.     

基于连续过松弛方法的支持向量回归算法

支持向量回归(support vector regression,简称SVR)训练算法需要解决在大规模样本条件下的凸二次规划(quadratic programming,简称QP)问题.尽管此种优化算法的机理已经有了较为明确的认识,但已有的支持向量回归训练算法仍较为复杂且收敛速度较慢.为解决这些问题.首先采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上针对大规模样本回归问题提出一种用于SVR的简化SOR(successive overrelaxation)算法.实验表明,这种新的回归训练方法在数据量较大时,相对其他训练方法有较快的收敛速度,特别适于在大规模样本条件下的回归训练算法设计.     

基于参数自适应策略的改进乌鸦搜索算法

乌鸦搜索算法(CSA)是近年发展起来的一种新型智能优化算法,具有搜索精度高、收敛速度快等优点,但是其搜索性能对参数依赖性较强,参数的选取对算法的全局搜索能力、收敛速度至关重要.为解决最佳参数的确定问题,首先提出了一种用于表征种群优化算法收敛进程的方法,从而将优化过程分为前、中、后期,并在此基础上提出了一种基于优化过程的自适应参数乌鸦搜索算法(APICSA).经Levy No.5函数和齿轮系统设计问题对APICSA算法的测试表明,相对于标准CSA算法,该方法的可靠性和收敛速度可以得到更好的平衡,且均有一定程度的提高.与人工蜂群算法(ABC)等其他智能优化算法相比,该方法在50次运算中的标准差比ABC算法减小了55％,平均值与最优解的误差减小了67.7％,说明APICSA算法在可靠性和精度上具有更大优势.     

基于改进元胞多目标遗传算法的机床主轴优化

为了进一步提高元胞遗传算法在求解多目标优化问题时的收敛性和分布性。在多目标元胞遗传算法的基础上,引入了三维空间元胞,提出了三维元胞多目标遗传算法。采用多目标基准测试函数对该算法进行了测试,并将其与目前比较流行的几种多目标遗传算法进行对比。结果表明,此种算法在收敛性和分布性上取得了更好的效果。采用以上这几种算法分别对机床主轴多目标优化问题进行了求解,相比其他几种算法,改进的多目标元胞遗传算法得到了更优的结果,说明了改进的算法在求解此问题时行之有效。     

Multi-operator based evolutionary algorithms for solving constrained optimization problems

Over the last two decades, many sophisticated evolutionary algorithms have been introduced for solving constrained optimization problems. Due to the variability of characteristics in different COPs, no single algorithm performs consistently over a range of problems. In this paper, for a better coverage of the problem characteristics, we introduce an algorithm framework that uses multiple search operators in each generation. The appropriate mix of the search operators, for any given problem, is determined adaptively. The framework is tested by implementing two different algorithms. The performance of the algorithms is judged by solving 60 test instances taken from two constrained optimization benchmark sets from specialized literature. The first algorithm, which is a multi-operator based genetic algorithm (GA), shows a significant improvement over different versions of GA (each with a single one of these operators). The second algorithm, using differential evolution (DE), also confirms the benefit of the multi-operator algorithm by providing better and consistent solutions. The overall results demonstrated that both GA and DE based algorithms show competitive, if not better, performance as compared to the state of the art algorithms.     

On an evolutionary approach for constrained optimization problem solving

Over the last few decades, many different evolutionary algorithms have been introduced for solving constrained optimization problems. However, due to the variability of problem characteristics, no single algorithm performs consistently over a range of problems. In this paper, instead of introducing another such algorithm, we propose an evolutionary framework that utilizes existing knowledge to make logical changes for better performance. The algorithmic aspects considered here are: the way of using search operators, dealing with feasibility, setting parameters, and refining solutions. The combined impact of such modifications is significant as has been shown by solving two sets of test problems: (i) a set of 24 test problems that were used for the CEC2006 constrained optimization competition and (ii) a second set of 36 test instances introduced for the CEC2010 constrained optimization competition. The results demonstrate that the proposed algorithm shows better performance in comparison to the state-of-the-art algorithms.     

机器学习随机优化方法的个体收敛性研究综述

随机优化方法是求解大规模机器学习问题的主流方法,其研究的焦点问题是算法是否达到最优收敛速率与能否保证学习问题的结构。目前,正则化损失函数问题已得到了众多形式的随机优化算法,但绝大多数只是对迭代进行 平均的输出方式讨论了收敛速率,甚至无法保证最为典型的稀疏结构。与之不同的是,个体解能很好保持稀疏性,其最优收敛速率已经作为open问题被广泛探索。另外,随机优化普遍采用的梯度无偏假设往往不成立,加速方法收敛界中的偏差在有偏情形下会随迭代累积,从而无法应用。本文对一阶随机梯度方法的研究现状及存在的问题进行综述,其中包括个体收敛速率、梯度有偏情形以及非凸优化问题,并在此基础上指出了一些值得研究的问题。     

基于模拟退火的自适应粒子群优化算法的改进策略

针对PSO算法在求解问题的优化问题中易陷入局部收敛且收敛速度较慢等缺陷,引入一种初始化改进策略,并将模拟退火算法与PSO算法相结合,提出了一种全新的算法。该算法将寻优过程分为两个阶段:为了提高算法的执行速度,前期使用标准PSO算法进行寻优,后期运用模拟退火思想对PSO中的参数进行优化搜索最优解。最后将该算法应用于八个经典的单峰/多峰函数中。模拟结果表明,该算法有效地避免了早熟收敛现象,并提高了收敛速度,从而提高了PSO算法解决全局优化的性能。     

基于次梯度的L1正则化Hinge损失问题求解研究

Hinge损失函数是支持向量机(support vector machines,SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.     

基于交替方向乘子法的非光滑损失坐标优化算法

交替方向乘子法(ADMM)在机器学习问题中已有一些实际应用。针对大规模数据的处理和非光滑损失凸优化问题,将镜面下降方法引入原ADMM批处理算法,得到了一种新的改进算法,并在此基础上提出了一种求解非光滑损失凸优化问题的坐标优化算法。该算法具有操作简单、计算高效的特点。通过详尽的理论分析,证明了新算法的收敛性,在一般凸条件下其具有目前最优的收敛速度。最后与相关算法进行了对比,实验结果表明该算法在保证解稀疏性的同时拥有更快的收敛速度。     

A mixed strategy of combining evolutionary algorithms with multigrid methods

Multigrid methods have been proven to be an efficient approach in accelerating the convergence rate of numerical algorithms for solving partial differential equations. This paper investigates whether multigrid methods are helpful to accelerate the convergence rate of evolutionary algorithms for solving global optimization problems. A novel multigrid evolutionary algorithm is proposed and its convergence is proven. The algorithm is tested on a set of 13 well-known benchmark functions. Experiment results demonstrate that multigrid methods can accelerate the convergence rate of evolutionary algorithms and improve their performance.     

Extremal optimization vs. learning automata: Strategies for spin selection in portfolio selection problems

Nowadays, various imitations of natural processes are used to solve challenging optimization problems faster and more accurately. Spin glass based optimization, specifically, has shown strong local search capability and parallel processing. But, spin glasses have a low rate of convergence since they use Monte Carlo simulation techniques such as simulated annealing (SA). Here, we propose two algorithms that combine the long range effect in spin glasses with extremal optimization (EO-SA) and learning automata (LA-SA). Instead of arbitrarily flipping spins at each step, these two strategies aim to choose the next spin and selectively exploiting the optimization landscape. As shown in this paper, this selection strategy can lead to faster rate of convergence and improved performance. The resulting two algorithms are then used to solve portfolio selection problem that is a non-polynomial (NP) complete problem. Comparison of test results indicates that the two algorithms, while being very different in strategy, provide similar performance and reach comparable probability distributions for spin selection. Furthermore, experiments show there is no difference in speed of LA-SA or EO-SA for glasses with fewer spins, but EO-SA responds much better than LA-SA for large glasses. This is confirmed by tests results of five of the world's major stock markets. In the last, the convergence speed is compared to other heuristic methods such as Neural Network (NN), Tabu Search (TS), and Genetic Algorithm (GA) to approve the truthfulness of proposed methods.