模糊逻辑系统的GA+BP混合学习算法

提出一种在GA中融入BP算法的混合学习算法以实现模糊逻辑系统的自学习,利用遗传算法的全局最优性在大范围内搜索可能的极值,而用BP算法的误差梯度下降特性在极值点附近的快速搜索,从而达到了全局最优与快速搜索的有机结合,仿真结果表明,这种混合算法的学习效率无论是相对于GA还是BP均有显著提高。     

用于运动估计的基于梯度下降搜索扩展算法

在快速搜索算法中,基于梯度下降搜索算法对搜索速度的改善非常明显,但搜索质量下降较大,尤其是对于帧间图像运动较大的序列。对该算法进行针对性扩展,提出基于梯度下降搜索扩展算法。与全搜索、新三步搜索、四步搜索、基于块的梯度下降搜索、钻石搜索算法相比较,实验结果表明该算法在搜索速度和质量上表现良好。     

随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

基于SA的改进遗传算法的测试数据生成研究

测试数据的自动生成研究是软件测试的一个焦点问题,测试数据的自动生成可以提高测试工作效率,节约测试成本.考虑遗传算法(GA)和模拟退火算法(SA)各自优缺点,提出遗传/模拟退火(GASA)混合算法的策略,在标准的GA中融入SA,在GA的局部搜索中引入SA,SA的随机状态受限于遗传优化算法的结果,GA的种群更新是由SA的退温算法和随机状态产生函数来控制,从而得到最优解.GA-SA算法取长补短,提高了算法的全局和局部搜索能力,能避免GA过早收敛,提高了算法搜索最优解的能力.实验结果表明,GASA算法寻找最优解所需的迭代次数明显优于标准GA.     

基于优化遗传小波网络的混沌时间序列预测

研究利用小波神经网络(WNN)预测混沌时间序列。提出了一种改进的小波神经网络训练算法,该方法融合了遗传算法和梯度下降算法两种方法,在遗传算法中嵌入梯度下降算法以解决遗传算法不具有的细节搜索能力,对遗传算法训练后的小波网络再次利用梯度下降算法寻找最优点。对Henon映射混沌时间序列的预测证明了该方法的有效性,实验结果表明该算法能确保小波网络收敛和具有较高的预测精度。     

基于混沌梯度的BP网络设计及应用

该文针对BP神经网络易限入局部极小的问题,提出了混沌梯度优化的神经网络的学习算法,其原理是:用规则来判断由于梯度搜索过程中产生的局部极小,并利用具有全局寻优的特点的混沌搜索,使学习过程能有效地逃离局部极小。即采用梯度下降进行“粗搜索”,混沌搜索进行“细搜索”,并建立规则将两者结合起来,就构成了BP神经网络的基于规则的混沌梯度耦合学习算法。它有效地利用了梯度下降算法的快速性和混沌寻优的全局性,并已应用于工程实际,取得了良好的效果。     

基于混合进化算法的RBF神经网络时间序列预测

提出一种基于梯度下降法的混合进化算法,用于确定径向基函数（RBF）神经网络结构和优化其参数.在进化算法中嵌入梯度下降算子,对每一代中若干个精英个体以一定概率利用梯度下降法进行搜索,以加强算法的局部搜索能力.利用混合进化算法对RBF网络结构和参数同时进行训练和优化,对网络节点数和参数进行混合编码.仿真实验结果表明该RBF网络具有较强的泛化能力.     

模糊神经网络的混沌优化算法设计

提出了一种基于混沌变量的多层模糊神经网络优化算法设计.离线优化部分采用混沌算法,将混沌变量引入到模糊神经网络结构和参数的优化搜索中,使整个网络处于动态混沌状态,根据性能指标在动态模糊神经网络中寻找较优的网络结构和参数.在线优化部分采用梯度下降法,把混沌搜索后得到的参数全局次优值作为梯度下降搜索的初始值,进一步调整模糊神经网络的参数,实现混沌粗搜索和梯度下降细搜索相结合的优化目的,能较快地找到全局最优解.最后对二阶延迟系统进行仿真,结果表明混沌优化方法控制精度高、超调小、响应快和鲁棒性强.     

基于混合遗传算法的时滞和参数的在线辨识

针对遗传算法应用于时变时滞和参数在线辨识时，存在无法兼顾收敛速度与辨识精度的缺点，提出一种遗传算法和单神经元有机结合的混合遗传算法。利用GA的全局最优性在整个空间搜索可能的极值，而用单神经元的误差梯度下降特性在极值点附近快速搜索，从而达到全局最优与快速搜索的有机结合，提高了收敛速度和辨识精度。并对混合遗传算法进行了改进，使之更适用于在线辨识。仿真结果表明，改进的混合遗传算法用于在线辨识有效且实用。     

变尺度混沌算法的BP网络优化*

采用变尺度混沌优化方法代替梯度下降法融入BP神经网络,在优化搜索过程中不断缩小搜索空间,克服了标准BP算法易陷入局部极小的缺点,能有效地寻找到BP神经网络权值的全局最优值。此外,进一步提出变尺度混沌优化与梯度下降法有机结合的算法,能有效缩短单一的变尺度混沌优化BP算法的训练时间。仿真结果表明,改进的BP神经网络具有实现简单、寻优性强和优化效率高等特点。     

基于模拟退火遗传算法的控制系统优化设计

提出了一种基于模拟退火遗传算法的线性系统优化设计方法。该方法以控制系统的性能指标,包括瞬态指标和稳态指标及其组合为目标函数,实现了由传递函数描述的控制器的自动设计,而不必预选择特定的控制方案。遗传算法使用十进制数编码,配合使用模拟退火技术来得到更精细的调整。使用这种方法,不需要手工计算,就可以获得控制系统的最优性能。该设计方法还可以应用于非线性对象。     

基于SQP/GA混合优化算法的双容水箱非线性预测控制

为了计算控制序列，非线性模型预测控制可以转换为一个带约束的非线性优化过程．本文分析了三种约束处理方案，根据遗传算法的特点，将等式约束用于状态量计算，在搜索空间降维的同时消除遗传算法难以求解的等式约束．对双容水箱进行遗传算法和序列二次规划仿真试验和实际控制，结果表明遗传算法对控制量的优化效果优于序列二次规划．为克服遗传算法耗时较长、优化结果存在随机抖动的缺点，结合序列二次规划提出一种混合优化算法，仿真和实控结果表明其可行性和有效性．     

案例系统特征权值优化算法的仿真研究

研究案例系统特征权值优化问题,传统特征权值确定方法过分依赖主观判断和经验,而单一遗传算法或禁忌算法存在各自的不足,因此案例分类精度低。为了提高案例分类精度,提出一种遗传算法和禁忌算法相融合的案例系统特征权值优化方法。利用遗传算法全局搜索能力、并行性和禁忌算法局部搜索和记忆能力,有效地解决了案例系统特征权值优化问题。仿真结果表明,混合方法利用了遗传算法和禁忌算法的优点,很好地优化了案例系统特征权值,从而加快案例系统检索速度,提高了案例分类精度。     

Stability analysis via the concept of Lyapunov exponents: a case study in optimal controlled biped standing

Balancing control is important for biped standing. In spite of large efforts, it is very difficult to design balancing control strategies satisfying three requirements simultaneously: maintaining postural stability, improving energy efficiency and satisfying the constraints between the biped feet and the ground. In this article, a proportional-derivative (PD) controller is proposed for a standing biped, which is simplified as a two-link inverted pendulum with one additional rigid foot-link. The genetic algorithm (GA) is used to search for the control gain meeting all three requirements. The stability analysis of such a deterministic biped control system is carried out using the concept of Lyapunov exponents (LEs), based on which, the system stability, where the disturbance comes from the initial states, and the structural stability, where the disturbance comes from the PD gains, are examined quantitively in terms of stability region. This article contributes to the biped balancing control, more significantly, the method shown in the studied case of biped provides a general framework of systematic stability analysis for certain deterministic nonlinear dynamical systems.     

遗传算法的研究与进展

遗传算法是建立在自然遗传学机理基础上的参数搜索方法。本文介绍了遗传算法的思想来源的基本原理，比较了遗传算法与其他人工智能技术，论述了它在优化、机器学习、尤其是控制领域中的应用成果，并对进一步的研究工作提出了一些展望。     

拉丁超立方体抽样遗传算法求解图的二划分问题

图的二划分问题是一个典型的NP-hard组合优化问题, 在许多领域都有重要应用. 近年来, 传统遗传算法等各种智能优化方法被引入到该问题的求解中来, 但效果不理想. 基于理想浓度模型的机理分析, 利用拉丁超立方体抽样的理论和方法, 对遗传算法中的交叉操作进行了重新设计, 并在分析图二划分问题特点的基础上, 结合局部搜索策略, 给出了一个解决图二划分问题的新的遗传算法, 称之为拉丁超立方体抽样遗传算法. 通过将该算法与简单遗传算法和佳点集遗传算法进行求解图二划分问题的仿真模拟比较, 可以看出新的算法提高了求解的质量、速度和精度.