回溯算法与计算机智能排课

用计算机进行排课在我国还是一个较新的尝试,根据在武汉大学进行计算机排课的实践,分析了排课问题的数学模型,发现利用回溯算法进行计算机处理是一条比较现实的途径,给出了一个普遍的处理流程,同时对其排课效果进行了分析和探讨。     

高校排课问题的模型与算法

在分析高校排课问题复杂性的基础上,给出了高校排课的数学模型及一种改进回溯算法,基于该算法的计算机智能排课系统运行效果良好.     

改进型免疫优化算法求解排课问题

为了有效地求解高校排课问题,设计了基于免疫优化算法的排课方案。给出了高校排课问题的数学模型,构建了基于免疫算法的求解框架,并进行了实验验证。实验结果表明该设计的排课方案能够有效地解决高校排课问题,具有较好的应用价值。     

基于改进粒子群优化算法的排课问题

深入分析了排课问题,提出一种基于离散粒子群的排课算法,构建了相应的解题框架。针对粒子群算法有后期收敛速度慢、易收敛于局部最优的缺点,结合排课问题的特点,对粒子群算法作了改进。在三维空间中建立模型,采用避免冲突的种群初始化加快收敛,并且引入变异操作避免陷入局部最优等。实践表明改进后的粒子群算法能有效地解决排课问题。     

基于拟人策略的高校排课算法

For the university timetabling problem that is NP-hard, some new strategies of tackling it are proposed,and two heuristic algorithms based on personification strategies are presented, which outperform the known straightforward heuristic algorithms in the quality of solution. The experimental results show that our algorithms are practical.     

基于空间模型和遗传算法的高校排课系统

如何实现具有人性化设计、能满足多约束条件的高效排课系统是高校教务工作的难点问题. 针对某高校排课问题, 提出基于空间模型的高校排课算法. 首先对比分析现行各排课算法的优劣性, 然后结合该校实际排课需要, 构建排课问题空间模型和约束模型以降低排课问题复杂度, 并在此基础上, 对遗传算法进行优化, 设计了基于遗传算法的排课算法, 提出了排课问题的解决方案. 实验结果表明, 该排课系统较好的解决了该校的排课问题, 为其他类似问题的解决提供了可借鉴经验.     

采用改进的混合遗传算法求解高校排课问题

为了解决一个存在大量合班现象的高校排课问题,建立了相应的数学模型并采用改进的混合遗传算法进行了求解。在产生初始种群的过程中进行了乱序处理,以提高初始种群中个体的多样性,避免早熟收敛现象的发生;为了防止种群的退化,引入了保留最优个体策略和竞争机制;根据问题的特点设计了与之相适应的遗传算子;为了提高种群进化的效率,交叉概率和变异概率都使用了自适应参数;为了提高算法的局部搜索能力,在交叉操作阶段采用了模拟退火算法。通过Matlab与Access混合编程,实现了对大规模数据的高效处理。实例结果表明,该算法能够有效地解决存在合班现象的高校排课问题。     

高校排课问题的图论模型及算法

针对排课系统的缺陷,提出了尊重学生学习规律,按照课程的重要程度和重要课程分配的时间间隔,利用图论的边着色理论,对排课资源进行建模,并给出了有效的多项式时间算法,使得排课问题的解决更加合理与人性化。     

基于线性规划模型的高校排课系统

排课系统本质是一个多资源约束分配问题。本文对排课资源的约束条件和自身需求进行分析,建立了系统的线性规划模型,该模型具有直观性、易理解、可操作强等特点;在此基础上,采用蚁群算法进行仿真计算,实现资源分配的优化处理。系统用C#语言进行实现,效果良好。     

利用免疫粒子群算法解决排课问题

为解决排课当中的资源合理分配问题,寻求一种合理的解决方案,提出一种带免疫量子行为的粒子群智能优化算法.将粒子群中的粒子当作抗体,给粒子的生成加入免疫记忆机制,迭代开始后,使用抗体浓度指导粒子种群向更优方向移动.改进后的方法能避免粒子陷入局部最优和早熟收敛,用以解决这种多约束、多目标的组合排课问题.最后进行实验仿真,仿真结果表明了该新算法在解决实际问题中的有效性与优越性.     

一种基于强化学习的UAV目标搜索算法*

针对未知环境中无人机（unmanned aerial vehicles, UAV）目标搜索问题进行研究。建立UAV目标搜索模型,将强化学习理论应用于目标搜索问题中。提出一种未知环境中基于Q学习的UAV目标搜索算法,并将其与基于D-S证据理论的UAV搜索方法进行仿真比较。仿真结果显示此算法收敛且UAV快速搜索到了目标,此结果表明,通过对UAV在设定条件下的强化学习训练,可以使其具备一定的环境适应能力,UAV在没有任何目标信息的战场环境中能够有效执行搜索任务。     

基于半自治agent的Profit-sharing增强学习方法研究

在基于半自治agent的系统中应用profit-sharing增强学习方法,并与基于动态规划的Q-learning 增强学习方法进行比较,在不确定因素较多的动态环境中,当系统状态变化不是一个马尔科夫过程时profit-sharing方法具有很大优势。根据半自治agent中半自治的特性——受制性,提出了一种面向基于半自治agent的增强学习模型,以战场仿真中安全隐蔽的寻找模型为实例对基于半自治agent的profit-sharing增强学习模型进行了试验分析。     

A reinforcement learning approach based on the fuzzy min-max neural network

The fuzzy min-max neural network constitutes a neural architecture that is based on hyperbox fuzzy sets and can be incrementally trained by appropriately adjusting the number of hyperboxes and their corresponding volumes. Two versions have been proposed: for supervised and unsupervised learning. In this paper a modified approach is presented that is appropriate for reinforcement learning problems with discrete action space and is applied to the difficult task of autonomous vehicle navigation when no a priori knowledge of the enivronment is available. Experimental results indicate that the proposed reinforcement learning network exhibits superior learning behavior compared to conventional reinforcement schemes.     

基于雾计算和强化学习的交通灯智能协同控制研究

针对路口交通拥堵现象,结合雾计算和强化学习理论,提出了一种FRTL（fog reinforcement traffic light）交通灯控制模型,该模型根据实时的交通流信息进行交通灯智能协同控制。雾节点将收集到的实时交通流信息上传到雾服务器,雾服务器在雾平台实现信息共享,雾平台结合处理后的共享数据和Q学习制定交通灯控制算法。算法利用检测到的实时交通数据计算出合适的交通灯配时方案,最终应用到交通灯上。仿真结果表明,与传统的分时段控制方式和主干道控制方式（ATL）相比,FRTL控制方法提高了路口的吞吐量,减少了车辆平均等待时间,达到了合理调控红绿灯时间、缓解交通拥堵的目标。     

基于强化学习的渗透路径推荐模型

渗透测试的核心问题是渗透测试路径的规划,手动规划依赖测试人员的经验,而自动生成渗透路径主要基于网络安全的先验知识和特定的漏洞或网络场景,所需成本高且缺乏灵活性。针对这些问题,提出一种基于强化学习的渗透路径推荐模型QLPT,通过多回合的漏洞选择和奖励反馈,最终给出针对渗透对象的最佳渗透路径。在开源靶场的渗透实验结果表明,与手动测试的渗透路径相比,所提模型推荐的路径具有较高一致性,验证了该模型的可行性与准确性;与自动化渗透测试框架Metasploit相比,该模型在适应所有渗透场景方面也更具灵活性。     

一种改进的自动分层算法BMAXQ

针对MAXQ算法存在的弊端,提出一种改进的分层学习算法BMAXQ。该方法修改了MAXQ的抽象机制,利用BP神经网络的特点,使得Agent能够自动发现子任务,实现各分层的并行学习,适应动态环境下的学习任务。     

Robust optimal control of the multi-input systems with unknown disturbance based on adaptive integral reinforcement learning Q-function

Considering overshoot and chatter caused by the unknown interference, this article studies the adaptive robust optimal controls of continuous-time (CT) multi-input systems with an approximate dynamic programming (ADP) based Q-function scheme. An adaptive integral reinforcement learning (IRL) scheme is proposed to study the optimal solutions of Q-functions. First, multi-input value functions are presented, and Nash equilibrium is analyzed. A complex Hamilton–Jacobi–Issacs (HJI) equation is constructed with the multi-input system and the zero-sum-game-based value function. It is a challenging task to solve the HJI equation for nonlinear system. Thus, A transformation of the HJI equation is constructed as a Q-function. The neural network (NN) is applied to learn the solution of the transformed Q-functions based on the adaptive IRL scheme. Moreover, an error information is added to the Q-function for the issue of insufficient initial incentives to relax the persistent excitation (PE) condition. Simultaneously, an IRL signal of the critic networks is introduced to study the saddle-point intractable solution, such that the system drift and NN derivatives in the HJI equation are relaxed. The convergence of weight parameters is proved, and the closed-loop stability of the multi-system with the proposed IRL Q-function scheme is analyzed. Finally, a two-engine driven F-16 aircraft plant and a nonlinear system are presented to verify the effectiveness of the proposed adaptive IRL Q-function scheme.     

基于深度强化学习的服务功能链映射算法

针对服务功能链映射对网络时延和部署失败率的影响,提出了一种基于深度强化学习的服务功能链映射算法DQN-SFC。首先构建了一个多层次NFV管理编排架构,以满足算法对资源感知和设备配置的需求;然后基于马尔可夫决策过程建模,对SFC映射问题进行形式化描述;最后构建了一个深度强化学习网络,将网络平均时延和部署失败产生的运维开销作为奖惩反馈,经过训练后可根据网络状态决定虚拟网络功能的部署位置。通过仿真实验,对该算法的正确性和性能优势进行了验证。实验表明：与传统算法相比,该算法能有效降低网络平均时延和部署失败率,同时算法运行时间具有一定优势。     

一种基于增强学习的自适应控制方法

针对模型未知时变非线性对象的控制问题，提出一种直接的自适应控制策略。该策略基于径向基神经网络并结合增强学习的自调节能力，无需知道控制对象的动态特性，而是通过在线试错在控制过程中不断积累与问题相关的信息，用以产生可接受的逐步优化的解。     

基于图嵌入编码形态信息的非均匀多任务强化学习方法

传统强化学习方法存在效率低下、泛化性能差、策略模型不可迁移的问题。针对此问题,提出了一种非均匀多任务强化学习方法,通过学习多个强化任务提升效率和泛化性能,将智能体形态构建为图,利用图神经网络能处理任意连接和大小的图来解决状态和动作空间维度不同的非均匀任务,突破模型不可迁移的局限,充分发挥图神经网络天然地利用图结构归纳偏差的优点,实现了模型高效训练和泛化性能提升,并可快速迁移到新任务。多任务学习实验结果表明,与以往方法相比,该方法在多任务学习和迁移学习实验中均表现出更好的性能,在迁移学习实验中展现出更准确的知识迁移。通过引入图结构偏差,使该方法具备更高的效率和更好的迁移泛化性能。