基于信息年龄的变电站业务无线接入选择算法

为更好满足变电站中大规模设备接入和高可靠低时延业务传输需求,提出了一种适用于变电站业务的多频异构无线通信网络接入选择算法。首先构造了一个异构无线网络覆盖下的变电站场景模型,综合考虑变电站业务对于可靠性和有效性的需求。其次为有效提升接收到信息的新鲜程度,以平均信息年龄（Average Age of Information,AAoI）作为无线网络接入选择的优化目标函数,提出了基于信息年龄的变电站业务接入选择优化问题。最后利用深度Q学习（Deep Q-Learning,DQN）方法求解该问题,以获得最佳的接入选择方案。通过对应用实例与试验数据的分析可以看出,所提出的接入选择优化理论和算法,可以降低业务传输时的平均信息年龄,提升数据的新鲜程度。     

基于Q学习算法的综合能源系统韧性提升方法

将综合能源系统随机动态优化问题建模为马尔可夫决策过程,并引入Q学习算法实现该复杂问题的求解。针对Q学习算法的弊端,对传统的Q学习算法做了2个改进:改进了Q值表初始化方法,采用置信区间上界算法进行动作选择。仿真结果表明:Q学习算法在实现问题求解的同时保证了较好的收敛性,改进的初始化方法和采用的置信区间上界算法能显著提高计算效率,使结果收敛到更优解;与常规混合整数线性规划模型相比,Q学习算法具有更好的优化结果。     

飞行时间约束下的再入制导律

为应对现代战场的信息化与集群化发展趋势,从多高超声速飞行器饱和打击任务需求出发,针对其中的再入飞行时间约束条件进行研究,提出一套基于Deep Q-learning Network(DQN)的时间可控再入制导律.该制导律工作流程为首先纵向轨迹预测-校正模块根据当前飞行状态和攻角-速度剖面规划出倾侧角幅值;然后在线约束强化管理模块对其进行安全限幅处理;最后倾侧角符号规划模块以调节再入飞行时间为目标,在对横向飞行状态进行马尔科夫决策过程建模的基础上,设计相应的深度神经网络进行离线训练以在线生成倾侧角符号,进而与幅值信息共同组成最终的倾侧角指令.多组仿真的对比分析结果表明:在标称环境下的多任务仿真中,时间可控再入制导律能够自主地进行倾侧角符号的在线规划,在不影响制导精度的前提下,对再入飞行时间进行调整以满足不同的任务需求;在参数拉偏的蒙特卡洛仿真中,其在保证再入飞行安全、稳定的同时,仍然能将时间误差控制在合理的范围之内.从而验证了相对于传统方法而言,本研究所设计的再入制导律在任务适应性、鲁棒性与时间可控性等方面均具有良好表现,能够有效地满足飞行时间约束下的再入任务需求.     

基于Q-learning的机器人避碰控制方法的研究

首先介绍了基于表格Ｑ－ｌｅａｒｎｉｎｇ的方法,然后提出了一种用神经网络实现的Ｑ－ｌｅａｒｎｉｎｇ方法,利用这种方法实现机器人避磁糙为学习,燕进行了领导具试验,最后讨论了提高强化学习速度的方法。     

基于神经动态规划算法的最优路径选择

针对传统动态规划算法在计算大规模路网的优化问题时所表现出来的计算时间长、存储空间大等缺点,引入了一种神经动态规划算法：它将传统的动态规划和BP神经网络结合起来,通过逼近Q学习算法来寻求一种最优策略,最终达到路径优化的目的。将此算法应用于一个交通路网,且用Matlab软件进行仿真,试验表明：该方法的实时性、并行性和全局性都优于传统动态规划,在城市交通流系统中能切实起到路径诱导的作用。     

强化学习原理、算法及应用

强化学习(ReinforcementLearningRL)是从动物学习理论发展而来的,它不需要有先验知识,通过不断与环境交互来获得知识,自主的进行动作选择,具有自主学习能力,在自主机器人行为学习中受到广泛重视.本文综述了强化学习的基本原理,各种算法,包括TD算法、Q-学习和R学习等,最后介绍了强化学习的应用及其在多机器人系统中的研究热点问题.     

集装箱码头集卡调度模型与Q学习算法

研究集装箱码头装卸过程中集卡调度问题,建立了集卡调度动态模型,目的是使装卸桥等待时间最小.设计了基于Q学习算法的求解方法,获得在不同状态下的集卡调度策略.提出了应用Q学习算法求解集卡最优调度时系统状态、动作规则、学习步长与折扣因子的选择方法.结果表明,随着集卡数量的增加,Q学习算法获得的结果优于最长等待时间、最远距离、固定分配集卡等调度策略.     

Optimization algorithm for dynamic spectrum access based on Q-learning in cognitive radio networks

Under the centralized cognitive radio network architecture, considering the network performance and users' demands. We propose an optimized dynamic spectrum access algorithm based on Q-learning. The proposed algorithm has two steps, which consist of user request according to Q-learning and the application process according to the overall system performance. Simulation results show that the proposed scheme can improve the overall system performance obviously, and that the user requirements could be satisfied at the same time.     

Reactive fuzzy controller design by Q-learning for mobile robot navigation

In this paper a learning mechanism for reactive fuzzy controller design of a mobile robot navigating in unknown environments is proposed. The fuzzy logical controller is constructed based on the kinematics model of a real robot. The approach to learning the fuzzy rule base by relatively simple and less computational Q-learning is described in detail. After analyzing the credit assignment problem caused by the rules collision, a remedy is presented. Furthermore, time-varying parameters are used to increase the learning speed. Simulation results prove the mechanism can learn fuzzy navigation rules successfully only using scalar reinforcement signal and the rule base learned is proved to be correct and feasible on real robot platforms.     

采用增强学习算法的排课模型

时间表问题是典型的组合优化和不确定性调度问题。课表问题是时间表问题的一种形式,分析了排课问题的数学模型，并研究了用增强学习(Reinforcement Leaming)算法中的Q学习(Q-Leaming)算法和神经网络技术结合解决大学课表编排问题，给出了一个基于该算法的排课模型，并对其排课效果进行了分析和探讨。