基于最佳成熟时间法的车辆路径规划

最优路径规划是车辆导航系统中很重要的一个功能,本文将路径规划问题转化为用加权路径网,以路径长度与通行时间的线性组合为目标函数的优化问题,加入了道路的重要程度和宽敞程度等作为权值,同时根据加入的权值得出交通路网模型的解,并利用最佳成熟时间法应用于该问题,使规划的路径符合实际要求。试验结果表明,该算法合理、有效。     

基于有效跟踪的平均渐进瞬时差分学习遗忘算法

智能体通过学习最优决策来解决其决策问题．激励学习方法是智能体通过与其所处的环境交互来改进它自身的行为．Markov决策过程(MDP)模型是求解激励学习问题的一般框架，瞬时差分TD(λ)是在MDP模型下与策略相关的学习值函数的一种算法．一般情况下，智能体必须记住其所有的值函数的值，当状态空间非常大时，这种记忆的量是大得惊人的．为了解决这个问题，给出了一种遗忘算法，这种算法把心理学的遗忘准则引入到了激励学习之中．利用遗忘算法，可以解决智能体在大状态空间中的激励学习问题．     

基于 actor-critic 框架的在线积分强化学习算法研究

针对轮式移动机器人动力学系统难以实现无模型的最优跟踪控制问题,提出了一种基于actor-critic框架的在线积分强化学习控制算法。首先,构建RBF评价神经网络并基于近似贝尔曼误差设计该网络的权值更新律,以拟合二次型跟踪控制性能指标函数。其次,构建RBF行为神经网络并以最小化性能指标函数为目标设计权值更新律,补偿动力学系统中的未知项。最后,通过Lyapunov理论证明了所提出的积分强化学习控制算法可以使得价值函数,行为神经网络权值误差与评价神经网络权值误差一致最终有界。仿真和实验结果表明,该算法不仅可以实现对恒定速度以及时变速度的跟踪,还可以在嵌入式平台上进行实现。     

深度强化学习在机器人路径规划中的应用

针对深度强化学习算法在路径规划的过程中出现与所处环境交互信息不精确、回馈稀疏、收敛不稳定等问题，在竞争网络结构的基础上，提出一种基于自调节贪婪策略与奖励设计的竞争深度Q网络算法。智能体在探索环境时，采用基于自调节贪婪因子的ε-greedy探索方法，由学习算法的收敛程度决定探索率ε的大小，从而合理分配探索与利用的概率。根据人工势场法物理理论塑造一种势场奖励函数，在目标处设置较大的引力势场奖励值，在障碍物附近设置斥力势场奖励值，使智能体能够更快的到达终点。在二维网格环境中进行仿真实验，仿真结果表明，该算法在不同规模地图下都取得了更高的平均奖赏值和更稳定的收敛效果，路径规划成功率提高了48.04%,验证了算法在路径规划方面的有效性和鲁棒性。同时与Q-learning算法对比实验表明，所提算法路径规划成功率提高了28.14%,具有更好的环境探索和路径规划能力。     

不完全信息下基于深度双Q网络的发电商三段式竞价策略

不完全信息的电力市场环境下发电商仅知道自身相关的信息,而其他市场参与者的报价和市场环境都可能会影响市场出清结果,进而影响发电商的收益,因此其报价决策应当考虑多维的市场信息。基于深度强化学习算法,提出多智能体的DDQN（double deep Q-network）算法模拟日前现货市场中发电商三段式竞价策略的过程。首先,定义发电商模型中马尔可夫决策过程的要素和动作价值函数;然后,建立发电商深度双Q网络的框架,并引入经验池和动态ε-greedy算法进行神经网络的训练,该决策模型可以根据市场的出清电价和负荷水平等多维连续状态做出报价;最后,通过算例比较了发电商采用DDQN和传统Q-learning两种算法获得的收益差别,说明DDQN算法可以根据发电商面临的复杂市场环境做出正确的决策而Q-learning算法在环境复杂时决策能力较差,并在不同状态量选取、网络泛化能力、更大规模算例适应性等方面分析了发电商采用DDQN算法进行市场策略生成的有效性和优越性。     

基于多信息交互与深度强化学习的电动汽车充电导航策略

针对电动汽车动态行驶行为和随机充电行为的多信息融合特征以及多系统建模复杂度,提出了一种基于多信息交互与深度强化学习的电动汽车充电导航策略。该策略首先对“电动汽车集群优化储能云平台”采集的电动汽车实际运行数据进行建模与挖掘,通过数据预处理以及数据可视化显示得到电动汽车行驶、充电信息以及城市充电站信息。其次,分析了电动汽车充电调度过程符合马尔科夫决策定义,引入深度强化学习方法建立了充电导航模型。将“车-站-网”实时信息作为深度Q网络算法的状态空间,并将充电站的分配作为智能体的执行动作。通过对充电过程不同时段出行的成本和时间决策目标的评估,确定行驶途中与到站后的奖励函数。执行最高奖励对应的最优动作-值函数,为车主推荐最优充电站和规划行驶路径。最后,设计了多场景仿真算例验证了所提策略的可行性和有效性。     

进化Elman神经网络在实时数据预测中的应用

为了提高电站实时数据的准确性,提出了一种利用改进粒子群算法进化Elman神经网络的动态系统实时数据预测方法.改进粒子群算法中,根据群体早熟收敛程度和当前最优解的大小对部分不活跃粒子进行变异,增强了算法跳出局部最优解的能力.利用改进的粒子群算法训练Elman神经网络权值和自反馈增益因子,有效地解决了梯度下降法训练网络权值...     

考虑天气类型的新型HDP智能楼宇储能优化调度

针对智能楼宇微网系统存在的非线性、时变、分布式发电不确定性等导致的建模困难问题,提出了一种基于启发式动态规划(heuristic dynamic programming,HDP)的储能系统调度算法。在考虑储能系统寿命、用户实时电价(residential real-time price,RRTP)的基础上根据天气分类使用两种神经网络来训练HDP模型,使得它能够适应自身所在环境而进行自我更新。通过与微分进化算法的对比分析,结果表明,所提出的储能优化调度算法能够有效地节约用电成本、避免蓄电池深度充放电,具有良好的经济收益;在与环境的学习过程中逐步寻求最优解的特性使得该算法对模型依赖度低,有效缓解了建模困难问题;在均衡负载、削峰填谷方面也起到了较好的效果。     

一种基于最小二乘法的FPN与规则权值优化新方法

如何确定模糊产生式规则的各项参数对模糊Petri网的建立具有非常重要的意义,也是目前研究的难点和热点。针对模糊产生式规则中的与规则,提出了一种基于最小二乘法求解最优权系数的训练方法,把权值优化问题演变成通过最小二乘算法求解带约束条件的线性超定方程组的问题。仿真结果表明,该算法的训练精度对样本数的依赖较小,训练模型的预测精度较高。与同类模糊Petri网权值优化算法相比,使用该算法得到的最优权系数计算的输出库所对应命题的可信度能够更准确的逼近真实值。     

基于DDQN的无人机区域覆盖路径规划策略

基于深度强化学习方法对未知环境的无人机区域覆盖路径规划进行研究，通过搭建栅格环境模型，在环境中随机部署无人机和禁飞区位置，利用双深度Q网络（DDQN）训练无人机的覆盖策略，得到了一套基于DDQN的无人机未知区域覆盖路径规划框架。仿真实验表明，设计的无人机未知区域覆盖路径规划框架在无禁飞区的环境下可以实现完全覆盖，在含有未知数量的禁飞区下也能比较好的完成区域覆盖任务，与DQN方法比较，其平均覆盖率能够在相同训练条件和训练次数下高出2%，与Q-Learning方法和Sarsa方法对比，在无禁飞区的环境中分别高出4%和3%。     

基于权值D-S证据理论的车辆路径优化

最优路径规划是车载导航系统的一个重要功能,针对目前路径规划易陷于进行简单的加权求和,结果不够理想的缺陷,提出将道路属性数据进行量化,应用D-S证据理论将道路属性进行融合,所得的数据作为道路权值。并利用蚁群算法应用于该问题计算,实验结果表明,改进后的算法合理、有效。     

考虑路网与配电网可靠性的电动汽车充电站多目标规划

提出一种考虑城市路网和配电网交互的电动汽车充电站规划方法。首先,构建了综合考虑城市路网和配电网可靠性的电动汽车充电站规划问题的数学模型;然后,通过博弈论思想进行博弈仿真,利用所得电动汽车行驶特性开展城市路网可靠性评估,并利用电动汽车的充放电特性度量其对配电网供电可靠性的支撑作用;在此基础上,提出以路网节点为待选站址的优化方法;最后,结合实际城市路网和配电网构造典型算例,通过算例分析验证所提方法的有效性和实用性。     

电动汽车充电站最优规划的两阶段方法

计及道路网络对电动汽车充电需求的影响,提出了充电站最优规划的两阶段方法。该方法的第一阶段基于电动汽车行驶特性,综合考虑电动汽车日剩余电量以及电动汽车动态运行状态和位置,采用随机模拟技术和最短路径法,获得道路网络上电动汽车充电需求在时间和空间上的分布;第二阶段以第一阶段获得的电动汽车充电需求为基础,以充电需求不可达率、不满足率和投资限额等为约束,充电站运行成本和投资成本综合最小为目标,建立充电站最优选址定容数学模型。针对该模型的复杂性,采用遗传算法求解混合整数非线性规划问题。通过对某区域的电动汽车充电站规划的模拟分析,表明了所提方法的有效性。     

Fast computation of Q‐value‐based dynamic programming on road networks

One of the essential components of vehicle navigation systems is route planning. The single shortest path problem and multiple shortest path problem have been widely studied for route planning. This paper introduces a Q‐value‐based dynamic programming using the division concept for solving both single and multiple shortest path problems on road networks. The proposed algorithm divides the whole network into different divisions, and the updating of Q values in each division is one stage for searching the optimal routes on road networks. The proposed algorithm can greatly save the computational time without any preprocessing on the road networks. The proposed algorithm is also systematically studied in various sizes of road networks. The simulation results show the efficiency and effectiveness of the proposed algorithm on large‐scale road networks. © 2012 Institute of Electrical Engineers of Japan. Published by John Wiley & Sons, Inc.     

基于语义分割网络的 AGV 路径规划算法

针对基于栅格地图的路径规划技术在面对大地图、高分辨率地图的情况下,存在的规划速度慢、内存占用高的问题,提出一种基于语义网络的网络搜索算法。首先使用语义分割网络对栅格地图进行预采样,其次通过图像学膨胀拓宽最优路径形成最优路径范围,增强算法鲁棒性,最后利用语义网络的特征图指导搜索算法规划,加快了高分辨率栅格地图的路径规划的速度。实验仿真表明,网络搜索算法较传统搜索算法,时间平均缩短72.5%,遍历点数平均减少51.6%,路径长度平均延长0.73%,网络搜索算法可以有效加快路径搜索速度,减少内存占用。     

基于区间偏好和MADM的配电网智能化规划方案评估方法

针对配电网智能化规划方案评估中决策因素的不确定性和专家判断的模糊性问题,提出了基于区间偏好和多属性决策(Multi Attribute Decision-Making, MADM)的配电网智能化规划方案评估方法。首先建立属性层次结构和方案属性决策表。其次,建立各方案属性间两两比较的区间偏好关系。然后,依据偏好关系计算各方案属性的相对权重。最后,结合属性层次结构,获得各方案对总目标的综合权重,并产生最终决策结果。所提出的方法较好地将专家经验和定量计算相结合,合理地处理了决策因素的不确定性和专家判断的模糊性,简化了评判决策的步骤。实验结果表明该方法可行、有效,所获评价排序结果与层次分析法相比具有更高的区分度。     

考虑城市场景需求的中压直流配电网规划选优分析方法

针对城市配电网规划中多个中压直流配电网的建设优先次序尚无量化分析方法的问题,提出一种考虑城市场景需求的中压直流配电网规划选优分析方法.从供电质量提升需求、城市场景需求和配电网经济性3个层面建立了一套城市中压直流配电网规划选优综合指标体系,在供电质量提升需求方面考虑与目标水平之间的差距,在城市场景需求方面考虑中压交流配电...     

基于增量最短路径法的全电缆中压配电网络规划

电缆化供电是城市中压配电网供电的发展趋势。提出一种实用的基于增量最短路径法的全电缆中压配电网络主干网架规划方法,考虑了电缆通道约束以及城市规划约束,将全网整体优化分解为电源供电分区的电缆线路规划和分区间线路联络规划两部分,利用增量最短路径法规划电源供电分区的电缆供电线路,应用最佳匹配算法完成分区间线路联络。通过一实际算例验证了所提方法可应用于全电缆中压配电网的网络新建规划和扩展规划。     

配电网综合规划模型与算法的研究

该文建立了综合考虑变电站规划和配电网线路规划的数学模型，该模型以总体负荷矩最小为目标函数，以各种可能的电力约束为约束条件。针对模型，提出了两层改进的遗传算法与一层最短路算法相互嵌套的新算法。该算法可以灵活地用于配电网综合规划问题的求解，其子算法也可用于馈线路径规划问题及配电网网络重构问题的求解。经过实例应用，证明该算法能够有效地兼顾求解可接受的最优解与求解时间之间的要求。该文提出的规划模型及相应的求解方法，对实际的配电网规划项目以及配电网规划软件的编制都有一定的指导意义。