基于多信息交互与深度强化学习的电动汽车充电导航策略

针对电动汽车动态行驶行为和随机充电行为的多信息融合特征以及多系统建模复杂度,提出了一种基于多信息交互与深度强化学习的电动汽车充电导航策略。该策略首先对“电动汽车集群优化储能云平台”采集的电动汽车实际运行数据进行建模与挖掘,通过数据预处理以及数据可视化显示得到电动汽车行驶、充电信息以及城市充电站信息。其次,分析了电动汽车充电调度过程符合马尔科夫决策定义,引入深度强化学习方法建立了充电导航模型。将“车-站-网”实时信息作为深度Q网络算法的状态空间,并将充电站的分配作为智能体的执行动作。通过对充电过程不同时段出行的成本和时间决策目标的评估,确定行驶途中与到站后的奖励函数。执行最高奖励对应的最优动作-值函数,为车主推荐最优充电站和规划行驶路径。最后,设计了多场景仿真算例验证了所提策略的可行性和有效性。     

基于自适应强化探索悲观Q的多智能体协同AGC算法

双碳目标下规模化可再生能源和柔性负荷的接入，使得电力系统中新能源占比日益增大。而传统的控制方法无法充分调动源–网–荷–储各部分的能动性，给电网带来愈来愈差的控制性能。因此本文从自动发电控制的角度，提出一种自适应强化探索悲观Q的多智能体协同算法，以提高源网荷储协同系统的控制性能。算法中所采用的悲观Q学习通过选择多个动作值估计器中最小动作值，不仅能够解决传统Q学习在动作探索过程中动作值的估计偏差，而且能够控制动作值估计偏差从正到负的变化，有助于提高算法的控制精度。同时自适应强化探索策略的引入，代替了传统Q学习中ε-贪婪策略，能够避免重复和不平衡的探索。通过对改进的IEEE标准两区域负荷频率控制模型和源网荷储协同系统模型进行仿真，验证了所提算法的有效性，且与传统强化学习相比，具有更高的CPS性能、更小的频率偏差、更小的区域控制误差和更快的收敛速度。     

基于深度双Q网络的权值时变路网路径规划

针对传统路径规划方法无法根据城市路网权值时变特性规划最优路径的问题，提出了基于深度双Q网络的权值时变路网路径规划方法。首先，构建权值时变的城市路网模型，其中，路段各时间段权值由随机函数产生。然后，设计了状态特征、交互动作和奖励函数对权值时变路网路径规划问题进行建模，利用DDQN算法训练智能体来学习路网权值时变特性，最后根据建模后的状态特征实现权值时变路网的有效路径规划。实验结果表明，DDQN算法训练的智能体在权值时变路网中具有较好全局寻优能力。相比于滚动路径规划算法，所提方法在不同情况下规划的路径均最优，为权值时变路网的路径规划提供了一种新思路。     

深度强化学习在机器人路径规划中的应用

针对深度强化学习算法在路径规划的过程中出现与所处环境交互信息不精确、回馈稀疏、收敛不稳定等问题，在竞争网络结构的基础上，提出一种基于自调节贪婪策略与奖励设计的竞争深度Q网络算法。智能体在探索环境时，采用基于自调节贪婪因子的ε-greedy探索方法，由学习算法的收敛程度决定探索率ε的大小，从而合理分配探索与利用的概率。根据人工势场法物理理论塑造一种势场奖励函数，在目标处设置较大的引力势场奖励值，在障碍物附近设置斥力势场奖励值，使智能体能够更快的到达终点。在二维网格环境中进行仿真实验，仿真结果表明，该算法在不同规模地图下都取得了更高的平均奖赏值和更稳定的收敛效果，路径规划成功率提高了48.04%,验证了算法在路径规划方面的有效性和鲁棒性。同时与Q-learning算法对比实验表明，所提算法路径规划成功率提高了28.14%,具有更好的环境探索和路径规划能力。     

电动汽车充电站最优规划的两阶段方法

计及道路网络对电动汽车充电需求的影响,提出了充电站最优规划的两阶段方法。该方法的第一阶段基于电动汽车行驶特性,综合考虑电动汽车日剩余电量以及电动汽车动态运行状态和位置,采用随机模拟技术和最短路径法,获得道路网络上电动汽车充电需求在时间和空间上的分布;第二阶段以第一阶段获得的电动汽车充电需求为基础,以充电需求不可达率、不满足率和投资限额等为约束,充电站运行成本和投资成本综合最小为目标,建立充电站最优选址定容数学模型。针对该模型的复杂性,采用遗传算法求解混合整数非线性规划问题。通过对某区域的电动汽车充电站规划的模拟分析,表明了所提方法的有效性。     

基于改进深度强化学习的移动机器人路径规划

针对传统深度强化学习中移动机器人在稀疏奖励环境下只有在规定时间步内到达目标位置才能得到积极奖励,中间过程的每一步都是负面奖励的路径规划问题.提出了基于改进深度Q网络的路径规划方法,在移动机器人在探索过程中,对以真实目标为条件的轨迹进行采样,在经验回放过程中,把移动机器人已经到达的状态来代替真正的目标,这样移动机器人可以获得足够的积极奖励信号来开始学习.通过深度卷积神经网络模型,将原始RGB图像作为输入,通过端对端的方法训练,利用置信区间上界探索策略和小批量样本的方法训练神经网络参数,最后得到上、下、左、右4个动作的Q值.在相同的仿真环境中结果表明,该算法提升了采样效率,训练迭代更快,并且更容易收敛,避开障碍物到达终点的成功率增加40％左右,一定程度上解决了稀疏奖励带来的问题.     

基于强化学习理论的地区电网无功电压优化控制方法

基于强化学习理论,提出一种实用的地区电网无功电压优化控制方法。方法采用Q学习算法,在动作策略与电网状态的交互中不断学习,得到各状态—动作对所对应的Q值函数,形成电网各种运行状态下最佳的无功电压优化控制策略。方法摆脱了传统电网无功优化求解非线性混合整数规划模型所存在的收敛性问题,同时,相对于基于多区图的无功电压控制方式,由于方法所依据的Q值函数包含电网的全局响应信息,因而,可以综合判断执行控制策略后各变电站之间的相互影响,统一协调地控制各无功电压控制设备,给出所辖电网内的全局最佳控制策略,提高无功电压优化控制效果。通过对220k V变电站及其馈线系统的测试计算,证明了方法的有效性。     

多头绒泡菌预处理的改进Q学习算法求解最短路径问题

针对最短路径问题中Q学习算法的初始搜索空间大、后期收敛不稳定的缺陷,提出多头绒泡菌预处理的改进Q学习算法(PPA-Q)。该算法引入网络预处理过程和自适应概率选择模型,利用多头绒泡菌进行网络预处理,减少算法前期的无用探索空间,再通过改进的模拟退火算法实现自适应概率选择模型,加强算法对优质路径的探索程度,增加算法初期解的多样性,同时在算法后期稳定逼近最优路径且不振荡。仿真结果表明,PPA-Q算法收敛到最优路径成功率为100%,高于经典蚁群(ACO)算法和Q(λ)算法的80%,其迭代次数分别低于Q学习算法57. 2%、ACO算法32. 9%和Q(λ)算法35. 1%.     

梯级水库深度强化学习长期随机优化调度研究

梯级水库调度相较于单库调度状态空间呈指数级增大,为解决基于表格的强化学习方法在解决梯级水库长期随机优化调度问题时面临的维数灾问题,提出采用深度强化学习中的深度Q网络算法求解。首先基于Copula函数分析梯级水库随机入库径流的联合分布函数;再根据时序差分思想分别建立目标神经网络和主神经网络,分别逼近当前和下一状态对应的动作状态价值,并采用ε-贪婪探索利用策略获取最优调度策略;最后将主要参数分步调优保障调度效益。算例对比表明,深度Q网络算法相较于Q学习算法及其改进算法提升了优化调度目标值,加快收敛速度,有效解决了梯级水库随机优化调度中的维数灾问题。     

基于深度强化学习的多目标边缘任务调度研究

针对深度强化学习在边缘计算环境下的多目标任务调度时存在优化效果差等问题，提出了一种新的基于改进的竞争深度双Q网络的多目标任务调度算法(IMTS-D3QN)。首先将深度双Q网络对目标中的最大操作分解为动作选择和动作评估，以消除过高估计；采用立即奖励经验样本分类方法，对经验样本按照重要性程度分类存储，训练时选取更多重要性程度高的经验样本，提高了实际样本的利用率，加快了神经网络的训练速度。然后，通过引入竞争网络结构对神经网络进行优化。最后，采用软更新方法提高算法的稳定性，并采用动态ε贪婪指数递减法寻找最优策略。通过不同线性加权组合得出帕累托最优解，达到响应时间和能耗最小化。实验结果表明，IMTS-D3QN算法与其他算法相比，在不同任务数下响应时间与能耗上具有明显的优化效果。     

船载导航设备数据传输系统

文中从软硬件角度介绍新型船载导航设备数据传输系统设计方案,并给出实现的部分原理图和代码。该方案以CAN总线为数据传输总线,以USB为接口,大幅提高导航设备数据传输的稳定性和兼容性.     

中心式车辆导航系统监控平台设计

文中介绍中心式车辆导航系统监控平台的设计与开发,该方案是在VC 环境下,以MapX控件为电子地图平台,以GPRS网络和Internet为通信平台来开发的。     

室内微型组合导航计算机设计

通过对室内导航技术的分析,结合嵌入式控制技术和和微机电系统(micro electro mechanical systems,MEMS)技术,提出了基于MEMS惯性/视觉的室内微型组合导航计算机设计方案。该方案以室内导航的性能需求为基础,设计了以MEMS惯性传感器和摄像头为主要传感器电路,并融合各模块数据完成了计算机系统设计。测试结果表明该系统能够正确采集前方障碍物的距离信息和运动信息,体积小,可靠性高,满足室内导航的要求。     

地面增强系统导航信号源的设计与实现

导航地面增强系统通过提供差分修正信号,可达到提高卫星导航精度的目的,提高了导航完备性、可用性、可靠性.通过对地面增强系统信号源详细的分析与设计,使用LabVIEW FPGA编程,利用NI公司的PXIe-5645R矢量信号收发仪等设备,产生导航地面增强信号.利用设备内置的FPGA进行伪码扩频调制和BPSK调制等基带信号处理,最终正交上变频输出导航增强信号.着重讨论了单信号源产生过程中各模块的设计以及多信号源同步授时模块的设计.最后通过对生成信号分析,验证了其正确性.     

输电线路巡检导航系统的开发与应用

输电线路巡检导航系统是利用GPS与路网识别技术开发的具有全程语音引导、自动到位提醒、现场指挥功能的新一代智能巡检设备。该设备实现了输电线路巡视路径智能导航、巡视轨迹查询、巡视到位监控和标准化巡视指导作用,并可随时查看详细线路属性数据。     

基于联邦卡尔曼滤波器的容错组合导航系统设计

针对SINS/GPS/DVS全源组合导航系统在非理想状态下的容错性差,无法实现多源组合导航系统最优化的问题,建立基于卡尔曼滤波器的导航子系统局部滤波器和基于联邦滤波器的全源导航系统全局滤波器,设计了一种全源容错组合导航系统。通过仿真验证,该全源导航系统能够在子系统出现故障的情况下实现高精度导航,满足临界空间飞行器对导航系统精度和可靠性的要求。     

电力系统智能导航巡检仪的开发与应用

“电力系统智能导航巡检仪”是利用GPS与路网识别技术开发的,具有全程语音引导、自动到位提醒、现场指挥功能,并可随时查看详细线路属性数据的新一代智能巡检设备.本文介绍了电力系统智能导航巡检仪的开发背景、软件结构、功能特性,及其在电力输电线路巡检、检修中的应用.     

Google手机地图在线路巡视管理中的应用

Google手机地图是目前手机中使用最广泛地图之一,它结合了GPS定位技术及移动通信网络的优势于一身。介绍了Google手机地图在线路管理中的应用,重点介绍了线路信息文件KML制作及实时导航应用。     

DSP在CAN总线导航计算机系统中的应用

设计了一种以DSP为核心,以控制器局部网(CAN)现场总线为底层通信网络组建导航通信系统的方案。将DSP的高速性和CAN总线通信的高可靠性和实时性有效地结合起来,满足了导航系统在速度、可靠性、体积、功耗等诸方面的要求。     

组合导航计算机设计

本文设计了一种基于DSP FPGA的组合导航计算机。以数字信号处理器DSP作导航解算处理器,以现场可编程门阵列FPGA作接口处理器,双机协同工作,速度快,同时满足了对组合导航计算机在速度、体积、功耗等诸方面的要求。