基于专家示范深度强化学习的光伏系统MPPT控制

提出一种基于专家示范的深度确定性策略梯度算法(ED-DDPG)的MPPT算法，该算法将最大功率点跟踪问题转化为马尔科夫决策过程(MDP)，选择基于连续动作空间的深度确定性策略梯度算法(DDPG)训练MPPT控制算法，来提高输出电压的控制精度，并基于专家示范改进了DDPG算法，使其在强化学习算法的经验池中预先加入传统方法的经验，从而加快算法神经网络训练的收敛速度。该算法解决了传统MPPT算法在面对温度、光照不断变化的复杂环境下动态效率较低的问题，解决了深度确定性策略梯度算法(DDPG)在求解MPPT问题时训练时间过长、收敛难度较大的问题。算例表明该算法在EN50530标准下MPPT动态效率平均达到97.3%，具有较强的鲁棒性。     

面向5G边缘计算网络的联合需求响应与任务卸载策略

随着物联网通信计算需求激增,5G通信与边缘计算网络逐步成为新兴的高能耗负荷。针对5G边缘计算网络用电成本高的问题,提出了联合任务卸载与需求响应策略。所提策略基于任务卸载与基站储能单元充放电动作,在高电价时段联合优化计算、通信与储能资源分配或者牺牲部分时延性能以削减用电成本,在分时电价机制中为电网提供响应能力。针对优化目标为混合整数非线性规划问题,进一步提出结合网络场景划分的广义benders分解算法,将问题解耦为任务卸载决策主问题与充放电以及资源分配子问题,降低问题求解复杂度。仿真结果表明：相比于仅考虑任务卸载和仅考虑通信资源调度的响应策略,所提策略降低了用电成本并避免时延性能恶化。     

面向5G边缘计算网络的联合需求响应与任务卸载策略

随着物联网通信计算需求激增,5G通信与边缘计算网络逐步成为新兴的高能耗负荷。针对5G边缘计算网络用电成本高的问题,提出了联合任务卸载与需求响应策略。所提策略基于任务卸载与基站储能单元充放电动作,在高电价时段联合优化计算、通信与储能资源分配或者牺牲部分时延性能以削减用电成本,在分时电价机制中为电网提供响应能力。针对优化目标为混合整数非线性规划问题,进一步提出结合网络场景划分的广义benders分解算法,将问题解耦为任务卸载决策主问题与充放电以及资源分配子问题,降低问题求解复杂度。仿真结果表明：相比于仅考虑任务卸载和仅考虑通信资源调度的响应策略,所提策略降低了用电成本并避免时延性能恶化。     

基于博弈论和强化学习的无人机电力巡检卸载策略

无人机组在执行应急故障巡检时由于受到设备本身计算能力和能源资源的限制,无法较好地执行密集型计算任务。针对这一问题,该文提出一种基于博弈论(game theory,GT),与强化学习的卸载策略,该策略在无人机之间建立非合作博弈将最小化成本函数定义为能量开销和延迟组合,同时证明了至少一个纳什均衡(Nashequilibrium,NE)的存在性,提出了一种分布式算法求解博弈双方的NE解,在此基础上,通过基于随机学习自动机(stochastic learning automata,SLA)理论的强化学习方法,实现无人机对边缘服务器的有效选择。仿真结果表明,与其他卸载策略相比,该文所提的卸载机制对降低无人机能耗、系统成本和网络时延效果显著。     

面向电力物联网的5G移动边缘计算任务卸载方法

由于传统云计算范式已无法满足电力物联网日益增长的计算需求,文章引入5G移动边缘计算用于实现计算任务的就近处理,并将长期能耗约束与业务优先级考虑在内,将其中的任务卸载问题建模为长期时延优化问题.进一步利用Lyapunov优化将之转化为一系列短期的确定性优化问题,并对其理论上界加以分析,利用基于梯度价格的拍卖算法,可实现通...     

基于深度确定性策略梯度的主动配电网有功-无功协调优化调度

为了实现主动配电网(active distribution network, ADN)的有功-无功资源协调控制，提高配电系统供电可靠性及经济性，提出一种基于深度确定性策略梯度(deep deterministic policy gradient, DDPG)的ADN有功-无功协调优化调度策略。首先，在避免电压和潮流越限的情况下，以ADN日运行成本最小为目标，计及可投切电容器组、有载调压变压器、微型燃气轮机和能量储存系统构建ADN有功-无功协调调度模型。其次，将ADN实时调度问题转化成马尔科夫决策过程，并定义系统的状态空间、动作空间及奖励函数。然后，为提升深度确定性策略梯度的离线训练速度和奖励回报，在算法中加入优先经验回放(priority experience replay, PER)机制，并搭建了基于优先经验回放机制的深度确定性策略梯度(PER-DDPG)ADN在线调度框架。最后，在修改的IEEE-34节点配电系统上进行仿真，算例结果表明，PER-DDPG方法通过高效的经验学习，能够为ADN提供安全、经济的调度策略。     

基于软件定义网络的电网边缘计算资源分配

针对电网节点中边缘服务器资源受限问题,提出了一种基于软件定义网络的边缘计算框架。采用深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)强化学习算法对边缘服务器中的计算、存储资源进行合理分配。首先建立应用于电网中的基于软件定义网络的边缘计算模型,得到边缘服务器计算存储资源及任务时延的约束条件,分析得到需处理的MINIP问题。使用Tensorflow搭建仿真环境并执行强化学习算法,实现电网边缘节点对边缘服务器存储计算资源的最优利用。结果表明,强化学习算法中的回复值呈上升趋势,采用DDPG进行分配的系统总延时更低。     

基于深度强化学习哈里斯鹰算法的路径规划

哈里斯鹰算法存在容易早熟、陷入局部最优陷阱、稳定性较差等问题。为了提升算法性能，本文提出了一种利用深度确定性策略梯度算法（DDPG）改进的哈里斯鹰算法。该改进将深度强化学习和启发式算法结合，利用深度确定性策略梯度算法训练神经网络，再通过神经网络动态地生成哈里斯鹰算法关键参数，平衡算法全局搜索和局部搜索，并赋予算法后期跳出局部最优陷阱的能力。通过函数优化和路径规划对比实验，实验结果表明，DDPGHHO算法具有一定的泛化性和优秀的稳定性，且在不同环境下均能够搜索到更优路径。     

基于深度确定性策略梯度算法的配电网最优电压实时控制

随着光伏发电在配电网中的渗透率逐渐增大,在降低系统网损和全社会的碳排放量的同时,也导致了电压出现时段性越限等问题,而电压安全对配电网的稳定运行有重要意义。提出了一种基于深度确定性策略梯度（deep determi-nistic policy gradient,DDPG）算法的电压控制策略。研究了太阳能光伏逆变器在配电网无功电压优化中的作用;以配电网有功损耗最小化为目标函数,同时考虑到逆变器的无功补偿能力,提出了一种基于深度确定性策略梯度算法的配电网电压控制策略;利用修改后的IEEE33节点算例对所提策略的有效性进行验证,仿真结果表明：DDPG算法学习所得策略可以动态调节各光伏逆变器的无功输出,从而实现控制电压安全的目标,并且与调控前相比系统网络耗损减少了13.5%。     

面向新型电力系统的边缘缓存与计算资源迁移策略

随着以新能源为主体的电力系统的发展，分布式特征明显，终端设备数量剧增。海量用电负荷的调度和控制面临着时延过高和计算效率不足等问题，亟待建立高效的通信网络以有效提高电力系统的运行效率和可靠性。针对现有边缘计算技术与电力系统结合中未考虑在边缘网络资源管理中服务缓存和虑拟机(virtual machine, VM)迁移的联合优化问题，基于任务卸载模型、服务缓存模型和VM迁移模型，提出了一种联合服务缓存和VM迁移的边缘资源分配策略，旨在提高系统性能。针对服务缓存与VM迁移联合优化的耦合性问题，将原问题解耦成两个子问题的方法进行迭代求解，以实现更优的资源分配效果。仿真结果进一步证明了所提策略在性能方面表现更优，与其他方案相比可以得到更低的任务处理时延。     

基于LTE WLAN融合网络上行MU MIMO共调度方案

为了提升系统吞吐及频谱效率,IEEE802．11ax工作组引入了上行M U‐M IM O技术。然而现行上行 M U‐MIMO由于AP轮询调度依次询问的机制存在用户不足及AP空等问题。为解决此问题,基于LTE‐WLAN融合网络,在C‐RAN架构下利用系统间共调度,当产生上述问题时,将用户数据灵活地由LTE网络卸载至WLAN网络下,并提出优化的WLAN上行MU‐MIMO传输方案及时结束AP等待,从而有效的补充用户不足并极大减少AP空等时间。文章最后利用仿真证明所提共调度方案可显著提升WLAN上行MU‐MIMO的信道容量及系统平均吞吐量,证明了所提方案的优越性及有效性。     

基于负载再分配的边缘计算任务均衡调度策略

目前5G异构网络的计算卸载机制在边缘节点资源方面和电力业务调度算法时延与负载均衡方面存在问题。综合考虑边缘服务器负载均衡和业务计算时延,针对min-min算法与max-min算法的不足,文中提出了基于电力业务优先级二次再分配的均衡调度算法。该算法根据业务的最大容忍时延划分业务的优先级,并且根据最小完成时间标准差确定长短业务比例,实现业务的预分配。基于各个边缘服务器的负载情况,该算法再将高负载边缘服务器上的业务分配给负载低的服务器,实现二次再分配。仿真结果表明,与典型的算法相比较,所提算法缓解了现有技术中存在的以上问题,降低了计算时延,实现负载均衡,提高了系统资源利用率。     

车联网中基于任务紧急性的联合卸载方案

在车联网中,任务卸载可以有效地解决车辆的存储资源和计算资源不足的问题,单个的MEC(mobile edge computing)服务器通常无法满足车辆密集区域的任务卸载需求。针对上述不足,设计了一种多MEC服务器的联合卸载方案(joint offloading method based on task urgency, JOMTU)。车辆递交任务卸载请求给本地MEC服务器时,后者在负载严重的情况下,会根据任务的紧急性和服务器负载情况等因素,将任务发送给附近MEC服务器处理以满足任务的截止日期要求。仿真实验结果表明,与传统的方案相比,所提出的方案将系统的整体任务失败率降低17%,并且优化了整个网络的服务器负载情况、增加了网络的可靠性。     

基于遗传-神经网络的凝汽器故障诊断研究

综合遗传算法的全局优化和神经网络的并行计算等特点 ,提出了一种基于遗传 -神经网络的凝汽器故障诊断的方法。用遗传算法来优化神经网络权值 ,克服了神经网络易陷入局部解的缺陷 ,使神经网络具有较好的全局性和收敛速度。具体故障诊断实例表明 ,该方法诊断准确 ,具有一定的应用价值     

能源互联网背景下5G网络能耗管控关键技术及展望

第五代移动通信(5G)网络基础设施建设逐步加快,绿色节能通信网络的构建关乎5G网络能否可持续发展.研究5G网络能耗管控技术,对于探究能源互联网背景下,分布式清洁能源系统、储能系统与需求响应在5G网络能耗管控中如何应用以实现节能减排具有重要意义.文中从基站能耗管控研究的模型、算法、技术路线等角度出发,以配置有能量收集装置的5G基站为基础,介绍和分析了5G网络能耗问题研究现状和5G网络能耗管控相关技术,并对能源互联网背景下5G通信网与电力网的联合电力流优化控制及其技术创新与应用进行了展望,以期通过5G网络能耗管控技术的协同应用降低5G网络运营商与电网运营商的运营成本,为绿色5G网络建设提供思路.     

基于Hopfield网络的火电厂机组煤耗模型的稳定性分析

火电厂机组煤耗模型的稳定性分析对下一步研究机组煤耗的优化分配等问题有着重要的意义。基于Hopfield网络,运用无自反馈Hopfield网络和无自反馈Hopfield网络分别建立了机组煤耗模型,对模型的能量函数进行了分析证明了其稳定性。通过仿真结果得出两种网络都可以达到收敛的效果,并且有自反馈的网络在收敛速度上更好。     

基于群一致性的大规模无线传感网时间同步

时间同步对无线传感器网络的设计和应用起着至关重要的作用。只有当传感器网络中的所有节点保持同步,用户才能精确的知道在其检测的区域的信息。提出了一种新颖的完全分布式的无线传感器网络时间同步协议,称为GCTS(group consensus time synchronization)。每一个节点通过收集其周围一群节点的时钟信息,然后利用群一致性协议对这些时钟信息进行处理并将此值更新为新的时钟。该协议的优点是完全分布式,并且计算简单,收敛快速,能耗较低。同时利用Lyapunov稳定性理论和图论,对该同步算法的收敛性进行了理论证明。最后将此适合大规模无线传感器网络的协议在MATLAB中实现,其实验结果符合预期分析。