基于强化学习的应急无人机通信中继选择策略

在基站无法提供通信支撑区域,可引入无人机群作为中继节点来搭建无人机应急通信网络。 针对无人机如何高效选择 最优中继节点及保证系统吞吐量最大化问题,提出一种基于 SA-SARSA 强化学习算法的无人机中继选择策略。 在所有的中继 节点通过解码重传(DF)之后进行转发,得到用户端最大比合并后的平均吞吐量的表达式,通过设定 SARSA 算法的状态、动作、 奖励函数,选择回报值最大的中继节点。 同时,引入退火算法来使源节点探索到更多的中继节点,从而使无人机群通信网络性 能达到最优状态。 仿真结果表明,与改进前的 SARSA 中继选择策略相比,所提的 SA-SARSA 中继选择策略占理想算法比例提 升 10%。 同时,在相同总功率条件下,所提策略所选的中继节点的吞吐量比 Q-learning 中继选择策略、SARSA 中继选择策略分 别提升了 8%、13%。     

基于人工神经网络的联合中继和干扰选择策略研究

针对多中继通信网络,中继选择算法效率低及潜在窃听节点的安全威胁问题。提出一种基于人工神经网络的联合中继和干扰节点选择策略。首先,采用解码转发(decode-and-forward, DF)中继协议,构建存在窃听节点的多中继协作通信网络,结合协作干扰策略,推导得到系统安全中断概率的闭合表达式;然后,对神经网络进行训练,将相关节点的信道状态信息(channel state information, CSI)作为输入对模型进行训练,获得最优模型参数;最后,利用部分数据集验证模型,仿真结果表明对最优节点选择的正确率能够达到93%以上。与传统选择方案相比,所提方案实现复杂度降低且计算时间明显减少,并且有效改善了系统的安全性能。     

电力线通信信道下协作非正交多址接入系统的分布式机会中继选择

该文将非正交多址接入(NOMA)技术应用于下行多中继协作电力线通信(PLC)网络,考虑对数正态信道衰落和伯努利-高斯信道噪声,设计机会式中继选择方案。首先,根据电力线信道的瞬时信道状态信息(ICSI)进行目的节点排序,同时自适应调整功率分配系数。其次,以满足目的节点服务质量(QoS)要求和最小化系统功耗为目标,分别针对译码转发(DF)和放大转发(AF)协议设计基于加权调和平均的分布式机会中继选择方案。然后,分别分析两协议下的系统性能并进行Monte-Carlo仿真分析。结果表明,所设计方案可获得比基准方案更优的系统性能;该文DF方案能够进行两次功率分配系数动态调整,并可获得比AF方案更高的吐量性能;此外,该方案分布式进行,能够节约用于ICSI反馈的信令开销。     

基于无线携能的协作NOMA系统安全性能研究

针对中继能量受限的多用户无线窃听场景,提出了一种基于无线携能的协作非正交多址接入(NOMA)安全传输机制并进行了性能分析。该传输机制首先对多天线基站进行最优发射天线选择,引入协作NOMA的全双工技术提高传输可靠性与频谱利用率,采用无线携能技术克服中继节点由于功耗过大引起的能量不足问题。为进一步衡量所提传输机制的系统性能,推导了用户的中断概率和安全中断概率并进行了系统性能分析。数值结果表明,通过合理设置NOMA功率分配比以及无线携能功率分割比有利于提高系统的性能,所提传输机制相对于协作NOMA和传统NOMA传输机制安全中断性能分别提高了33%与59%。     

复杂环境下双向协作通信研究

双向协作通信应用于航空自组网、车联网等未来无线通信,面临着高速运动环境下信道状态变化导致通信质量大幅下降问题。利用随机信道建模方式,考虑通信过程前后子阶段信道状态信息相关性,推导了信道状态联合概率密度闭式表达式;提出了以最小化系统中断概率为目标的最优功率分配策略以改善双向协作通信系统的中断性能。蒙特卡罗仿真结果表明在不同的系统平均信噪比、信道相关系数（与通信节点运动速度相关）下最优功率分配相比于等功率分配可有效提高系统中断性能。基于最优功率分配的双向协作通信能克服高速运动环境下信道状态变化问题,具有高可靠高速率特点,能为航空自组网、车联网等未来无线通信应用提供技术支撑。     

基于AdaBoost提升学习的次优中继选择安全传输方案

针对无线通信协作技术中多跳中继和子信道分配等复杂应用场景下系统时效性差和复杂度大的问题，在级联中继系统中提出了一种利用AdaBoost算法集成学习选择次优中继的安全传输方案。将合法信道和窃听信道的信道CSI作为训练模型的输入，使系统安全容量达到一定值的中继节点索引作为输出，把级联中继系统的次优中继选择问题转化为一个多类分类问题，并用基于AdaBoost加权表决的支持向量机求解。级联中继系统的次优中继选择方案可分为生成数据集、集成模型训练和结果预测3个阶段。在模型训练阶段，绘制分类准确率和查准率-查全率曲线，对比集成学习较个体学习在准确率方面具有更佳的性能。最后，通过仿真AdaBoost算法分类的中继索引，验证了集成学习方法进行次优中继选择具有更高的准确率，能有效降低系统时延和复杂度，提高中继协作系统的安全性能。     

认知无线电中信道和功率协同分配算法研究

认知无线电是一种新的智能无线电技术,它通过动态地接入频谱为用户提供高容量的服务.主要研究了在中继协助下认知无线网络中信道和功率分配的问题.区别于传统的中继信道,认知无线网络信道可归结为3类:直接信道、多跳和中继信道.讨论了不同信道模式的系统吞吐量并且提出了一种信道和功率协同分配算法.该算法通过把感知频谱归到适合模式下,然后优化各节点频谱功率的分配以提高系统的整体吞吐量.在最后数据仿真结果中,协同分配算法在提高吞吐量方面要明显好于单一的信道和功率分配.     

含储能系统的配电网电压调节深度强化学习算法

通过在配电网末端接入用于系统调压等辅助服务的储能系统,能有效应对可再生能源的高度间歇性以及负荷需求波动导致的系统电压运行水平问题。文章将电池储能的运行建模为马尔可夫决策过程,考虑其后续调控能力,提出了一种含储能系统的配电网电压调节深度强化学习(deep reinforcement learning,DRL)算法,通过内嵌一个Q深度神经网络来逼近储能最佳动作价值,以解决状态空间过大的问题。储能荷电状态(state of charge,SOC)、可再生能源预测出力以及负荷水平组成状态特征向量作为Q网络的输入,输出提高电压运行水平的最优离散化充放电动作,并通过回放策略来训练。相比传统方法,所提方案基于学习而无需显式的不确定性模型,且计算效率较高。最后在TensorFlow架构下利用MATPOWER对IEEE 33节点配网系统进行了分析,证明了所提出方法的有效性。     

基于深度强化学习的微电网在线优化

针对微电网的随机优化调度问题,提出了一种基于深度强化学习的微电网在线优化算法。利用深度神经网络近似状态-动作值函数,把蓄电池的动作离散化作为神经网络输出,然后利用非线性规划求解剩余决策变量并计算立即回报,通过Q学习算法,获取最优策略。为使得神经网络适应风光负荷的随机性,根据风电、光伏和负荷功率预测曲线及其预测误差,利用蒙特卡洛抽样生成多组训练曲线来训练神经网络;训练完成后,保存权重,根据微电网实时输入状态,神经网络能实时输出蓄电池的动作,实现微电网的在线优化调度。在风电、光伏和负荷功率发生波动的情况下与日前优化结果进行对比,验证了该算法相比于日前优化在微电网在线优化中的有效性和优越性。     

梯级水库深度强化学习长期随机优化调度研究

梯级水库调度相较于单库调度状态空间呈指数级增大,为解决基于表格的强化学习方法在解决梯级水库长期随机优化调度问题时面临的维数灾问题,提出采用深度强化学习中的深度Q网络算法求解。首先基于Copula函数分析梯级水库随机入库径流的联合分布函数;再根据时序差分思想分别建立目标神经网络和主神经网络,分别逼近当前和下一状态对应的动作状态价值,并采用ε-贪婪探索利用策略获取最优调度策略;最后将主要参数分步调优保障调度效益。算例对比表明,深度Q网络算法相较于Q学习算法及其改进算法提升了优化调度目标值,加快收敛速度,有效解决了梯级水库随机优化调度中的维数灾问题。     

基于混沌粒子群优化算法的NOMA功率分配研究

非正交多址接入(NOMA)技术使多个用户共享一个时频资源块,显著地提高了频谱利用率,已成为5G多址技术的研究热点。针对NOMA系统能量效率最大化问题,对非正交多址接入技术中功率分配进行了研究,提出了基于混沌粒子群优化算法的NOMA功率分配方案。建立了能量效率最大化的NOMA优化模型,利用混沌粒子群优化算法对系统功率进行分配,使NOMA系统的能量效率得到优化。仿真结果表明,当发射功率为36 dBm时,系统能量效率最大,且与传统粒子群算法相比所需迭代次数更少,获得的能量效率更优。     

网络编码协作中继系统的功率优化分配研究

研究了基于网络编码的协作中继功率分配问题.在系统的总能量一定的前提下,使用传统的两用户单中继模型对源节点和中继节点的功率进行优化分配.假设模型中源节点与中继节点之间能进行无误传输,其他链路存在噪声,最后用系统中断概率来衡量系统的性能.分析得出当能量分配比例取某一固定值时,系统的中断概率达到最小,系统的性能也最好.     

考虑预测不确定性的微电网实时控制策略研究

风能、光伏等可再生能源的高比例并网成为了缓解全球能源危机的一项重要措施。然而,可再生能源实时出力中的间歇性和波动性给系统的安全性带来了一定的挑战。为了在提高可再生能源利用率的同时保证系统安全性,提出了一种基于深度强化学习(DRL)算法的运行优化实时调度模型。首先,构建了负荷预测模型实现负荷预测和高斯混合模型拟合预测误差;其次,考虑系统各节点的约束条件,以系统运行成本和安全运行作为优化目标,建立相应优化模型;然后,将优化问题转化为马尔可夫决策过程,并采用双延迟深度确定性策略梯度算法求解;最后,利用DRL算法的环境交互机制和策略自由探索,获得联合调度策略的最优结果。实验结果表明,所提方法具有良好的适应性,并且可以进行在线实时调度。     

基于深度置信网络状态最优反馈的智能发电控制策略

针对自动发电控制问题中的状态信息测取和最优发电控制策略的难题,结合深度置信网络与最优控制理论,提出了一种应用于自动发电控制领域的深度置信网络状态最优反馈算法。首先,设计了一种适用于发电控制问题的全状态最优反馈控制策略,并引入了深度置信网络学习全状态最优反馈控制特性,以深度置信网络的非线性表达能力弥补传统线性控制的不足,进而实现了非全状态信息反馈下的近似最优发电控制,有效解决了最优发电控制问题中的状态信息测取难题,同时提升了自动发电控制性能。在IEEE标准两区域系统的算例仿真结果表明,所提算法可以实现由自区域频率偏差与传输功率偏差组合反馈下的系统近似最优发电控制,验证了所提方法的有效性、可行性和强鲁棒性。     

基于深度强化学习的主动配电网高恢复力决策方法

随着全球极端天气事件频发,电力系统在极端自然灾害下恢复力的研究日益受到关注。本文提出基于深度强化学习的高恢复力决策方法,将极端灾害下配电网运行状态和线路故障状态作为观测状态集合,自学习智能体Agent在当前环境观测状态下寻求可行的决策策略进行动作,定义自学习Agent的回报函数以进行动作评价;采用观测状态数据,开展基于竞争深度Q网络(dueling deep Q network,DDQN)的深度强化学习(deep reinforcement learning,DRL)训练,智能体Agent通过试错学习方式选择动作,试错经验在估值函数Q矩阵中存储,实现状态到主动配电网实时故障恢复策略的非线性映射;最后结合改进的IEEE 33节点算例,基于蒙特卡罗法仿真随机故障场景,对所提出方法生成的故障恢复随机优化决策进行分析。结果表明:通过主动配电网的分布式电源、联络开关和可中断负荷的协调优化控制,可以有效提升极端灾害下供电能力。     

MIMO中继系统中的线性收发机设计

针对使用单个中继节点的多输入多输出（MIMO）中继系统,以极大化接收端各子流的最小信噪比为目标,提出一种线性收发机设计方案。在此方案中,系统中的各节点沿着对应信道的特征方向进行线性信号处理,使等效的MIMO信道被分解为一组并行的高斯信道。通过优化理论,证明了在中继节点处最优的功率分配,应使接收端各子流具有相同的信噪比。     

基于软件定义网络的电网边缘计算资源分配

针对电网节点中边缘服务器资源受限问题,提出了一种基于软件定义网络的边缘计算框架。采用深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)强化学习算法对边缘服务器中的计算、存储资源进行合理分配。首先建立应用于电网中的基于软件定义网络的边缘计算模型,得到边缘服务器计算存储资源及任务时延的约束条件,分析得到需处理的MINIP问题。使用Tensorflow搭建仿真环境并执行强化学习算法,实现电网边缘节点对边缘服务器存储计算资源的最优利用。结果表明,强化学习算法中的回复值呈上升趋势,采用DDPG进行分配的系统总延时更低。     

中压配电网电力线载波通信组网优化方法*

为进一步完善中压配电网电力线载波通信(PLC)组网的灵活性和可靠性,在结合中压配电网的实际拓扑结构和信道环境的基础上,提出了一种基于遗传算法的PLC组网方法。该方法综合考虑了节点间实际距离、节点间链路衰耗、连接节点衰耗、节点自身价值及链路价值等因素,利用遗传算法计算网络的最大价值函数,确定网络的最佳链路集。在最佳链路集基础上,求取各通信节点的节点度,将节点度数值较大者作为网络的中继节点,进而完成配电网PLC的优化组网。与蚁群路由算法相比,文中算法考虑了配电网的实际拓扑结构与信道特性,中继节点和链路分配更为合理,使PLC网络具有更高的网络价值和网络传输效率。     

基于放大转发模式的配电监测传感网的功率分配优化

建立了一个基于放大转发中继模式的功率优化分配数学模型,比较了功率优化分配和均等分配两种方案下网络的单位带宽吞吐率。解算过程和结果表明,逐次二次规划算法具有优越的收敛速度和精度;在总功率不变的前提下,优化功率分配相对均等功率分配而言,能取得一定的信道容量正增益,在信道恶劣环境下表现更为明显,对电网干扰环境下的无线通信极为有利;根据香农定理,信道容量正增益可等效于一定的功率负增益,为困扰无线传感网的能耗受限问题提供了一条解决途径。     

面向协作通信的忙音信道接入机制

与传统无线传输相比,虽然协作中继节点的参与可以大大提高无线网络性能,然而协作中继会带来严重的信道竞争问题,这给协作通信环境中的信道访问控制带来挑战。为了解决这个问题,提出一种RTS/CTS(Request To Send/Clear To Send)与忙音结合的MAC(media access control)信道接入方案。该方案使用3个忙音来标识信道的使用状态,并解决协作通信中的隐藏终端和暴露终端问题。基于忙音信号,还提出了一种带宽节俭的协作节点选择算法。通过侦听忙音信号,源节点可分布式地选择最优的协作节点。理论分析和仿真实验表明所提方案能有效地提高协作通信中的信道利用率,很好地解决了协作通信中的隐藏终端暴露终端问题。在数据包大小超过3 500 B时,本协议中暴露终端受传输节点阻塞的时间不到整个传输时间的10%。