一种基于多步竞争网络的多智能体协作方法

多智能体高效协作是多智能体深度强化学习的重要目标,然而多智能体决策系统中存在的环境非平稳、维数灾难等问题使得这一目标难以实现。现有值分解方法可在环境平稳性和智能体拓展性之间取得较好平衡,但忽视了智能体策略网络的重要性,并且在学习联合动作值函数时未充分利用经验池中保存的完整历史轨迹。提出一种基于多智能体多步竞争网络的多智能体协作方法,在训练过程中使用智能体网络和价值网络对智能体动作评估和环境状态评估进行解耦,同时针对整条历史轨迹完成多步学习以估计时间差分目标,通过优化近似联合动作值函数的混合网络集中且端到端地训练分散的多智能体协作策略。实验结果表明,该方法在6种场景中的平均胜率均优于基于值分解网络、单调值函数分解、值函数变换分解、反事实多智能体策略梯度的多智能体协作方法,并且具有较快的收敛速度和较好的稳定性。     

基于YOLOv5算法的无人机巡检电网绝缘子识别研究

由于常规电网绝缘子识别方法不能有效提高识别效率,导致难以适应高质量的运维需求,研究基于YOLOv5算法的无人机（Unmanned Aerial Vehicle,UAV）巡检电网绝缘子识别方法。通过电网无人机巡检勘查,结合绝缘子数据集特点对无人机航拍图片进行训练,采取YOLOv5算法准确识别电网绝缘子。实验结果表明,在无人机航拍图像处理并输入网络运算后,基于YOLOv5算法得到的电网绝缘子识别准确率最高,验证了基于YOLOv5算法的无人机巡检电网绝缘子的准确识别能力。     

基于改进混合粒子群算法和匹配理论的无人机电力巡检卸载策略

无人机搭载深度神经网络进行自主电力巡检时由于受到设备本身计算能力、电池容量、深度神经网络计算负载的限制,无法独立处理巡检任务中产生的海量图像数据。为解决该问题,提出了一种基于改进混合粒子群算法和匹配理论的无人机电力巡检卸载策略,该策略将系统成本最小化问题分解为深度神经网络计算任务协同分割和边缘服务器选择两个子问题。针对协同分割子问题,基于深度神经网络计算任务的执行流程提出了一种错时传输方法,通过改进混合粒子群算法求解多无人机任务协同分割层。针对边缘服务器选择子问题,定义无人机与边缘服务器各自偏好函数,根据偏好函数通过匹配理论建立两者间的稳定匹配,得到边缘服务器选择策略。仿真结果表明,与其他卸载策略相比,所提策略能有效降低无人机能耗和计算任务处理时延,促进边缘服务器负载均衡。     

基于改进深度学习的变电站机器人巡检路径规划研究

随着智能电网的不断发展,变电站数量随之增加。针对变电站中巡检任务繁重以及人工巡检可视化水平低的问题,该文提出了一种基于改进深度强化学习的变电站机器人巡检路径规划方法。结合巡检机器人的运动模型,设计深度强化学习的动作和状态空间。将深度强化学习网络与人工势场相结合,重新构造深度强化学习的奖励函数,优化卷积神经网络结构。通过实际变电站场景进行验证,提出的改进深度强化学习算法较传统算法计算时间更短,效率更高,更有利于对变电站巡检机器人的巡检路径进行精准规划,提升变电站的自动化程度水平。     

空地异构机器人系统协作巡逻路径规划方法EI北大核心CSCD

空地异构机器人系统由空中无人机和地面无人车组成,当两者协作执行持续巡逻任务时,使用无人车充当无人机的地面移动补给站能够解决无人机续航能力不足的问题.运动受限于路网中的无人车必须在适当地点为无人机补充能量,这使得两者的路径高度耦合,给空地协作路径规划带来了挑战.针对此问题,本文通过分析无人机能量、路网、空地汇合时间、巡逻任务全覆盖等多种约束,以无人机完成全部巡逻任务的总距离为代价,建立了空地协作巡逻路径规划模型.该模型可推广至多架无人机与多辆无人车协作的情形.然后,采用遗传算法与蚁群算法相融合的方法,对无人机巡逻路径和无人车能量补给路径进行优化求解.仿真实验表明,本文的方法不仅可以得到很好的路径规划结果,而且较其他算法具有更优的收敛性和执行速度.     

多无人机巡航算法研究

无人机（Unmanned Aerial Vehicle,UAV）硬件技术的快速发展使其在许多领域得到广泛使用。当任务区域较多时，受到电量限制，无人机单次巡航难以完成全部任务，需要多架无人机共同协作。文章比较了之前的相关研究，提出一种综合聚类和改进遗传算法的路径规划策略，并通过仿真，对比不同算法的效果，为进一步的工作提供帮助。     

强化学习的地-空异构多智能体协作覆盖研究

以无人机（unmanned aerial vehicle, UAV）和无人车（unmanned ground vehicle, UGV）的异构协作任务为背景,通过UAV和UGV的异构特性互补,为了扩展和改进异构多智能体的动态覆盖问题,提出了一种地-空异构多智能体协作覆盖模型。在覆盖过程中,UAV可以利用速度与观测范围的优势对UGV的行动进行指导;同时考虑智能体的局部观测性与不确定性,以分布式局部可观测马尔可夫（decentralized partially observable Markov decision processes,DEC-POMDPs）为模型搭建覆盖场景,并利用多智能体强化学习算法完成对环境的覆盖。仿真实验表明,UAV与 UGV间的协作加快了团队对环境的覆盖速度,同时强化学习算法也提高了覆盖模型的有效性。     

面向城市巡防的多无人机协同航迹规划

无人机（UAV）因其低成本、高动态性与低部署性等优点被逐渐应用于城市巡防中。为提高异构无人机航迹规划的效率,首先建立了考虑无人机的任务执行率、航迹代价和撞击代价的多无人机任务规划模型。其次针对传统优化算法容易陷入局部最优解,均匀性差等问题,将差分策略和Levy飞行策略引入乌鸦搜索算法中对算法进行改进,提出基于Levy飞行策略的混合差分乌鸦搜索算法（LDCSA）,将剪枝处理和Logistic混沌映射机制加入快速遍历随机树（rapidly-exploring random trees,RRT）算法中,并通过改进的RRT算法进行航迹初始化。最后建立了3维的城市模型进行仿真实验,将所提算法与粒子群（PSO）、模拟退火（SA）、乌鸦搜索（CSA）算法对比,仿真结果表明该算法能提高全局收敛性与鲁棒性、缩短收敛时间、提高无人机执行覆盖率和减少能耗,在解决多无人机航迹规划问题中更具有优势。     

无人机多机多作业协同电力巡检路径规划研究

为了保证电力巡检任务时间最小化和覆盖率最大化的目标，考虑到无人机电池寿命有限，当无人机数量固定时，在扫描周期内，某些目标可能无法被任何无人机覆盖。为此，将电力巡检扫描覆盖问题视作一个最小时间最大覆盖(MTMC)问题，即多无人机在最小任务时间内达到最大电力巡检目标覆盖率。针对巡检任务构建目标函数及约束条件，提出基于权重的目标扫描覆盖算法求解MTMC问题。通过仿真分析，所提方法可以在106.54 min内获得100%覆盖率。与CycleSplit和G-MSCR算法相比，所提算法的任务时间减少了约12%。     

多智能体分层强化学习综述

作为机器学习和人工智能领域的一个重要分支,多智能体分层强化学习以一种通用的形式将多智能体的协作能力与强化学习的决策能力相结合,并通过将复杂的强化学习问题分解成若干个子问题并分别解决,可以有效解决空间维数灾难问题。这也使得多智能体分层强化学习成为解决大规模复杂背景下智能决策问题的一种潜在途径。首先对多智能体分层强化学习中涉及的主要技术进行阐述,包括强化学习、半马尔可夫决策过程和多智能体强化学习;然后基于分层的角度,对基于选项、基于分层抽象机、基于值函数分解和基于端到端等4种多智能体分层强化学习方法的算法原理和研究现状进行了综述;最后介绍了多智能体分层强化学习在机器人控制、博弈决策以及任务规划等领域的应用现状。     

微型无人机集群低时延组网规划方法

微型无人机已广泛应用于航拍、植保、电力巡线等民用领域.但目前的微型无人机之间缺少信息交互和任务协作.针对搜索与营救场景,研究微型无人机集群的运动模式规划问题,以实现微型无人机的任务协同,完成对整个搜救区域的搜索,并将图像通过多跳传回地面.图像数据通常采用短距高吞吐量无线WiFi通信技术传输,但是Wi Fi有限的通信距离和微型无人机移动会引起网络中断,导致数据丢失,造成较大的传输时延.针对此问题,细致地考虑通信约束,提出基于卷地毯式搜索的组网规划算法,保证无人机网络的连通性,并据此设计非均匀节点部署方法和对应的同步/异步运动策略,可极大地降低时延,获得较好的节点负载均衡.     

电力巡检中的无人机群路径规划算法

随着无人机技术的飞速发展, 无人机被广泛用于各种领域的巡检任务. 近年来, 电力网络的规模和长度都在快速增长, 无人机因其独特的性能和优势成为了电力巡检的首选, 无人机巡检不仅能保证安全性, 还能有效地提高巡检效率, 而路径规划是其在实际应用中的关键一步. 本文提出了一种新的混合元启发式方法, 用于解决电力巡检中带有多...     

基于改进强化学习算法的多无人机智能航迹规划

为实现复杂任务环境中多无人机的自主飞行, 本文采用改进的强化学习算法,设计了一种具有避碰避障功能的多无人机智能航迹规划策略。通过改进搜索策略、引入具有近似功能的神经网络函数、构造合理的立即回报函数等方法,提高算法运算的灵活性、降低无人机运算负担, 使得多无人机能够考虑复杂任务环境中风速等随机因素以及静态和动态威胁的影响, 自主规划出从初始位置到指定目标点的安全可行航迹。为了探索所提算法在实际飞行过程的可行性, 本文以四旋翼无人机为实验对象, 在基于ROS的仿真环境中验证了算法的可行性与有效性。     

通信延迟条件下无人机编队重构的自主安全控制

多架无人机协同执行任务是未来网络化战场上的一种重要作战要求,然而复杂战场环境的变化极大地影响无人机编队的生存能力.为了自主安全地实现复杂战场环境中存在通信延迟的无人机编队重构控制,构建基于分层结构的无人机编队重构的自主安全控制架构.然后,提出一种基于纳什谈判的分布式预测控制(Nash bargaining solution-distributed model prediction control,NBS-DMPC)的新方法.针对存在通信延迟的问题,设计了基于信息滤波算法的信息补偿方法.最后,仿真实验表明所提算法能够自主安全地控制无人机编队重构并能有效降低问题的求解规模.同时仿真结果也验证了所提信息滤波算法在通信时延下的有效性.     

考虑无线充电的无人机路径在线规划

近年来, 无人机在物流、通信、军事任务、灾害救援等领域中展现出了巨大的应用潜力, 然而无人机的续航 能力是制约其使用的重大因素, 在无线充电技术不断突破和发展的背景下, 本文基于深度强化学习方法, 提出了一 种考虑无线充电的无人机路径在线优化方法, 通过无线充电技术提高无人机的任务能力. 首先, 对无人机功耗模型 和无线充电模型进行了构建, 根据无人机的荷电状态约束, 设计了一种基于动态上下文向量的深度神经网络模型, 通过编码器和解码器的模型架构, 实现无人机路径的直接构造, 通过深度强化学习方法对模型进行离线训练, 从而 应用于考虑无线充电的无人机任务路径在线优化. 文本通过与传统优化方法和深度强化学习方法进行实验对比, 所提方法在CPU算力和GPU算力下分别实现了4倍以及100倍以上求解速度的提升.     

一种持续侦察无人机集群规模自适应调控方法

无人机集群(unmanned aerial vehicles, UAVs)持续侦察是多无人机协同控制中一个重要的研究方向.随着任务环境和使命需求越来越复杂,对无人机集群可重构性和柔性的要求也越来越高.其中,对于自适应可重构无人机集群,无人机的规模数量是最基本的控制要素之一.然而,目前大部分无人机集群的研究都侧重于特定任务背景下的路径规划,而集群规模的动态调整则未被考虑.针对传统无人机集群侦察设计中,集群的数量难以自适应调整以匹配不同侦察环境、不同侦察态势的问题,提出了基于区域信息熵的“数字草皮”及其植物量变化模型,模仿草皮-食草动物生态系统中的动态平衡机制,设计了目标区域-无人机集群持续侦察体系中的规模控制方法.在此基础上,研究了侦察体系达到稳定时群落矩阵和平衡点的情况,探讨了在不同任务环境中、不同效能约束限制下,无人机集群规模的自适应调控方法,并利用仿真和可视化手段对平衡点的存在性和系统的收敛性进行了验证.     

On the Scheduling of Systems of UAVs and Fuel Service Stations for Long-Term Mission Fulfillment

The duration of missions that can be accomplished by a system of unmanned aerial vehicles (UAVs) is limited by the battery or fuel capacity of its constituent UAVs. However, a system of UAVs that is supported by automated refueling stations may support long term or even indefinite duration missions. We develop a mixed integer linear program (MILP) model to formalize the problem of scheduling a system of UAVs and multiple shared bases in disparate geographic locations. There are mission trajectories that must be followed by at least one UAV. A UAV may hand off the mission to another in order to return to base for fuel. To address the computational complexity of the MILP formulation, we develop a genetic algorithm to find feasible solutions when a state-of-the-art solver such as CPLEX cannot. In practice, the approach allows for a long-term mission to receive uninterrupted UAV service by successively handing off the task to replacement UAVs served by geographically distributed shared bases.     

无人机辅助智能电网故障终端数据采集优化策略

随着光伏等各类清洁能源的广泛使用,在移动边缘计算的支撑下,无人机经常被用于户外电网终端设备,特别是运行偏差故障终端的数据采集。然而,待采集的终端运行出现差错、终端数量大幅度增长以及无人机有限的能量和动态的飞行等问题,导致无人机难以快速获得待检测终端的准确位置。基于此,设计一种基于边缘计算的无人机辅助故障终端数据采集优化策略。通过构建基于随机分布的位置误差模型,研究一种无人机飞行轨迹和待采集终端设备的任务传输联合优化策略。联合利用 Bernstein 型不等式、凸优化和隐枚举法,构建高效的两阶段优化求解算法。仿真结果表明所提数据采集策略中无人机可以更加靠近户外的电网故障终端设备,数据采集的时间更长且准确率更高。     

Detection Avoidance and Priority-Aware Target Tracking for UAV Group Reconnaissance Operations

In this paper, we present a novel approach for stationary target tracking in reconnaissance operations with a small UAV group. A reconnaissance mission has multiple competing requirements, such as short scan time and repetitive scanning of the entire area, target recognition, and target tracking. Especially in real-world military reconnaissance scenarios, different types of targets with hostile characteristics exist. The UAVs must scan and track the targets while avoiding detection by enemies. Although small UAVs are unlikely to be detected, they become prone to detection if their path is predictable. To meet these competitive requirements, we propose an attractive pheromone-based cooperative path planning method that makes path prediction almost impossible by ensuring a random path selection mechanism. To avoid detection during target tracking, we implement a new discrete-time tracking scheme with random time intervals and random path planning for multiple UAVs. The proposed model enables a UAV group to sporadically scan the entire area, quickly locate the targets, and simultaneously track the targets based on their priority. In addition, it offers a mechanism that permits the command and control center to balance between reconnaissance and target tracking operations to meet every mission requirement.