基于蚁群信息素辅助的Q学习路径规划算法

当Q学习应用于路径规划问题时,由于动作选择的随机性,以及Q表更新幅度的有限性,智能体会反复探索次优状态和路径,导致算法收敛速度减缓.针对该问题,引入蚁群算法的信息素机制,提出一种寻优范围优化方法,减少智能体的无效探索次数.此外,为提升算法初期迭代的目的性,结合当前栅格与终点位置关系的特点以及智能体动作选择的特性,设计Q表的初始化方法;为使算法在运行的前中后期有合适的探索概率,结合信息素浓度,设计动态调整探索因子的方法.最后,在不同规格不同特点的多种环境中,通过仿真实验验证所提出算法的有效性和可行性.     

基于Q学习和规划的传感器节点任务调度算法*

为了改善节点的学习策略,提高节点的应用性能,以数据收集为应用建立任务模型,提出基于Q学习和规划的传感器节点任务调度算法,包括定义状态空间、延迟回报、探索和利用策略等基本元素.根据无线传感器网络(WSN)特性,建立基于优先级机制和过期机制的规划过程,使节点可以有效利用经验知识,改善学习策略.实验表明,文中算法具备根据当前WSN环境进行动态任务调度的能力.相比其它任务调度算法,文中算法能量消耗合理且获得较好的应用性能.     

基于事件驱动的无人机吊挂系统在线自适应轨迹规划

本文针对四旋翼无人机吊挂系统空运过程中负载摆角的非线性最优调节问题, 提出了一种基于事件驱动的在线自适应轨迹规划策略. 在事件驱动的自适应评价网框架下, 利用神经网络的逼近学习能力得到吊挂负载摆动抑制的折现最优控制律. 同时结合该控制律进一步规划四旋翼无人机的飞行轨迹, 实现了对无人机位置的精确调节和吊挂负载摆动的快速抑制, 并且显著降低了无人机机载处理器的计算负担. 然后采用基于Lyapunov稳定性的分析方法, 证明了神经网络输出权值估计误差一致最终有界, 并证明了无人机位置跟踪误差和吊挂负载摆动运动的收敛. 最后, 通过飞行对比实验验证了所提出的轨迹规划策略的有效性.     

基于Q学习的无线传感器网络路由协议

由于无线传感器网络节点的能量主要消耗在数据的传输上,因此路由选择的有效性决定网络整体能量消耗的高低。本文将网络构建成一个多Agent系统,将系统建模成为一个离散Markov决策过程,使用基于性能势的Q学习算法寻找最优路由。在报酬函数的设定时综合考虑节点距离Sink节点的跳数、邻居节点密度和剩余能量等因素,以达到数据传输最短路径和节点能量消耗的折中。     

一种基于Q学习的无线传感网络路由方法

针对传统路由算法不能很好解决无线传感器网络的能量消耗和负载均衡的问题,提出一种将路径跳数和能量消耗因素考虑在内的基于Q学习的能量负载均衡算法。通过多跳和残余能量来估计网络状态,从而找到复杂度最低的最优路由策略,得到的数据传输路径满足能量消耗最小与负载均衡两个条件,在降低网络能量消耗的同时也延长了网络的生存周期。实验结果表明了算法在节点存活个数、节点剩余能量分布和节点发送成功率方面均取得较好的效果,同时验证了算法可以降低能量消耗,延长网络的整体寿命。     

基于定制内点法的多无人机协同轨迹规划

为提高多无人机(Unmanned aerial vehicles, UAV)协同轨迹规划(Cooperative trajectory planning, CTP)效率, 在解耦序列凸优化(Sequential convex programming, SCP)方法基础上, 提出一种高效求解凸优化子问题的定制内点法. 首先引入松弛变量, 构建子问题的等价描述形式, 并推导该形式下的子问题最优性条件. 然后在预测−校正原对偶内点法的框架下, 构建一套高效求解最优性条件方程组的计算流程以降低子问题计算复杂度, 并利用约束矩阵特征提出一种快速计算原对偶搜索方向的方法以提高规划效率. 仿真结果表明, 在解耦序列凸优化框架下, 定制内点法可将协同轨迹规划耗时降低一个数量级, 达到秒级.     

基于CC2530的ZigBee数据采集系统设计

为了使工业生产中的技术人员不用亲自去现场或者恶劣的环境就可以实时采集现场设备的数据信息及状态参数,结合ZigBee技术适用于数据采集系统的特点,首先在ZigBee技术的理论基础上介绍了数据采集系统采集数据的原理,然后详细讨论了基于CC2530芯片的数据采集节点的硬件设计方法及组网设计中的协调器建立网络、节点加入和脱离网络的软件设计方法,最后给出了该设计方案在LED路灯电压数据采集实验中的应用实例。实验结果表明这种设计方案不仅能有效地采集设备的各项数据,而且使系统的扩展、维护变得更加方便。     

面向智慧观光农业的无人机路径规划策略

为提高无人机在观光农业混合型无线传感器网络中的数据采集效率,提出一种基于深度强化学习的无人机路径规划策略。基于社会力模型引入人流参量,结合Semi-Markov-Option分层强化学习方法以降低模型复杂度,基于Rainbow算法提出SMO-Rainbow(Semi-Markov-Option-Rainbow)路径规划策略。在ε-greedy探索策略中引入Tanh函数,提出AT-ε-greedy(adaptive-Tanh-greedy)策略,进一步平衡深度强化学习模型训练中的探索与利用阶段。实验结果表明,在观光农业场景中,所提路径规划策略与其它深度强化学习无人机路径规划策略相比,数据采集效率与训练稳定性均更优,有效降低了模型训练难度。     

基于Q学习的多基站分簇拓扑控制算法

为了解决无线传感器网络中单基站附近出现的“能量空洞”和网络时延过高等问题,引入多基站分簇拓扑控制算法。算法根据不同的场景来选择基站数目,结合图论和定向扩散中梯度的思想对网络进行分簇并运用Q学习算法对簇头节点进行周期性的学习训练,比较到达不同基站的不同路径上的Q值进行最优路径的选择。通过仿真分析表明,该算法相对于单基站分簇算法可以有效延长网络的生命周期。     

一种高吞吐量的无人机轨迹规划方法

无人机由于具有完全可控的移动性以及快速部署等优点,成为无线通信领域的研究热点。研究一种无人机支持的多播信道,利用无人机作为移动发射机向多个地面节点发送信息,在无人机的有限任务通信时间内,设计一种连续圆飞行轨迹方法。面向随机分布的多个地面节点,设定距离阈值对地面节点进行分组,通过求解新型旅行商问题确定无人机对各个分组的通信顺序,在满足无人机与地面节点通信覆盖需求的情况下,对圆心、无人机的飞行速度以及飞行半径进行求解,确定各个分组的圆形飞行轨迹,进而生成连续圆飞行轨迹。为实现吞吐量最大化目标,基于连续圆轨迹,在轨迹、功率一定情况下进行功率和轨迹优化,并通过交替联合优化无人机轨迹和功率以提高无人机对地通信系统整体性能。仿真结果表明,与基准方案相比,该方法系统吞吐量明显提高。     

基于红外探测技术的无人机视觉引导助降系统

传统的助降导航系统无法满足无人机着舰挂锁对于精确性、抗干扰性及可重复性的要求.为解决该问题,提出一种基于红外探测技术的无人机视觉引导助降系统.系统硬件包括红外标志灯、高动态像机和红外滤光片,系统软件包括光团目标检测算法和双目交汇算法,其中,光团目标检测算法使用归一化负拉氏高斯算子实现光团目标的定位,双目交汇算法利用快速标定方案完成像机标定,采用双像机进行空间交汇.实验结果表明,该系统在距离理想着陆点200 m以内的测量精度小于5 cm,可满足助降要求.     

基于模型的强化学习在无人机路径规划中的应用

针对当前强化学习算法在无人机升空平台路径规划任务中样本效率低、算法鲁棒性较差的问题,提出一种基于模型的内在奖励强化学习算法。采用并行架构将数据收集操作和策略更新操作完全解耦,提升算法学习效率,并运用内在奖励的方法提高智能体对环境的探索效率,避免收敛到次优策略。在策略学习过程中,智能体针对模拟环境的动态模型进行学习,从而在有限步内更好地预测状态、奖励等信息。在此基础上,通过结合有限步的规划计算以及神经网络的预测,提升价值函数的预测精准度,以利用较少的经验数据完成智能体的训练。实验结果表明,相比同样架构的无模型强化学习算法,该算法达到相同训练水平所需的经验数据量减少近600幕数据,样本效率和算法鲁棒性都有大幅提升,相比传统的非强化学习启发类算法,分数提升接近8 000分,与MVE等主流的基于模型的强化学习算法相比,平均分数可以提升接近2 000分,且在样本效率和稳定性上都有明显提高。     

RS-GA神经网络无人机受风情况估计

针对现有无人机（Unmanned Aerial Vehicle,UAV）风场估计方法中存在的计算复杂、需额外搭载传感器等问题,提出基于粗糙集遗传神经网络的无人机受风状态估计方法。该方法利用粗糙集分析方法对无人机上采集的姿态信息数据集进行约简;利用遗传算法全局搜索能力强的特点优化神经网络的初始权值;用简化的无人机数据集训练神经网络即得到所需神经网络风场估计模型。仿真结果表明,该方法具有较高的识别率以及较短的训练时间,证明了其在无人机风场估计上应用的有效性。     

WSN中基于移动Sink的高效数据收集算法

针对无线传感器网络中的数据收集问题,提出一种改进的MWSF算法。该算法结合A*算法求解出移动Sink在传感器节点之间移动的最短路径,利用MWSF算法找到移动Sink所需访问的下一个传感器节点,并与单跳通信范围内的其他传感器节点进行通信,从而收集数据。仿真结果表明,该算法能降低数据溢出发生率,提高网络的数据传输效率。     

基于分簇的无线传感器网络簇内数据融合算法

根据节点剩余能量、通信消耗量和节点IP,设计无线传感器节点分簇算法,减少了无线传感器网络的数据传输总量。分析对以分簇为基础的簇内数据的融合算法误差成因,提出先进行簇内传感器测量修正、再进行簇内传感器数据融合的改进算法。通过TOSSIM仿真平台的实验,改进后的簇内数据融合算法测量误差明显减少。     

基于Multigen的无人机任务飞行仿真系统

介绍基于Multigen仿真软件Multigen Creator, Creator Terrain Studio和Vega Prime的无人机任务飞行仿真系统,在Vega Prime中建立无人机的飞行控制运动函数,实现无人机模型在虚拟仿真场景中的六自由度运动。基于.NET 2003环境下多线程编程技术和SBS网络数据传输,实现该系统的实时应用。仿真结果表明该系统能较好地模拟无人机作战飞行任务。     

无人布雷机航路规划仿真系统设计与实现

用文化基因算法求解无人布雷机航路规划问题,设计无人布雷机的航路规划仿真系统。以粒子群优化算法为主搜索策略,利用单向信息共享机制提高收敛速度。采用模拟退火的方法进行局部修正,以减小局部极值的影响。利用Visual C++中MFC编制OpenGL程序的方式模拟飞行过程,通过Matlab中的GUI建立三维航路规划系统仿真平台,实现三维航路可视化。     

管制空域内无人机与有人机侧向碰撞风险研究

随着无人机的逐渐发展和使用范围的扩大,空域将变得越来越拥挤。把无人机系统融入有人机管制空域将是未来解决空域拥挤问题的必要手段之一。基于无人机性能特征和机载设备设施要求,结合有人机和无人机的延迟推导出二者之间的管制防撞间隔,并根据等效安全水平原则求出二者之间可行的目标安全水平。在Reich模型的基础上进行改进,从而建立有人机与无人机的侧向碰撞风险模型,再通过仿真算例对不同管制空域内的有人机和无人机之间进行风险评估,计算碰撞风险并与目标安全水平进行比较。仿真结果表明在1000 m以上的管制空域采用所推导的防碰撞间隔满足ICAO规定的碰撞风险要求,所以该间隔可以作为无人机融入有人机管制空域时的侧向间隔使用。