基于NS3的虚拟网络实验室构建及可视化实现

随着网络的发展,网络研究与实验也变得越来越复杂,但高校开展新颖网络实验却举步艰难,特别是针对某些需要大量物理设备才能顺利进行的实验,因为许多普通高校无法提供足够的硬件资源。因此,网络虚拟实验的实现就十分必要。当前,网络仿真实验以及网络仿真软件已有一定的发展基础,但在线可视化的虚拟网络平台上依旧是一块空缺。本文采用Linux下流行的LAMP架构,使用HTML5、JavaScript、Django和NS3等技术,开发了基于NS3的虚拟网络实验室构建及其在线可视化。     

基于NS3的无线自组网仿真实现

该文首先介绍了NS3.20在Fedora20环境下的安装过程,并重点介绍了无线自组网的拓扑设计及仿真程序设计过程,最后用NS3仿真了无线自组网通信的过程。     

基于深度强化学习信道智能接入方法与NS3仿真

针对现有多信道接入策略较难适应信道环境动态性问题,提出基于深度强化学习的多信道智能接入方法.首先,通过将多信道接入模型描述成马尔可夫决策过程,提出Q-learning方法以实现多信道的智能接入.在此基础上,针对Q-learn-ing状态空间大和收敛慢等特点,通过设计深度神经网络,以获得近似最优的多信道智能接入策略.最后...     

WLAN系统干扰分析与规避措施研究

分析WLAN系统工作机制、系统同频与邻频之间的干扰,从网络频率规划、设备自动配置和底层参数调整3方面研究了干扰规避措施及方案,在测试验证的基础上,提出了WLAN规划、优化中的频率规划原则、干扰规避措施和应用实施建议。     

基于NS2的高密度WLAN同频干扰

首先简单介绍了无线局域网同频干扰产生的原因,然后在NS2仿真平台上搭建高密度无线局域网环境.通过仿真,测量系统中总的数据吞吐量、端到端传输时延和平均吞吐量来探究高密度WLAN下同频干扰强弱程度随AP数增加的变化趋势.仿真结果表明,高密度WLAN下同频干扰强弱程度随AP数的增加遵循一定的变化规律,这为实际规划接入节点时同频干扰强弱的控制提供了依据,也为仿真研究高密度无线局域网提供了参考.     

NS2中新协议的实现

深入分析了网络仿真器NS2的组成和结构,以及NS2中队列管理算法的实现机制,在此基础上,通过一个新的主动队列管理算法的设计与实现阐述了在NS2中实现新协议、新算法的方法。新算法主要通过更为准确的拥塞检测和更为合理的分组丢弃概率计算来提高主动队列管理算法的稳定性,最后通过仿真实验对新算法的性能进行了测试,实验结果表明新算法的性能要由于RED算法。     

基于NS2模拟器的TCP仿真的设计和实现

通过虚拟环境进行模拟仿真是验证网络协议的正确性和进行性能测试的主要手段。NS-2是目前网络仿真最流行的软件之一。本文在介绍NS-2就行仿真操作流程和TCP协议原理的的基础上,设计实现了TCP协议原理的仿真场景,并对仿真跟踪的数据文件进行了有效的分析。可以对计算机网络的学习者和研究者提供有效的参考。     

基于NS2选播路由模块的设计与实现

提出选播路由模型及其组的管理,分析了NS2的仿真过程.通过修改NS2原有的数据结构和路由协议模块,在NS2平台上设计与实现了选播路由模块.给出了详细的设计方案和具体的实现过程,并利用NS2生成的随机网络拓扑,在该模型上仿真了不同的选播服务类型.实验结果表明,基于NS2的选播路由的功能扩展是可行、有效的.     

基于NS仿真器扩展MPEG流量产生器之研究与实现

本文介绍了在NS网络仿真环境下进行MPEG数据流扩展设计和实现，以增强该工具的仿真能力，提供更全面的网络流量信息，主要工作是研究了在现有的网络环境下，基于TCP代理，如何添加仿真数据流的方法，并对MPEG流量特性进行了分析和抽象，最终完成MPEG流量产生器的逻辑设计和实现。     

基于分层强化学习的多无人机协同围捕方法

针对复杂障碍环境下的动态目标围捕问题,本文提出一种基于分层强化学习的多无人机协同围捕方法.该方法包含两个层级的学习过程:底层的子策略学习和高层的子策略切换.具体而言,将协同围捕任务分解为导航避障和导航避碰两个子任务,独立学习相应的底层子策略,分别赋予无人机协同围捕目标时所需的避障与避碰技能.在此基础上,设计带有切换惩罚的稀疏回报函数训练高层的子策略切换模块,避免了对人工定义规则的依赖,实现了底层技能的自动组合.数值仿真与软件在环实验结果表明,所提方法能够显著降低围捕策略的学习难度,相较于基线方法具有最高的围捕成功率.     

基于分层深度强化学习的移动机器人导航方法

针对现有基于深度强化学习(deep reinforcement learning, DRL)的分层导航方法在包含长廊、死角等结构的复杂环境下导航效果不佳的问题,提出一种基于option-based分层深度强化学习(hierarchical deep reinforcement learning, HDRL)的移动机器人导航方法.该方法的模型框架分为高层和低层两部分,其中低层的避障和目标驱动控制模型分别实现避障和目标接近两种行为策略,高层的行为选择模型可自动学习稳定、可靠的行为选择策略,从而有效避免对人为设计调控规则的依赖.此外,所提出方法通过对避障控制模型进行优化训练,使学习到的避障策略更加适用于复杂环境下的导航任务.在与现有DRL方法的对比实验中,所提出方法在全部仿真测试环境中均取得最高的导航成功率,同时在其他指标上也具有整体优势,表明所提出方法可有效解决复杂环境下导航效果不佳的问题,且具有较强的泛化能力.此外,真实环境下的测试进一步验证了所提出方法的潜在应用价值.     

动态环境中的多机器人协同搬运

在多机器人协同搬运过程中,针对传统的强化学习算法仅使用数值分析却忽略了推理环节的问题,将多机器人的独立强化学习与“信念-愿望-意向”（BDI）模型相结合,使得多机器人系统拥有了逻辑推理能力,并且,采用距离最近原则将离障碍物最近的机器人作为主机器人,并指挥从机器人运动,提出随多机器人系统位置及最近障碍物位置变化的评价函数,同时将其与基于强化学习的行为权重结合运用,在多机器人通过与环境不断交互中,使行为权重逐渐趋向最佳。仿真实验表明,该方法可行,能够成功实现协同搬运过程。     

基于MATD3算法的多智能体避碰控制

使用多智能体双延迟深度确定性策略梯度(Multi-agent Twin Delayed Deep Deterministic Policy Gradient,MATD3)算法研究了多无人机的避障和到达目标点问题,首先,利用MATD3算法的优越性提高训练效率。其次,基于人工势场法的思想设计了稠密碰撞奖励函数,使得智能体在没有找到最优解决方案时也能得到积极的反馈,加快学习速度。最后,在仿真实验阶段,通过设计的三组对比实验和泛化实验验证了算法的有效性。     

多智能体深度强化学习及可扩展性研究进展

多智能体深度强化学习近年来在解决智能体协作、竞争和通信问题上展现出巨大潜力。然而伴随着其在更多领域的应用;可扩展性问题备受关注;是理论研究到大规模工程应用的重要问题。回顾了强化学习理论和深度强化学习的典型算法;介绍了多智能体深度强化学习三类学习范式及其代表算法;并简要整理出当前主流的开源实验平台。详细探讨了多智能体深度强化学习在数量和场景上的可扩展性研究进展;分析了各自面临的核心问题并给出了现有的解决思路。展望了多智能体深度强化学习的应用前景和发展趋势;为推动该领域的进一步研究提供参考和启示。     

多智能体深度强化学习研究综述

多智能体深度强化学习是机器学习领域的一个新兴的研究热点和应用方向,涵盖众多算法、规则、框架,并广泛应用于自动驾驶、能源分配、编队控制、航迹规划、路由规划、社会难题等现实领域,具有极高的研究价值和意义.对多智能体深度强化学习的基本理论、发展历程进行简要的概念介绍;按照无关联型、通信规则型、互相合作型和建模学习型4种分类方...     

基于深度强化学习的舰载机动态避障方法

针对高度异构、动态的航母甲板作业场景中的舰载机避障问题,提出一种结合预测算法和深度强化学习的避障方法.该方法包含场景建模、奖励模型和轨迹预测模型等模块.首先基于智能体状态和动作空间对航母甲板场景进行建模;然后利用最小二乘法对场景中动态障碍物的位置进行实时轨迹预测,并构造了包含路径预测模块的深度强化学习方法——环境预测深度Q网络(PDQN);最后利用该方法实现航母甲板作业场景中的舰载机动态避障.利用Python绘图集Matplotlib进行仿真实验,实验数据结果表明,相比于Q-learning,SARSA等方法,所提方法的准确率提升了15%~25%,路径长度短9%~39%,平均奖励值高30%~100%,收敛速度快1~2倍且训练平稳后准确率的标准差小2%~50%.     

基于集群的网络仿真平台方案研究

本文在分析现有单机版/用户NS2仿真系统结构不足的基础上,提出了将通用集群作业管理软件与NS这个具体应用相结合的办法,并重点描述了基于集群的网络仿真平台方案实现。     

多智能体系统中的分布式强化学习研究现状

对目前世界上分布式强化学习方法的研究成果加以总结, 分析比较了独立强化学习、社会强化学习和群体强化学习三类分布式强化学习方法的特点、差别和适用范围, 并对分布式强化学习仍需解决的问题和未来的发展方向进行了探讨.