基于Q-Learning的无线传感器网络生命周期平衡路由

无线传感器网络(wireless sensor network,WSN)由于容易部署和安装成本低等优势,受到学术界和工业界的广泛关注。然而无线传感器网络的节点在能量、计算能力、存储能力和带宽等方面都存在很大的局限性,复杂的传统网络路由协议无法直接应用到该网络中,因而简单高效的路由协议成为无线传感器网络的研究重点。为了延长传感器的工作时间,文章基于增强学习算法提出一种平衡无线传感器网络生命周期的路由协议Q-WRP。该协议综合考虑了节点的能量、到汇聚节点的跳数、传输时延等信息,为每个转发节点分配计算一个转发质量(即Q值),最终根据各转发节点Q值的大小选择出最优的转发路径。NS2仿真结果表明,该算法延迟了网络第一个死亡节点的出现时间,可以有效平衡网络节点的生命周期。     

低开销的无线传感器网络下行路由协议

下行路由是无线传感器网络路由的一个重要组成部分.利用分布式编址算法为每个节点分配一个下行地址,在转发下行报文时,中间节点利用目的地址即可确定下一跳节点,从而可以通过单播转发实现基站到单个传感器节点的下行通信.在TinyOS上实现了编址算法和下行路由,仿真结果表明和基于广播转发的下行路由协议相比,该协议可以大幅减少报文转发次数,降低了路由开销.同时,因为减少了通信冲突,该下行路由协议对上行数据传输的影响也较小,适合那些既需要上行通信也需要频繁进行下行通信的无线传感器网络使用.     

基于蚁群算法的无线自组网络能量控制路由研究

在深入分析现有路由协议的基础上,提出了一种基于蚁群算法的能量控制路由模型。首先分析网络特性,建立节点移动和能量消耗数学模型;然后,建立基于蚁群算法的能量控制路由模型,通过计算节点剩余能量和节点度等确定数据传输过程中节点被选择的概率;最后选择高概率节点作为中间节点进行数据转发。仿真结果显示:相比典型的DSR路由协议,该算法可以为网络提供能量保障,延长网络生存时间,弥补已有算法的不足。     

拍卖博弈模型在无线传感器网络路由中的应用研究

为了提高无线传感器网络数据转发的可靠性及能量利用率,本文基于拍卖博弈建立了拍卖路由博弈模型,并提出一种进行转发节点选择的价格路由博弈算法.在算法中潜在的转发节点为了从发送节点获得虚拟货币而相互竞争,发送节点根据各个转发节点的标价选择最佳转发节点.实验仿真表明拍卖路由博弈模型的合理、有效,提出的价格路由博弈算法能够降低节点的能量消耗,延长网络的生命周期.     

一种基于节点位置信息的Ad Hoc网络路由算法

由于传统的DSR路由协议在路由选择时采取向邻居节点全部转发路由信息的策略，在路由请求过多时，容易引起转发次数过多而导致一些节点能量不足，进而导致网络瘫痪，而且在进行最终路由选择时没有充分考虑整个链路的移动性，所以不一定是最佳路由。文中利用移动Ad Hoe网络节点的位置信息提出了一种对DSR路由协议进行改进的路由算法PBDSR。该算法利用通信节点的位置信息构建路由选择区域，取代了传统DSR协议贪婪转发机制，引用链路总体距离和移动性参数作为路由选择的权，可以选择出一种节能路由。仿真表明可以使网络的生存周期和稳定性得到较大改善。     

基于分组转发状况的车载自组织网络路由算法研究

路由协议算法是车载自组织网络的一个重要研究方向.目前多数车载自组织网络路由协议算法根据一些间接表征因素(如源到目的节点的最短距离、车流量密度等)来判断最优转发路径,但是这些表征因素还都停留在理论假设阶段,能否反应真实的路况、表示实事上最优的路径并无定论.提出一种基于分组转发状况的车载自组织网络路由协议算法,旨在根据分组...     

一种无线传感器网络安全路由算法研究

路由则是无线传感器网络中的关键一环，路由攻击有可能破坏和降低无线传感器网络的功能。可靠的路由协议对于路由安全和无线传感器网络的效率至关重要。目前已有大量研究来建立路由节点之间的信任，包括使用加密方法和集中式路由。由于难以正确识别不受信任的路由节点活动，大多数路由技术还无法得到实际应用。本文提出了一种融合区块链基础设施和深度神经网络的可信安全路由算法，以提高无线传感器网络路由的安全性和效率。为了验证传输过程，利用区块链网络内的权威证明共识机制，通过深度学习方法选择校对所需的验证器，该模型优先考虑了每个节点的特征，然后利用马尔科夫决策过程确定合适的下一跳作为能够安全传输消息的转发节点。实验结果表明，本文所提的路由算法在50%的恶意节点路由情况下优于已有的路由算法。     

基于Grover搜索思想的无线自组网络路由算法研究

无线自组网络是近年来无线网络研究的热点领域,路由算法设计作为无线自组网络的核心层技术而备受关注。在深入分析已有算法存在的诸多不足的基础上,本文提出了一种基于Grover搜索思想的无线自组网络路由算法。该算法首先分析了Grover算法的原理,给出了适合无线自组网络的概率扩散矩阵和解径矩阵的构造方式,然后在此基础上定义了概率计算公式计算每个节点的概率,通过选择高概率节点进行数据转发,从而减少网络计算量,使得路由尽快收敛。仿真结果表明:相比经典的DSR路由协议,该算法得到的路由跳数性能上接近最短跳数,但是建立路由过程中转发节点个数得以大大降低。     

一种解决GEAR路由空洞问题的新方案

无线传感器网络中的GEAR路由协议在解决路由空洞问题时,会出现短暂路由环现象,使分组转发跳数增大,浪费更多的网络能量.基于反馈避免的思想提出一种改进的GEAR路由算法,当转发节点发现自身为空洞节点时,便向其邻节点广播hole信息,在分组转发时,邻节点将该节点标记为空洞节点,转发节点修改自身的综合代价,从而绕开该空洞节点...     

基于局部更新策略的DBR路由协议改进算法

DBR协议是水下无线传感器网络中的一个基于深度信息的路由协议,该协议算法采用节点的深度信息作为转发数据的依据,并通过简单广播的形式来转发数据。提出了改进算法,引入了局部更新概念,从而增强了DBR协议的节能效果,并且在一定程度上防止路由空洞。仿真结果表明,改进后的DBR协议能有效地减少网络耗能,并且没有出现路由空洞。     

基于强化学习的无人机自组网路由研究综述

无人机自组织网络（FANET）被广泛应用于军事、应急救灾和环境监测等情况下的网络通信服务,良好的路由协议能为其在通信条件恶劣场景下的可靠传输提供保障。利用强化学习将路由选择描述为一个马尔可夫决策过程进行路由决策成为研究热点。为了更进一步地介绍和挖掘基于强化学习的FANET路由协议研究现状,首先介绍近几年来FANET传统路由协议上的一些改进;其次,基于强化学习的FANET路由协议研究的最新调研结果进行详细的介绍;同时,对路由研究算法中的状态、动作和奖励等建模规律进行深度挖掘,从路由的优化标准和强化学习优化过程等方面进行了比较;最后,根据目前基于强化学习FANET路由协议的研究现状进行总结和展望。     

传感器网络中基于轨迹的多路径容错路由算法

基于轨迹提出一种新的多路径构造算法,其基本思想是源节点根据目的节点位置信息选择几条合适的转发路径,中间节点根据不同的贪婪转发策略建立相应的动态转发表转发报文。和其他算法相比,新算法具有分布式特性,路径建立只需局部信息即可;算法实现简单,无须大量的计算。理论分析和模拟实验也表明,新算法具有较好的容错性。     

强化学习在车辆路径问题中的研究综述

车辆路径问题是物流运输优化中的核心问题,目的是在满足顾客需求下得到一条最低成本的车辆路径规划。但随着物流运输规模的不断增大,车辆路径问题求解难度增加,并且对实时性要求也不断提高,已有的常规算法不再适应实际要求。近年来,基于强化学习算法开始成为求解车辆路径问题的重要方法,在简要回顾常规方法求解车辆路径问题的基础上,重点总结基于强化学习求解车辆路径问题的算法,并将算法按照基于动态规划、基于价值、基于策略的方式进行了分类;最后对该问题未来的研究进行了展望。     

A knowledge-based inference multicast protocol using adaptive fuzzy Petri nets

Multicast routing protocols need a new path discovery algorithm for a newly joining node (receiver) in an ad hoc network. One issue of the approach to find the nearest forwarding node for a new node is that it may increase the distance between the source node and the new members, which results in an increase in latency time and packet loss, as compared with the shortest path algorithms. This issue is important in a high collision network. In this paper, we propose a knowledge-based inference approach for a new path discovery for multicasting. A fuzzy Petri net agent, which is a special expert system, is introduced at each node to learn and to adjust itself to fit the dynamic conditions in a multicast ad hoc network. The simulation results show that the proposed approach is up to 67.17% more efficient in the packet delivery ratio as compared with a bandwidth effective multicast routing protocol.     

移动社会网络中基于活动的消息机会转发

针对移动社会网络中节点移动形成的成簇特性和节点参与活动表现的周期特点,提出了一种基于活动的消息机会转发算法（activity-based message opportunistic forwarding,简称AMOF）.算法思想是：当消息携带节点与目的节点存在相同活动时,选择消息交付概率高的中继节点转发消息;当消息携带节点与目的节点不存在相同活动时,选择消息间接交付概率高的链路来转发消息.仿真结果表明,与经典路由算法（如Epidemic,PRoPHET,CMOT和CMTS）比较,所提出的路由算法不仅能够提高消息的传输成功率,还能有效地降低传输时延和网络负载.     

基于深度强化学习的多配送中心车辆路径规划

多配送中心车辆路径规划(multi-depot vehicle routing problem, MDVRP)是现阶段供应链应用较为广泛的问题模型,现有算法多采用启发式方法,其求解速度慢且无法保证解的质量,因此研究快速且有效的求解算法具有重要的学术意义和应用价值.以最小化总车辆路径距离为目标,提出一种基于多智能体深度强化学习的求解模型.首先,定义多配送中心车辆路径问题的多智能体强化学习形式,包括状态、动作、回报以及状态转移函数,使模型能够利用多智能体强化学习训练;然后通过对MDVRP的节点邻居及遮掩机制的定义,基于注意力机制设计由多个智能体网络构成的策略网络模型,并利用策略梯度算法进行训练以获得能够快速求解的模型;接着,利用2-opt局部搜索策略和采样搜索策略改进解的质量;最后,通过对不同规模问题仿真实验以及与其他算法进行对比,验证所提出的多智能体深度强化学习模型及其与搜索策略的结合能够快速获得高质量的解.     

高速公路通信中间件的设计和实现

提出一种基于动态路由算法的通信中间件设计思路,并给出实现该中间件所使用的具体技术手段和实现方法。该中间件实现了多协议适配、自动路由、消息转发、对等网络等功能,尤其在复杂拓扑网络条件下具有良好的网络自适应能力。相比传统的通信中间件的静态路由管理,该中间件的动态路由能力具有更大的灵活性和适应性,在某些网络体系复杂以及软件系统庞大的行业和领域,该中间件有着良好的应用前景和巨大的市场价值。     

多智能体博弈强化学习研究综述

使用深度强化学习解决单智能体任务已经取得了突破性的进展。由于多智能体系统的复杂性,普通算法无法解决其主要难点。同时,由于智能体数量增加,将最大化单个智能体的累积回报的期望值作为学习目标往往无法收敛,某些特殊的收敛点也不满足策略的合理性。对于不存在最优解的实际问题,强化学习算法更是束手无策,将博弈理论引入强化学习可以很好地解决智能体的相互关系,可以解释收敛点对应策略的合理性,更重要的是可以用均衡解来替代最优解以求得相对有效的策略。因此,从博弈论的角度梳理近年来出现的强化学习算法,总结当前博弈强化学习算法的重难点,并给出可能解决上述重难点的几个突破方向。     

Supervised fuzzy reinforcement learning for robot navigation

This paper addresses a new method for combination of supervised learning and reinforcement learning (RL). Applying supervised learning in robot navigation encounters serious challenges such as inconsistent and noisy data, difficulty for gathering training data, and high error in training data. RL capabilities such as training only by one evaluation scalar signal, and high degree of exploration have encouraged researchers to use RL in robot navigation problem. However, RL algorithms are time consuming as well as suffer from high failure rate in the training phase. Here, we propose Supervised Fuzzy Sarsa Learning (SFSL) as a novel idea for utilizing advantages of both supervised and reinforcement learning algorithms. A zero order Takagi–Sugeno fuzzy controller with some candidate actions for each rule is considered as the main module of robot's controller. The aim of training is to find the best action for each fuzzy rule. In the first step, a human supervisor drives an E-puck robot within the environment and the training data are gathered. In the second step as a hard tuning, the training data are used for initializing the value (worth) of each candidate action in the fuzzy rules. Afterwards, the fuzzy Sarsa learning module, as a critic-only based fuzzy reinforcement learner, fine tunes the parameters of conclusion parts of the fuzzy controller online. The proposed algorithm is used for driving E-puck robot in the environment with obstacles. The experiment results show that the proposed approach decreases the learning time and the number of failures; also it improves the quality of the robot's motion in the testing environments.     

Explanation of Performance Degradation in Turn Model

The Turn model routing algorithms for mesh interconnection network achieve partial adaptivity without any virtual channels. However, the routing performance measured by simulations is worse than with the simple deterministic routing algorithm. Authors have explained these results simply by uneven dynamic load through the network. However, this phenomenon has not been studied further. This paper investigates performance degradation with Turn model and drawbacks of partially adaptive routing in comparison with the deterministic routing, and it introduces some new concepts. Our simulations deal with individual channels and results are presented by 3D graphs, rather than by commonly used averages. An additional parameter—channel occupation, which is consistent with queuing theory commonly used in many proposed analytical models, is introduced. We also propose a new structure, the Channel Directions Dependency Graph (CDDG). It provides a new approach in analysis, helps in understanding of dynamic routing behaviour, and it can be generalized in other routing algorithms.