面向车联网的多智能体强化学习边云协同卸载

车联网边缘计算是实现车联网系统低时延和高可靠性的关键技术,但现有方法普遍存在场景趋同和系统建模局限的问题,同时包含复杂的训练过程并面临维灾风险.通过结合云计算技术,提出一种基于多智能体强化学习的边云协同卸载方案.依据随机几何理论计算卸载节点覆盖概率,对车辆节点与卸载对象进行预配对.利用线性Q函数分解方法反映每个智能体多...     

车联网D2D通信中最大化频谱资源利用率分配算法

无线通信技术快速发展,终端设备不断增多,为缓解这一现象,提升系统网络容量,针对车联网蜂窝D2D(device to device)通信资源分配问题,提出了一种最大化频谱资源利用率分配算法.该算法以最大化频谱资源利用率为优化目标,在满足车联网通信的基本服务质量(quality of service,QoS)下,通过V2V(vehicle to vehi-cle)和V2P(vehicle to people)共享信道资源来提高频谱资源利用率.首先利用信道状态信息定义的链路增益因子为终端用户找到潜在的通信链路集合;然后证明终端用户复用链路资源时功率分配问题为一个凸优化问题,利用凸优化理论求得最优传输功率;随后求解最优的信道匹配问题,此问题为多对一的加权匹配问题,为降低算法复杂度用KM(Kuhn Munkres)算法来求解.仿真结果表明,所提算法较其他算法能够有效地提升系统吞吐量、提高频谱资源利用率、提升网络性能,优化车联网通信资源分配问题.     

基于强化学习的车联网隐私保护和资源优化策略

车联网使人们的生活更加智能便捷,但是数据隐私问题和车辆有限的本地资源状况严重阻遏了其未来发展。为了解决上述问题,提出了基于联邦学习和强化学习的车联网隐私保护和资源优化策略。系统中的隐私保护模块通过全局模型下发和上传的方式代替传统的原始数据交互,解决了传统算法的数据和隐私泄露问题;资源优化模块通过建立强化学习决策模块对系统资源进行评估,选择具有最长远效益的决策,优化有限的系统资源。仿真结果表明：本文中提出的基于强化学习选择算法相较于联邦学习交互算法,系统总能耗降低77%以上;相较于传统算法,基于强化学习选择算法传输数据量降低了98.49%。     

基于QMix的车辆云计算资源动态分配方法

城市交通智能化和通信技术的进步会产生大量基于车辆的应用,但目前车辆有限的计算资源无法满足车辆应用的计算需求与延迟性约束。车辆云（VC）可以高效地调度资源,从而显著降低任务请求的延迟与传输成本。针对VC环境下任务卸载与计算资源分配问题,提出一个考虑异质车辆和异质任务的计计资源分配算法。对到达的任务构建M/M/1队列模型与计算模型,并定义一个效用函数以最大化系统整体效用。针对环境中车辆地理分布的高度动态系统变化,提出基于双时间尺度的二次资源分配机制（SRA）,使用两个不同时间尺度的资源分配决策动作,对其分别构建部分可观测马尔可夫决策过程。两个决策动作通过执行各自的策略获得的奖励进行连接,将问题建模为两层计算资源分配问题。在此基础上提出基于二次资源分配机制的多智能体算法SRA-QMix求解最优策略。仿真结果表明,与深度确定性策略梯度算法对比,该算法的整体效用值和任务完成率分别提高了70%、6%,对于QMix和MADDPG算法分别应用SRA后的任务完成率分别提高了13%与15%,可适用于动态的计算资源分配环境。     

基于联邦学习的车联网多维资源动态分配算法

考虑到车联网系统中多维资源消耗会随时间波动的特性和用户对高效计算服务以及数据隐私安全的需求,提出了一种基于联邦学习的车联网多维资源分配方法。一方面,综合考虑计算、缓存和带宽资源分配,保证计算任务的完成率,避免多维资源的冗余分配,基于该目标设计了一种深度学习算法,通过边缘服务器收集的数据预测各项资源的消耗量,以此为依据分配多维资源;另一方面,考虑到用户的数据隐私安全需求造成的数据孤岛问题,采用联邦学习架构以获得泛化性较好的神经网络模型。该算法能随时间调整多维资源的分配量,满足随时间变动的资源需求,保证车联网系统中计算任务的高效完成。实验结果表明该算法具有收敛速度快、模型泛化性好等特点,能以较少的通信轮数完成联邦学习的聚合。     

强化学习算法与应用综述

强化学习是机器学习领域的研究热点,是考察智能体与环境的相互作用,做出序列决策、优化策略并最大化累积回报的过程.强化学习具有巨大的研究价值和应用潜力,是实现通用人工智能的关键步骤.本文综述了强化学习算法与应用的研究进展和发展动态,首先介绍强化学习的基本原理,包括马尔可夫决策过程、价值函数、探索-利用问题.其次,回顾强化学习经典算法,包括基于价值函数的强化学习算法、基于策略搜索的强化学习算法、结合价值函数和策略搜索的强化学习算法,以及综述强化学习前沿研究,主要介绍多智能体强化学习和元强化学习方向.最后综述强化学习在游戏对抗、机器人控制、城市交通和商业等领域的成功应用,以及总结与展望.     

基于强化学习的低时延车联网群密钥分配管理技术

车联网的通信密钥管理水平决定其信息保密性和抵御电子欺骗等基于用户身份的攻击的安全性。现有密钥管理方案采用固定频率更新车联网的群密钥,增大了密钥更新时延和加密时延。提出一种基于强化学习的低时延车联网群密钥分配管理技术,令群首车辆根据周边车辆数目变化和密钥更新记录等因素优化其群密钥的更新频率和密钥长度。该技术不需要群首车辆预知附近的车流变化模型与访问驱动高速缓存攻击模型,降低加解密时延,并在基于高级加密标准的车联网仿真进行验证。仿真结果表明,相比基准的群密钥管理方案,该技术降低密钥更新的传输时延,减少车联网的加解密计算时延,并提高群密钥的保密性。     

基于奖励高速路网络的多智能体强化学习中的全局信用分配算法

针对多智能体系统中联合动作空间随智能体数量的增加而产生的指数爆炸的问题,采用"中心训练-分散执行"的框架来避免联合动作空间的维数灾难并降低算法的优化代价.针对在众多的多智能体强化学习场景下,环境仅给出所有智能体的联合行为所对应的全局奖励这一问题,提出一种新的全局信用分配机制——奖励高速路网络(RHWNet).通过在原有...     

基于深度强化学习的无线电频谱均衡分配方法

为提升无线电均衡分配效果,提出基于深度强化学习的无线电频谱均衡分配方法。首先,建立无线电信道信干比水平最小和无线电系统吞吐量最大的目标函数,根据无线电系统通信特点设定约束条件;其次,利用深度强化学习技术对目标函数求解,获得最优无线电频谱均衡分配策略;最后,进行实验对比分析。实验结果表明,该方法的无线电总信干比水平和无线电吞吐量均高于两种传统方法。     

基于LTE-V2X的车联网资源分配算法

在车联网中的LTE-V2X系统中,资源分配包括集中式和分布式2种方式,针对分布式方式下SPS资源分配算法存在的半双工错误、隐藏终端错误和资源块冲突等问题,提出一种高速公路场景中基于行车方向的改进SPS算法.根据高速公路行车方向的特点,将资源池划分为2个子资源池,以减少相反方向车辆用户之间的潜在干扰.使每个资源块携带位置...     

车联网安全标准综述

车联网(IoV)安全标准是保障车联网产业发展的压舱石。为了让研究者全面清晰的了解IoV产业的安全需求,基于IoV的“云-管-端”三层体系架构,从IoV安全标准视角出发,统计分析了IoV的安全标准和政策文件,对比分析了国际和国内标准化组织发布的IoV安全标准的侧重点、总结了各层的安全需求、防护技术和安全标准之间的对应关系,给出了IoV安全标准的发展趋势和建设建议。     

Resource Allocation in the Grid with Learning Agents

One of the main challenges in Grid computing is efficient allocation of resources (CPU – hours, network bandwidth, etc.) to the tasks submitted by users. Due to the lack of centralized control and the dynamic/stochastic nature of resource availability, any successful allocation mechanism should be highly distributed and robust to the changes in the Grid environment. Moreover, it is desirable to have an allocation mechanism that does not rely on the availability of coherent global information. In this paper we examine a simple algorithm for distributed resource allocation in a simplified Grid-like environment that meets the above requirements. Our system consists of a large number of heterogenous reinforcement learning agents that share common resources for their computational needs. There is no explicit communication or interaction between the agents: the only information that agents receive is the expected response time of a job it submitted to a particular resource, which serves as a reinforcement signal for the agent. The results of our experiments suggest that even simple reinforcement learning can indeed be used to achieve load balanced resource allocation in large scale heterogenous system.     

基于深度强化学习的平行企业资源计划

传统的企业资源计划（Enterprise resource planning,ERP）采用静态化的业务流程设计理念,忽略了人的关键作用,且很少涉及系统性的过程模型,因此难以应对现代企业资源计划的复杂性要求.为实现现代企业资源计划的新范式,本文在ACP（人工社会（Artificial societies）、计算实验（Computational experiments）、平行执行（Parallel execution））方法框架下,以大数据为驱动,融合深度强化学习方法,构建基于平行管理的企业ERP系统.首先基于多Agent构建ERP整体建模框架,然后针对企业ERP的整个流程建立序贯博弈模型,最后运用基于深度强化学习的神经网络寻找最优策略,解决复杂企业ERP所面临的不确定性、多样性和复杂性.     

基于多重指标拍卖机制的车联网任务卸载策略

在5G移动边缘计算(MEC)的车联网场景中, 针对车辆任务卸载目标的选择问题, 设计了一种基于任务优先级的服务器选择方案. 综合考虑时间、能耗、成本等因素对卸载位置选择的影响, 提出了基于多重指标拍卖博弈的解决方法. 通过多重指标拍卖机制, 选择最优的MEC服务器为车辆提供任务卸载服务, 实现车辆与RSU协作的贝叶斯纳什均衡. 仿真结果表明, 该方案能在保障车辆任务卸载时间和能耗的约束条件下, 降低任务卸载的总费用, 满足多个性能指标.     

基于博弈学习的动态频谱分配算法研究

为了解决认知无线网络中的动态频谱分配问题,提高频谱利用率和避免干扰,提出了一种基于学习的库诺(Cournot)博弈模型,将授权用户对于空闲频谱的分配行为模拟为动态的博弈过程,并赋予授权用户学习的能力,通过对博弈过程中博弈者行为的学习和总结形成新的博弈策略,而且还比较了将最优反应学习算法和模拟退火算法应用到自适应博弈学习中系统的性能和用户的收益。仿真结果表明,两种算法均能够使授权用户通过学习达到策略的均衡,而有限理性下基于模拟退火的自适应博弈学习算法的鲁棒性更强,收敛性更好,且能够使授权用户获得更高的收益。     

物联网动态带宽资源分配算法及其应用

在物联网环境中,网络需要传输的数据和信息量急剧增加,从而造成带宽不足。为此,提出一种采用动态带宽资源分配算法的物联网远程机械控制方案,通过改变控制信号的采样速率,达到优化分配带宽资源的目的。仿真结果表明,在相同网络带宽条件下,该方案可降低重构信号的误差,并有效提高物联网系统智能分配带宽资源的能力。     

基于强化学习的无人机网络资源分配研究

以无人机网络的资源分配为研究对象,研究了基于强化学习的多无人机网络动态时隙分配方案,在无人机网络中,合理地分配时隙资源对改善无人机资源利用率具有重要意义;针对动态时隙分配问题,根据调度问题的限制条件,建立了多无人机网络时隙分配模型,提出了一种基于近端策略优化(PPO)强化学习算法的时隙分配方案,并进行强化学习算法的环境映射,建立马尔可夫决策过程(MDP)模型与强化学习算法接口相匹配;在gym仿真环境下进行模型训练,对提出的时隙分配方案进行验证,仿真结果验证了基于近端策略优化强化学习算法的时隙分配方案在多无人机网络环境下可以高效进行时隙分配,提高网络信道利用率,提出的方案可以根据实际需求适当缩短训练时间得到较优分配结果。