基于深度Q网络的人群疏散机器人运动规划算法

针对公共场合密集人群在紧急情况下疏散的危险性和效果不理想的问题，提出一种基于深度Q网络（DQN）的人群疏散机器人的运动规划算法。首先通过在原始的社会力模型中加入人机作用力构建出人机社会力模型，从而利用机器人对行人的作用力来影响人群的运动状态；然后基于DQN设计机器人运动规划算法，将原始行人运动状态的图像输入该网络并输出机器人的运动行为，在这个过程中将设计的奖励函数反馈给网络使机器人能够在"环境-行为-奖励"的闭环过程中自主学习；最后经过多次迭代，机器人能够学习在不同初始位置下的最优运动策略，最大限度地提高总疏散人数。在构建的仿真环境里对算法进行训练和评估。实验结果表明，与无机器人的人群疏散算法相比，基于DQN的人群疏散机器人运动规划算法使机器人在三种不同初始位置下将人群疏散效率分别增加了16.41%、10.69%和21.76%，说明该算法能够明显提高单位时间内人群疏散的数量，具有灵活性和有效性。     

基于人机社会力模型的人群疏散算法

针对公共场合紧急情况下人群疏散困难和效果有限的问题,提出一种基于人机社会力模型的机器人疏散人群的方法。首先,基于原始社会力模型提出了一种新的人机社会力模型,该模型在原始社会力模型的基础上加入了机器人对人作用的人机作用力;然后,基于人机社会力模型提出一种新的利用机器人疏散人群的方法,该方法在人群疏散场景中加入运动机器人,通过机器人自身的运动,利用人机作用力影响周围行人的运动状态,减小行人之间的压力,从而达到加快人群运动速度、提高人群疏散效率的目的。在室内封闭场景人群逃生、两群行人交错这两种典型的疏散场景中分别进行仿真实验,并将实验结果与未加入机器人的人群疏散结果进行对比分析,实验结果表明,基于人机社会力模型的机器人疏散人群的方法能够明显加快人群的运动,提高人群的疏散效率。     

基于深度强化学习和社会力模型的移动机器人自主避障

深度强化学习在移动机器人自主避障领域已得到广泛应用,其基本原理是通过模拟环境中的不断试错,结合奖励机制提升机器人的避障性能。然而,针对不同任务场景,网络训练效率存在显著差异。同时,在人群密集的场景中,机器人的行为可能对人类造成干扰。为了应对训练效率低下和机器人行为不符合社会规范的问题,提出了一种将社会力模型融入深度强化学习的自主避障策略。该策略首先将人类未来的运动轨迹考虑进奖励函数,以确保机器人理解人类意图并避免闯入人类的舒适区。其次,在训练过程中引入先验的传统控制器模型,并设计了一种基于概率的切换开关,以随机切换控制器输出,提高机器人的探索效率。实验结果表明,所提出的方法能够增加机器人与人类之间的安全距离,同时实现平稳导航。     

基于GPR和深度强化学习的分层人机协作控制

提出了一种基于高斯过程回归与深度强化学习的分层人机协作控制方法,并以人机协作控制球杆系统为例检验该方法的高效性.主要贡献是:1)在模型未知的情况下,采用深度强化学习算法设计了一种有效的非线性次优控制策略,并将其作为顶层期望控制策略以引导分层人机协作控制过程,解决了传统控制方法无法直接应用于模型未知人机协作场景的问题; 2)针对分层人机协作过程中人未知和随机控制策略带来的不利影响,采用高斯过程回归拟合人体控制策略以建立机器人对人控制行为的认知模型,在减弱该不利影响的同时提升机器人在协作过程中的主动性,从而进一步提升协作效率; 3)利用所得认知模型和期望控制策略设计机器人末端速度的控制律,并通过实验对比验证了所提方法的有效性.     

基于改进深度学习的变电站机器人巡检路径规划研究

随着智能电网的不断发展,变电站数量随之增加。针对变电站中巡检任务繁重以及人工巡检可视化水平低的问题,该文提出了一种基于改进深度强化学习的变电站机器人巡检路径规划方法。结合巡检机器人的运动模型,设计深度强化学习的动作和状态空间。将深度强化学习网络与人工势场相结合,重新构造深度强化学习的奖励函数,优化卷积神经网络结构。通过实际变电站场景进行验证,提出的改进深度强化学习算法较传统算法计算时间更短,效率更高,更有利于对变电站巡检机器人的巡检路径进行精准规划,提升变电站的自动化程度水平。     

面向智慧观光农业的无人机路径规划策略

为提高无人机在观光农业混合型无线传感器网络中的数据采集效率,提出一种基于深度强化学习的无人机路径规划策略。基于社会力模型引入人流参量,结合Semi-Markov-Option分层强化学习方法以降低模型复杂度,基于Rainbow算法提出SMO-Rainbow(Semi-Markov-Option-Rainbow)路径规划策略。在ε-greedy探索策略中引入Tanh函数,提出AT-ε-greedy(adaptive-Tanh-greedy)策略,进一步平衡深度强化学习模型训练中的探索与利用阶段。实验结果表明,在观光农业场景中,所提路径规划策略与其它深度强化学习无人机路径规划策略相比,数据采集效率与训练稳定性均更优,有效降低了模型训练难度。     

基于双层DQN的多智能体路径规划

目的 随着虚拟现实技术的发展,在虚拟场景中,基于多智能体的逃生路径规划已成为关键技术之一。与传统的火灾演习相比,采用基于虚拟现实的方法完成火灾逃生演练具有诸多优势,如成本低、代价小、可靠性高等,但仍有一定的局限性,为此,提出一种改进的双层深度Q网络（deep Q network,DQN）架构的路径规划算法。方法 基于两个结构相同的双Q网络,优化了经验池的生成方法和探索策略,并在奖励中增加火灾这样的环境因素对智能体的影响。同时,为了提高疏散的安全性和效率,提出了一种基于改进的K-medoids算法的多智能体分组策略方法。结果 相关实验表明提出的改进的双层深度Q网络架构收敛速度更快,学习更加稳定,模型性能得到有效提升。综合考虑火灾场景下智能体的疏散效率和疏散安全性,使用指标平均健康疏散值（average health evacuation value, AHEP）评估疏散效果,相较于传统的路径规划方法A-STAR（a star search algorithm）和DIJKSTRA（Dijkstra’s algorithm）分别提高了84%和104%;与基于火灾场景改进的扩展A-STAR和Dijkstra-ACO（Dijkstra and ant colony optimization）混合算法比较,分别提高了30%和21%;与考虑火灾影响的DQN算法相比,提高了20%,疏散效率和安全性都得到提高,规划的路径疏散效果更好。通过比较不同分组模式下的疏散效果,验证了对多智能体合适分组可以提高智能体疏散效率。结论 提出的算法优于目前大多数常用的方法,显著提高了疏散的效率和安全性。     

基于不确定性的深度强化学习探索方法综述

深度强化学习(DRL)近年来在诸多复杂序列决策问题场景中(如游戏人工智能、无人驾驶、机器人和金融等)都取得了重要的成就。然而,在诸多现实场景中,深度强化学习的应用面临着采样成本高昂、效率低下的问题。场景中无处不在的不确定性是影响采样效率的重要原因,基于不确定性的深度强化学习探索方法成为解决上述问题的重要手段。首先简要介绍了深度强化学习中的重要概念和主流算法,列举了三种经典探索方法,并对这些方法面对复杂场景时的不足之处进行了总结;之后,介绍了不确定性的概念,以及将不确定性引入DRL探索问题研究的背景,在此基础上进行了归纳整理,将基于不确定性的探索方法分为基于乐观性、基于环境不确定性、基于偶然不确定性三种形式,详细梳理了各类方法的基本原理和优缺点;最后,展望了基于不确定性的深度强化学习探索研究的挑战与可能的发展方向。     

基于深度学习的文本检测算法在银行运维中应用

银行故障单中故障的截图常存在与自然场景中,能够在该图中精确地进行文本检测,将可以提高文本识别的精确度,并提高案例库的搜索和主动运维能力.为了提高自然场景文本检测的效率,提出了一种基于深度学习的自然场景文本检测算法.算法首先提取出图像中的最大稳定极值区域作为候选字母,利用单链接层次聚类得到候选文本,对候选文本进行中值滤波,最后通过一个深度置信网络DBN来删除非文本候选.实验结果表明,基于DBN的方法能有效提高自然场景文本检测的准确率,比传统方法具有更好的结果.     

基于深度置信网络的Android恶意软件检测

针对采用重打包和代码混淆技术的Android恶意软件检测准确率低的问题,提出了一种基于深度置信网络的Android恶意软件检测算法。通过自动化提取Android应用软件的特征,构建对应的特征向量,训练基于深度置信网络的深度学习模型,实现了一种新的基于深度置信网络的Android恶意软件检测算法。实验结果表明,基于深度置信网络的深度学习模型可以更好地表征Android恶意软件,其检测效果也明显优于传统的机器学习模型。     

结合最短路径改进的社会力人群疏散仿真模型

社会力模型广泛应用于人群疏散仿真,针对该模型在仿真过程中存在行人停滞不前、无法通过非凸边形障碍物和疏散路径与行人实际选择的路径不相符等问题,提出了一种社会力改进模型。该模型基于场景中的障碍物生成路径节点,利用这些节点生成无向图,同时考虑了节点的安全系数和拥挤系数对节点通行性的影响生成最短疏散路径。通过改进后的社会力模型进行了多种场景的仿真实验,实验结果显示行人在复杂障碍物场景中能有效绕过障碍物,生成合理的疏散路径,表明该模型有效改善社会力模型,使人群疏散仿真更加真实。     

Extended route choice model based on available evacuation route set and its application in crowd evacuation simulation

In this study, we propose an extended route choice model based on an available evacuation route set to simulate the selection of pedestrians in selecting an appropriate route during evacuation in emergency situations. In this model, four parameters (i.e., distance to available route, length of available route, level of congestion in available route, and capacity of available exit) affect the route choice of the pedestrian and the evacuation route set. In this study, the evacuation route set is created and optimized by a modified social force model and a route learning method. Experimental results show that the extended model can effectively reproduce crowd behavior in an emergency situation, which can assist in analyzing emergency evacuation scenarios. Moreover, two important conclusions regarding increasing evacuation efficiency show that the proposed model is in line with real-world situations.     

人群应急疏散可视仿真研究进展和问题

人群应急疏散可视仿真是用智能体来模拟具有自主感知、情绪和行为能力的人群个体,并采用3维可视的方式来直观呈现人群应急疏散情景,可以为制定人群应急预案提供形象直观的分析方法。本文从人群仿真数据的来源、人群导航模型的构建、人群行为模型、人群情绪感染、人群渲染5个方面概述目前研究的进展,然后从仿真模型的可验证性、人群疏散导航模型的构建、人与环境的物理模型、动物逃生实验与仿真、疏散中的社会行为表现以及人群情绪的可视计算6个角度讨论需要进一步研究的问题。针对需要深入研究的问题,指出借助于紧急事件的视频监控分析和虚拟人群情景的用户调查,有助于完善人群仿真模型。结合物理模型,可以更准确地描述人群应急疏散场景。开展动物逃生实验分析,有助于完善人群运动导航算法。建立人群社会行为模型,可以更详细描述疏散中人群行为的多样性。构建基于多通道感知的人群情绪感染计算方法,可以详尽描述情绪感染的过程。人群应急疏散行为的可视仿真研究在城市的安全管理方面具有重要的应用前景,但其研究仍存在很多亟待解决的问题,综合地运用多学科知识,完善实验手段是进一步推动研究的关键所在。     

基于多任务强化学习的堆垛机调度与库位推荐

堆垛机调度是物流仓储自动化中的重要任务,任务中的出入库效率、货物存放等情况影响仓储系统的整体效益。传统调度方法在面对较大规模调度问题时,因处理大状态空间从而导致性能受限和收益降低。与此同时,库位优化与调度运行联系密切,但现有多数工作在处理调度问题时未能考虑到库位优化问题。为解决仓储中堆垛机调度问题,提出一种基于深度强化学习算法的近端策略优化调度方法。将调度问题视为序列决策问题,通过智能体与环境的持续交互进行自我学习,以在不断变化的环境中优化调度。针对调度中伴生的库位优化问题,提出一种基于多任务学习的调度、库位推荐联合算法,并基于调度网络构建适用于库位推荐的Actor网络,通过与Critic网络进行交互反馈,促进整体的联动和训练,从而提升整体效益。实验结果表明,与原算法模型相比,该调度方法的累计回报值指标平均提升了33.6%,所提的多任务学习的联合算法能有效地应对堆垛机调度和库位优化的应用场景,可为该类多任务问题提供可行的解决方案。     

基于改进Dijkstra算法的人群反馈调节疏散

针对苏州市金鸡湖城市广场在突发情况下的人群疏散问题,建立了基于实时动态的疏散网络路径规划模型,分析了大型公众区域复杂环境对人群疏散效率的影响.同时提出以人群逃离危险区域的终止时间作为权值参数改进Dijkstra算法,并且利用反馈补偿机制合理分配各出口的疏散人数,实现人群疏散的动态调整和路径规划.通过Pathfinder...     

人群环境中基于深度强化学习的移动机器人避障算法

为了控制移动机器人在人群密集的复杂环境中高效友好地完成避障任务,本文提出了一种人群环境中基于深度强化学习的移动机器人避障算法。首先,针对深度强化学习算法中值函数网络学习能力不足的情况,基于行人交互（crowd interaction）对值函数网络做了改进,通过行人角度网格（angel pedestrian grid）对行人之间的交互信息进行提取,并通过注意力机制（attention mechanism）提取单个行人的时序特征,学习得到当前状态与历史轨迹状态的相对重要性以及对机器人避障策略的联合影响,为之后多层感知机的学习提供先验知识;其次,依据行人空间行为（human spatial behavior）设计强化学习的奖励函数,并对机器人角度变化过大的状态进行惩罚,实现了舒适避障的要求;最后,通过仿真实验验证了人群环境中基于深度强化学习的移动机器人避障算法在人群密集的复杂环境中的可行性与有效性。     

低能见度环境下多出口场馆人群疏散研究

为了提高多出口场馆人群疏散效率,针对低能见度环境下多出口场馆人群疏散问题,在基本的社会力模型上加入了领导者吸引力和能见度范围的限制,建立了低能见度环境下多出口场馆人群疏散仿真模型,研究低能见度条件下人群疏散行为及疏散领导者对疏散结果的影响。在改进的社会力模型中,每个待疏散人员只对能见度范围内的其他个体或墙壁存在心理作用力,并且只有疏散领导者和出口附近的个体能够准确地判断出口位置,而其他个体只能根据能见度范围内的环境信息或疏散领导者的领导进行疏散。仿真结果显示,该模型可以较好地模拟出低能见度环境下多出口场馆人群疏散情形,疏散领导者选择距离最近的出口为疏散方向,普通个体会跟随能见度范围内的大多数个体或疏散领导者进行疏散,且疏散领导者的存在和其初始位置的合理设定能够提高疏散效率。     

考虑分类人群行为的建筑疏散模型研究

人员行为决定了应急疏散时人群的时空分布,是研究疏散动力学的关键。考虑疏散时人员的心理特性与身份状态,将人群分为恐慌人群、易感人群、冷静人群和管理人群四类,基于社会力模型表达各类人群的疏散行为特征,并开展不同情境的疏散动力学过程分析。研究发现行人的恐慌心理具有传播作用,对其他行人的疏散行为有明显的影响,而管理人员的引导作用对疏散有积极影响,当其比例在10%~15%的时候效果显著,且合适的位置更易提高疏散效率;人员的服从水平越大,疏散效率越高。提出的分类人群疏散行为模型能为建筑安全疏散评估与优化提供理论支持。