基于吸收态马尔可夫链的智能无人车系统实时性能分析

随着人工智能技术的进步和人机物融合系统的发展,智能无人车系统成为了新一代人工智能研究的前沿.智能无人车系统根据车辆和环境数据进行实时决策以控制无人车运行,因而该系统具有较高的实时性能要求,对系统实时性的分析是保障系统安全可靠的方法之一.为了对智能无人车系统的实时性能进行分析,以智能无人车变道系统为例,首先使用MARTE模型对智能无人车变道系统进行建模,在系统设计早期就引入性能需求参数;然后,通过模型转换将MARTE模型转化为吸收态马尔可夫链;最后,利用吸收态马尔可夫链的相关理论和公式综合估算了智能无人车系统的实时性能指标,并针对影响整个系统实时性的关键模块进行了分析.实验结果表明,文中所提模型和分析方法可以较好地分析智能无人车系统的实时性能.分析发现系统中智能模块的准确率与响应时间相互制约,在不同的运行场景下需要找到二者之间的平衡点以获得更优的实时性能.     

多智能体分层强化学习综述

作为机器学习和人工智能领域的一个重要分支,多智能体分层强化学习以一种通用的形式将多智能体的协作能力与强化学习的决策能力相结合,并通过将复杂的强化学习问题分解成若干个子问题并分别解决,可以有效解决空间维数灾难问题。这也使得多智能体分层强化学习成为解决大规模复杂背景下智能决策问题的一种潜在途径。首先对多智能体分层强化学习中涉及的主要技术进行阐述,包括强化学习、半马尔可夫决策过程和多智能体强化学习;然后基于分层的角度,对基于选项、基于分层抽象机、基于值函数分解和基于端到端等4种多智能体分层强化学习方法的算法原理和研究现状进行了综述;最后介绍了多智能体分层强化学习在机器人控制、博弈决策以及任务规划等领域的应用现状。     

基于博弈论的多车智能驾驶交互决策综述

智能驾驶是交通和汽车领域未来发展的重要方向,决策规划作为智能驾驶系统中的关键模块,一直是其重点研究领域之一.当前的研究热点正在从单车智能驾驶决策向混行交通场景下的多车智能驾驶决策进行拓展,因此,需要在复杂动态场景和多并行任务下生成符合车辆动力学且不与道路边界和其他交通参与者发生碰撞的高质量轨迹.多车混行驾驶是对道路时空资源的竞争性使用,博弈论可为多车交互决策提供重要的理论与技术手段.对此,应用博弈论方法进行智能驾驶决策研究的综述,基于滚动时域、微分博弈和马尔科夫博弈这3类常用的博弈模型,对现有相关研究进行归类总结和分析.首先简要介绍博弈论基础知识;其次,总结常见的智能驾驶场景并分析各场景下交互决策的核心问题;然后,通过3种不同的博弈模型对多车交互决策进行建模,分别介绍它们的求解算法和思路及相关的研究工作;最后,介绍相关的仿真实验和测试方法,同时也对未来的技术发展和挑战给出见解.     

无人驾驶汽车决策系统的规则正确性验证

无人驾驶车辆技术是当前科学研究的重点领域之一,目前无人车决策系统的开发过程中面临着安全性不足的问题。针对该问题,提出了验证驱动的基于代码自动生成的无人车决策系统开发框架。该框架利用模型检验技术对无人车决策系统进行环境建模,通过验证可以发现无人车决策系统的设计过程中不易发觉的缺陷,解决其安全性不足的问题,同时能够将安全检查与软件开发同步,降低其维护成本。基于该框架,设计并实现了无人车决策系统辅助开发工具UNMANNED_RULE_EDIT(URE),目前该工具已初步应用于国内某单位研制的无人车上,为其开发研制工作提供了帮助。     

多智能体深度强化学习及其可扩展性与可迁移性研究综述

得益于深度学习强大的特征表达能力和强化学习有效的策略学习能力,深度强化学习在一系列复杂序贯决策问题中取得了令人瞩目的成就.伴随着深度强化学习在诸多单智能体任务中的成功应用,其在多智能体系统中的研究方兴未艾.近年来,多智能体深度强化学习在人工智能领域备受关注,可扩展与可迁移性已成为其中的核心研究点之一.鉴于此,首先阐释深度强化学习的发展脉络和典型算法,介绍多智能体深度强化学习的3种学习范式,分析两类多智能体强化学习的典型算法,即分解值函数方法和中心化值函数方法;然后归纳注意力机制、图神经网络等6类具有可扩展性的多智能体深度强化学习模型,梳理迁移学习和课程学习在多智能体深度强化学习可迁移性方向的研究进展;最后讨论多智能体深度强化学习的应用前景与研究方向,为未来多智能体深度强化学习的进一步发展提供可借鉴的参考.     

智能制造领域中深度强化学习的应用综述

深度强化学习在智能制造领域具有广泛的应用前景。文章概述了相关文献的综述,总结了深度强化学习在智能制造领域的几个主要应用方向,如自动化控制、智能优化调度、故障预测与维修、品质控制与质量预测以及智能物流和供应链管理。在这些领域,深度强化学习利用深度学习网络和强化学习算法,能够实现更高效、更精准、更智能化的制造过程控制和管理。同时,探讨了深度强化学习在智能制造中面临的挑战和未来发展方向。这些研究对推动智能制造领域的发展,提高制造过程的效率和质量具有重要意义。     

分层强化学习研究进展*

首先介绍了半马尔可夫决策过程、分层与抽象等分层强化学习的理论基础;其次,较全面地比较HAM、options、MAXQ和HEXQ四种典型的学习方法,从典型学习方法的拓展、学习分层、部分感知马尔可夫决策过程、并发和多agent合作等方面讨论分层强化学习的研究现状;最后指出分层强化学习未来的发展方向。     

基于ROS平台的智能车运动线控系统设计及实现

针对无人操作智能车辆依靠特定硬件平台等问题,提出了一种基于ROS平台的无人小车的低成本运动线控系统解决方案。该方案基于上位机和下位机的控制结构,上位机代替驾驶员的功能负责决策,下位机负责执行命令。重点给出了上位机、下位机以及上下位机通信的软硬件设计思路和方法,并在ROS平台上使用了Modbus通信,构建了一个结构相对简单、功能可行的低速的无人车运动控制系统。该解决方案的所有软件都是开源或可自行设计的,为更多的研究人员以更低成本研究无人智能车提供了参考。实验结果表明,该运动控制系统解决方案是可行并且有效的,未来可应用于园区、学校等地的小型无人车的控制系统设计。     

强化学习的地-空异构多智能体协作覆盖研究

以无人机（unmanned aerial vehicle, UAV）和无人车（unmanned ground vehicle, UGV）的异构协作任务为背景,通过UAV和UGV的异构特性互补,为了扩展和改进异构多智能体的动态覆盖问题,提出了一种地-空异构多智能体协作覆盖模型。在覆盖过程中,UAV可以利用速度与观测范围的优势对UGV的行动进行指导;同时考虑智能体的局部观测性与不确定性,以分布式局部可观测马尔可夫（decentralized partially observable Markov decision processes,DEC-POMDPs）为模型搭建覆盖场景,并利用多智能体强化学习算法完成对环境的覆盖。仿真实验表明,UAV与 UGV间的协作加快了团队对环境的覆盖速度,同时强化学习算法也提高了覆盖模型的有效性。     

海上无人装备体系应用研究

随着无人技术、智能技术的深化发展,无人潜航器、无人水面艇、水下预置武器、无人机等海上无人装备作战能力不断增强,在海战中发挥着越来越重要的作用。主要分析了海上无人装备任务场景、作战样式、作战特点和能力需求,梳理了装备发展趋势和技术瓶颈难点,围绕海上无人装备体系能力的生成和应用,提出了开展无人装备体系建设的若干建议,以期抛砖引玉,共同应对未来智能海战的颠覆式变革。     

基于混合整数规划的智能车横纵向一体化滚动优化决策

本文针对智能车辆的行为决策问题, 设计了基于混合整数规划的智能车横纵向一体化滚动优化决策方法. 该方法首先将纵向车速表示为非整数, 将期望车道表示为整数控制量, 建立了混合整数智能车决策简化模型; 然后, 设计了横纵向一体化滚动优化决策方法, 决策出纵向车速和换道动作, 根据系统输出与非线性约束的时域关系证明 了优化问题的递归可行性并通过遗传算法求解非线性混合整数规划优化问题. 基于车辆动力学仿真软件veDYNA 和Simulink进行了联合仿真, 并在红旗E-HS3智能车上开展了实车试验, 结果表明, 本文提出的基于混合整数规划的 智能车横纵向一体化决策方法能够实现超车、避障、跟车、停车和弯道工况下的行为决策.     

基于强化学习的智能车间调度策略研究综述

智能制造是我国制造业发展的必然趋势,而智能车间调度是制造业升级和深化“两化融合”的关键技术。主要研究强化学习算法在车间调度问题中的应用,为后续的研究奠定基础。其中车间调度主要包括静态调度和动态调度;强化学习算法主要包括基于值函数和AC（Actor-Critic）网络。首先,从总体上阐述了强化学习方法在作业车间调度和流水车间调度这两大问题上的研究现状;其次,对车间调度问题的数学模型以及强化学习算法中最关键的马尔可夫模型建立规则进行分类讨论;最后,根据研究现状和当前工业数字化转型需求,对智能车间调度技术的未来研究方向进行了展望。     

强化学习算法与应用综述

强化学习是机器学习领域的研究热点, 是考察智能体与环境的相互作用, 做出序列决策、优化策略并最大化累积回报的过程. 强化学习具有巨大的研究价值和应用潜力, 是实现通用人工智能的关键步骤. 本文综述了强化学习算法与应用的研究进展和发展动态, 首先介绍强化学习的基本原理, 包括马尔可夫决策过程、价值函数、探索-利用问题. 其次, 回顾强化学习经典算法, 包括基于价值函数的强化学习算法、基于策略搜索的强化学习算法、结合价值函数和策略搜索的强化学习算法, 以及综述强化学习前沿研究, 主要介绍多智能体强化学习和元强化学习方向. 最后综述强化学习在游戏对抗、机器人控制、城市交通和商业等领域的成功应用, 以及总结与展望.     

基于集散决策体系结构的智能车辆自主导航

智能车辆的体系结构作为智能车辆系统的基础,在构建智能车辆前必须得到合理的设计。为保证智能车辆系统的实时性和智能性,提出了基于集散决策的智能车辆体系结构。该结构由信息感知、规划决策、执行3个基本模块组成,其中规划决策分为低层次的分散决策和高层次的集中决策;分散决策对各种环境信息进行并行处理以得到各局部决策结果,集中决策对各分散决策结果进行综合判断并做出最终决策。按照以上设计思想,对道路环境下的智能车辆体系结构进行了仿真,同时实际构建了智能车辆车道识别及跟踪系统的体系结构。并进行了系统设计及实车试验。仿真结果表明,智能车辆能够根据实际环境信息做出合理决策,顺利完成车道跟踪、车距保持、换道行驶等任务。试验结果表明,在该体系结构控制下的智能车辆系统能够准确、可靠地完成车道识别、车道跟踪及车速保持任务。     

基于机器学习的医疗决策支持系统综述

利用健康医疗领域的海量临床数据进行辅助医疗决策支持是智慧医疗的核心技术和必然的发展趋势。医疗决策支持主要包括疾病风险预测与疾病智能诊断两方面，以临床积累和实时获取的多种数据来源为基础，通过多种机器学习算法实现对患者疾病类型的分类或者对患病风险的预测。从医疗决策支持的概念和方法框架出发，按照不同疾病种类，总结了当前采用的机器学习诊断和预测方法，着重介绍这些方法的特点和区别，并对存在的挑战和未来发展进行分析。     

有效智慧学习环境的设计框架

随着信息技术的深入发展，使学习系统智能化是计算机科学和教育领域许多研究人员的共同目标。近年来， 智慧教室、智慧学习环境、下一代学习空间成为研究热点。文章系统梳理了智慧学习环境的定义、功能要素，站在认知学习视 角，提出了有效智慧学习环境的设计理念与技术模块设计框架。     

结合状态机和动态目标路径的无人驾驶决策仿真

目的 决策系统是无人驾驶技术的核心研究之一。已有决策系统存在逻辑不合理、计算效率低、应用场景局限等问题,因此提出一种动态环境下无人驾驶路径决策仿真。方法 首先,基于规则模型构建适于无人驾驶决策系统的交通有限状态机;其次,针对交通动态特征,提出基于统计模型的动态目标路径算法计算状态迁移风险;最后,将交通状态机和动态目标路径算法有机结合,设计出一种基于有限状态机的无人驾驶动态目标路径模型,适用于交叉口冲突避免和三车道换道行为。将全速度差连续跟驰模型运用到换道规则中,并基于冲突时间提出动态临界跟车距离。结果 为验证模型的有效性和高效性,对交通环境进行虚拟现实建模,模拟交叉口通行和三车道换道行为,分析文中模型对车流量和换道率的影响。实验结果显示,在交叉口通行时,自主车辆不仅可以检测冲突还可以根据风险评估结果执行安全合理的决策。三车道换道时,自主车辆既可以实现紧急让道,也可以通过执行换道达成自身驾驶期望。通过将实测数据和其他两种方法对比,当车流密度在0.20.5时,本文模型的平均速度最高分别提高32 km/h和22 km/h。当车流密度不超过0.65时,本文模型的换道成功率最高分别提升37%和25%。结论 实验结果说明本文方法不仅可以在动态城区环境下提高决策安全性和正确性,还可以提高车流量饱和度,缓解交通堵塞。     

一种基于强化学习的学习Agent

强化学习通过感知环境状态和从环境中获得不确定奖赏值来学习动态系统的最优行为策略,是构造智能Agent的核心技术之一,在面向Agent的开发环境AODE中扩充BDI模型,引入策略和能力心智成分,采用强化学习技术实现策略构造函数,从而提出一种基于强化学习技术的学习Agent,研究AODE中自适应Agent物结构和运行方式,使智能Agent具有动态环境的在线学习能力,有效期能够有效地满足Agent各种心智要求。     

遗传算法在逃逸机动策略中的应用研究

分析了基于强化学习原理和遗传算法的序贯决策规则的自动学习方法,从规划报偿和规则激活度的角度讨论和研究了规则的信度分配问题,解决了在大的状态空间中搜索和延迟评价问题,为处理复杂的决策过程提供了一种行之有效的方法。基于该方法实现了飞机的逃逸机动策略,仿真结果表明了该方法的有效性。