基于强化学习的无人驾驶车辆行为决策方法研究进展

行为决策系统能够综合环境及自车信息,使自动驾驶车辆产生安全合理的驾驶行为,是实现无人驾驶的核心.强化学习算法采用一种自监督学习的方式,使自动驾驶车辆的决策系统在与环境的交互过程中,通过不断改进自身策略自主学习到最优的决策模型,为构建有效的决策系统提供了方向.文中总结了近年来基于强化学习的行为决策方法在提高决策精度、提高...     

基于深度强化学习的端到端无人驾驶决策

端到端的驾驶决策是无人驾驶领域的研究热点.本文基于DDPG（Deep Deterministic Policy Gradient）的深度强化学习算法对连续型动作输出的端到端驾驶决策展开研究.首先建立基于DDPG算法的端到端决策控制模型,模型根据连续获取的感知信息（如车辆转角,车辆速度,道路距离等）作为输入状态,输出车辆驾驶动作（加速,刹车,转向）的连续型控制量.然后在TORCS（The Open Racing Car Simulator）平台下不同的行驶环境中进行训练并验证,结果表明该模型可以实现端到端的无人驾驶决策.最后与离散型动作输出的DQN（Deep Q-learning Network）模型进行对比分析,实验结果表明DDPG决策模型具有更优越的决策控制效果.     

无人驾驶汽车——基本概念、发展概况与体系架构

无人驾驶汽车发展至今,已从最初设想走过了研发试验阶段,目前已进入逐步试点和小规模推广应用阶段.文章对无人驾驶汽车的基本概念、发展状况和相关问题进行系统阐述.首先介绍无人驾驶汽车的基本概念、主要类别和分级标准.然后概述无人驾驶汽车的国内外研究发展现状.进而对无人驾驶汽车的通用体系架构和系统组成进行说明.最后探讨无人驾驶汽...     

基于Agent的作战飞机编队决策行为模型

针对空战仿真系统中作战飞机编队的复杂决策问题,运用Agent方法建立了飞机编队的决策行为模型.首先,分析了作战飞机编队Agent的功能和体系结构.其次,提出集成规则和范例推理的编队飞机Agent推理决策模型,解决了决策行为模型中规则知识和经验知识之间的矛盾,使仿真实体更具智能性.最后,引入主从对策和黑板知识系统建立了编队飞机内部的决策协调模型,使空战仿真中的群决策问题得以较好的解决.     

基于DBN的无人驾驶多交互行为决策研究

本文针对基于静态贝叶斯网络的无人驾驶行为决策方法无法应用于真实的复杂多变的城区交互场景的问题,提出了一种基于增强利他主义的方法对交通参与者交互决策的博弈过程进行了优化,并利用最大信息系数对DBN的结构进行更新。基于Prescan与Matlab/Simulink对多交互行为决策模型进行在环仿真实验。实验结果表明本文提出的DBN无人车行为决策方法具有较好的场景适应性、准确性和鲁棒性。     

威胁联网环境下的无人机突防路径决策

为了实现威胁联网环境下的无人机(UAV)突防路径决策,提出一种基于变结构离散动态贝叶斯网络(SVDDBN)的突防路径决策模型。根据无人机穿越探测威胁的方式和火力威胁的响应方式建立决策模型,运用基于自适应参数的变结构离散动态贝叶斯网络推理算法得到路径决策结果。仿真结果表明,该方法可以满足在威胁联网条件下的路径决策需求,为无人机突防提供了一种新思路。     

融入驾驶员感知模型的智能车辆左转决策研究

智能车辆左转是最为复杂的驾驶任务之一,现有的基于强化学习的智能车辆左转决策模型,将上流感知模块的输出直接作为左转决策算法的状态空间,与人类驾驶员相比缺乏对感知信息的筛选和推理,使得决策算法很难收敛到一个较优的决策策略。本文通过对驾驶员感兴趣区域建模,将其融入基于近端策略优化(PPO)强化学习的决策算法中,过滤掉冗余的感知信息,使智能车辆关注对决策有用的信息区域;为了充分考虑周边车辆的交互关系,将注意力机制加入基于PPO的强化学习决策算法中;从智能车辆的安全、高效和舒适的3个方面设计奖励函数,以引导智能车辆的学习方向。实验结果表明,融入驾驶员感兴趣区域模型和注意力机制的决策框架优于其他的基线框架,收敛速度更快,提高了智能车辆决策的安全性和通行效率。     

基于DBN的电子战指挥决策辅助方法研究

现代战争中的电子战指挥相较于传统作战方式需要考虑的因素更多、更复杂.借助动态贝叶斯网络(DBN)的动态可推理性建立了一种电子战指挥决策定量辅助决策模型,将传统作战决策中的一维定量分析转化为动态多维定量推理分析.利用影响电子战作战效果的各类因素进行每个作战时刻的贝叶斯网络(BN)构建,结合节点之间的条件概率矩阵,使用隐马尔可夫(HMM)模型推理算法实现了电子战辅助决策的动态推理.对实际演习算例进行模型仿真和分析,得出对电子战指挥员切实有效的指挥决策建议,表明了模型的有效性.     

一种基于逼近于理想灰关联投影的多目标决策算法

分析了多目标决策问题;综合灰色系统理论、TOPSIS和矢量投影方法,提出了一种新的基于逼近于理想灰关联投影的多目标决策算法,介绍了该方法的基本原理和一些基本概念,建立了综合决策方案与正、负理想方案之间接近程度的决策模型,总结了用该方法进行决策分析的一般步骤;提出了一种基于方案区分度的决策灵敏度分析方法.实际算例验证了提出的多目标决策模型和决策灵敏度分析方法的可行性和有效性,该方法为多目标决策提供了一种新思路,决策灵敏度高,能为方案的决策提供更为可靠的科学依据.     

基于人工智能技术的认知无线网络重构决策算法

认知无线网络引入重构技术以实现对复杂时变环境的动态适应,为在认知无线网络中实现重构,提出了重构架构模型,并在此模型基础上进行重构决策算法的研究,提出了基于人工智能技术的重构决策算法。该决策算法包括了推理过程和学习过程,使重构技术在认知无线网络感知能力、推理能力和学习能力的帮助下实现了对环境的适应并同时维护和提升了系统性能。     

Automated space vehicle control for rendezvous proximity operations

Rendezvous during the unmanned space exploration missions, such as a Mars Rover/Sample Return, will require a completely automatic system from liftoff to docking. A conceptual design of an automated rendezvous, proximity operations, and docking system is being implemented and validated at the Johnson Space Center (JSC).The emphasis of this article is on the progress of the development and testing of a prototype system for control of the rendezvous vehicle during proximity operations that is currently being developed at the JSC. Fuzzy sets are used to model the human capability of common sense reasoning in decision-making tasks and such models are integrated with expert systems and engineering control system technology to create a system that performs comparably to a manned system.     

IDUTC: an intelligent decision-making system for urbantraffic-control applications

The design of systems for intelligent control of urban traffic is important in providing a safe environment for pedestrians and motorists. Artificial neural networks (ANNs) (learning systems) and expert systems (knowledge-based systems) have been extensively explored as approaches for decision-making. While the ANNs compute decisions by learning from successfully solved examples, the expert systems rely on a knowledge base developed by human reasoning for decision making. It is possible to integrate the learning abilities of an ANN and the knowledge-based decision-making ability of the expert system. This paper presents a real-time intelligent decision-making system, IDUTC, for urban traffic control applications. The system integrates a backpropagation-based ANN that can learn and adapt to the dynamically changing environment and a fuzzy expert system for decision-making. The performance of the proposed intelligent decision-making system is evaluated by mapping the adaptable traffic light control problem. The application is implemented using the ANN approach, the FES approach, and the proposed integrated system approach. The results of extensive simulations using the three approaches indicate that the integrated system provides better performance and leads to a more efficient implementation than the other two approaches     

基于飞行安全的无人机控制技术发展趋势研究

从无人机飞行安全的角度出发,研究分析了目前国内外无人机控制技术的发展现状,提出了基于飞行安全的无人机控制技术的发展需求,采用自主控制和人工决策相结合的控制技术,提高无人机飞行操纵过程中的自主控制能力,降低人为操纵的干预程度,从而有效提高无人机系统的安全性。     

基于红外与雷达的夜间无人车驾驶决策方法

速度与方向的决策建议是夜间无人车驾驶研究的关键,针对夜间无人车速度与方向决策,基于红外图像与雷达信息,提出了一种包含深度信息的红外图像多任务分类网络用来给出速度与方向决策.通过红外摄像头及雷达采集的数据训练深度网络,其中雷达采集的深度图像作为训练标签,采用卷积-反卷积神经网络来进行红外图像的深度估计,进而获得深度信息.利用深度信息制作分类网络训练标签,通过AlexNet分类网络得到速度决策建议.再根据红外图像的道路信息训练方向分类网络,将无人车的驾驶决策问题转化为分类模型,并将分类模型与深度估计网络相结合.实验结果表明,网络的角度准确率及速度准确率分别为87.43%和85.89%,并且利用训练得到的模型对图像进行决策的时间为0.04 s/帧,能够达到实时性的要求。     

多无人机协同任务规划

为解决多无人机协同规划军事目标打击的问题,基于多旅行商（TSP）数字规划理论进行路径和时间的优化。文中建立了多旅行商（TSP）数字规划模型,并根据任务性能和区域划分理论,利用退火算法求解出该模型的最优解。使用A*路径规划算法,通过编程仿真规划出了无人机的时间最优路径。结果表明,该方法较好地解决了当前无人机协同作战的目标分配问题,大幅提高了无人机协同作战的能力。     

基于PC104无人机网络视频系统的构建

无人机网络视频系统是无人机的重要组成部分,现在提出了一种基于PC104工控机的网络视频系统构建方案,从视频数据采集、压缩及传输等多个方面探讨无人机网络视频系统的构建过程并给出了网络视频系统主要部分的软件实现方案。最终实现了无人机网络视频系统的构建,实验结果表明,基于PC104无人机网络视频系统具有可靠的数据处理、传输、显示质量,可应用于监控、勘测等领域。     

《现代控制理论与方法》教学改革探索

针对“现代控制理论与方法”课程教学中存在“学和用”两张皮现象,结合航空航天工程特色,将无人机这类具有典型航空特色产品引入到“现代控制理论与方法”的教学工作中,从课堂教学模式、课后作业训练、和试卷评估三个方面进行改进,将抽象的理论与具体的工程项目紧密结合,促进学生对概念和方法的理解,提高分析问题和解决问题的能力．     

采用BP神经网络的智能抗干扰决策引擎研究

在认知抗干扰通信系统中,智能决策是其核心,根据干扰环境,对系统的干扰抑制方式、频谱资源分配、调制编码方式和功率调整信息进行最优决策。现有的抗干扰通信系统的智能决策多采用遗传算法、人工蜂群算法等,面对日益复杂的电磁环境,通常这些算法不具有对新干扰的泛化能力。BP神经网络算法简单、具有一定的容错能力和泛化能力,本文设计并分析了一种基于BP神经网络的抗干扰实时决策引擎模型,根据系统性能设计了输入输出数据的预处理方式和判别标准,阐述了决策实现步骤,分析了算法参数;通过系统性能仿真,验证了文中提出的实时决策引擎的强抗干扰性能。与采用遗传算法和人工蜂群算法的决策引擎相比,本文提出的决策引擎决策速度更快且具有泛化能力和容错能力。