基于基底神经节机理的行为决策模型

基底神经节是大脑深部一系列神经功能核团的总称,主要与周围的大脑皮层、丘脑、小脑和脑干相连.基底神经节的主要功能是参与运动调节和随意运动控制,特别是行为的决策确定和动作选择.本文主要介绍基于基底神经节机理的行为决策确定模型,重点综述决策确定和动作选择的理论模型进展.首先介绍了基底神经节的解剖结构,即输入核、输出核、多巴胺系统和中继核,进而描述了基底神经节的功能连接(直接通路、间接通路和超直接通路),然后基于基底神经节的多个皮质-BG回路之间的相互作用,概述了决策模型在运动和行为选择等方面的理论模型,主要有Gurney的选择-控制模型、Humphries的神经元群模型、Frank的认知决策模型、Wang的选择决策模型和Rabinovich相空间动力学选择模型等.最后讨论了这些理论决策模型和大脑疾病(帕金森病)的相互关系等.     

基于操作条件反射机制的感觉运动系统认知模型的建立

针对运动平衡控制问题,提出了一个基于操作条件反射原理的感觉运动系统认知模型,研究了小脑、基底核、大脑皮质以及其它神经器官工作的协同性,构建了感觉运动系统的认知模型.该认知模型主要由小脑和基底核以及大脑皮质组成,其中:小脑通过监督学习实现状态到行为的感觉运动神经映射;基底核利用行为预测评价结果对动作实施基于操作条件反射原理的概率式选择;而大脑皮质接收并发送有用信号给基底核与小脑,形成了感觉运动系统的闭环反馈回路.本文描述了基于操作条件反射原理的感觉运动系统认知模型的具体结构、功能与算法,并在两轮机器人上进行了仿真实验,再现了机器人类似人或动物的自主学习能力和运动平衡技能.结果表明,该模型具有较强的认知特性,使机器人能通过自主学习掌握运动平衡的控制技能.     

基于互信息最大化的意图强化学习方法的研究

强化学习主要研究智能体如何根据环境作出较好的决策,其核心是学习策略。基于传统策略模型的动作选择主要依赖于状态感知、历史记忆及模型参数等,其智能体行为很难受到控制。然而,当人类智能体完成任务时,通常会根据自身的意愿或动机选择相应的行为。受人类决策机制的启发,为了让强化学习中的行为选择可控,使智能体能够根据意图选择动作,将意图变量加入到策略模型中,提出了一种基于意图控制的强化学习策略学习方法。具体地,通过意图变量与动作的互信息最大化使两者产生高相关性,使得策略能够根据给定意图变量选择相关动作,从而达到对智能体的控制。最终,通过复杂的机器人控制仿真任务Mujoco验证了所提方法能够有效地通过意图变量控制机器人的移动速度和移动角度。     

煤矿掘进多行为协同控制智能决策模型

智能决策支持的掘进多行为协同控制是煤矿掘进工作面智能化的核心之一,掘进多行为协同控制的最优时序规划是智能决策的关键。针对煤矿掘进多行为控制模式单一、固化、协同作业能力差等问题,设计了一种煤矿掘进多行为协同控制智能决策模型,实现了掘进多行为在最优时序下的协同作业。首先,提出了掘进多行为协同控制智能决策方法,确定了掘进多行为可行时序规划集和多目标最优时序规划策略;其次,根据掘进现场的规定和工艺要求,确定了掘进动作事件集,通过对事件集中两两动作事件之间时间关系的分析,求出掘进多行为时间关系约束矩阵;然后,根据时间点关系约束矩阵转换方法,将掘进多行为时间关系约束矩阵转换为时间点关系约束矩阵,再求出掘进多行为可行时序规划集;最后,定义不同掘进目标下的求解函数,求得不同掘进目标的最优时序。实验结果表明,在不同掘进目标下,按照模型决策出的掘进动作最优时序规划结果,掘进机器人可无干涉协同作业,且掘进作业1个工作循环的执行时间与决策模型计算的时间基本一致。     

基于自主行为的RoboCup决策算法设计与实现

为了提高决策的速度和智能性，提出一种基于行为的Multi—Agent决策模型，该模型分为个体决策模型和团队决策模型，个体决策模型是为了提高智能体决策的速度，团队决策模型为了提高决策的智能性。这种基于行为的Multi-Agent决策模型已成功地应用到RoboCup仿真机器人系统中，仿真结果说明了该结构和算法的有效性。     

模糊Q学习的足球机器人双层协作模型

针对传统的足球机器人3层决策模型存在决策不连贯的问题和缺乏适应性与学习能力的缺点,提出了一种基于模糊Q学习的足球机器人双层协作模型.该模型使协调决策和机器人运动成为2个功能独立的层次,使群体意图到个体行为的过度变为一个直接的过程,并在协调层通过采用Q学习算法在线学习不同状态下的最优策略,增强了决策系统的适应性和学习能力.在Q学习中通过把状态繁多的系统状态映射为为数不多的模糊状态,大大减少了状态空间的大小,避免了传统Q学习在状态空间和动作空间较大的情况下收敛速度慢,甚至不能收敛的缺点,提高了Q学习算法的收敛速度.最后,通过在足球机器人SimuroSot仿真比赛平台上进行实验,验证了双层协作模型的有效性.     

基于DP-SAMQ行为树的智能体决策模型研究

在多智能体仿真中使用行为树进行决策具有直观、易扩展等优点,但行为树的设计过程过于复杂,人工调试时效率低下.引入Q-Learning来实现行为树的自动设计.为解决传统Q-Learning的收敛速度慢的问题,将模拟退火算法中的Me-tropolis准则应用到动作选择策略中,随着学习过程自适应改变次优动作的选择概率以及将动态规划思想应用到Q值更新策略.实验结果证明,基于改进的多步Q-Learning行为树的智能体决策模型具有更快的收敛速度,并且能够实现行为树的自动设计和优化.     

基于复合Agent的RPD决策模型

结合基于认知主导决策(RPD)的海战仿真作战实体决策模型,借鉴复合Agent思想,将RPD模型的不同功能模块实现为简单的子Agent,构造基于复合Agent的RPD决策模型。对模型中各子Agent的功能及经验知识表示方法进行说明,给出子Agent的结构。应用结果表明,相比基于规则的决策模型,该模型能更好地模拟作战实体的决策行为,具有较好的灵活性和可变性。     

一种选择制造业信息系统应用的决策模型

给出一种选择制造业信息系统（IS）应用的决策模型，该模型基于系统的关联性原理，即各种IS应用之间相互关联有机结合而产生协同效应，使得总体功能大于各应用功能之和，利用层次分析法（AHP）对IS应用进行初始排序，建立处理协同效应与资金分配的数学模型，通过模型求解确定应加以引进的IS应用集合，并确定它们的实施顺序，给出一个分析实例来说明决策模型的使用方法。     

一种基于不确定信息的决策方法

提出了一种基于不确定信息的决策方法，该方法从统一决策模型的角度给出了候选决策集的构造方法、候选决策从证据焦元获得的属性级支持度的计算方法、决策矩阵的构造方法、候选决策获得的证据级支持度的计算方法等．该方法的特点在于将基元和非基元决策的选择问题统一起来加以考虑，另外，决策者可以通过设定模型中的函数形式，决定决策精度和决策风险之间的折衷策略。     

Integration of reinforcement learning and optimal decision-making theories of the basal ganglia

This article seeks to integrate two sets of theories describing action selection in the basal ganglia: reinforcement learning theories describing learning which actions to select to maximize reward and decision-making theories proposing that the basal ganglia selects actions on the basis of sensory evidence accumulated in the cortex. In particular, we present a model that integrates the actor-critic model of reinforcement learning and a model assuming that the cortico-basal-ganglia circuit implements a statistically optimal decision-making procedure. The values of cortico-striatal weights required for optimal decision making in our model differ from those provided by standard reinforcement learning models. Nevertheless, we show that an actor-critic model converges to the weights required for optimal decision making when biologically realistic limits on synaptic weights are introduced. We also describe the model's predictions concerning reaction times and neural responses during learning, and we discuss directions required for further integration of reinforcement learning and optimal decision-making theories.     

Reinforcement-based decision making in corticostriatal circuits: mutual constraints by neurocomputational and diffusion models

In this letter, we examine the computational mechanisms of reinforce-ment-based decision making. We bridge the gap across multiple levels of analysis, from neural models of corticostriatal circuits-the basal ganglia (BG) model (Frank, 2005 , 2006 ) to simpler but mathematically tractable diffusion models of two-choice decision making. Specifically, we generated simulated data from the BG model and fit the diffusion model (Ratcliff, 1978 ) to it. The standard diffusion model fits underestimated response times under conditions of high response and reinforcement conflict. Follow-up fits showed good fits to the data both by increasing nondecision time and by raising decision thresholds as a function of conflict and by allowing this threshold to collapse with time. This profile captures the role and dynamics of the subthalamic nucleus in BG circuitry, and as such, parametric modulations of projection strengths from this nucleus were associated with parametric increases in decision boundary and its modulation by conflict. We then present data from a human reinforcement learning experiment involving decisions with low- and high-reinforcement conflict. Again, the standard model failed to fit the data, but we found that two variants similar to those that fit the BG model data fit the experimental data, thereby providing a convergence of theoretical accounts of complex interactive decision-making mechanisms consistent with available data. This work also demonstrates how to make modest modifications to diffusion models to summarize core computations of the BG model. The result is a better fit and understanding of reinforcement-based choice data than that which would have occurred with either model alone.     

天空地一体化网络环境下多运动体系统跨域协同控制与智能决策

近年来,基于云控制技术的天空地异构多运动体系统的研究得到学界的关注,天空地跨域多运动体通过互联、互通、互操作,能够实现信息共享与融合、行为交互与协调、任务协同与合作,促进系统功能互补、效能倍增,从而提升面对复杂环境和任务的应对能力.鉴于此,详细阐述天空地异构多运动体系统的跨域协同控制与智能决策研究进展.首先,介绍天空地一体化网络环境下多运动体系统的内涵和云框架下的天空地移动云构成要素,以及代表性的研究进展;然后,从智能云控制和决策角度阐述天空地异构多运动体系统的研究现状,给出云控制与决策框架下的解决方案.最后,从集群管理、跨域协同感知、控制与决策等方面提出天空地异构多运动体系统需要解决的关键问题和技术,并对未来可能的研究方向进行讨论与展望.     

基于ELECTRE法的云服务选择

越来越多的云服务为消费者提供了广泛的选择,使云服务选择成为一个具有挑战性的决策问题,这需要使用恰当的决策方法,协助决策者选择最好的服务以满足用户的需求.本文提出一个云服务选择方法,给出了云服务的服务质量（Quality of Service,QoS）的描述形式.引入了ELECTRE的排序方法,该方法通过建立一致性矩阵和矛盾性矩阵来获得各个服务的的优先级别关系.最后,通过实例验证了该算法的有效性.     

社会网络环境下利益抗争的群策略研究

引入个人决策树和社会网络研究个体在利益抗争中的策略问题,并探讨个体进行维权时的期望收益如何受二次决策影响,分析个体的社会网络链接如何影响群策略结果.研究指出,在依法维权失败的情形下,如果亲群体行为的成本较大或该行为成功率较小,则不宜采取亲群体行为;反之,在二次决策时可以采取亲群体行为.进一步地,在满足一定条件下,个体在社会网络环境下可以主动联系其他个体参与维权或接受邀请进行群体维权,且不管个体是否加入亲群体行为,个人意愿与群策略选择存在分离现象,导致个体存在个体策略与群体策略的均衡分离.因此,在社会网络环境下如果想争取的利益越高,则越容易组织群体维权,而成本越高则越不容易组织群体维权.最后,通过精装房维权案例验证研究结果的有效性,并提供相应的政策建议.     

基于前景理论和模糊理论的在线多属性采购拍卖 供应商选择决策

在线多属性采购拍卖已在工程招标、政府采购等诸多领域有着广泛应用.由于在实际的采购拍卖活动中,往往采购方对采购商品的相关属性指标存在不同程度的不确定性,采购商在对采购品属性的描述及相应权重的确定上都存在困难,进而导致采购商在面临供应商选择决策上难度增大.为了解决这些问题,从采购方利益角度出发,考虑风险态度对决策者行为的影响,引入前景理论,研究4种模糊描述方式并存情况下的在线多属性采购拍卖的供应商选择决策问题;在综合考虑主客观因素确定属性权重的情况下,提出一种新的在线多属性采购拍卖供应商选择决策方法;最后通过相关的算例分析与比较说明所提出方法的有效性.     

社交网络群决策环境下基于量子干涉的信任测度

针对已有的信任测度模型中信任源出现的冗余以及之间的干扰未被考虑的缺点,提出一种基于干扰效应的社会网络信任测度的决策模型.该模型在计算决策者之间的信任值时,通过简化信任源类型可避免部分信任源的重复出现,同时增加了信任源之间的干扰项.首先,根据社会关系与背景对信任的决定性,将决策者之间信任关系的来源划分为“决策者之间的亲近关系”和“决策者的客观背景”;其次,提出“亲疏度”和“专业度”的概念作为这两个信任源的测度,在保证信任源完整的前提下,克服信任关系冗余的缺陷;然后,进一步设计考虑干扰效应的信任值量化方法,所求的信任值能够综合体现两个信任源的个体决定程度和整体影响程度;最后,将决策者的信任值转化为权重聚集决策者偏好,以解决实际群决策问题.数值和理论结果表明,所提出考虑干扰效应的信任测度方法能够作为提高信任关系的准确性以及解决社交网络群决策问题的工具,具有广泛的应用前景.     

基于知识库的无人机作战自主决策方法的研究

提高无人机的自主决策能力是提升无人机在现代战争中作战能力的重要手段。通过对无人机对地作战过程的研究,分析归纳影响无人机自主决策的相关因素,并将无法用数学模型描述的军事规则使用产生式规则来表达,建立作战规则库。然后提出一种基于知识库的自主决策方法,该方法通过动态贝叶斯网络模拟人对态势的认知,通过产生式规则进行决策,其中加入实体的状态描述来控制决策流程,以此来完成无人机的自主决策。仿真结果表明,该方法科学有效,可使无人机自主做出合理决策。