Learning Sequential Decision Rules Using Simulation Models and Competition

The problem of learning decision rules for sequential tasks is addressed, focusing on the problem of learning tactical decision rules from a simple flight simulator. The learning method relies on the notion of competition and employs genetic algorithms to search the space of decision policies. Several experiments are presented that address issues arising from differences between the simulation model on which learning occurs and the target environment on which the decision rules are ultimately tested.     

泛在学习中基于模糊多属性决策的学习控制模型

作为一种新型的学习范式,泛在学习具有去计算机化的特性。在这种新型的学习环境下,课堂的组织具有分布式松散的特点,学习者不必受制于地理位置空间和时间的限制,从而拥有更好的学习自主性选择权以及更佳的学习体验,但这也对学习者的学习控制提出了更高的要求。文中提出了一种基于模糊多属性决策的学习控制模型,根据备选知识点的掌握程度、重要程度以及与当前知识点的依赖程度给出备选知识点的排序以供学习者选择,引导学习者完成对知识的掌握。     

区间值属性决策树学习算法*

该文提出了一种区间值属性决策树的学习算法.区间值属性的值域不同于离散情况下的无序集和连续情况下的全序集,而是一种半序集.作为ID3算法在区间值意义下的推广,算法通过一种分割信息熵的极小化来选取扩展属性.通过非平稳点分析,减少了分割信息熵的计算次数,使算法的效率得到了提高.     

基于非监督特征学习的兴趣点检测算法

由于兴趣点是图像中的基础、关键特征,因此兴趣点检测是图像配准、图像检索以及图像识别的关键步骤。基于兴趣点对于图像特征响应较为强烈的特性,结合非监督特征学习算法可以自主地从无标签的样本中提取特征的思想,提出了UFL-ID兴趣点检测算法。该算法无监督学习了图像的底层特征,对特征进行信息量和各向同性的评价,并利用特征的卷积响应及评价参数寻找图像中的兴趣点。与其他常见的兴趣点检测算法的对比实验表明,该算法具有良好的重复性与抗噪能力。     

多属性信息决策的改进无监督学习算法建模与应用

针对SOM网络无监督学习算法的单样本序列学习方式内存占用多的特点,采用Voronoi矢量原理改进权矢量迭代方式,使改进算法具有所有样本同时学习的能力,同时给出了算法的矢量映射误差测度和拓扑误差测度。然后根据改进算法建立了多属性信息决策的可视二维拓扑映射图模型,并对R&D项目中止决策进行了研究。计算结果表明,改进的无监督学习算法收敛速度快,基于拓扑映射图模型的多属性决策有效。     

Supporting Developmental Decision Processes: the Evolution of an OR Approach

A case is developed for recognizing the distinctive contribution which OR scientists can make to the understanding and support of processes of developmental decision making, conceived as processes in which people work progressively (and often collaboratively) to address ever-changing clusters of decisions which are richly connected and non-recurrent. The argument is illustrated through reference to the evolution over the last three decades of the strategic choice approach to planning under uncertainty, as one example of an OR methodology that can be located within an emergent generic field of developmental decision science. It is argued that this perspective can complement that of systems theory in ways which are important not only for the future of OR, but also for the future development of human capacities to address daunting societal problems.     

双马尔可夫决策过程联合模型

人类在处理问题中往往分为两个层次,首先在整体上把握问题,即提出大体方案,然后再具体实施.也就是说人类就是具有多分辨率智能系统的极好例子,他能够在多个层次上从底向上泛化(即看问题角度粒度变"粗",它类似于抽象),并且又能从顶向下进行实例化(即看问题角度变"细",它类似于具体化).由此构造了由在双层(理想空间即泛化和实际空间即实例化)上各自运行的马尔可夫决策过程组成的半马尔可夫决策过程,称之为双马尔可夫决策过程联合模型.然后讨论该联合模型的最优策略算法,最后给出一个实例说明双马尔可夫决策联合模型能够经济地节约"思想",是运算有效性和可行性的一个很好的折中.     

A Hybrid Architecture for Situated Learning of Reactive Sequential Decision Making

In developing autonomous agents, one usually emphasizes only (situated) procedural knowledge, ignoring more explicit declarative knowledge. On the other hand, in developing symbolic reasoning models, one usually emphasizes only declarative knowledge, ignoring procedural knowledge. In contrast, we have developed a learning model CLARION, which is a hybrid connectionist model consisting of both localist and distributed representations, based on the two-level approach proposed in [40]. CLARION learns and utilizes both procedural and declarative knowledge, tapping into the synergy of the two types of processes, and enables an agent to learn in situated contexts and generalize resulting knowledge to different scenarios. It unifies connectionist, reinforcement, and symbolic learning in a synergistic way, to perform on-line, bottom-up learning. This summary paper presents one version of the architecture and some results of the experiments.     

基于马尔可夫决策模型的测试向量排序新方法

时延测试向量排序是降低测试功耗的有效技术。提出了基于马尔可夫决策模型的时延测试向量排序新方法。对时延测试向量进行重排序,利用基于转换频度的诱导开关方程和海明距离来定义测试向量序列的转移概率,根据转移概率决定测试向量的顺序,降低测试电路的开关翻转频率,以达到降低峰值功耗和平均功耗的目的。给出了完整的算法TVO-MDP并进行算法最优性和复杂性分析。实验结果证实了本方法的有效性。     

基于多标签学习的创伤救治层链决策研究

在现代创伤救治中,根据患者伤情进行合理而准确的院前评估并制定相应的救治决策对降低患者伤残率与死亡率具有重要意义。为了改善人工制定决策的缺陷,实现准确合理的标准化创伤救治决策制定,本文利用多标签学习思想,在对创伤救治决策进行深入分析与研究的基础上,将整体救治决策进行子决策划分,并提取出子决策对应的判定因素作为标签集。为了更好地考虑标签间的关联,将Classifier Chains算法的链式思想与多标签K近邻（Multi-label K-nearest neighbor,ML-KNN）算法融合,提出一种层链多标签学习算法,称为层链多标签K近邻算法（Layer chain ML-KNN,LCML-KNN）。LCML-KNN算法将标签依特点划分为两个层链,在第一层链的预测标签信息输出后对其进行独热编码,转化后的标签看作新特征放入第二层链进行预测与判断。LCML-KNN算法不仅更好地考虑了标签间的关联性,而且通过标签转化扩充了特征维数。在两个创伤类数据集上与现有各类多标签算法进行实验对比,结果验证了LCML-KNN算法的鲁棒性和优越性。     

Reinforcement Learning Based Algorithms for Average Cost Markov Decision Processes

This article proposes several two-timescale simulation-based actor-critic algorithms for solution of infinite horizon Markov Decision Processes with finite state-space under the average cost criterion. Two of the algorithms are for the compact (non-discrete) action setting while the rest are for finite-action spaces. On the slower timescale, all the algorithms perform a gradient search over corresponding policy spaces using two different Simultaneous Perturbation Stochastic Approximation (SPSA) gradient estimates. On the faster timescale, the differential cost function corresponding to a given stationary policy is updated and an additional averaging is performed for enhanced performance. A proof of convergence to a locally optimal policy is presented. Next, we discuss a memory efficient implementation that uses a feature-based representation of the state-space and performs TD(0) learning along the faster timescale. The TD(0) algorithm does not follow an on-line sampling of states but is observed to do well on our setting. Numerical experiments on a problem of rate based flow control are presented using the proposed algorithms. We consider here the model of a single bottleneck node in the continuous time queueing framework. We show performance comparisons of our algorithms with the two-timescale actor-critic algorithms of Konda and Borkar (1999) and Bhatnagar and Kumar (2004). Our algorithms exhibit more than an order of magnitude better performance over those of Konda and Borkar (1999).

显式知识推理和深度强化学习结合的动态决策

近年来,深度强化学习在序列决策领域被广泛应用并且效果良好,尤其在具有高维输入、大规模状态空间的应用场景中优势明显.然而,深度强化学习相关方法也存在一些局限,如缺乏可解释性、初期训练低效与冷启动等问题.针对这些问题,提出了一种基于显式知识推理和深度强化学习的动态决策框架,将显式的知识推理与深度强化学习结合.该框架通过显式知识表示将人类先验知识嵌入智能体训练中,让智能体在强化学习中获得知识推理结果的干预,以提高智能体的训练效率,并增加模型的可解释性.将显式知识分为两种,即启发式加速知识与规避式安全知识.前者在训练初期干预智能体决策,加快训练速度;而后者将避免智能体作出灾难性决策,使其训练过程更为稳定.实验表明,该决策框架在不同强化学习算法上、不同应用场景中明显提高了模型训练效率,并增加了模型的可解释性.     

基于马氏决策过程模型的动态系统学习控制:研究前沿与展望

基于马氏决策过程(Markov decision process, MDP)的动态系统学习控制是近年来一个涉及机器学习、控制理论和运筹学等多个学科的交叉研究方向, 其主要目标是实现系统在模型复杂或者不确定等条件下基于数据驱动的多阶段优化控制. 本文对基于MDP的动态系统学习控制理论、算法与应用的发展前沿进行综述,重点讨论增强学习(Reinforcement learning, RL)与近似动态规划(Approximate dynamic programming, ADP)理论与方法的研究进展,其中包括时域差值学习理论、求解连续状态与行为空间MDP的值函数逼近方法、 直接策略搜索与近似策略迭代、自适应评价设计算法等,最后对相关研究领域的应用及发展趋势进行分析和探讨.     

多层梯度提升树在药品鉴别中的应用

近红外光谱分析技术高效应用于药品分析领域。针对高维非线性的小规模近红外数据,传统的药品鉴别算法存在特征学习能力不足的缺陷,基于神经网络的方法有局部最优及过拟合等问题,且两者易忽略样本的不均衡性。针对以上劣势,提出一种基于特征选择与代价敏感学习的多层梯度提升树(CS_FGBDT)药品分类方法。首先采用Savitsky-Golay平滑和一阶导数对原始数据进行预处理;其次利用随机森林对预处理光谱自适应提取特征,并由多层梯度提升树进行特征映射;然后结合代价敏感学习机制将样本不均衡性的负效应降到最小。实验结果表明,在胶囊和药片两种不平衡数据集上对算法进行对比评估,该模型具有更高的预测精度和稳定性,是一种有效的药品鉴别方法。     

决定图框架下本体学习算法的稳定性分析

传统的本体算法采用启发式的方法来计算语义相似度,而随着本体处理数据量的日益增大,越来越多的机器学习方法被用于本体函数的获取。稳定性是本体学习算法的必要条件,它要求在本体样本集做轻微改动的情况下不会对得到的最优本体函数产生本质的改变。文中研究了在本体样本集的依赖关系由图结构决定的框架下,本体学习算法的稳定性和对应的统计学特征。首先对传统的PO和LTO一致稳定性条件进行分析;其次在大样本情况下扩展一致稳定性条件,提出Pk和LkO一致稳定性并得到相关的理论结果;最后把替换本体样本和删除本体样本两种样本进行变换组合,提出在大本体样本前提下的组合一致稳定性概念,并利用统计学习理论的方法得到一般结果。此外,在各类稳定性条件下,对满足m-独立条件的本体学习算法的广义界进行了讨论。     

兵棋推演的智能决策技术与挑战

近年来, 以人机对抗为途径的智能决策技术取得了飞速发展, 人工智能(Artificial intelligence, AI)技术AlphaGo、AlphaStar等分别在围棋、星际争霸等游戏环境中战胜了顶尖人类选手. 兵棋推演作为一种人机对抗策略验证环境, 由于其非对称环境决策、更接近真实环境的随机性与高风险决策等特点, 受到智能决策技术研究者的广泛关注. 通过梳理兵棋推演与目前主流人机对抗环境(如围棋、德州扑克、星际争霸等)的区别, 阐述了兵棋推演智能决策技术的发展现状, 分析了当前主流技术的局限与瓶颈, 对兵棋推演中的智能决策技术研究进行了思考, 期望能对兵棋推演相关问题中的智能决策技术研究带来启发.     

决策树学习算法ID3的研究

ID3是决策树学习的核心算法，为此详细叙述了决策树表示方法和ID3决策树学习算法，特别说明了决策属性的选取法则。通过一个学习实例给出该算法第一选取决策属性的详细过程，并且对该算法进行了讨论，一般情况下，ID3算法可以找出最优决策树。     

层次分类中的机器学习方法研究

本文通过对著名站点Ｙａｈｏｏ层次结构的分析,介绍一种基于此层次结构的文档分类器的机器学习技巧。我们利用此层次学习算法来自动构造分类器每个域的背景知识。     

远程学习平台中的决策支持系统模型库构建

现代教学论认为,学生是教学的对象也是学习的主体;教师是教育者,在教学中起主导作用。现有的远程学习支持平台对教师发挥主导作用没有提供强有力的技术支持。文章从为教师的教学设计提供决策支持的角度,提出了把决策支持系统应用到远程教学中,建立针对教学设计的教学决策支持系统。文章探讨了该系统的重要组成部分:“模型库”,并对学生模型、教学方案评价模型和择优模型进行了形式化描述,并给出了相应的算法。最后,对此模型的应用给出了一个初步的结论。     

一种连续条件属性值的决策表的归纳学习方法

对由连续条件属性值和离散决策属性值组成的决策表,提出了一种归纳学习方法。把决策表中的连续条件属性值看作一矩阵,进行矩阵的奇异值分解,以确定决策表条件属性的数目。用模糊C均值聚类的方法对连续条件属性值进行不同聚类数目的聚类,得到不同聚类数目下的离散决策表,对这些决策表进行条件属性简化,从而得到不同的条件属性数目。比较矩阵奇异值分解后决策表条件属性的数目和上述不同聚类数目下的离散决策表简化后的条件属性的数目,并考虑决策属性的数目,确定最终的聚类数目。在此基础上,给出了由连续条件属性值和离散决策属性值组成的决策表的归纳学习方法,并验证了其有效性。