Rollout sampling approximate policy iteration

Several researchers have recently investigated the connection between reinforcement learning and classification. We are motivated by proposals of approximate policy iteration schemes without value functions, which focus on policy representation using classifiers and address policy learning as a supervised learning problem. This paper proposes variants of an improved policy iteration scheme which addresses the core sampling problem in evaluating a policy through simulation as a multi-armed bandit machine. The resulting algorithm offers comparable performance to the previous algorithm achieved, however, with significantly less computational effort. An order of magnitude improvement is demonstrated experimentally in two standard reinforcement learning domains: inverted pendulum and mountain-car.     

集成学习算法在不平衡分类中的应用研究

提出一种基于训练集分解的不平衡分类算法,该算法使用能输出后验概率的支持向量机作为分类器,使用基于测度层次信息源合并规则实现分类器的集成.在4个不同领域的不平衡数据集上的仿真实验表明:该算法有效提高分类器对正类样本的正确率,同时尽量减少对负类样本的误判.实验结果验证集成学习算法处理不平衡分类问题的有效性.     

实现兼类样本增量学习的一种算法

针对兼类样本,提出一种增量学习算法.利用超球支持向量机,在特征空间对属于同一类别的样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.增量学习过程中,只对新增样本以及与新增样本具有相同兼类的旧样本集中的支持向量进行训练,且每次训练只针对一类样本,使得算法在很小的样本集、很小的空间代价下实现兼类样本增量学习,同时保留了与新增样本类别无关的历史训练结果.分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类准确快捷.实验结果证明了该算法的有效性.     

基于宠物游戏的智能教学系统

通过利用游戏宠物扮演各种教育角色,扩展智能教学系统(intelligent tutoring system,ITS)中的学生模型,从而完成宠物游戏与ITS的有机结合.设计了一个基于宠物游戏的游戏化智能教学系统架构,架构中的宠物模块能记录学习者的学习活动、分析学习者的学习进程.基于该软件架构,实现了一款游戏化智能教学系统--宠物星际旅行,将宠物游戏的游戏化特性引入到了小学分数知识的学习过程中.测试结果表明,学生对该游戏越专注,就能越快地理解和运用所学知识.     

面向草图检索的小样本增量有偏学习算法

为了解决草图检索相关反馈中小样本训练、数据不对称及实时性要求这3个难点问题,提出了一种小样本增量有偏学习算法.该算法将主动式学习、有偏分类和增量学习结合起来,对相关反馈过程中的小样本有偏学习问题进行建模.其中,主动式学习通过不确定性采样,选择最佳的用户标注样本,实现有限训练样本条件下分类器泛化能力的最大化;有偏分类通过构造超球面区别对待正例和反例,准确挖掘用户目标类别;每次反馈循环中新加入的样本则用于分类器的增量学习,在减少分类器训练时间的同时积累样本信息,进一步缓解小样本问题.实验结果表明,该算法可以有效地改善草图检索性能,也适用于图像检索和三维模型检索等应用领域.     

一种改进的在线最小二乘支持向量机回归算法

针对一般最小二乘支持向量机处理大规模数据集会出现训练速度幔、计算量大、不易在线训练的缺点,将修正后的遗忘因子矩形窗方法与支持向量机相结合,提出一种基于改进的遗忘因子矩形窗算法的在线最小二乘支持向量机回归算法,既突出了当前窗口数据的作用,又考虑了历史数据的影响.所提出的算法可减少计算量,提高在线辨识精度.仿真算例表明了该方法的有效性.     

在线参数优化的环境试验箱研究

提出了基于二次型性能指标学习算法的单神经元PID控制算法,应用在工业用环境试验箱设计,给出相应的软硬件设计。样机实验表明,这种新的控制策略学习速度快,动态响应时间短,实现了参数的在线优化,使系统具有良好的动态品质和稳态性能。     

贝叶斯网参数学习中连续变量离散化方法研究

连续变量离散化是贝叶斯网络参数学习中面临的一个重要问题,它的好坏将直接影响到贝叶斯网络的推理效果。目前缺少一种有效的手段用于评价连续变量离散化的好坏,通过研究,提出了推理信息量的概念,并采用作为衡量连续变量离散化好坏的标准。在连续变量离散化的过程中,采用遗传算法通过迭代的方式寻求最优解,其中,推理信息量作为衡量个体适应度的标准。实例分析证明,推理信息量大的推理效果好要优于推理信息量小的推理效果。     

四腿机器人步态参数自动进化研究与实现

采用进化算法和基于自主视觉的适应度评估方法,实现了四腿机器人在RoboCup机器人足球比赛现场的行走步态在线自动进化．我们引入内推法作为交叉方法,利用PC基站进行进化算法计算和流程主控,并采用了一些学习时间缩减策略．实现了进化学习的连续性和可扩展性,使得学习过程可以在4060min内完成,这样就能在比赛现场对ERS-7四足机器人进行行走再学习,提高了行走控制的适应性．算法最终结果使ERS-7型四足机器人的行走速度从27cm/s提升到43cm/s．     

双马尔可夫决策过程联合模型

人类在处理问题中往往分为两个层次,首先在整体上把握问题,即提出大体方案,然后再具体实施.也就是说人类就是具有多分辨率智能系统的极好例子,他能够在多个层次上从底向上泛化(即看问题角度粒度变"粗",它类似于抽象),并且又能从顶向下进行实例化(即看问题角度变"细",它类似于具体化).由此构造了由在双层(理想空间即泛化和实际空间即实例化)上各自运行的马尔可夫决策过程组成的半马尔可夫决策过程,称之为双马尔可夫决策过程联合模型.然后讨论该联合模型的最优策略算法,最后给出一个实例说明双马尔可夫决策联合模型能够经济地节约"思想",是运算有效性和可行性的一个很好的折中.