部分可观测Markov环境下的激励学习综述

对智能体在不确定环境下的学习与规划问题的激励学习技术进行了综述.首先介绍了用于描述隐状态问题的部分可观测Markov决策理论(POMDPs),在简单回顾其它POMDP求解技术后,重点讨论环境模型事先未知的激励学习技术,包括两类:一类为基于状态的值函数学习;一类为策略空间的直接搜索.最后分析了这些方法尚存在的问题,并指出了未来可能的研究方向.     

水体和土壤中矿物油的常用测量方法与仪器

较详细地评述了国内外测量水体和土壤中矿物油常用方法和仪器的现状，优缺点及发展趋势，包括：重量法、浊度法、气相色谱法、电阻法，热解法，紫外吸收光度法，荧光光度法，红外吸收光度法（非色散红外吸收光度法和红外分光光度法）。     

基于PSO和共轭梯度法的MIP路由优化方案

针对移动IP网络中三角路由算法效率不高,导致移动网络性能难以达到最优的问题,提出了一种基于PSO和共轭梯度法的移动IP路由优化方案。首先利用粒子来取代网络节点中的路由选择表,将IP网络和粒子群算法联系起来,研究将粒子群算法用于求解移动IP路由选择当中的最短路径,针对粒子群算法早熟收敛和局部搜索能力不足的缺陷,引入局部搜索能力强的共轭梯度算法对其进行优化,从而有效提高找出移动IP最短路由的速度;仿真结果表明了该算法的有效性。     

相似度算法在手写签名质谱成像鉴定中的应用研究

质谱成像技术无需任何样品预处理,即可获取待测样品的分子信息和分布情况。本文采用表面解吸常压化学电离质谱(SDAPCI-MS)技术对手写签名样品进行检测,通过对所得的质谱特征峰信号进行成像处理,获取书写油墨分布的强度信息。实验结果表明真实签名和伪造签名因为笔压轻重不同而油墨分布位置不同,据此能够区分签名的真伪。应用相似度算法对手写签名的特征成像数据进行分析,在样品量较少的情况下,能够客观的比较真迹之间以及真迹和伪迹之间的相似程度,进而实现对真伪签名的准确鉴定。本方法操作简便,耗时较短,对手写笔迹的鉴定具有重要的借鉴意义。     

2003年匹兹堡会议简介

简要地介绍了2003年3月9日至14日在美国佛罗里达州奥兰多市召开的第54届匹兹堡会议分析化学和应用光谱学学术报告会和展览会的大会概况、展出的新式仪器、学术报告会所反映的分析化学和分析仪器方面的主要发展动向。指出生物医学是当前分析化学的主要应用领域；在保护公共安全和反恐斗争中分析化学将可发挥重要作用；分析仪器的微型化是一个不会逆转的重要趋势。     

流动注射分析技术的若干进展

简要介绍了流动注射分析技术的基本原理、检测技术和分离富集技术。对顺序注射分析技术、流动注射-表面可更新技术及流动注射-毛细管电泳联用技术等的最新进展作了评述。列举了1998年以来FIA的一些分析应用。     

平均奖赏MDP的在策略无模型激励学习算法

本文以随机逼近的形式,提出了一些用于求解平均奖赏Markov决策过程系统方程的在策略无模型激励学习算法,这些算法与广泛且成功应用于折扣奖赏MDP的SARSA（λ）类算法相似,为比较这些新算法的性能,本文还给出了一些初步的实验结果。     

基于JDBC/Web的分布式实时数据库系统设计

分布式实时数据库是工业现场监测与控制的主要数据源。讨论了实时数据库系统的结构和生成方法,并讨论了利用JDBC的强大功能,把实时数据库连接到Web的设计方案。最后给出了一个基于JDBC的分布式实时数据库系统设计的应用实例。     

一类基于启发式搜索的激励学习算法

激励学习已被证明是在控制领域中一种可行的新方法。相比其他的方法，它能较好地处理未知环境问题，但它仍然不是一种有效的方法。幸运的是，在现实世界中，智能体总是会有一些环境的先验知识，这些能形成启发式信息。启发式搜索是一种常用的搜索方法，有很快的搜索速度，但需要精确的启发式信息，这在有些时候难以得到。文中分析比较了启发式搜索和激励学习的各自特点，提出一类新的基于启发式搜索的激励学习算法，初步的实验结果显示了较好的性能。     

基于动态规划方法的激励学习遗忘算法

一个激励学习Agent通过学习一个从状态到动作映射的最优策略来解决策问题。激励学习方法是Agent利用试验与环境交互以改进自身的行为。Markov决策过程(MDP)模型是解决激励学习问题的通用方法,而动态规划方法是Agent在具有Markov环境下与策略相关的值函数学习算法。但由于Agent在学习的过程中,需要记忆全部的值函数,这个记忆容量随着状态空间的增加会变得非常巨大。文章提出了一种基于动态规划方法的激励学习遗忘算法,这个算法是通过将记忆心理学中有关遗忘的基本原理引入到值函数的激励学习中,导出了一类用动态规划方法解决激励学习问题的比较好的方法,即Forget-DP算法。