未知环境下自主机器人的行为学习研究

机器人为实现在未知环境下的探索任务,必须具有自主学习其行为策略的能力.本文提出了一种自主机器人行为学习机制.机器人通过与环境的交互,基于Q学习进行行为的自主学习.为降低学习时的计算复杂度,状态空间通过分段映射为不同的类别,从而减少状态-动作对的数量.自主机器人在未知环境中的行为学习是增量式的过程,本文将基于案例的学习与Q学习结合,使机器人在试错时获得的经验以案例的形式保存,并实现案例库的动态更新相关案例同时可以降低机器人行为学习时的计算复杂度和试错时的风险.在文中的最后给出了仿真结果.     

人工免疫系统及其在控制领域中的应用

本文介绍了人工免疫系统及其在控制领域中的应用，首先简要介绍生物免疫系 统可被发展用于人工免疫系统的相关机理，然后给出基于生物免疫系统机理开发的、并应用 于控制领域的人工免疫网络模型和免疫学习算法，接着举例说明近年来人工免疫系统在控制 领域中的最新研究结果，最后给出了进一步的研究工作．     

一种新的基于线性EIV模型的鲁棒估计算法

提出了一种新的基于线性EIV模型的鲁棒估计算法——鲁棒扩充算法．该算法从结构化数据区域出发,逐渐扩充模型数据集,并不断更新模型参数的估计,直至找到所有模型数据．在每次迭代中,使用C-Step方法对集合进行调整,从而保证了算法的鲁棒性．同时,提出了关于粗差数据和结构化数据分布的结构化密度假设,结合Mean Shift算法,完成对算法的初始位置选取．仿真结果表明,该算法可以有效地处理含有多个结构和大量离群样本的混杂数据,与现有算法相比,具有更强的鲁棒性和更高的精度．     

合成橡胶氧化脱氢装置计算机仿真培训系统

本文介绍了一套用于合成橡胶中，氧化脱氢装置操作工人和技术人员的技术培训和考核的计算机仿真培训系统。本系统是在很少的硬软件投资下实现了完善的培训功能。所采用的机理实验加经验的综合方法建立的“大范围非线性时变的数学模型”使仿真达到了很高的精度。本文对系统的硬件、功能、数学模型以及程序结构原理都作了较为详细的描述。     

基于强化学习和模糊逻辑的移动机器人导航

自主导航是移动机器人的一项关键技术。该文采用强化学习结合模糊逻辑的方法实现了未知环境下自主式移动机机器人的导航控制。文中首先介绍了强化学习原理,然后设计了一种未知环境下机器人导航框架。该框架由避碰模块、寻找目标模块和行为选择模块组成。针对该框架,提出了一种基于强化学习和模糊逻辑的学习、规划算法：在对避碰和寻找目标行为进行独立学习后,利用超声波传感器得到的环境信息进行行为选择,使机器人在成功避碰的同时到达目标点。最后通过大量的仿真实验,证明了算法的有效性。     

液位对象的一种非线性广义预测控制策略研究

近似线性化是针对非线性系统的一种系统设计方法。该文针对液位系统建立机理模型，基于此机理模型，在工作点附近将其机理模型近似线性化，即很小的区域内其根据Taylor展开式将其近似一阶展开，并结合广义预测控制算法，提出了一种针对水箱液位系统的预测控制策略，通过在线辨识水箱模型的未知参数，从而对系统液位进行控制。仿真结果表明，该控制策略能够很好地跟踪设定值，并且对于设定值变化和系统参数的摄动等，均具有良好的自适应能力。     

视频序列中基于头肩分割的人体位姿估计算法

当前常用3维重构的方法表示和计算视频中的人体位姿,但由于这些方法通常需要多个摄像头,不仅限制条件多,且计算复杂度高,为此,提出了一种基于头肩分割的人体位姿估计算法。该算法首先对视频中的人体进行头肩定位;然后利用人体头部的平面成像特点计算头部位姿,同时利用人体肩部的轮廓变化特点计算躯干位姿;最后结合头部和躯干的位姿估计运动中的人体位姿。实验结果证明,该算法是有效和优越的。     

基于节点生长k-均值聚类算法的强化学习方法

处理连续状态强化学习问题,主要方法有两类:参数化的函数逼近和自适应离散划分.在分析了现有对连续状态空间进行自适应划分方法的优缺点的基础上,提出了一种基于节点生长k均值聚类算法的划分方法,分别给出了在离散动作和连续动作两种情况下该强化学习方法的算法步骤.在离散动作的MountainCar问题和连续动作的双积分问题上进行仿真实验.实验结果表明,该方法能够根据状态在连续空间的分布,自动调整划分的精度,实现对于连续状态空间的自适应划分,并学习到最佳策略.     

热送热装工艺中铸坯温度的在线预报模型

以连铸坯热送热装过程传热数学模型对热送热装工艺中铸坯温度变化模拟结果为基础，建立了传搁过程中铸坯温度变化在线实时预报的数学模型，在线模型能实时预报各种工况下铸坯的温度变化。     

一种用于LQR控制问题的强化学习方法

现有强化学习方法的收敛性分析大多针对离散状态问题,对于连续状态问题强化学习的收敛性分析仅局限于简单的LQR控制问题.本文对现有两种用于LQR问题收敛的强化学习方法进行分析,针对存在的问题,提出一种只需部分模型信息的强化学习方法.该方法使用递推最小二乘TD(RLS-TD)方法估计值函数参数,递推最小二乘方法(RLS)估计贪心改进策略.并给出理想情况下此方法收敛的理论分析.仿真实验表明该方法收敛到最优控制策略.