基于PSR模型的规划算法

提出一种基于PSR模型的规划算法.首先提出了状态经历的概念与发现方法,并进一步用此概念来描述系统的PSR状态.在此基础上,讨论了如何用判别分析方法,确定任意经历下的PSR状态以及如何在该过程中同时获取系统的PSR模型.从而可引入Q学习算法,用于决策当前的最优策略.算法被应用于一些标准的POMDP问题,实验结果验证了所提方法的有效性.     

多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.     

SSVR算法及炉膛燃烧状态时间序列预测

用支持向量回归（SVR）的方法分析和预测时间序列,可解决复杂非线性系统的建模问题。采用光滑化方法对SVR的基本算法进行改进,可降低计算的复杂度。将光滑支持向量回归（SSVR）算法应用于炉膛燃烧状态时间序列预测。对炉内火焰图像进行聚类分析,计算表征炉膛燃烧状态的状态指数,建立状态指数时间序列,并利用光滑支持向量回归算法构建预测模型。实验结果表明,SSVR方法具有更快的收敛速度、更好的拟合精度和良好的预测性能。     

基于混沌粒子群SVR的烟气轮机状态预测

研究烟气轮机状态测试,为了保证安全,克服当前烟气轮机状态预测精度低的问题,结合混沌粒子群与支持向量回归模型(SVR)的特点,提出一种烟气轮机状态预测的新方法,混沌粒子群能克服粒子群优化算法容易陷入局部最优且收敛速度较慢等缺点,以获得高预测性能的支持向量回归模型.在分析支持向量回归算法和混沌粒子群算法基础上,采用混沌粒子群算法选取合适的支持向量回归模型,并利用训练集建立混沌粒子群SVR烟气轮机状态预测模型.以某烟气轮机机组作为应用对象测试方法在机电状态预测中的效果.实验结果表明,与粒子群SVR相比,混沌粒子群SVR的预测精度有了较大幅度提高,证明适合烟气轮机状态预测.     

基于扩张状态观测器的车辆横摆稳定模型预测控制器设计

针对车辆横摆稳定性控制问题,本文提出一种基于扩张状态观测器的线性模型预测控制器设计方法.首先,将非线性车辆模型线性化,建立带有模型误差干扰项的线性模型,其中线性化导致的模型误差采用扩张状态观测器估计得到,并证明了观测器的稳定性.然后基于此模型设计线性预测控制器,近似实现了非线性预测控制器的控制效果,同时降低了计算量.最后,通过不同路况下的仿真实验结果,验证了所提方法的计算性能和控制效果.     

基于Kalman滤波的储备池多元时间序列在线预报器

针对多元非线性时间序列, 结合回声状态网络和Kalman滤波提出一种新的在线自适应预报方法. 该方法将Kalman滤波应用于回声状态网络储备池高维状态空间中, 直接对网络的输出权值进行在线更新, 省去了传统递归网络扩展Kalman滤波中Jacobian矩阵的计算, 在提高预测精度的同时令算法的适用范围得到扩展. 在回声状态网络稳定时给出所提算法的收敛性证明. 仿真实例验证了所提方法的有效性.     

车联网络通过两级量化自适应卡尔曼滤波实现车辆状态预测

随着城市化和机动化的快速发展,交通安全越来越受到人们的关注。利用车载网络系统获取车载数据来预测车辆下一时刻的车载状态,对于提高运输路段的交通安全起着重要作用。文中提出一种基于自回归滑动平均(Auto-Regressice Mo-ving Average,ARMA)模型的两级量化自适应卡尔曼滤波算法,来预测车辆的行车状态(行驶的方向、行驶的车道、车辆的速度和加速度)。首先,开发了一个车载网络系统,通过交换车载单元(On-Board Unit,OBU)和路边单元(Roadside Unit,RSU)之间的交通数据来获取车辆数据;然后,通过配置在路边单元的边缘云服务器来预测车辆状态;最后,边缘服务器把预测到的状态信息广播给其他路边单元,以便交叉口其他车辆获取车辆信息。实验结果验证了用于预测加速度的自回归移动平均模型的有效性。此外,文中还评估了所提算法的有效性。与其他3种预测算法相比,所提算法的速度预测精度分别提高了90.62%,89.81%,82.76%,这说明该算法在车载网络中能有效预测车辆状态。     

基于PSR模型的规划算法

提出一种基于PSR模型的规划算法.首先提出了状态经历的概念与发现方法,并进一步用此概念来描述系统的PSR状态.在此基础上,讨论了如何用判别分析方法,确定任意经历下的PSR状态以及如何在该过程中同时获取系统的PSR模型.从而可引入Q学习算法,用于决策当前的最优策略.算法被应用于一些标准的POMDP问题,实验结果验证了所提方法的有效性.

     

基于支持向量机N4SID辨识模型的非线性预测控制

针对工业控制领域中非线性系统的模型辨识与预测控制问题,采用最小二乘支持向量机回归方法构造非线性函数,运用状态子空间（N4SID）模型辨识方法辨识非线性状态空间模型.在此基础上建立非线性预测控制器,利用拟牛顿算法进行非线性预测控制律的求解,从而实现了一种新的基于支持向量机N4SID辨识模型的非线性预测控制算法.仿真实验验证了该算法的有效性和可行性.     

基于经验模态分解的混合软件可靠性预测模型

基于经验模态分解结合支持向量回归算法与灰色系统理论提出一种混合软件可靠性预测模型,通过对原始软件失效数据使用经验模态分解方法进行预处理,将失效数据分解得到不同频段的本征模态分量和剩余分量,用支持向量回归算法对本征模态分量进行预测,用灰色系统模型GM（1,1）对剩余分量进行预测,然后将预测结果进行重构,得到最终软件可靠性预测值。为了验证所提混合预测模型的有效性,利用两组真实软件失效数据,与SVR可靠性预测模型和GM（1,1）可靠性预测模型进行实验对比分析,实验结果表明,所提混合预测模型较这两种可靠性预测模型具有更精确的预测精度。     

基于预测状态表示的多变量概率系统预测

针对由于多变量概率系统预测高复杂度而导致的建模困难问题,提出了一种基于预测状态表示（PSR）的系统建模新方法,首先介绍一种通用多变量过程概念,并进一步用此概念描述多变量系统。在此基础上,引入了针对多变量系统的预测模型MV PSR,模型基于可观测信息,可在有限维实现对多变量的预测。实验结果表明,该近似模型有效降低了系统预测的复杂度。     

An online multi-agent co-operative learning algorithm in POMDPs

Solving partially observable Markov decision processes (POMDPs) is a complex task that is often intractable. This paper examines the problem of finding an optimal policy for POMDPs. While a lot of effort has been made to develop algorithms to solve POMDPs, the question of automatically finding good low-dimensional spaces in multi-agent co-operative learning domains has not been explored thoroughly. To identify this question, an online algorithm CMEAS is presented to improve the POMDP model. This algorithm is based on a look-ahead search to find the best action to execute at each cycle. Thus the overwhelming complexity of computing a policy for each possible situation is avoided. A series of simulations demonstrate this good strategy and performance of the proposed algorithm when multiple agents co-operate to find an optimal policy for POMDPs.     

Discovery and learning of models with predictive state representations for dynamical systems without reset

Modeling dynamical systems is a common problem in science and engineering. After a system has been modeled, the system can be controlled and predicted. Predictive state representations (PSRs) is a recently proposed method of modeling controlled dynamical systems. One central problem in the PSRs literature is concerned with discovery and learning of PSRs. This paper presents a new algorithm for discovery and learning of PSRs by using only a continuous trace of actions and observations as the training data, in which the history at any time step in the training data can be identified, and then the prediction of test at a history and the PSR model of the system can be obtained. We empirically evaluate and compare our algorithm on a standard set of POMDP test problems and the empirical results show that our algorithm is competitive and outperforms the suffix-history algorithm.     

预测状态表示综述*

预测状态表示是描述离散时间有限状态的动态系统的新方法。使用动作—观测值序列的预测向量表示系统状态在将来时刻发生的概率,能解决现有动态系统决策过程中计算复杂的问题。综述了预测状态表示的基本原理,介绍了预测状态表示的建模过程和规划算法,对已有的建模方法和规划方法进行总结分析和比较,指出了该研究领域的发展方向,最后提出了研究面临的挑战。     

大数据环境下移动对象自适应轨迹预测模型

已有的轨迹预测算法针对移动对象运动模式,使用数学模型进行交通流模拟,难以对路网中的移动对象进行准确的描述.为了解决这一问题,提出基于隐马尔可夫模型(hidden Markov model,简称HMM)的自适应轨迹预测模型SATP(self-adaptive trajectory prediction model based on HMM),对大数据环境下移动对象海量轨迹利用基于密度的聚类方法进行位置密度分区和高效分段处理,减少HMM的状态数量.根据输入轨迹自动选取参数组合,避免HMM模型中隐状态不连续、状态停留等问题.实验结果表明,SATP模型在实验中表现出较高的预测准确性,并维持较低的时间开销.针对速度随机改变的移动对象,其平均预测准确率为84.1%;相同情况下,平均高出朴素预测算法46.7%.     

基于自适应提升的概率矩阵分解算法

针对推荐系统中概率矩阵分解模型(PMF)泛化能力(对新用户和物品的推荐性能)较差、预测准确性不高的问题,提出一种新的基于自适应提升的概率矩阵分解算法(AdaBoostPMF)。该算法首先为每个样本分配样本权重;然后根据PMF中的每一轮随机梯度下降法学习用户和物品特征向量,并计算总体预测误差均值和标准差。从全局的角度利用AdaBoost思想自适应调整样本权重,使算法更注重学习预测误差较大的样本;最后对预测误差分配样本权重,让用户和物品特征向量找到更合适的优化方向。相比传统的PMF算法,AdaBoostPMF算法能够将预测精度平均提高约2.5%。实验结果表明,该算法通过加权预测误差较大的样本,能够较好地拟合用户特征向量和物品特征向量,提高预测精度,可以有效地应用于研究个性化推荐。     

Partially Observable Markov Decision Processes and Performance Sensitivity Analysis

The sensitivity-based optimization of Markov systems has become an increasingly important area. From the perspective of performance sensitivity analysis, policy-iteration algorithms and gradient estimation methods can be directly obtained for Markov decision processes (MDPs). In this correspondence, the sensitivity-based optimization is extended to average reward partially observable MDPs (POMDPs). We derive the performance-difference and performance-derivative formulas of POMDPs. On the basis of the performance-derivative formula, we present a new method to estimate the performance gradients. From the performance-difference formula, we obtain a sufficient optimality condition without the discounted reward formulation. We also propose a policy-iteration algorithm to obtain a nearly optimal finite-state-controller policy.      

基于部分可观马氏决策的AUV全局路径规划

自治式水下机器人在复杂海洋环境航行时要求寻找一条从给定起始点到终止点的较优的运动路径,安全、无碰撞地绕过所有的障碍物.提出了一种基于部分可观察马尔可夫决策过程,并结合预测障碍物运动的全局路径规划新方法; 给出了部分可观马尔可夫决策的数学模型;建立了树状的分层部分可观马尔可夫决策模型,并在路径规划中应用;提出了短期预测和长期预测两种针对水下障碍物运动轨迹预测的方法;最后通过仿真实验对AUV的全局路径规划能力进行了仿真验证,为今后的实艇试验打下了很好的基础.     

基于采样的POMDP近似算法

部分可观察马尔科夫决策过程（POMDP）是一种描述机器人在动态不确定环境下行动选择的问题模型。对于具有稀疏转移矩阵的POMDP问题模型,该文提出了一种求解该问题模型的快速近似算法。该算法首先利用QMDP算法产生的策略进行信念空间采样,并通过点迭代算法快速生成POMDP值函数,从而产生近似的最优行动选择策略。在相同的POMDP试验模型上,执行该算法产生的策略得到的回报值与执行其他近似算法产生的策略得到的回报值相当,但该算法计算速度快,它产生的策略表示向量集合小于现有其他近似算法产生的集合。因此,它比这些近似算法更适应于大规模的稀疏状态转移矩阵POMDP模型求解计算。