基于策略迭代和值迭代的POMDP算法

部分可观察Markov决策过程是通过引入信念状态空间将非Markov链问题转化为Markov链问题来求解,其描述真实世界的特性使它成为研究随机决策过程的重要分支.介绍了部分可观察Markov决策过程的基本原理和决策过程,提出一种基于策略迭代和值迭代的部分可观察Markov决策算法,该算法利用线性规划和动态规划的思想,解决当信念状态空间较大时出现的"维数灾"问题,得到Markov决策的逼近最优解.实验数据表明该算法是可行的和有效的.     

基于Monte Carlo 粒子滤波的POMDPs 在线算法

针对部分可观察马尔可夫决策过程(POMDPs)的信念状态空间是一个双指数规模问题,提出一种基于 Monte Carlo 粒子滤波的 POMDPs 在线算法.首先,分别采用粒子滤波和粒子映射更新和扩展信念状态,建立可达信念状态与或树;然后,采用分支界限裁剪方法对信念状态与或树进行裁剪,降低求解规模.实验结果表明,所提出算法具有较低的误差率和较快的收敛性,能够满足系统实时性的要求.     

基于点的POMDPs在线值迭代算法

部分可观察马尔可夫决策过程(partially observable Markov decision processes,简称POMDPs)是动态不确定环境下序贯决策的理想模型,但是现有离线算法陷入信念状态“维数灾”和“历史灾”问题,而现有在线算法无法同时满足低误差与高实时性的要求,造成理想的POMDPs模型无法在实际工程中得到应用.对此,提出一种基于点的POMDPs在线值迭代算法(point-based online value iteration,简称PBOVI).该算法在给定的可达信念状态点上进行更新操作,避免对整个信念状态空间单纯体进行求解,加速问题求解;采用分支界限裁剪方法对信念状态与或树进行在线裁剪;提出信念状态结点重用思想,重用上一时刻已求解出的信念状态点,避免重复计算.实验结果表明,该算法具有较低误差率、较快收敛性,满足系统实时性的要求.     

一种优化的一致性规划状态变量选择算法

研究了一致性规划任务信念状态空间的表示方法。针对一致性有限域表示(CPT-FDR)算法在任务生成阶段选择状态变量的不足,提出了一种基于初始状态中文字相容互斥的状态变量选择算法——MECV算法。CPT-FDR未考虑初始信念状态中文字的互斥性,产生冗余的编码信息,降低了编码的效率。MECV算法利用有用正负文字构造新的未覆盖事实集,提取初始信念状态中处于不同世界状态的文字组成互斥组,再编码状态变量。实验结果表明该算法能有效地压缩信念状态空间。     

基于FPOMDP的无线传感器网络动态调度算法

针对无线传感器网络节点能量有限、数据采集易受环境影响的问题,提出一种基于可分解部分可观察Markov决策过程FPOMDP( Factored Partially Observable Markov Decision Process )的节点休眠调度算法.通过节点空时相关模型求取休眠节点数据,利用网络数据准确性和节点能量间的条件独立关系,构造状态转移函数、观察函数和奖赏函数,采用值迭代求解算法求取最优策略,实现节点动态调度.仿真结果表明,该算法能够在保证数据准确性的前提下,有效降低节点能量消耗,延长网络生存时间.     

基于文化框架的随机粒子群优化算法

提出了随机粒子群优化算法(rPSO),并将其与标准PSO纳入到文化算法(CA)框架中,建立了基于文化框架的随机粒子群优化算法(CA-rPSO)。该算法以rPSO作为信念空间的进化算法,以PSO作为群体空间的进化算法,形成了两者独立并行进化的"双演化双促进"机制。选取5个测试函数进行了仿真实验分析并与其他算法进行了比较,结果表明CA-rPSO的寻优性能得到显著提高,且算法简单、易于实现。     

基于混合概率背景模型的视频分割方法

提出一种新的基于混合概率模型的背景建模方法,用于视频中前景物体的检测与分割。主要利用两个概率模型：隐马尔可夫模型和概率图模型建立一个混合的贝叶斯网概率模型,对视频输入中背景变化的时间和空间局部相关性(同现性)进行学习。在建立正确模型参数的基础上,贝叶斯信念传播算法根据图像输入预测当前背景状态的后验分布,并根据预测得到的背景状态对输入图像进行分割。实验结果验证了该方法的有效性和在复杂背景变化下的鲁棒性。     

基于核方法的连续动作Actor-Critic学习

强化学习算法通常要处理连续状态及连续动作空间问题以实现精确控制.就此文中结合Actor-Critic方法在处理连续动作空间的优点及核方法在处理连续状态空间的优势,提出一种基于核方法的连续动作Actor-Critic学习算法(KCACL).该算法中,Actor根据奖赏不作为原则更新动作概率,Critic采用基于核方法的在线选择时间差分算法学习状态值函数.对比实验验证该算法的有效性.     

基于概率SLCA的XML过滤

不确定数据管理逐渐成为一个重要的研究方向.作为网络交换重要标准的XML数据的不确定管理也成为一个研究热点.基于关键字的概率XML检索是其中一个重要的分支.目前对于概率XML关键字检索的研究,都只考察了结点之间的独立(IND)关系和互斥(MUX)关系.由于更普遍的结点依赖关系在表述和计算上的复杂性,较少有工作讨论.文中讨论概率XML模型PrXML~({exp,ind,mux})中基于SLCA语义的关键字过滤.这种模型中通过EXP结点描述更普遍的结点依赖关系.文中在定义了子树中关键字概率分布表tab及其相关的运算后,分别给出了模型中不同类型结点关键字概率分布表的计算方法,并给出了不需要构造可能世界直接求解SLCA结点概率的算法.文章通过实验评估了算法的特性和性能.     

一种基于独立元贡献度的子空间故障检测方法

针对工业过程故障检测问题,本文定义了独立元贡献度和贡献度矩阵,提出一种改进的子空间检测算法.首先,利用独立元分析(independent component analysis,ICA)算法提取过程变量的独立元信息,通过计算各个独立元在过程变量上的贡献度,构造贡献度矩阵;然后根据贡献度的大小,挑选出对应的变量组成反映不同"源"信息的子空间,并在这些子空间上建立故障检测模型;最后综合以上的多个检测模型,根据实际的需求或者故障的传播特征,确定集成策略,对工业过程进行故障检测.通过在TE(Tennessee Eastman)过程上对21种故障工况和1种正常工况的仿真研究,说明提出的改进算法是有效的.     

改进型文化粒子群在图像配准中的应用

设计了一种用于图像配准的优化算法.根据图像灰度和空间结构信息,构造一个基于最大化互信息的配准测度函数,结合一种适用于图像自动配准的文化粒子群优化(CIPSO)算法.新的配准算法在搜索空间上进行优化设置,将整个搜索空间分成群体空间、信念空间两组.群体空间的粒子不仅根据自己空间的个体最优和全局最优来优化自己,还与信念空间中的最优个体进行交互学习,加速粒子群的收敛速度,克服了图像配准中计算量过大、搜索速度慢等问题.实验表明,与现有的PSO配准算法相比,提出的算法具有较好的鲁棒性和配准精确率.     

基于SOKID的无人动力伞模型辨识

对具有独特飞行特性的无人动力伞(Unmanned Powered Parafoil,UPP)进行了研究,建立了无人动力伞九自由度非线性动力学方程,研究了观测器/卡尔曼滤波辨识算法和改进的子空间观测器/卡尔曼滤波辨识算法.根据系统的飞行数据,辨识得到系统的纵向状态空间模型,分析了两种辨识模型的俯仰角响应特性和辨识精度.仿...     

WSN中基于混合整数非线性规划的功率分配算法

近期协作路由协议的研究受到广泛关注.然而,现多数协作路由协议是以减少能量消耗为目的,它们并没有考虑在协作路由中的数据包碰撞概率最小化问题.为此,针对无线传感网WSNs(Wireless Sensor Networks)的协作路由,提出基于最小化碰撞概率的功率分配CMPA(Collision Minimization-based Power Allocation)算法.首先,推导了碰撞概率数学模型,并形成了混合整数非线性规划问题.然后,为了降低复杂度,将功率分配和路由选择进行独立处理,同时利用分支界定空间缩小BBSR(Branch-and-Bound Space Reduced)算法求解.仿真结果表明,提出的CMPA算法能够有效地降低碰撞概率和总的传输功率.与OKCR算法相比,CMPA算法的碰撞概率下降了近82%,总的传输功率下降了0.1 dB.     

标准粒子群优化算法的马尔科夫链分析

根据粒子群优化（Particle swarm optimization, PSO)算法的差分模型定义粒子状态序列和群体状态序列, 并分析其马尔科夫性质, 证明了粒子及种群的最优状态集的封闭性, 以及计算粒子一步转移概率; 进一步基于全概率公式和马氏链的性质, 推导了群体状态转到最优状态集的转移概率; 根据该转移概率, 对PSO算法的惯性权重ω和加速度因子c进行了讨论和解释, 研究了算法早熟收敛和发散等问题, 最后分析表明标准PSO算法以一定概率收敛到全局最优.     

文化算法研究

文中介绍一种新的进化计算构架--文化算法.文化算法分别从微观(种群空间)和宏观(信念空间)两个层面上模拟文化的双重进化继承过程.从进化角度看,任何一种符合文化算法要求的计算构架或符号表达都能被用来描述文化算法框架中的种群空间和信念空间.文中叙述了文化算法的发展背景,阐述了文化算法的特点、适用范围及基本原理,回顾了其发展历程以及应用,给出了结论和进一步的研究方向.     

半监督在线增量自学习异常检测方法研究

在深入分析现有基于监督学习和非监督学习方法的缺点后,提出了一个新颖的基于K-means与Markov模型相结合的半监督异常检测方法.半监督方法的学习样本包括已标示类别的样本和未标示样本,并且通过对已标示样本的学习来指导对未标示样本的学习来提高识别率.方法首先将经过标示的(正常的)系统调用序列投影到高维空间进行有监督聚类后,利用Markov模型来学习聚类间的时序关系,建立起正常行为的初始模型.由Markov模型产生的状态序列计算状态概率,根据状态序列概率来评价进程行为的异常情况.正常行为模型由2种关系确定:①空间分布关系(聚类);②空间的时序关系(Markov模型).在初始模型的导引下对未标示的序列进行学习,利用迭代过程对模型进行改进.实验表明,该算法能够在已标示样本较少的情况下通过对未标示样本的学习来改善模型的检测性能,达到在线增量学习的目的.     

一类并发实时系统的自动验证

一个被广泛用于验证实时系统的方法是根据被验证的实时性质,使用适当的双向模拟等价关系使无限的状态空间转化为有限的状态等价类空间.算法只需要在这个有限的等价类空间里搜索就可以得到正确答案.但是,这个等价类空间的规模一般随着系统规模的增大而产生爆炸性的增长,以至于在很多情况下,穷尽搜索这个空间是不现实的.该文引入了一个等价关系来验证一个由多个实时自动机通过共享变量组成的并发系统是否满足一个线性时段特性.同时,还引入了格局之间的兼容关系来避免对状态等价类空间的穷尽搜索.基于这两个关系,文章提出了一个算法来验证是否一个实时自动机网满足一个线性时段特性.实例研究显示,此算法在某些情况下比其他一些工具有更好的时间和空间效率.     

多Agent动态影响图的一种混合近似推理算法

多Agent动态影响图模型适合于对动态环境中多Agent问题进行建模,Agent之间结构关系被表示成局部的概率因式形式.概率图模型推理所面临的一个主要问题是难以实现近似推理的精度和复杂性之间的均衡.近似推理方法可提高推理精度,但同时也会带来推理精度的损失.BK和粒子滤波(PF)是动态概率模型两种重要的近似推理算法,BK算法有较高的计算效率但会引入较大的误差,PF可以近似任意分布但存在计算的高维问题.结合BK和PF的优点,提出多Agent动态影响图(MADIDs)的一种混合近似推理算法.根据概率图模型的可分解性,将MADIDs分解生成用于推理的原型联合树,混合近似推理算法在规模复杂度较小的团上执行PF推理以达到局部最佳估计,而在其他的团上执行BK推理,为了减小推理误差引入了分割团.仿真实验表明混合近似推理算法是MADIDs模型的一种有效推理方法,与BK和PF算法相比,该算法显著提高了推理精度,且可以实现推理精度和时间复杂性之间的均衡.     

一种基于PLSA和AGPSO的文本属性约简方法及其分类器

将概率潜在语义分析PLSA(probabilistic latent semantic analysis)和自适应广义粒子群算法AGPSO(adaptive general particle swarm optimization)相结合,提出了一种文本特征降维新方法,进而实现了基于PLSA和AGPSO的网页分类器.采用概率潜在语义分析将语义关系体现在VSM (Vector Space Model) 中, 通过EM算法有效地降低向量空间的维数;设计交叉操作模拟粒子飞行速度的变化,变异操作保持种群的多样性,同时引入自适应策略动态调整变异概率,以求最优特征子集.在用自适应广义粒子群算法约简前,先用概率潜在语义分析对原始特征空间约简,得到中间特征子集,然后再用自适应广义粒子群算法继续约简,充分发挥两者的优势.实验表明此算法能有效降低文本维数,提高分类精度.     

求解约束优化问题的文化算法研究

文化算法的主要思想是明确地从进化种群中获得求解问题的知识 (即信念) 并用于指导搜索过程. 本文提出了一种基于多层信念空间的文化算法, 该算法通过对多层信念空间的择优选用将提取的知识用于提高进化计算性能来解决约束优化问题. 应用实例表明该算法具有较好的结果和较少的计算量.