融合马尔科夫决策过程与信息熵的对话策略

对话策略是人机对话系统中的重要组成成分,其性能的优劣直接影响对话系统的性能.在面对完全没有数据的冷启动场景时,收集对话数据进行对话策略学习的过程非常复杂和耗时.为在冷启动场景下能够保持良好性能,提出一种融合马尔科夫决策过程与信息熵的对话算法.利用马尔科夫决策过程快速获得下一步最优对话状态,并结合知识库通过引入属性信息熵方法排除多个状态值函数相同的最优状态,从而获取最优的系统响应动作.在音乐搜索领域数据集上的实验结果表明,与随机策略、基于规则和基于信息熵的算法相比,该算法分别缩短了2.24、0.84和0.03个对话轮次,且能够有效提高对话任务完成率.     

基于马尔科夫决策过程的车载边缘计算切换策略

针对车载边缘计算环境中卸载场景的动态变化对计算卸载的影响,提出了一种基于马尔科夫决策过程的计算切换策略,在保证任务完成时间的基础上,对计算卸载的整体过程进行分析,从而进一步降低了计算切换的引入对卸载效果的影响。仿真实验针对计算切换的引入是否有助于提升计算卸载的效果以及如何进一步降低计算切换的引入对计算卸载的影响进行了4种算法的对比,实验结果表明,基于文中提出的计算切换策略,可以提升计算卸载的效率,保证用户的服务体验。     

基于马尔科夫决策过程的软件测试仿真与计算

提出了一个改进的马尔科夫决策过程的软件测试模型,应用交叉熵方法计算求解改进后的测试模型下的软件测试优化策略,得到最优测试剖面,使得平均测试费用最小.并对采用随机软件测试策略,原始的MDP模型软件测试策略和改进后的MDP模型软件测试策略的软件测试过程进了仿真.仿真结果表明,改进后的软件测试策略不仅能够大大降低期望测试费用,而且也减少了测试用例的使用数量,提高了软件测试的效率和有效性.     

基于马尔科夫决策过程的WSNs节点检测方法

针对无线传感器网络(WSNs)节点易遭受攻击却不易被评价且识别的问题,提出了一种基于马尔科夫决策过程(MDP)的检测方法.对网络节点建立MDP模型并采用Option方法分层简化;运用Q-Lear-ning优化算法迭代各层节点的Q值直至收敛;最终求解出模型的最优检测策略来确定网络各节点的正常、异常状态,从而达到检测目的....     

基于马尔科夫决策过程的高能效任务调度算法

在移动群智感知系统中,智能手机承担着许多不同的感知任务,这些任务需要来自不同传感器的数据。从传感器收集数据是非常耗能的,智能手机的电池限制了这些感知设备的可用性。如何在完成群智感知任务时降低设备能量消耗是参与者迫切需要的。针对以上问题,提出基于马尔可夫决策过程(MDP)的高能效任务调度算法。根据设备的电流负载、剩余能量和充电概率,马尔科夫决策过程迭代计算出最佳任务调度序列,并保证能耗最小化和感知精度最大化获得平衡。大量的仿真结果表明,该算法在任务调度过程中具有显著的节能效果,与广泛使用的现有算法相比,平均节省能量75%以上。     

Markov决策过程不确定策略特征模式

马尔科夫决策过程可以建模具有不确定性特征的复杂系统,而在进行模型分析时需要采用策略对不确定性进行处理。首先,研究不同策略下时空有界可达概率问题,给出不确定性解决策略的定义及分类方法。其次,在时间无关策略下,证明基于确定性选取动作和随机选取动作的时空有界可达概率的一致性,并且论证了时间依赖策略相对于时间无关策略具有更好的时空有界可达概率。最后结合实例简要阐述了结论的正确性。     

马尔科夫决策过程在多路径冗余传输调度算法中的应用

传统网络终端设备通常以单路径连接网络,因此在路径发生异常时通常严重影响数据传输质量.随着重叠网络和异构多接入网络的发展,多路径传输逐渐成为可能.多路径传输中数据发送端的多路径调度算法是研究多路径传输的核心问题.本文提出了一种基于马尔科夫决策过程的多路径冗余传输调度算法,通过分阶段采用稳态马尔科夫策略并对关键数据进行冗余传输,实现了实时性要求较高的数据传输,提高了数据传输可靠性.仿真实验表明当路径传输质量发生改变时,该调度算法能够正确感知并将数据更多的调度到传输质量较好的路径上,有效降低路径质量变差时对传输的影响.该算法可应用于音、视频等实时业务中,能够有效提高用户使用体验.     

基于马尔科夫决策过程的ATO系统独立组件与产品双需求最优决策研究

研究多维组件, 单一产品的双需求型面向订单装配(Assemble-to-order, ATO)系统. 产品需求为延期交货型, 当其不被满足时将产生缺货等待成本; 而独立组件需求为销售损失型, 其不被满足时将产生缺货损失成本. 该问题可以抽象成一个动态马尔科夫决策过程(Markov decision process, MDP), 通过对双需求模型求解得到状态依赖型最优策略, 即任一组件的最优生产--库存策略由系统内其他组件的库存水平决定. 研究解决了多需求复杂ATO系统的生产和库存优化控制问题. 提出在一定条件下, 组件的基础库存值可以等价于最终产品需求的库存配给值. 组件的基础库存值与库存配给值随系统内其他组件库存的增加而增加, 而产品需求的库存配给值随系统组件库存和产品缺货量的增加而减少. 最后通过数值实验分析缺货量及组件库存对最优策略结构的影响, 并得到了相应的企业生产实践的管理启示.     

信息熵与决策之间关系的讨论

讨论了在一致决策表中，信息熵与粗糙集理论中的信息表示可相互转化，但在不一致决策表中，信息熵与属性是否可省并没有必然的联系。     

基于马尔科夫过程理论的风电机组检修策略

综述了基于马尔科夫过程的风电机组检修策略.首先介绍了马尔科夫过程及相关理论知识,并分析其应用于风电机组检修中的可行性;然后分别从基于风电机组运行可靠性最优策略建立可靠性模型和基于维护成本最优策略建立老化模型两方面入手,指出各自考虑的侧重点,总结了国内外学者基于马尔科夫过程理论对风电机组检修策略的研究现状;最后指出由单一部件到多部件进行整台风电机组优化检修和风电场多台机组联合检修是未来的研究趋势.     

计算机网络信息安全及防护策略研究

网络在给我们带来方便的同时,也带来了网络信息安全问题。本文立足于当前的计算机网络,阐述计算机管理内容的分类,并分析当前计算机网络信息安全问题,提出相应的防护策略。     

马尔可夫决策过程自适应决策的进展

在介绍一般马尔可夫决策过程的基础上,分析了当前主要马尔可夫过程自适应决策方法的基本思想、具体算法实现以及相应结论,总结了现有马尔可夫过程自适应决策算法的特点,并指出了需要进一步解决的问题。     

行动驱动的马尔可夫决策过程及在RoboCup中的应用

为了更好地解决一类特殊的Agent决策问题,提出行动驱动的马尔可夫决策过程的概念并分析了其理论模型.另外,提出行动驱动的马尔可夫决策过程相关问题的求解算法,并在RoboCup仿真2D比赛的不离身带球问题中对算法进行了实验.实验结果表明,新算法使Agent的带球性能有了较大的提高.新算法已经用于中国科大蓝鹰仿真2D机器人足球队,并在比赛中取得了较好的效果.     

基于信息熵的决策树算法实现

由数据挖掘中的分类技术引出ID3算法并对其进行了简要的概括,探讨基于信息增益的度量选择测试属性方法。以MFC Class Wizard的过滤记录集取代以往记录集,研制C＋＋实现最优属性选择和ID3算法。     

基于条件信息熵的决策表约简

Rough集理论是近年来发展起来的一种有效地处理不精确、不确定、含糊信息的数学理论方法，在机器学习、数据挖掘、智能数据分析、控制算法获取等领域取得了很大的成功。研究者从不同的角度对这个理论进行研究。本文将从信息论观点出发对Rough集理论的基本概念和主要运算进行分析讨论，通过与Rough集理论的代数观点进行比较分析，得到这两种观点下的一些等价性质和不同的特性，并基于条件信息熵提出决策表的约简算法。     

基于决策熵的决策树规则提取方法

在决策表中,决策规则的可信度和对象覆盖度是衡量决策能力的重要指标。以知识粗糙熵为基础,提出决策熵的概念,并定义其属性重要性;然后以条件属性子集的决策熵来度量其对决策分类的重要性,自顶向下递归构造决策树;最后遍历决策树,简化所获得的决策规则。该方法的优点在于构造决策树及提取规则前不进行属性约简,计算直观,时间复杂度较低。实例分析的结果表明,该方法能获得更为简化有效的决策规则。     

基于决策熵的决策树规则提取方法

在决策表中,决策规则的可信度和对象覆盖度是衡量决策能力的重要指标。以知识粗糙熵为基础,提出决策熵的概念,并定义其属性重要性;然后以条件属性子集的决策熵来度量其对决策分类的重要性,自顶向下递归构造决策树;最后遍历决策树,简化所获得的决策规则。该方法的优点在于构造决策树及提取规则前不进行属性约简,计算直观,时间复杂度较低。实例分析的结果表明,该方法能获得更为简化有效的决策规则。