基于强化学习的自适应在线规划的应用研究

随着互联网的迅速发展,自适应系统受到越来越多的关注,目前,大部分自适应系统的规划都是预先定义的,但是在开放的互联网环境中,这种预知的规划策略往往灵活性和智能性不高,针对系统运行环境通常是动态的、不确定的,系统设计阶段难以预测到环境所有可能的变化,在设计阶段系统针对环境变化所采取的自适应行为也是难以预先确定的.因此,提出一种系统运行时根据环境的变化在线制定规划的自适应行为策略.采用基于强化学习和Agent技术,对自适应系统的行为进行描述、分析,最后通过相关实验对该策略进行验证,结果表明该在线规划具有自适应能力.     

基于学习的鲁棒自适应评判控制研究进展

在作为人工智能核心技术的机器学习领域,强化学习是一类强调机器在与环境的交互过程中进行学习的方法,其重要分支之一的自适应评判技术与动态规划及最优化设计密切相关.为了有效地求解复杂动态系统的优化控制问题,结合自适应评判,动态规划和人工神经网络产生的自适应动态规划方法已经得到广泛关注,特别在考虑不确定因素和外部扰动时的鲁棒自适应评判控制方面取得了很大进展,并被认为是构建智能学习系统和实现真正类脑智能的必要途径.本文对基于智能学习的鲁棒自适应评判控制理论与主要方法进行梳理,包括自学习鲁棒镇定,自适应轨迹跟踪,事件驱动鲁棒控制,以及自适应H_∞控制设计等,并涵盖关于自适应评判系统稳定性、收敛性、最优性以及鲁棒性的分析.同时,结合人工智能、大数据、深度学习和知识自动化等新技术,也对鲁棒自适应评判控制的发展前景进行探讨.     

基于强化学习的金融交易系统研究与发展

近年来,强化学习在电子游戏、棋类、决策控制等领域取得了巨大进展,也带动着金融交易系统的迅速发展.金融交易问题已经成为强化学习领域的研究热点,特别是股票、外汇和期货等方面具有广泛的应用需求和学术研究意义.以金融领域常用的强化学习模型的发展为脉络,对交易系统、自适应算法、交易策略等方面的诸多研究成果进行了综述.最后讨论了强化学习在金融领域应用中存在的困难和挑战,并对今后强化学习交易系统发展趋势进行展望.     

基于普适环境的自适应系统研究

作为新的计算模式,普适计算为应用技术界开辟了一个崭新、宽阔的研究领域.普适计算的目标是无时无处不在而又不可见,具有泛在性、便捷性和适应性的特点,对软件自适应机制提出了新的挑战.针对自适应技术用于普适计算下存在的问题,对自适应技术的体系结构展开研究,提出了一个适用于普适计算环境的自适应中间件模型.力图实现一种能够较好支持普适计算环境的软件基础架构,并通过分布仿真原型系统的实验比较说明该中间件体系结构的执行效率.对自适应系统与自适应策略进行了探讨.     

基于模型的自适应方法综述

自适应为管理现代软件系统的复杂性提供了有效的解决方案,被设计为自适应系统的软件能够持续的演化以应对环境中的不确定性.在现有的研究工作中,基于模型的自适应方法是一类广泛使用的方法,它将模型驱动工程技术的应用从设计时扩展到运行时以支持自适应能力的实现.通过利用软件模型对运行时丰富和不确定的信息进行管理,这类方法避免了将自适应逻辑与程序语言交织带来的复杂性,从而简化了自适应系统的开发.本文对近些年来国内外学者在该研究领域取得的成果进行了系统总结.首先,给出了六个研究问题,包括相关工作常用的需求模型、结构模型、行为模型、环境模型、模型与模型或模型与系统间的同步方式、自适应规划算法等;接着,依次总结了相关工作在这六个研究问题上的已有研究成果;最后,对未来研究可能面临的挑战进行了展望.     

不确定关联大系统对时变参数的自适应控制

考虑具有时滞的不确定非线性关联大系统的鲁棒控制问题．假设不确定时变参数为半线性或非线性系统的有界输出，通过对时变不确定参数设计自适应律，从而对不确定参数进行估计．利用线性矩阵不等式技术和自适应参数估计方法，设计出鲁棒自适应控制器，从而保证闭环系统渐近稳定．建立了可由线性矩阵不等式表示的镇定条件．仿真示例说明该方法是有效的．     

控制方向未知的高次非线性系统的鲁棒自适应控制

研究了一类具有不可控不稳定线性化的非线性系统的自适应控制问题.该类系统的控制方向未知且含有不确定时变非线性参数.应用Nussbaum-type增益技术和adding a power integrator递推设计方法,设计了一种鲁棒自适应状态反馈控制器.所设计的控制器能够保证闭环系统的所有信号全局一致有界,且系统的状态渐近趋于零.除了假设未知参数及不确定性有界外,所设计的控制策略不需要控制系数的任何先验知识.仿真例子验证了算法的有效性.     

基于强化学习的模型参考自适应控制

提出了一种基于强化学习的模型参考自适应控制方法,控制器采用自适应启发评价算法,它由两部分组成:自适应评价单元及联想搜索单元.由参考模型给出系统的性能指标,利用系统反馈的强化信号在线更新控制器的参数.仿真结果表明:基于强化学习的模型参考自适应控制方法可以实现对一类复杂的非线性系统的稳定控制和鲁棒控制,该控制方法不仅响应速度快,而且具有较高的学习速率,实时性较强.     

电子商务推荐系统中推荐策略的自适应性

针对电子商务推荐系统中各种推荐技术的不足，提出推荐策略的自适应方法。用二元组《用户知识，推荐商品》代表推荐环境的根本特征．采用ART神经网络进行自学习，获取推荐环境的不同聚类。每个聚类代表了某种推荐环境，对推荐结果的反馈情况进行统计分析．确定每个聚类的最佳推荐技术。向用户推荐商品时，根据用户所在聚类采用具有最佳推荐质量的推荐技术向用户作出推荐。整个系统的工作过程不需要人工干预，具有自适应性。     

复杂自适应多Agent系统的环境表示及感知

对自适应系统驻留环境的显式表示和有效感知是实现复杂自适应系统的前提,也是当前自适应系统研究面临的一项重要挑战.借助于组织学思想将自适应系统中的自主运行单元抽象为Agent,把复杂自适应系统视为多Agent组织,提出了基于动态绑定的自适应机制和构造框架;将环境作为一阶抽象,提供了对自适应多Agent组织的驻留环境进行抽象和描述的语言设施以及对环境进行有效感知的两种方法:基于事件发布-订阅和基于软传感器的方法;提出了支持软传感器与环境动态关联的思想和技术,使得复杂自适应系统的开发具有环境表示显式化、环境感知透明化的特征,所开发的软件系统易于维护和升级.介绍了实现上述机制、技术和语言设施的支撑平台SADE,并进行了案例分析以验证方法的可行性和有效性.     

自适应策略描述语言编译器的设计与实现

复杂自适应系统中的软件实体既需要完成业务功能,又需要不断地感知环境,并根据环境的变化调整自己的结构和行为来适应环境,完成自适应功能。当前自适应系统的开发存在将自适应逻辑和业务逻辑相互缠绕的问题,使得自适应系统的开发和维护变得极为复杂和困难。本文将自适应系统中的自主运行单元抽象为自适应Agent,将自适应Agent的业务逻辑和自适应逻辑相分离,提出了表述Agent如何适应环境变化的自适应策略描述语言SADL。为了将自适应策略编译成可执行的程序单元,本文设计并实现了SADL编译器。通过案例分析阐述了如何定义自适应策略,并展示了编译结果,验证了方法的有效性。     

Meaningful Update and Repair of Markov Decision Processes for Self-Adaptive Systems

Self-adaptive systems are able to adjust their behaviour in response to environmental condition changes and are widely deployed as Internetwares.Considered as a promising way to handle the ever-growing complexity of software systems,they have seen an increasing level of interest and are covering a variety of applications,e.g.,autonomous car systems and adaptive network systems.Many approaches for the construction of self-adaptive systems have been developed,and probabilistic models,such as Markov decision processes(MDPs),are one of the favoured.However,the majority of them do not deal with the problems of the underlying MDP being obsolete under new environments or unsatisfactory to the given properties.This results in the generated policies from such MDP failing to guide the self-adaptive system to run correctly and meet goals.In this article,we propose a systematic approach to updating an obsolete MDP by exploring new states and transitions and removing obsolete ones,and repairing an unsatisfactory MDP by adjusting its structure in a more meaningful way rather than arbitrarily changing the transition probabilities to values not in line with reality.Experimental results show that the MDPs updated and repaired by our approach are more competent in guiding the self-adaptive systems’correct running compared with the original ones.     

自适应软件系统构造——自动避障三轮小车的案例研究

自适应软件需要能够根据环境的变化在运行时动态调整自己的行为以实现既定任务。为了解决这一类软件在开发过程中的一些挑战问题,如自适应逻辑修改困难、代码紧耦合等,设计并实现了一种基于规则的自适应软件系统应用框架(rule-based application framework for self-adaptive software systems,RAF)。RAF通过面向组件的方式解决了紧耦合问题,使用规则文件管理自适应逻辑,并将其与软件的其他部分分割开来。使用RAF开发软件可以灵活地制定与修改自适应逻辑,方便软件的开发、调试、升级等。通过一个案例展示了RAF在解决上述问题方面的能力。     

面向移动机器人应用的跨平台自适应软件框架

摘要：自适应软件在移动机器人上具有广泛的应用前景,然而要在具有不同软硬件平台的移动机器人上开发自适应软件是一件非常困难的事情．．为了解决这个问题,提出并实现了一个面向移动机器人应用的跨平台自适应软件框架该框架屏蔽了运行平台的软硬件差异性,并使用规则文件将自适应逻辑分离出来,从而降低了自适应软件开发的难度。为了便于编写及检查规则文件,还实现了一个可视化的规则文件编辑器,用于自动生成模型图,并检查规则中存在的语法及逻辑错误i,最后,通过实验测试了框架的使用情况,并对框架的应用效果进行了评估、     

一种基于Agent的自适应软件过程模型

传统的软件过程模型大多是静态的、机械的、被动的,它们要求软件工程人员在描述软件过程时预期所有可能发生的情况,并且显式地定义这些问题的解决方案.当软件过程所处的环境发生变化时,软件过程无法自适应地对这些变更作出相应的调整.提出了一种基于Agent的自适应软件过程模型.在这种软件过程模型中,软件过程被描述为一组相互独立而对等的实体--软件过程Agent.这些软件过程Agent能够对软件过程环境的变化主动地、自治地作出反应,动态地确定和变更其行为以实现软件开发的目标.     

一种自适应机制与决策策略的研究应用

针对自适应系统中,何时触发系统调整以及如何选取最好方式满足系统,结合机器学习和效用理论的方法,提出一种自适应机制和基于复合优先级的决策策略,自适应触发机制是基于有限自动机和ECA规则相结合的基础之上改进而来,基于复合优先级的决策策略是结合软件质量属性和机器学习中效用理论的基础之上提出来的,最后将该机制和策略应用于在线视频点播系统(VoD)中,通过对该系统的分析,表明了自适应触发机制和决策策略的有效性.