一种满足马尔可夫性质的不完全信息下的 Web服务组合方法

针对满足马尔可夫性质的服务组合过程给出了按照用户服务质量(QoS)要求的服务组合方法．首先,提出了一种支持QoS属性描述的Web服务描述模型,并实现了对组合服务整个生命周期的QoS信息描述．在此基础上提出了基于多目标决策理论和k臂赌博机理论的服务选择算法,与同类方法相比,该方法可以在不完全信息下根据用户对QoS属性的偏好来选择合适的候选服务进行组合．最后,给出了QoS驱动的服务组合框架E-WsFrame和具体实现,并分析了实验结果．实验表明E-WsFrame可以综合考虑服务组合的功能要求和QoS要求,从而根据服务请求实现服务的自动组合．     

网格环境中嵌套调用冲突发现算法

在网格环境下，多服务组合的要求日益强烈。目前的软件管理和开发工具主要针对封闭环境，存在着局限性。在多服务组合管理方面，由于嵌套调用是动态生成，服务发布方无法根据局部信息判断是否存在调用冲突，因此嵌套调用冲突必须动态地、基于已有的全局调用信息加以发现。文中分析了网格环境中存在的嵌套调用冲突的实例，在此基础上提出了嵌套调用冲突发现算法。给出了服务描述规则，并扩展了Globus平台上的服务描述。在增加可用度概念后，对所提出算法进行了优化。     

网格环境中嵌套调用冲突发现算法

在网格环境下,多服务组合的要求日益强烈.目前的软件管理和开发工具主要针对封闭环境,存在着局限性.在多服务组合管理方面,由于嵌套调用是动态生成,服务发布方无法根据局部信息判断是否存在调用冲突,因此嵌套调用冲突必须动态地、基于已有的全局调用信息加以发现.文中分析了网格环境中存在的嵌套调用冲突的实例,在此基础上提出了嵌套调用冲突发现算法.给出了服务描述规则,并扩展了Globus平台上的服务描述.在增加可用度概念后,对所提出算法进行了优化.     

普及计算中基于接口语义描述的动态服务组合方法

在普及计算环境中缺乏把已经存在的简单的服务灵活地动态地组合出更加复杂的服务的方法．提出了一种在此环境下的基于接口语义匹配的动态服务组合方法，给出了基于语义的基本服务的描述规范、组合服务的描述规范、组合服务的实例生成算法和控制执行的动态服务组合的系统框架并通过实例实现，验证了该框架的可行性．根据当前环境中已有的服务组合出更加复杂的服务，该算法对有效地利用系统的资源、降低服务设计和实现的复杂性具有非常重要的意义．     

基于遗传算法的多性能目标网格服务调度算法

在分析状态图工作流模型的基础上，提出了一种网格环境下多QoS（服务质量）约束的组合服务模型，根据提出的模型归纳出了动态服务调度问题的形式化描述，并提出了一种基于遗传算法的动态服务调度算法进行求解.该算法采用基于服务区域及服务实例个数的编码方式，以组合方案的有效性和组合服务的综合QoS参数的效用值作为适应度函数，从而保证组合服务调度的全局QoS要求.与其它算法进行了比较.实验结果显示该算法是可行和有效的．     

基于CPi-calculus的网格服务行为研究

当前基于网格服务组合的编排方案（choreography proposals）只给出服务描述层面上的定义,没有提供任何推导方法来保证基于此编排方案的服务的一致性。如何验证组合服务行为的正确性和有效性是当前亟需解决的一个研究课题。形式化方法提供了行之有效的建模、推导和验证机制。本文给出网格服务组合基调,基于此基调分析了网格组合服务的动态交互行为特性,提出基于CPi-calculus（Conditional Pi-calculus）的网格组合服务的行为交互模型（IABM）,并给出组合服务交互行为的形式化描述,最后进行交互行为的模拟验证。该网格服务行为交互模型为今后网格服务的组合优化工作提供了代数推导依据。     

动态Web服务组合研究

Web服务作为一种崭新的分布式计算模型，是Web上数据和信息集成的有效机制。动态Web服务组合作为一种灵活、快速集成信息的重要方法，成为开放异构环境中复杂分布应用的新的研究热点。本文首先分析了几种Web服务描述方式并给出了动态Web服务组合定义及模式；其次，结合目前存在的一些组合平台和框架，重点分析了基于工作流和基于AI规划的动态Web服务组合原理与典型应用，并分析了其它相关的一些动态Web服务组合策略；最后提出了动态Web服务组合面临的挑战和进一步的研究方向。     

基于QoS的组合服务优化选择问题建模与求解

提出了一种支持Web服务动态组合的框架,并在此基础上对Web服务组合中的服务优化选择问题建模,根据用户设置的QoS约束条件,将服务优化选择问题分成3类,并分别给出了相应的服务选择算法。实验证明算法在保证一定优度的同时亦具有良好的时间性能。     

基于流程树的BPEL4WS中流程服务动态优化方法*

针对服务流程建模语言BPEL4WS难以满足用户个性化需求也无法适应动态环境变化的问题,提出了一种动态优化BPEL4WS中流程服务的方法。该方法给出了一种Web服务交互代价计算模型,用来评价用户对Web服务的偏好程度以及实时环境下Web服务交互的现实代价。将BPEL4WS描述的服务组合流程转换为服务组合流程树,并借助领域本体对流程树节点进行语义检查,消除流程树中不合法的流程组合。通过深度优先遍历流程树,利用单亲遗传算法对流程服务进行优化组合。最后给出应用算例,并对用来优化组合流程服务的单亲遗传算法的适用性与     

动态服务组合中资源选择的研究与实现

在面向服务的网格中，需要按用户请求动态地根据当前系统中服务的状况，组合出满足用户请求的服务组合。目前，当存在多个服务提供者提供相同功能的服务时，如何动态选择合适的服务却很少被论述，而且真实网格环境中的不确定性（如Cpu、网络的负载）也很少考虑。如何选择最合适的服务所在的资源，是服务组合中必须要考虑的。在分析动态服务组合的基础上，设计了一种动态选择资源的方法。并利用GT4中工厂设计模式给出其实现方式。该设计考虑了网格环境中资源的安全性和不确定性因素，比如资源经常失败，以及Cpu和网络的负载等，从而最大程度地提高服务执行的可靠性和高效性以及均衡系统负载。     

改进蚁群与动态Q学习融合的机器人路径规划

基本Q学习算法应用于路径规划时,动作选择的随机性导致算法前期搜索效率较低,规划耗时长,甚至不能找到完整的可行路径,故提出一种改进蚁群与动态Q学习融合的机器人路径规划算法.利用精英蚂蚁模型和排序蚂蚁模型的信息素增量机制,设计了一种新的信息素增量更新方法,以提高机器人的探索效率;利用改进蚁群算法的信息素矩阵为Q表赋值,以减少机器人初期的无效探索;设计了一种动态选择策略,同时提高收敛速度和算法稳定性.在不同障碍物等级的二维静态栅格地图下进行的仿真结果表明,所提方法能够有效减少寻优过程中的迭代次数与寻优耗时.     

Backward Q-learning: The combination of Sarsa algorithm and Q-learning

Reinforcement learning (RL) has been applied to many fields and applications, but there are still some dilemmas between exploration and exploitation strategy for action selection policy. The well-known areas of reinforcement learning are the Q-learning and the Sarsa algorithms, but they possess different characteristics. Generally speaking, the Sarsa algorithm has faster convergence characteristics, while the Q-learning algorithm has a better final performance. However, Sarsa algorithm is easily stuck in the local minimum and Q-learning needs longer time to learn. Most literatures investigated the action selection policy. Instead of studying an action selection strategy, this paper focuses on how to combine Q-learning with the Sarsa algorithm, and presents a new method, called backward Q-learning, which can be implemented in the Sarsa algorithm and Q-learning. The backward Q-learning algorithm directly tunes the Q-values, and then the Q-values will indirectly affect the action selection policy. Therefore, the proposed RL algorithms can enhance learning speed and improve final performance. Finally, three experimental results including cliff walk, mountain car, and cart–pole balancing control system are utilized to verify the feasibility and effectiveness of the proposed scheme. All the simulations illustrate that the backward Q-learning based RL algorithm outperforms the well-known Q-learning and the Sarsa algorithm.     

基于Q学习的异构网络选择新算法

针对异构网络中的多样业务需求,并且为了能够适应网络环境的动态变化,为每一个会话选择一个最合适的网络为其服务同时实现网络负载的均衡,以HSDPA和WiMax构成的异构网络为背景,基于Q学习算法,提出了一种异构网络环境下无线接入网络选择的新算法。该算法在进行网络选择时不仅考虑到网络的负载情况,还充分考虑了发起会话的业务属性、终端的移动性以及终端在网络中所处位置的不同。仿真结果表明该算法降低了系统阻塞率,提高了频谱效用,实现了网络选择的自主性。     

基于QoS的网格服务选择优化机制

在网格服务发现和选择过程中，如何根据请求方（用户）对服务质量的需求，以及网格QoS的动态变化选择网格服务是一个重要问题。该文基于请求方（用户）对不同网格服务QoS赋予的权重不同以及容忍度不同，提出了网格服务选择算法，从而使得请求方（用户）获得的网格服务的性价比最高。     

基于多智能体Q学习的异构车载网络选择方法

异构车载网络环境下如何选择接入网络对于车载终端用户的服务体验而言至关重要,目前基于Q学习的网络选择方法利用智能体与环境的交互来迭代学习网络选择策略,从而实现较优的网络资源分配.然而该类方法通常存在状态空间过大引起迭代效率低下和收敛速度较慢的问题,同时由于Q值表更新产生的过高估计现象容易导致网络资源利用不均衡.针对上述问题,基于多智能体Q学习提出一种适用于融合5G通信异构车载网络的选择方法M QSM.该方法采用多智能体协作学习的思想,利用双Q值表交替更新的方式来获得动作选择的总回报值,最终实现异构车载网络环境下长期有效的最优网络切换决策集合.实验结果表明,与同类型方法相比较,M QSM在系统总切换次数、平均总折扣值和网络容量利用率方面表现出更好的性能.     

改进强化学习算法应用于移动机器人路径规划

为了解决传统的强化学习算法应用于移动机器人未知环境的路径规划时存在收敛速度慢、迭代次数多、收敛结果不稳定等问题,提出一种改进的Q-learning算法。在状态初始化时引入人工势场法,使得越靠近目标位置状态值越大,从而引导智能体朝目标位置移动,减少算法初始阶段因对环境探索产生的大量无效迭代;在智能体选择动作时改进[ε]-贪婪策略,根据算法的收敛程度动态调整贪婪因子[ε],从而更好地平衡探索和利用之间的关系,在加快算法收敛速度的同时提高收敛结果的稳定性。基于Python的Tkinter标准化库搭建的格栅地图仿真结果表明,改进的Q-learning算法相较于传统算法在路径规划时间上缩短85.1%,收敛前迭代次数减少74.7%,同时算法的收敛结果稳定性也得到了提升。     

基于支持向量机和Q学习的移动机器人导航

基于神经网络的连续状态空间Q学习已应用在机器人导航领域。针对神经网络易陷入局部极小,提出了将支持向量机与Q学习相结合的移动机器人导航方法。首先以研制的CASIA-I移动机器人和它的工作环境为实验平台,确定出Q学习的回报函数;然后利用支持向量机对Q学习的状态——动作对的Q值进行在线估计,同时,为了提高估计速度,引入滚动时间窗机制;最后对所提方法进行了实验,实验结果表明所提方法能够使机器人无碰撞的到达目的地。     

微网控制系统中多AgentQ学习算法的研究

本文首先介绍了微网控制系统的多Agent结构以及各Agent的工作流程,然后提出了应用于微网控制系统的多Agent结构的协作学习算法,该算法在Q学习算法的基础上进行了改进,使之适用于混合环境中。最后将IEEE9节点系统作为微网模拟系统并在其中进行了仿真,结果显示该算法可以在微网功率发生波动时快速地使功率恢复到稳定状态。     

Dynamic feature selection algorithm based on Q-learning mechanism

Feature selection is a technique to improve the classification accuracy of classifiers and a convenient data visualization method. As an incremental, task oriented, and model-free learning algorithm, Q-learning is suitable for feature selection, this study proposes a dynamic feature selection algorithm, which combines feature selection and Q-learning into a framework. First, the Q-learning is used to construct the discriminant functions for each class of the data. Next, the feature ranking is achieved according to the all discrimination functions vectors for each class of the data comprehensively, and the feature ranking is doing during the process of updating discriminant function vectors. Finally, experiments are designed to compare the performance of the proposed algorithm with four feature selection algorithms, the experimental results on the benchmark data set verify the effectiveness of the proposed algorithm, the classification performance of the proposed algorithm is better than the other feature selection algorithms, meanwhile the proposed algorithm also has good performance in removing the redundant features, and the experiments of the effect of learning rates on the our algorithm demonstrate that the selection of parameters in our algorithm is very simple.

     

基于SOA的动态服务集成与调度网格模型

针对在动态分布的网格环境中实现服务组件的动态选择和集成问题,提出基于SOA动态服务集成与调度系统DISS。引入组态和动态重构思想,给出DISS实现框架和方法,使网格应用的组态可以动态调整,实现服务组件的动态绑定,对该系统进行建模和原型实现,为建立面向服务架构的网格应用提供新的设计思想和实现方法。