一种基于图聚类的Web服务组合分布式运行方法

针对数据流约束的应用环境,在WebJet平台工具支撑下,采取集中式方式对Web服务进行组合,将Web服务组合采用图聚类方法划分成分布式代码片段,然后采取分布式方式运行服务组合的技术路线.在满足簇(划分)之间数据流量最小化及分布式系统吞吐量最大化的目标约束下,运用图聚类的多级算法划分Web服务组合.实例分析说明,该算法能自动、快速地将集中式BPEL程序划分为分布式的BPEL程序,并对BPEL程序迁移到的分布式节点之间的负载进行均衡调整,使分布式运行系统达到负载均衡.     

基于PDG图的分布式动态可执行服务组合方法

组合服务是将一系列Web服务协调地组合在一起,从而完成预期目标。组合服务按照其引擎分布可分为:集中式服务组合和分布式服务组合。分布式组合服务可以有效地解决集中式组合服务在系统可伸缩性、消息传输效率、自治性和有效负载均衡等方面的问题,将可执行全局流程等价分解成可执行本地流程,以及将服务组合和负载均衡结合集群概念,研究服务组合的QOS。这些将成为新的挑战,文中通过PDG图进行等价分解,并结合QOS,通过实验测试引擎负载,提出将负载均衡融入服务组合QOS研究思想。     

基于PDG图的分布式动态可执行服务组合方法

组合服务是将一系列Web服务协凋地组合在一起，从而完成预期目标。组合服务按照其引擎分布可分为：集中式服务组合和分布式服务组合。分布式组合服务可以有效地解决集中式组合服务在系统可伸缩性、消息传输效率、自治性和有效负载均衡等方面的问题，将可执行全局流程等价分解成可执行本地流程，以及将服务组合和负载均衡结合集群概念，研究服务组合的QOS。这些将成为新的挑战，文中通过PDG图进行等价分解，并结合QOS，通过实验测试引擎负载，提出将负载均衡融人服务组合QOS研究思想。     

服务组合中一种自适应的负载均衡算法

服务组合可以整合网络上现有的多种异构服务,形成新的服务.针对服务组合中服务路径的选择和负载均衡问题,提出了一种自适应的分布式负载均衡算法--LCB(load capacity based algorithm)算法.LCB算法使用服务路由来查找服务和转发数据,使用负载容率(load capacity,简称LC)测度来进行服务副本的选择,从而建立一条适当的组合服务路径.LC测度是对服务器负载的估算,它根据服务器的负载波动信息不断地进行自适应的调整,从而实现多个服务副本之间的负载均衡.与现有的服务组合负载均衡算法相比,LCB算法不需要知道服务器的最大负载量和当前负载信息,而且具有更好的可扩展性,更适用于分布式环境下动态服务副本的组合.模拟实验表明,LCB算法具有良好的负载均衡效果.     

面向分布式业务执行的BPEL流程解析方法

当前工业界标准的业务流程描述语言BPEL是一种集中式的编制语言,通常业务执行时由集中式引擎控制,易成为系统的性能瓶颈。提出一种BPEL业务流程解析方法,以与服务直接相关的活动为基础,将流程划分出若干基本单元,通过递归算法将其它活动归属到相关单元,产生多个子流程,实现对原有流程的分割,使业务流程可以分布式执行。实现了一个分布式业务执行原型系统,验证了解析方法的有效性。     

基于业务抽象规划的分布式动态服务组合算法

异构系统间难以实现计算资源的灵活共享,制约分布式信息系统性能的提升,基于面向服务架构的Web服务技术,为异构系统计算资源共享提供了有效手段。为此,针对Web服务组合在集中式发布架构下单点故障和性能瓶颈问题,提出一种基于业务抽象规划的分布式动态服务组合算法。该算法根据组合规划结果对业务抽象规划库进行动态扩充,快速组合出满足需求的服务,逐步提高服务组合响应率。仿真结果表明,该算法在分布式环境下可减少服务请求过程中交互的信息量,降低请求响应时间,提高服务组合效率。     

全局优化的分层动态Web服务组合

优化选取服务是动态Web服务组合的关键技术之一。在对分层组合算法研究的基础上,利用产生式规则和接口语义规则对Web服务建模,引入了备选服务的QoS性能指标和用户请求对响应时间、成本、成功率、可靠性和组合率的多条件约束,给出了一种全局优化的分层动态Web服务组合算法,通过仿真工具Weblogic 8.1 application server + Oracle BPEL Process Manager 10验证,结果表明,该算法能够有效提高动态Web服务组合的成功率和组合率。     

一种Web服务组合的认知模型检测方法

由于Web服务及其协同的动态性,开放多变的互联网运行环境,以及松耦合的服务开发模式所导致的开发和运行过程不确定性,使得Web服务组合的正确性和可靠性等可信性质难以得到保证.将Web服务组合抽象为多主体系统,提出业务流程执行语言BPEL的形式模型BSTS,设计并实现了从BPEL到BSTS的B2S转化算法,以及从BSTS到多主体系统模型检测工具MCMAS输入语言ISPL的S2I转化算法,从而实现Web服务组合的自动形式化建模,使得我们不仅可以验证Web服务组合的时态逻辑规范,而且还可以验证认知与合作等多主体系统特有的逻辑规范.我们实现了相关的模型检测工具原型MCWS,并用其对一个贷款核准服务实例进行建模和验证,实验结果显示了MCWS的有效性.     

基于流程树的BPEL4WS中流程服务动态优化方法*

针对服务流程建模语言BPEL4WS难以满足用户个性化需求也无法适应动态环境变化的问题,提出了一种动态优化BPEL4WS中流程服务的方法。该方法给出了一种Web服务交互代价计算模型,用来评价用户对Web服务的偏好程度以及实时环境下Web服务交互的现实代价。将BPEL4WS描述的服务组合流程转换为服务组合流程树,并借助领域本体对流程树节点进行语义检查,消除流程树中不合法的流程组合。通过深度优先遍历流程树,利用单亲遗传算法对流程服务进行优化组合。最后给出应用算例,并对用来优化组合流程服务的单亲遗传算法的适用性与     

多服务副本下的一种分布式负载均衡路径算法

目前的服务器负载均衡算法多只针对选择一台服务器提供所有服务,不能满足服务组合需要选择一组服务副本的情况。针对整个集群系统拥有多台服务器,每台服务器具有多个服务副本的服务查找与组合的路径选择和负载均衡问题,提出了一种基于节点负载变化的分布式负载均衡路径算法LCNA（Load Changes of Notes-considered Algorithm）。LCNA算法以基于DHT的路由算法来建立集群系统的服务列表和路由转发列表,以服务器节点的动态负载变化作为测度进行服务节点的选择。实验结果表明,LCNA算法能有效提高多服务副本环境下应用的整体性能,具有良好的负载均衡效果。     

不确定数据流上的并行Skyline查询算法

不确定数据流上的Skyline查询技术逐步引起研究者的关注,传统的集中式流处理算法难以满足海量数据的查询需求,并且云计算所提供的海量计算资源和有效的存储管理模式,为研究并行Skyline查询技术提供了充足的条件。基于上述事实,提出了一种不确定数据流上的并行Skyline查询算法(parallel Skyline over uncertain data streams,PSUDS)。该算法通过交叉划分滑动窗口的方式,将集中式流查询转化为并行处理,以并行执行的方式来解决集中式算法处理性能不足的问题。大量实验结果表明,该算法具有较好的并行可扩展性。     

Nogood-FC for solving partitionable constraint satisfaction problems

Many real problems can be naturally modelled as constraint satisfaction problems (CSPs). However, some of these problems are of a distributed nature, which requires problems of this kind to be modelled as distributed constraint satisfaction problems (DCSPs). In this work, we present a distributed model for solving CSPs. Our technique carries out a partition over the constraint network using a graph partitioning software; after partitioning, each sub-CSP is arranged into a DFS-tree CSP structure that is used as a hierarchy of communication by our distributed algorithm. We show that our distributed algorithm outperforms well-known centralized algorithms solving partitionable CSPs.     

应对倾斜数据流在线连接方法

并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销。相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源。基于完全二部图的连接模型可支持分布式数据流的连接操作。因为连接操作的每个关系仅存放于二部图模型的一侧处理单元,无需复制数据,且处理单元相互独立,因此该模型具有内存高效、易伸缩和可扩展等特性。然而,由于数据流速的不稳定性和属性值分布的不均衡性,导致倾斜数据流的连接操作易出现集群负载不均衡的现象。针对倾斜数据流的连接操作,模型无法动态分配查询节点,并需要人工干预数据分组的参数设置。尤其是应对全部历史数据的连接查询,模型效率更低。基于上述问题,提出了管理倾斜数据流连接的框架,使用基于键值和元组混合的划分样式有效应对二部图模型的各侧倾斜数据。并设计了重新动态分配查询节点的策略和状态迁移算法,以支持全历史数据的连接查询和自适应的资源管理。针对合成数据和真实数据的实验表明,该方案可有效应对倾斜数据的连接操作并进一步提升分布式数据流管理系统的吞吐率,特别是降低云环境中的计算成本。     

基于索引偏移的MapReduce聚类负载均衡策略

MapReduce作为一种分布式编程模型,被广泛应用于大规模和高维度数据集的处理中。其采用原始Hash函数 划分 数据,当数据分布不均匀时,常会出现数据倾斜的问题。基于MapReduce的聚类算法,需要多次迭代且不清楚各阶段Reduce的输入数据分布,因此现有的解决数据倾斜的方法并不适用。为解决数据划分的不均衡问题,提出一种当存在数据倾斜时更改剩余分区索引的策略。该方法在Map运行的过程中统计将要分给各reducer的数据量,由JobTrackcr监控全局的分区信息并根据数据倾斜模型动态修改原分区函数;在接下来的分区过程中,Partitioner把即将导致倾斜的分区索引到其余负载较轻的reducer上,使各节点的负载达到均衡。基于Zipf分布数据集和真实数据集,将所提算法与现有的解决数据倾斜的方法进行对比,结果证明,所提策略解决了MapReduce聚类中的数据倾斜问题,且在稳定性与执行时间上优于Hash和基于采样的动态分区法。     

基于赋权有向超图的云计算依赖任务调度研究

如何对依赖任务进行高效合理的调度是云计算急需解决的关键问题之一。对云计算环境下的依赖任务调度系统进行了形式化描述。采用赋权有向无环超图来构造依赖任务调度问题的数学模型,结点对应于依赖任务,有向超边对应于任务之间的执行先后依赖关系。将云计算依赖任务调度问题转换为赋权有向超图的优化划分问题,提出了基于多水平方法和赋权有向超图的依赖任务划分优化算法。设计并实现了基于多水平方法的云计算依赖任务调度原型系统。在CloudSim云计算仿真实验平台下,与Min-Min算法、Max-Min算法进行了对比实验,实验数据对比表明该算法在减少依赖任务执行时间的同时,优化了资源负载均衡性能。     

基于DAG图的自适应代码划分优化算法

并行编译的两大工作是程序代码划分和调度。对于调度问题，目前已有大量的解决方案，但是针对代码划分提取并行性的研究工作却非常少。该文提出了通过合并结点来划分DAG图的新的划分算法。实例分析证明，该算法是一种有效的、低复杂度的自适应代码划分解决方案，并且适用于异构计算的任务图划分。     

知识图谱划分算法研究综述

知识图谱是人工智能的重要基石,因其包含丰富的图结构和属性信息而受到广泛关注.知识图谱可以精确语义描述现实世界中的各种实体及其联系,其中顶点表示实体,边表示实体间的联系.知识图谱划分是大规模知识图谱分布式处理的首要工作,对知识图谱分布式存储、查询、推理和挖掘起基础支撑作用.随着知识图谱数据规模及分布式处理需求的不断增长,如何对其进行划分已成为目前知识图谱研究的热点问题.从知识图谱和图划分的定义出发,系统性地介绍当前知识图谱数据划分的各类算法,包括基本、多级、流式、分布式和其他类型图划分算法.首先,介绍4种基本图划分算法:谱划分算法、几何划分算法、分支定界算法、KL及其衍生算法,这类算法通常用于小规模图数据或作为其他划分算法的一部分;然后,介绍多级图划分算法,这类算法对图粗糙化后进行划分再投射回原始图,根据粗糙化过程分为基于匹配的算法和基于聚合的算法;其次,描述3种流式图划分算法,这类算法将顶点或边加载为序列后进行划分,包括Hash算法、贪心算法、Fennel算法,以及这3种算法的衍生算法;再次,介绍以KaPPa、JA-BE-JA和轻量级重划分为代表的分布式图划分算法及它们的衍生算法;同时,在其他类型图划分算法中,介绍近年来新兴的2种图划分算法:标签传播算法和基于查询负载的算法.通过在合成与真实知识图谱数据集上的丰富实验,比较了5类知识图谱代表性划分算法在划分效果、查询处理与图数据挖掘方面的性能差异,分析实验结果并推广到推理层面,获得了基于实验的知识图谱划分算法性能评价结论.最后,在对已有方法分析和比较的基础上,总结目前知识图谱数据划分面临的主要挑战,提出相应的研究问题,并展望未来的研究方向.     

基于顶点组重分配的动态增量图划分算法

图划分是分布式图计算中的一项基础工作, 其作用是将大规模图进行划分并分配到集群中的不同机器上. 图划分的质量对分布式图计算的性能有很大的影响, 其目标是降低负载平衡和最小化边割. 如今, 现实中的图数据通常呈动态增长态势, 这就需要一种能够处理动态增量图的划分方法, 在图数据动态增长的过程中确保划分的质量不受影响. 目前虽然有一些动态图划分算法被提出, 但它们不能同时专注于实时处理动态变化和获得高质量的划分结果. 提出基于顶点组重分配的动态增量图划分算法(ED-IDGP)来解决大规模动态增量图的划分问题. 在ED-IDGP算法中, 设计实时处理4种不同单元更新类型的动态处理器, 并在每次处理完单元更新后通过在分区发生动态变化的附近执行局部优化器进一步提高图划分的质量. 在ED-IDGP的局部优化器中, 利用基于改进标签传播算法的顶点组搜索策略搜索顶点组, 并利用提出的顶点组移动增益公式衡量最有益的顶点组, 将该顶点组移动到目标分区中做优化. 在真实数据集上从不同的角度和度量指标评估了ED-IDGP算法的性能和效率.     

Large-scale multi-robot task allocation via dynamic partitioning and distribution

This paper introduces an approach that scales assignment algorithms to large numbers of robots and tasks. It is especially suitable for dynamic task allocations since both task locality and sparsity can be effectively exploited. We observe that an assignment can be computed through coarsening and partitioning operations on the standard utility matrix via a set of mature partitioning techniques and programs. The algorithm mixes centralized and decentralized approaches dynamically at different scales to produce a fast, robust method that is accurate and scalable, and reduces both the global communication and unnecessary repeated computation. An allocation results by operating on each partition: either the steps are repeated recursively to refine the generalized assignment, or each sub-problem may be solved by an existing algorithm. The results suggest that only a minor sacrifice in solution quality is needed for significant gains in efficiency. The algorithm is validated using extensive simulation experiments and the results show advantages over the traditional optimal assignment algorithms.     

高速网络下的分布式实时入侵检测系统

随着网络技术的飞速发展，网络安全问题日益突出。网络入侵检测系统需要处理大量的数据，处理能力的缺乏会引起入侵事件的漏报，提高入侵检测系统的处理能力是目前急需解决的关键问题。DRTIDS(distributed real-time intrusion detection system for high-speed networks)是一个由单个分析节点和多个探测节点组成的、工作在高速网络下的分布式网络入侵检测系统。DRTIDS的分析节点执行基于网络主机的流量分配策略，保证尽可能地平衡分配网络流量，从而尽可能地发挥整个系统的处理能力。