大数据流式计算框架Heron环境下的流分类任务调度策略

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。     

Storm平台下的线程重分配与数据迁移节能策略

作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略（energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM）,包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.     

Storm环境下基于权重的任务调度算法

大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法（TSAW-Storm）。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。     

基于Flink的任务调度策略

针对大数据流式计算平台拓扑中因各关键节点上任务间不同类型的通信方式导致的通信开销较大问题,提出一种Flink环境下的任务调度策略。通过各任务间数据流大小确定拓扑边权重,将有向无环图转化为拓扑关键路径模型,在保证关键路径上节点负载差异较小的同时,最小化关键任务的节点间通信开销。实验结果表明,该算法与Flink平台现有的任务调度策略相比,在WordCount和TwitterSentiment作业执行过程中计算平均时延降低了13.09%,有效提升了系统性能。     

面向实时流数据处理的边缘计算资源调度算法

针对边缘计算带宽限制导致的实时流数据处理计算效率低下的问题,提出一种迭代优化算法FFS+IPFS,通过对应用负载的实时监控,实现合理的边缘节点任务部署,支持实时流数据处理任务.首先,利用贪心算法进行全局任务分配,通过贪心的算法得到一个近似最优的结果;然后,基于监控到的实时任务信息,通过迭代优化进行局部调优,使得同一数据流的任务可以被部署在相近的边缘节点,从而有效减少任务通信的开销.在不同场景下,平均时延相比其他主流算法可降低23％.大量的模拟实验结果表明,所提算法可以实现有效的资源调度,支持边缘计算场景下高效的实时流数据处理应用.     

Storm环境下基于拓扑结构的任务调度策略

针对Storm流式计算平台中默认轮询调度策略存在通信开销大、负载不均衡的问题,提出基于拓扑结构的任务调度策略（TS²）。首先,选取CPU资源充足且可用的工作节点并各分配一个进程,消除节点内进程间通信开销,优化进程部署;然后,分析拓扑结构,找出拓扑中度最大的组件,优先分配该组件的线程;最后,在满足节点可承载最大线程数的条件下,尽可能将关联任务部署到同一个节点来减少节点间通信开销,改善集群负载均衡,优化线程部署。实验结果表明：在系统延迟方面,与Storm默认调度策略和离线调度策略相比,TS²的平均优化率分别为16.91%和5.69%,有效提高了系统的实时性;在节点间通信开销方面,TS²相比于Storm默认调度策略平均降低了15.75%;在平均吞吐量方面,TS²相比于Storm默认调度策略平均提升了14.21%。     

分布式数据流上低通信开销的连续极值查询方法研究

数据流本质上是分布的,很多时候必须考虑通信开销.基于滑动窗口模型,考虑分布式数据流上的精确连续极值查询问题,对降低通信开销的策略进行了研究.分析了滑动窗口和极值查询的特性,提出了一种数据裁剪策略,系统只需保存少量数据即可满足极值查询的需求,并从理论上证明了该裁剪是存储最优的.远程节点在保证全局结果正确性的前提下尽量延迟数据传递,从而尽可能对局部数据流进行裁剪过滤,达到降低通信量的目的.理论分析和实验结果证明了上述方法的有效性.     

基于粒子滤波的移动传感器网络节点定位算法

根据移动传感器网络中节点定位的特性,对经典粒子滤波的采样策略、粒子加权策略和重采样策略进行改进和优化,提出一种新的移动节点定位算法PFNL.该算法克服了经典粒子滤波算法存在的粒子退化、采样枯竭等缺陷,从而降低节点定位过程中的计算开销和存储开销.仿真实验结果表明,PFNL算法在同等参数条件下的定位精度高于典型定位算法.     

大规模Ad hoc网络中一种高效的组密钥协商协议*

移动Ad hoc网络自身的特点决定了该网络中节点资源的有限性,所以在移动Ad hoc网络中构建组密钥协商协议时,应尽量减少节点的资源开销。为了解决这个问题,提出了一种基于分簇-K叉树组模型结构的组密钥协商协议——CKT-ECC协议。该协议在分簇-K叉树组模型结构上,采用椭圆曲线密码体制实施密钥协商和分配,使得节点在密钥协商过程中具有低计算开销和低通信开销的优势。与GDH、TGDH组密钥协商协议相比,本协议有效地降低了节点在密钥协商过程中的计算开销和通信开销,适用于大规模移动Ad hoc网络。     

网络功能虚拟化环境中大规模资源状态监测策略

在网络功能虚拟化（NFV）环境中,为了提高网络中基础设施资源利用率,高效动态部署服务功能链,编排管理域需要对网络中底层资源及虚拟网络功能状态进行实时监测,但实时监测会产生大量通信开销。提出了网络通信开销最小化的智能分布式监测策略,通过改进的标签传播算法智能划分子网并选择代理监测节点,实现了对资源和虚拟功能状态的高效监测,并使监测信息通信开销最小。仿真结果表明,所提监测策略使网络中监测信息通信开销降低约13%。图4 不同算法下子网节点数量方差图     

面向云环境的Flink负载均衡策略

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。     

面向边缘计算的Storm边缘节点调度优化方法

边缘计算有高实时性和大数据交互处理的需求,边缘异构节点间的调度时耗长、通信时延高以及负载不均衡是影响边缘计算性能的核心问题,传统的云计算平台难以满足新的要求。文中研究了在边缘计算环境下Storm边缘节点的调度优化方法,建立了面向边缘计算的Storm任务卸载调度模型。针对拓扑任务在边缘异构节点间的实时动态分配问题,提出了一种启发式动态规划算法(Inspire Dynamic Programming,IDP),通过改变Storm的Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系实现全局的优化调度;同时,针对拓扑任务的并发度受限于JVM栈深度的缺陷,提出了一种基于蝙蝠算法的调度策略。实验结果表明,与Storm调度算法相比,所提算法在边缘节点CPU利用率指标上平均提升了约60%,在集群的吞吐量指标上平均提升了约8.2%,因此能够满足边缘节点之间的高实时性处理要求。     

基于核密度估计的分布数据流离群点检测

基于数据流数据的挖掘算法研究受到了越来越多的重视．针对分布式数据流环境,提出基于核密度估计的分布数据流离群点检测算法．算法将各分布节点上的数据流作为全局数据流的子集,通过分布节点与中心节点的通信,维护基于全局数据流的分布密度估计．各分布节点基于该估计对其上的分布数据流进行离群点检测,从而得到基于全局数据流的离群点集合．对节点之间的交互以及离群点检测算法的细节进行了讨论．通过实验验证了算法的适用性和有效性．     

Adaptive pre-task assignment scheduling strategy for heterogeneous distributed raytracing system

One of the main obstacles in obtaining high performance from heterogeneous distributed computing (HDC) system is the inevitable communication overhead. This occurs when tasks executing on different computing nodes exchange data or the assigned sub-task size is very small. In this paper, we present adaptive pre-task assignment (APA) strategy for heterogeneous distributed raytracing system. In this strategy, the master assigns pre-task to the each node. The size of sub-task for each node is proportional to the node’s performance. One of the main features of this strategy is that it reduces the inter-processes communication, the cost overhead of the node’s idle time and load imbalance, which normally occurs in traditional runtime task scheduling (RTS) strategies. Performances of the RTS and APA strategies are evaluated on manager/master and workers model of HDC system. The experimental results of our proposed (APA) strategy have shown a significant improvement in the performance over RTS strategy.     

基于关联数据本地化的多密码作业流调度算法

针对云密码服务系统中服务请求多样、数据依赖性作业流与非数据依赖性作业流随机交叉并发等问题,为了避免处理节点之间关联数据的交互而带来的系统通信性能开销和数据安全性威胁,设计一种基于关联数据本地化的云密码作业流调度算法。首先通过任务请求密码功能的映射,保障多作业流请求密码功能的正确实现;然后对于具有相同请求密码功能的各任务中不同工作模式交叉问题,在提出任务优先级计算方法以促进多作业流调度公平性的基础上,采用分类调度的方法,在实现关联数据本地化的同时,保障了调度系统的整体性能。仿真结果表明,该算法不仅可以有效减少系统任务完成时间,提高资源利用率和公平性,并且具有良好的稳定性。     

云计算中基于多目标优化的动态资源配置方法

目前,云平台的大多数动态资源分配策略只考虑如何减少激活物理节点的数量来达到节能的目的,以实现绿色计算,但这些资源再配置方案很少考虑到虚拟机放置的稳定性。针对应用负载的动态变化特征,提出一种新的面向多虚拟机分布稳定性的基于多目标优化的动态资源配置方法,结合各应用负载的当前状态和未来的预测数据,综合考虑虚拟机重新放置的开销以及新虚拟机放置状态的稳定性,并设计了面向虚拟机分布稳定性的基于多目标优化的遗传算法（MOGANS）进行求解。仿真实验结果表明,相对于面向节能和多虚拟机重分布开销的遗传算法（GA-NN）,MOGANS得到的虚拟机分布方式的稳定时间是GA-NN的10.42倍;同时,MOGANS也较好权衡了多虚拟机分布的稳定性和新旧状态转换所需的虚拟机迁移开销之间的关系。     

基于张量分解的数据流异常检测

本文对基于分布式的演化数据流的连续异常检测问题进行了形式化描述,提出一种在滑动窗口中基于张量分解的异常检测算法--WSTA.该算法将各分布结点上的数据流作为全局数据流的子张量,通过分布结点与中心节点的通信,在分布结点的滑动窗口中自适应抽样生成概要数据结构矩阵.对该数据矩阵进行张量分解得到特征向量,然后采用基于距离的异常检测方法发现异常点.基于大量真实数据集的实验表明,此算法具有良好的适用性和可扩展性.