在线多任务异构云服务器负载均衡算法研究

针对由于云服务器之间软件环境存在异构性及数据分布不均匀等特点而导致云服务器集群在处理大量任务时往往出现节点负载不均衡的情况,提出了解决在线多任务异构云服务器集群负载均衡的方法与相关算法。首先统计集群提供的各类服务的平均资源消耗,结合任务在服务器上已运行时长和资源占用情况,预测评估某一时刻服务器上任务剩余负载总量;然后按周期获取节点实际任务负载情况,及时修正任务负载情况;最后综合考虑节点各项性能,计算在待分配任务提交时刻各节点的预测负载评估值,并将任务分配给预测负载最轻的节点。实验结果表明,该算法具有可行性且在多任务异构云服务器集群负载均衡方面具有一定优势。     

算网融合下时间连续的计算任务卸载机制

算力网络通过网络协同云、边、端计算资源，突破单点算力的性能瓶颈，为智能化社会提供了算力支撑.算网融合逐渐成为新型信息通信网络技术发展的趋势.由于计算资源异构、网络负载动态，如何协同云、边、端计算资源，从而降低计算任务时延是算网融合下极具挑战性的问题之一.为简化问题，现有工作往往假设系统时间是离散的，并且只在时隙结束时进行计算卸载决策.但该假设会引入决策等待时间，增加了计算任务的整体时延.针对上述问题，提出一种算网融合下时间连续的计算任务卸载机制，在保证时间轴连续和协同多个边缘节点计算资源的前提下，以服务体验提升率为优化目标，对云、边、端间任务卸载问题进行建模，并设计了一种基于深度强化学习的任务卸载方法，从而更高效地利用算力网络计算资源.通过大量的仿真实验证明，与2种基线算法相比所提算法能够有效降低任务时延，提升服务体验.     

基于智能电表数据的家庭特征联合预测算法

现有大多数工作都是通过智能电表数据独立地预测单户特性,而忽略了不同特性的联合分析,对此构建一种多任务学习模式,判别多任务间关系.该模式将每个特征看作一个独立的任务,并尝试同时预测多个家庭特征.主要解决了不同特征之间关系的嵌入结构问题和原始训练数据中存在冗余特征问题.模型通过获取任务协方差矩阵捕捉不同特征之间的内在联系,...     

算力网络中高效算力资源度量方法

随着新型网络业务的不断发展和对算力需求的不断提高，算力网络技术逐渐走进人们的视野并不断发展壮大.而算力度量，作为度量各类算力平台中计算和存储能力的方法，在算力网络业务感知和算力资源高效调度中扮演着重要的角色.目前算力度量的研究尚处于起步阶段，已有的度量方法相对单一，只考虑了部分静态或动态指标，难以保证算力资源利用率和算力资源匹配准确率.设计了一种先静后动的混合式度量方法 (hybrid metric method, HMM)，该方法结合静态和动态指标来度量算力资源，考虑了算力节点的基础性能及其动态工作状态的变化，并且在静动态的度量指标的选取上也进行了全面的考量.通过实验和数据分析证明，所提度量方法 HMM能有效提升算力资源利用率和算力资源匹配准确率.     

基于多策略的异构数据库知识获取分析与实现

为对异构数据库中的大量孤立、没有语义描述的数据进行自动归类及本体建模,实现异构数据库数据的知识获取,提出了一个基于本体与Web服务的异构数据库知识获取框架,给出了通过Web服务包装异构数据库的访问机制,设计出贝叶斯分类器并应用该分类器对获取的异构数据自动映射到相关的本体.该方法能够通过贝叶斯分类器自动对异构数据归类,实现了异构数据库的交互知识获取.     

基于混合共享机制的多任务深度学习方法

针对多任务学习的特征提取和任务区分难题，提出基于混合共享机制的多任务深度学习方法。给出硬参数共享网络混合训练方法和依据灵敏性分析的任务相似度分组策略；对组内、组间任务分别应用硬、软参数共享，给出混合共享网络及其相应训练方法；通过MNIST数据集上的实例研究与分析验证该方法的有效性。该方法充分发挥了硬、软参数共享机制的优点，较好刻画了任务的共享与私有特征，提升了多任务学习的性能。     

面向弱匹配的跨媒异构迁移学习

针对面向弱匹配的跨媒异构迁移学习中存在的迁移学习性能不高的问题,提出了一种基于平衡异构距离的混合拉普拉斯特征映射的跨媒异构迁移学习方法.利用大量非成对数据和相对少量的成对数据蕴含的语义信息,获取不同媒体域原始特征空间到潜在公共特征空间的映射矩阵;并在跨媒异构迁移学习中,构建混合图拉普拉斯矩阵,不仅保持了同一域下样本间的流形结构,而且保持不同域下样本间的流形结构;提升训练获得的模型在跨媒异构目标域的分类预测性能.在2个公共数据集NUS-WIDE和LabelMe上进行实验,表明了在成对数据的基础上,利用大量非成对数据可以增加模型的准确率和鲁棒性.     

基于云模型理论面向大数据的协作联盟决策评价

针对联盟决策评价中存在较强的不确定性,提出基于云模型理论面向大数据的协作联盟决策评价方法.首先,构建面向大数据的多任务协作联盟多层决策评价架构,依托大数据处理分析平台获取联盟成员的基本评价指标的评价数据,应用逆向云发生器算法生成相应的评价云,并运用综合云运算产生联盟评价指标的云数字特征.然后,结合联盟评价指标权重和任务权重,运用云加权算术平均数算子进行云集结,分别产生单任务联盟决策评价云和多任务协作联盟决策评价云.再对多任务协作联盟备选方案进行决策评价和选优,以确定最优的联盟方案.最后通过实例与D-S证据理论联盟评价方法进行对比,验证文中方法的有效性.     

基于云填充和混合相似性的协同过滤推荐算法的研究

针对传统推荐算法的相似性度量准确性不高及数据极端稀疏性等问题,提出一种基于云填充和混合相似性的协同过滤推荐算法。首先通过云模型填充用户-项目评分矩阵,然后对相似性度量方法进行改进,将基于时间序列的用户间影响力融合到基于Jaccard系数的相似性度量方法中。在MovieLens数据集上的验证结果表明,改进后的算法提高了推荐精度同时在一定程度上克服了数据稀疏性的影响。     

服务系统中基于经验本体的信任度量方法研究

在高动态、异构和动态的服务计算环境下,信任度量依赖于推荐信任信息的交流与共享,而现有信任度量方法忽略了对推荐信息内涵和特征的分析,导致实体间的主客观差异性严重影响了信任度量的准确性。首先给出了信任及其度量的形式化语义,提出了一种以经验为核心概念类的经验本体E-Ont,明确了交互经验相关的概念及属性,在此基础上给出了信任推导及聚合方法。与基于评价和上下文的信任度量方法相比,所提方法增强了信任度量的准确性,利于服务请求者在开放、异构服务环境下选择可信的服务提供方进行交互。     

一种基于能耗优化的云计算系统任务调度方法

服务器执行任务产生的能耗是云计算系统动态能耗的重要组成部分。为降低云计算系统任务执行的总能耗,提出了一种基于能耗优化的最早完成时间任务调度方法,建立了服务器动态功率计算模型,基于动态功率的服务器执行能耗模型,以及云计算系统的能耗优化模型。调度策略根据任务的截止时间要求和在不同服务器上的执行能耗,选择不同的调度算法,以获得最小任务执行总能耗。实验结果证明,提出的任务调度方法,能够较好地满足任务截止时间的要求,降低云计算系统任务执行的总能耗。     

面向长作业环境中的云调度策略

随着云计算的普及,大量的数据处理选择云服务来完成。现有算法较少考虑异构型系统中虚拟机计算能力的不同,导致某些任务等待时间过长。提出了虚拟机负载大小实时调整的算法。对云计算中资源虚拟化特征,给出一种评估虚拟机计算能力的方法。根据虚拟机能力和运行过程中的状态变化,自适应进行任务量大小调整,满足实时要求。通过任务调度,协调任务完成时间,保持各虚拟机负载的动态均衡,缩短长作业的总执行时间,提高了系统的吞吐量和整体服务能力,提升了效益。实验结果表明,本文算法能自适应地调整任务量大小,进行调度,以维持虚拟机负载均衡。     

基于关联数据本地化的多密码作业流调度算法

针对云密码服务系统中服务请求多样、数据依赖性作业流与非数据依赖性作业流随机交叉并发等问题,为了避免处理节点之间关联数据的交互而带来的系统通信性能开销和数据安全性威胁,设计一种基于关联数据本地化的云密码作业流调度算法。首先通过任务请求密码功能的映射,保障多作业流请求密码功能的正确实现;然后对于具有相同请求密码功能的各任务中不同工作模式交叉问题,在提出任务优先级计算方法以促进多作业流调度公平性的基础上,采用分类调度的方法,在实现关联数据本地化的同时,保障了调度系统的整体性能。仿真结果表明,该算法不仅可以有效减少系统任务完成时间,提高资源利用率和公平性,并且具有良好的稳定性。     

异构云环境下基于分簇的云资源感知任务调度方案

针对提高异构云平台中资源调度的效率,提出了一种基于任务和资源分簇的异构云计算平台任务调度方案。利用K-means算法,根据任务的CPU和I/O处理时间对任务分簇,根据资源的计算能力对资源分簇;然后,将任务簇对应到合适的资源簇,并利用最早截止时间优先（EDF）算法对任务簇中的独立任务进行调度,利用提出的改进型最小关键路径（MCP）算法对依赖性任务进行调度。实验结果表明,在资源异构的云计算环境中,该方案执行任务时间短、能耗低。     

基于效益博弈的云计算资源动态可协调分配策略研究

在对用户的任务进行计算资源分配时,为了有效提高计算资源的利用效率,减少任务执行所需要的成本,提出了一种基于效益博弈的云计算资源动态可协调分配机制。该机制采用时间矩阵和费用矩阵作为任务效益的衡量指标,提出效益博弈模型,通过该模型的效益计算方程来得到最好的资源分配策略。为了使得计算资源能够合理地按需进行分配,提出了动态可协调分配机制,在合理地分配资源,满足所有任务正常执行时所需资源的同时,最大化任务的执行效益。实验仿真及对比结果表明,在任务完成时间、任务执行的平均成本、任务完成成功率上,本文算法都取得了较好的效果。     

云计算环境任务调度方法研究综述

随着应用程序计算需求的快速增长,异构计算资源不断地增多,任务调度成为云计算领域中重要的研究问题。任务调度负责将用户任务匹配给合适的虚拟计算资源,算法的优劣将直接影响响应时间、最大完工时间、能耗、成本、资源利用率等一系列与用户和云服务供应商经济利益密切相关的性能指标大小。针对独立任务和科学工作流这两类云环境主流任务,结合不同云环境特征对任务调度算法研究进展进行综述和讨论。回顾梳理已有的任务调度类型、调度机制及其优缺点;归纳单云环境和混合云、多云及联盟云等跨云环境下任务调度特征,并对部分相关典型文献的使用方法、优化目标、优缺点等方面进行阐述,在此基础上讨论各个环境下任务调度研究现状;进一步对各类环境下文献使用的调度优化方法进行梳理,明确其使用范围;总结并指出需要对计算数据密集型应用在跨云环境下的任务调度研究进行重点关注。     

基于多任务管理系统的高清视频处理

提出了一种基于多任务管理系统的高清视频处理技术,具有提升高清视频处理实时性,优化计算资源利用率,降低高清视频处理应用设计难度的特点。首先,介绍了面向异构多核计算环境的多任务管理系统,用于多种类型任务的调度执行及计算资源的负载均衡。在此基础上,设计了一种软件流水线,将对于高清视频的复杂而重复的处理过程分解成多类型的任务,提交至多任务管理系统。最后,对基于多任务管理系统的高清视频处理技术进行了实验验证。结果表明,异构多核环境下,高清视频处理的计算性能提升了3.7倍。     

移动网络中心云计算存储数据访问安全自动监测系统设计

为了提高移动网络中心云计算存储数据访问和安全监测能力,提出一种基于深度学习和交叉编译控制的移动网络中心云计算存储数据访问安全自动监测系统设计方法。采用混合属性数据模糊加权聚类方法进行移动网络中心云计算存储数据的优化访问控制模型设计,根据云计算存储数据之间的属性相似度进行离散化数值属性分解,提取移动网络中心云计算存储数据的混合属性特征量,根据最小化云存储数据访问成本为代价进行移动网络中心云计算存储数据访问的安全监测。结合深度学习方法进行数据访问的自适应控制,在交叉编译环境下实现云计算存储数据访问安全自动监测系统开发设计。测试结果表明,采用该方法进行移动网络中心云计算存储数据访问的安全性较好,自动化控制能力较强。     

基于任务进度感知的异构Hadoop云平台任务调度方案

针对异构Hadoop云计算平台的任务调度问题,对Hadoop 推测执行调度和LATE调度方案进行研究,提出一种基于任务进度感知的自适应任务调度方案。首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队者(Straggler)任务。然后,以平均节点任务进度的25%为阈值,将节点分为慢节点和快节点。当Straggler后备任务达到一定阈值时,将其优先分配到快节点中执行。实验结果表明,提出的方案能够为异构Hadoop平台合理分配任务,有效降低了任务完成时间和响应延迟,同时提高了平台吞吐量。     

A probabilistic model for performance analysis of cloud infrastructures

Analyzing the quantitative performance plays an important role in understanding and improving the quality of cloud computing systems and cloud‐based applications. In cloud computing, service requests from users go through numerous provider‐specific steps from the instant it is submitted to when the requested service is fully delivered. Quantitative performance analysis is not an easy task because of the complexity of cloud provisioning control flows and the increasing scale and complexity of real‐world cloud infrastructures. This work proposes a probabilistic queuing network‐based model for the performance analysis of cloud infrastructures. It considers expected task completion time and rejection probability as the performance metrics. Experimental performance data suggest the correctness of the proposed model. Copyright © 2015 John Wiley & Sons, Ltd.