大数据流式计算框架Heron环境下的流分类任务调度策略

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。     

基于遗传算法的网格任务调度方法研究

文章提出了一种以资源代理为基础的任务调度方法——GMBSA。并比较了轻重负载情况下GMBSA，多队列Backfilling和FCFS三种调度方案的性能差异。     

云计算环境下科学工作流两阶段任务调度策略

经过对云环境下科学工作流现有的任务调度策略进行分析研究,针对异态最早结束时间(HEFT)算法及其改进算法SHEFT在任务执行过程中出现的资源闲置现象,结合云计算的特点,在SHEFT算法的基础上提出了一种两阶段任务调度策略。该策略在完成时间最少的情况下能够对资源的闲置时间进行尽可能的利用。经过对该算法进行实验和性能分析,表明该策略在完成时间和资源利用方面都有很大改进。     

融合奇异性和扩散过程的协同过滤模型

作为解决信息过载问题的有效方式,推荐系统能够根据用户偏好对海量信息进行过滤,为用户提供个性化的推荐。但在推荐过程中,性能表现优异的协同过滤模型并没有充分利用上下文信息,这在一定程度上使系统面临性能瓶颈。为了进一步提高系统性能,从评分上下文信息着手,通过对项目评分进行分类统计获得评分奇异性,同时借鉴多渠道扩散相似性模型将推荐系统作为用户-项目二分网络的思想,提出了融合奇异性和扩散过程的协同过滤模型(collaborative filtering model fusing singularity and diffusion process,简称CFSDP)。为了表明模型的优越性,比较实验基于MovieLens,NetFlix和Jester这3个不同的数据集展开。实验结果表明,该模型不仅具有良好的扩展性,而且在合理的时间开销下,可以显著提高系统的预测和推荐质量。     

可信网络中基于信誉和风险评估的动态信任模型*

针对可信网络不能有效处理恶意节点攻击的问题,综合考虑信任度评估的动态性和风险性,提出一种新的基于信誉和风险评估的动态信任模型。该模型引入惩罚机制、风险机制和推荐实体信任度更新机制,以评估信任关系的复杂性,通过构建直接信任树以存储节点的交互关系,并采用改进的回溯法寻找最佳推荐路径。仿真结果表明,该模型在有效抑制恶意节点上较已有模型有一定的改进。     

云计算中一种多DAG工作流可抢占式调度策略

为解决多用户工作流调度过程中的公平性问题,提高资源利用率,满足不同用户DAG工作流的不同QoS需求,提出了抢占式多DAG工作流动态调度模型。该算法将DAG工作流按照QoS需求进行优先级划分,采用高优先级作业优先占有资源的原则调度作业。相同优先级DAG工作流的任务依据带有启发性信息的slowdown进行资源抢占,进一步提高了作业调度的公平性;对于不同优先级的作业调度,提出了基于阈值的回填算法,该算法在保证作业调度公平的同时提高了资源利用率。     

基于可靠性的云工作流调度策略

经过对已有云工作流调度算法中可靠性问题进行分析研究,针对一些算法在任务调度过程中只考虑提高整个工作流的可靠性而牺牲了时间或增加花费的问题,结合云计算的特点,提出一种基于可靠性的工作流调度策略。该策略结合了工作流中任务的可靠性,充分考虑任务的优先顺序并结合复制的思想,在减少传输过程失败率的同时降低传输时间,使整个工作流在降低完成时间的同时,提高整体可靠性。通过实验和分析表明,通过该策略云工作流在不同任务数和通信运算比（CCR）的可靠性比异态最早结束时间算法（HEFT）算法及其改进算法--SHEFTEX都有所提升,完成时间比HEFT算法有所减少。     

改进的Ke rbe ros协议在HDFS环境下的研究

由于Kerberos认证模型是中心管理方式,当Kerberos应用于大型的分布式网络中时,会产生服务器的瓶颈问题。为扩大Kerberos的应用范围,使其很好的与分布式系统HADOOP结合,对Kerberos在HDFS环境下的应用进行研究和描述,针对Kerberos密钥分发中心的瓶颈问题和 HADOOP分布式文件系统的特殊需求,提出改进的Kerberos协议模型。该模型结合分布式思想,且对协议的消息传递模型进行改进。仿真结果表明,该协议解决了 HADOOP分布式文件系统集成Kerberos的缺点,提升了 HADOOP分布式文件系统的存储安全以及分布式文件系统的用户认证效率。     

云计算下基于信任的防御系统模型

由于云计算的动态性和开放性,云环境中频频出现恶意攻击行为,为了保障云计算的安全,结合可信云的思想,提出一个云计算下基于信任的防御系统模型。该模型通过实时监控获取用户的行为证据并加以规范;提出一种新的基于模糊层次分析法（FAHP）的用户行为信任评估方法,逐步确定各行为证据的权重,实现行为信任的科学量化评估;利用多种检测引擎对可疑文件进行全面检测和综合决策,为云中用户提供最大限度的安全防御。实验结果表明,该系统模型能有效消除不良用户的恶意攻击行为、降低病毒等给用户带来的损失,达到云端和客户端双向防御的目的。     

用户QOS及系统指标指导的计算网格任务调度

针对网格环境中的动态性特点,特别是用户服务质量（QoS）需求的动态变化性,通过定义任务的效益函数来评估任务的多维QoS需求。同时为了兼顾任务完成时间、负载平衡等系统指标,引入系统效益的概念,给出负载平衡度的定义用来指导调度及评价调度性能。针对一组具有QoS需求的相互独立的计算任务提出一种用户QoS及系统指标指导的计算网格任务调度算法——UQSI。模拟实验结果显示,该算法能较好地满足用户的多维QoS需求,更加适合开放复杂的网格环境。