大数据流式计算框架Heron环境下的流分类任务调度策略

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。     

基于可靠性的云工作流调度策略

经过对已有云工作流调度算法中可靠性问题进行分析研究,针对一些算法在任务调度过程中只考虑提高整个工作流的可靠性而牺牲了时间或增加花费的问题,结合云计算的特点,提出一种基于可靠性的工作流调度策略。该策略结合了工作流中任务的可靠性,充分考虑任务的优先顺序并结合复制的思想,在减少传输过程失败率的同时降低传输时间,使整个工作流在降低完成时间的同时,提高整体可靠性。通过实验和分析表明,通过该策略云工作流在不同任务数和通信运算比（CCR）的可靠性比异态最早结束时间算法（HEFT）算法及其改进算法--SHEFTEX都有所提升,完成时间比HEFT算法有所减少。     

云计算下基于信任的防御系统模型

由于云计算的动态性和开放性,云环境中频频出现恶意攻击行为,为了保障云计算的安全,结合可信云的思想,提出一个云计算下基于信任的防御系统模型。该模型通过实时监控获取用户的行为证据并加以规范;提出一种新的基于模糊层次分析法（FAHP）的用户行为信任评估方法,逐步确定各行为证据的权重,实现行为信任的科学量化评估;利用多种检测引擎对可疑文件进行全面检测和综合决策,为云中用户提供最大限度的安全防御。实验结果表明,该系统模型能有效消除不良用户的恶意攻击行为、降低病毒等给用户带来的损失,达到云端和客户端双向防御的目的。     

适应异构集群的Mesos多资源调度DRF增强算法

云计算集群环境下多资源分配的公平性是考量资源调度子系统最重要的指标之一,DRF作为通用的多资源公平分配算法,在异构异质的集群环境下可能有失公平性。在研究Mesos框架中DRF多资源公平分配算法的基础上,设计并实现了增加机器性能评估影响因子的meDRF分配算法。将计算节点的机器性能得分,作为DRF主导份额计算的因子,使得计算任务有均等的机会获得优质计算资源和劣质计算资源。通过选取K-means、Bayes及PageRank等多种作业进行实验,实验结果表明:meDRF较DRF分配算法更能体现多资源分配的公平性,且资源分配具有更好的稳定性,能有效提高系统资源的利用率。     

融合评论分析和隐语义模型的视频推荐算法

针对网络视频元数据信息缺失严重和多媒体数据本身特征难以提取等问题,提出了融合评论分析和隐语义模型的网络视频推荐算法.从视频评论入手,通过分析用户对不同视频的评论内容以判断其情感倾向并加以量化,继而构建用户对项目的虚拟评分矩阵,弥补了显式评分数据稀疏性问题.考虑到网络视频的多元性和高维度特性,为了深度挖掘用户对网络视频的潜在兴趣,针对虚拟评分矩阵采用隐语义模型(LFM)对网络视频分类,在传统的用户—项目二元推荐系统基础之上添加虚拟类目信息以进一步发掘用户—类目—项目关联关系.实验在多重标准下进行,对YouTube评论集的实验表明,所提推荐方法获得了较高的推荐精度.     

云计算环境下科学工作流两阶段任务调度策略

经过对云环境下科学工作流现有的任务调度策略进行分析研究,针对异态最早结束时间(HEFT)算法及其改进算法SHEFT在任务执行过程中出现的资源闲置现象,结合云计算的特点,在SHEFT算法的基础上提出了一种两阶段任务调度策略。该策略在完成时间最少的情况下能够对资源的闲置时间进行尽可能的利用。经过对该算法进行实验和性能分析,表明该策略在完成时间和资源利用方面都有很大改进。     

基于迭代填充的内存计算框架分区映射算法

针对内存计算框架Spark在作业Shuffle阶段一次分区产生的数据倾斜问题,提出一种内存计算框架的迭代填充分区映射算法（IFPM）。首先,分析Spark作业的执行机制,建立作业效率模型和分区映射模型,给出作业执行时间和分配倾斜度的定义,证明这些定义与作业执行效率的因果逻辑关系;然后,根据模型和定义求解,设计扩展式数据分区算法（EPA）和迭代式分区映射算法（IMA）,在Map端建立一对多分区函数,并通过分区函数将部分数据填入扩展区内,在数据分布局部感知后再执行扩展区迭代式的多轮数据分配,根据Reduce端已分配数据量建立适应性的扩展区映射规则,对原生区的数据倾斜进行逐步修正,以此保障数据分配的均衡性。实验结果表明,在不同源数据分布条件下,算法均提高了作业Shuffle过程分区映射合理性,缩减了宽依赖Stage的同步时间,提高了作业执行效率。     

大数据流式计算环境下的阈值调控节能策略

在大数据实时分析计算领域,流式计算的重要性不断提高,但是流式计算平台处理数据的能耗不断上升。针对这一问题,改变流式计算中节点对数据的处理方式,提出了一种阈值调控节能策略（ESTC）。首先,根据系统负载差异确定工作节点的阈值情况;其次,通过工作节点的阈值对系统数据流进行随机选择,确定不同数据处理情况调节系统的物理电压;最后,根据不同的物理电压确定系统功率。实验结果和理论分析表明,在20台普通PC机构成的流式计算集群中,实施ESTC的系统比原系统有效节能约35.2%;此外,ESTC下的性能与能耗的比值为0.0803 tuple/（s·J）,而原系统性能与能耗的比值为0.0698 tuple/（s·J）。ESTC能够在不影响系统性能的前提下,有效降低了能耗。     

基于Spark的ItemBased推荐算法性能优化

MapReduce计算场景下,复杂的大数据挖掘类算法通常需要多个MapReduce作业协作完成,但多个作业之间严重的冗余磁盘读写及重复的资源申请操作,使得算法的性能严重降低。为提高ItemBased推荐算法的计算效率,首先对MapReduce平台下ItemBased协同过滤算法存在的性能问题进行了分析;在此基础上利用Spark迭代计算及内存计算上的优势提高算法的执行效率,并实现了基于Spark平台的ItemBased推荐算法。实验结果表明：当集群节点规模分别为10与20时,算法在Spark中的运行时间分别只有MapReduce中的25.6%及30.8%,Spark平台下的算法相比MapReduce平台,执行效率整体提高3倍以上。     

融合奇异性和扩散过程的协同过滤模型

作为解决信息过载问题的有效方式,推荐系统能够根据用户偏好对海量信息进行过滤,为用户提供个性化的推荐。但在推荐过程中,性能表现优异的协同过滤模型并没有充分利用上下文信息,这在一定程度上使系统面临性能瓶颈。为了进一步提高系统性能,从评分上下文信息着手,通过对项目评分进行分类统计获得评分奇异性,同时借鉴多渠道扩散相似性模型将推荐系统作为用户-项目二分网络的思想,提出了融合奇异性和扩散过程的协同过滤模型(collaborative filtering model fusing singularity and diffusion process,简称CFSDP)。为了表明模型的优越性,比较实验基于MovieLens,NetFlix和Jester这3个不同的数据集展开。实验结果表明,该模型不仅具有良好的扩展性,而且在合理的时间开销下,可以显著提高系统的预测和推荐质量。