云计算环境下能量感知的任务调度算法

云计算环境下传统独立任务调度算法容易导致较高资源能耗或较大任务时间跨度.针对该问题,文中提出了两种能量感知的任务调度算法,并利用遗传算法并行化搜索合理调度方案.两种算法在搜索过程中,分别通过能耗时间归一和能耗时间双适应度方法定义适应度函数并进行个体选择.仿真结果表明,与单独考虑时间或能耗相比,这两种算法能够更有效地缩短任务执行时间跨度,降低资源能耗.     

评分可信度条件下的协同过滤模型

通过对用户信任度进行量化,再从项目的角度进行调整,最终获得了较为准确的评分可信度度量。在此基础上,建立了评分可信度矩阵,并对提出的四种可信度相似性模型进行了优化。实验比较结果表明,基于不同的数据集,新提出的相似性模型在合理的时间开销下,相对于传统模型在项目预测准确性方面拥有出色的表现。     

云计算环境下多有向无环图工作流的节能调度算法

针对多有向无环图(DAG)工作流节能调度算法中存在的节能效果不佳、适用范围较窄和无法兼顾性能优化等问题,提出了一种新的多DAG工作流节能调度方法--MREO。MREO在对计算密集型和通信密集型任务特点进行分析的基础上,通过整合独立任务,减少了处理器的数量,并利用回溯和分支限界算法对任务整合路径进行动态的优化选择,有效降低了整合算法的复杂度。实验结果证明,MREO在保证多DAG工作流性能的前提下,能够有效降低系统的计算和通信能量开销,获得了良好的节能效果。     

异构计算环境中图划分算法的研究

复杂网络的研究已经广泛地应用到生物、计算机等各个学科领域.如今,网络规模十分巨大,如何对这些大规模图数据进行有效率的挖掘计算,是研究复杂网络的首要任务.并行计算技术是现在最成熟、应用最广、最可行的计算加速技术之一.而图划分技术是提高并行计算性能的有效手段.图划分问题的研究是随着实际应用的需求而驱动.针对异构计算环境下的...     

基于RDD关键度的Spark检查点管理策略

Spark默认容错机制由程序员设置检查点,并利用弹性分布式数据集(resilient distributed dataset, RDD)的血统(lineage)进行计算.在应用程序复杂度高、迭代次数多以及数据量较大时,恢复过程需要耗费大量的计算开销.同时,在执行恢复任务时,仅考虑数据本地性选择节点,并未考虑节点的计算能力,这都会导致恢复时间增加,无法最大化发挥集群的性能.因此,在建立Spark执行模型、检查点模型和RDD关键度模型的基础上,提出一种基于关键度的检查点管理(criticality checkpoint management, CCM)策略,其中包括检查点设置算法、失效恢复算法和清理算法.其中检查点设置算法通过分析作业中RDD的属性以及对作业恢复时间的影响,选择关键度大的RDD作为检查点存储;恢复算法根据各节点的计算能力做出决策,选择合适的节点执行恢复任务;清理算法在磁盘空间不足时,清除关键度较低的检查点.实验结果表明：该策略在略增加执行时间的情况下,能够选择有备份价值的RDD作为检查点,在节点失效时能够有效地降低恢复开销,提高节点的磁盘有效利用率.     

并行计算框架Spark的自适应缓存管理策略

并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略（Self-Adaptive Cache Management,SACM）,包括缓存自动选择算法（Selection）、并行缓存清理算法（Parallel Cache Cleanup,PCC）和权重缓存替换算法（Lowest Weight Replacement,LWR）.其中,缓存自动选择算法通过分析任务的DAG（Directed Acyclic Graph）结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明：我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用.     

基于信任模型填充的协同过滤推荐模型

针对传统协同过滤模型中存在的数据稀疏性问题,提出一种基于信任模型填充的协同过滤推荐模型。对信任属性进行研究,通过建立信任模型对评分矩阵进行预填充以提高数据存储密度,利用相似性模型分别从项目和用户属性的角度度量项目相似性,通过自适应协调因子协调处理两方面的相似性度量结果,获得最终的项目预测评分,基于不同的数据集进行实验验证,结果表明,在不同的数据集中,与传统的协同过滤模型相比,该模型能够有效地处理评分矩阵的数据稀疏性问题,提高系统评分预测的准确度,平均改进程度为8%。     

基于Hilbert-R树分级索引的时空查询算法

针对树形空间索引中多路查询及未考虑时间维索引的问题,提出一种结合时间和聚类结果的Hilbert-R树索引构建策略。首先,按照数据采集的周期划分时空数据集,并在此基础上建立时间索引,通过Hilbert曲线对空间数据进行分割编码,将空间坐标映射到一维区间;其次,依据数据要素在空间中的分布,采用动态确定K值的聚类算法,结合聚类结果构建高效的Hilbert-R树空间索引;最后,基于Redis几种常见的键值数据结构,对时空数据的时间属性和聚类结果构建分级索引。在时空范围及目标矢量对象查询的实验中,与缓存敏感R+树（CCR+）相比,所提算法可有效减少时间开销,查询时间平均缩短约25%,对不同密集型数据具有良好的适应性,可更好地支持Redis应用于海量时空数据查询。     

分布式文件系统数据块聚类存储节能策略

针对分布式文件系统中由于数据块随机放置而导致的服务器利用率低、能耗管理复杂的问题,建立了数据块访问特征向量模型描述用户对数据块的随机访问,运用K-means算法对数据块进行聚类计算,根据计算结果将数据节点划分为多个区域以存储不同聚类簇的数据块,在系统负载较低时进行数据块动态重配置,关闭不必要节点达到节能的目的。为使得策略适用于对能耗和资源利用率有不同要求的场景,算法中聚类簇间隔参数可灵活设置。实验通过和冷热区划分算法进行比较表明:按照聚类结果进行数据块重配置后,能耗节省效率优于冷热区划分算法,节省能耗35%~38%。     

内存云分级存储架构下的数据迁移模型

为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。