Hadoop平台下改进的LATE调度算法

对Hadoop平台下的MapReduce现有的调度器进行分析研究。针对LATE调度算法在分配节点执行落后任务的备份任务时的不足,结合Hadoop集群的异构性和工作负载的特殊性,在LATE调度算法的基础上提出了一种改进的LATE调度算法。对该算法进行实验和性能分析,表明该算法在完成时间和负载均衡方面有很大改进。     

可信网络中基于信誉和风险评估的动态信任模型*

针对可信网络不能有效处理恶意节点攻击的问题,综合考虑信任度评估的动态性和风险性,提出一种新的基于信誉和风险评估的动态信任模型。该模型引入惩罚机制、风险机制和推荐实体信任度更新机制,以评估信任关系的复杂性,通过构建直接信任树以存储节点的交互关系,并采用改进的回溯法寻找最佳推荐路径。仿真结果表明,该模型在有效抑制恶意节点上较已有模型有一定的改进。     

基于知识图谱的双重感知网络推荐算法

近年来,通过聚合知识图谱中附加的项目信息进行推荐取得了优异的成果,但用户信息来源相对较少,同时多重聚合会使项目自身特征表达不全,甚至发生噪音.针对以上两点,提出基于知识图谱的双重感知网络推荐算法KGDP.首先,从用户交互记录中随机选取部分项目作为用户相关项目,以及选取项目的邻居实体作为项目的相关实体;然后,将选取的用户相关项目经过深度神经网络融合为用户特征,丰富了用户特征,同时单独聚合项目的相关实体;其次,经过两个深度神经网络使用户分别感知项目特征和邻居特征,即非线性交互;最后,通过一个单层感知机调节交互特征的输出权重进行评分预测.在推荐算法常用的两个真实数据集上进行实验,较基线模型AUC指标分别提升了9.2%、2.4%;ACC指标提升了6.6%、1.9%,F1指标分别提升了7.0%、1.1%;Precision@N指标分别提升了28.8%、6.5%;Recall@N分别提升了4.0%、23.7%;F1@N指标分别提升了43.3%、8.4%.     

基于网格资源预测的任务优先级调度算法

根据网格工作流中任务的依赖关系和截止时间,以及资源的有效度和MIPS（每秒百万条指令）,提出基于网格资源预测的任务优先级调度算法。把网格任务工作流抽象为有向无环图,找到该工作流的关键路径,计算每个任务的最迟开始执行时间,作为任务的优先级。在算法中考虑用户的要求和资源的类型,以及任务调度失败后重新分配的问题。实验验证了该算法的有效性。     

大数据流式计算框架Heron环境下的流分类任务调度策略

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。     

基于关键决策方法的站内搜索研究与实现

通过对站内搜索的设计分析和实现,以及对网页排序算法的研究,充分挖掘网页数据,提出了新一代站内搜索的关键决策方法.利用任务分解扩展爬虫,利用综合倒排文件和快速排序方法进行站内网页决策性排序,建立新式站内搜索,并应用于实际.满足了中小型网站的需求,充分挖掘了其站内数据,提升了客户访问量.     

一种基于邻域系统密度差异度量的离群点检测算法

针对离群点检测算法LOF在高维离散分布数据集中检测精度较低及参数敏感性较高的问题,提出了基于邻域系统密度差异度量的离群点检测NSD（neighborhood system density difference）算法。相较于传统基于密度的离群点检测方法,NSD算法引入了截取距离的概念。首先计算数据集中对象在截取距离内的邻居点个数;其次计算对象的邻域系统密度;然后将对象的密度与它邻居的密度进行比较,判定目标对象与其邻居趋向于同一簇的程度;最后输出最可能是离群点的对象。将NSD算法与LOF、LDOF、CBOF算法在真实数据集与合成数据集中对比实验发现,NSD算法具有较高的检测准确率和执行效率以及较低的参数敏感性,证明了NSD算法是有效可行的。     

Storm环境下基于拓扑结构的任务调度策略

针对Storm流式计算平台中默认轮询调度策略存在通信开销大、负载不均衡的问题,提出基于拓扑结构的任务调度策略（TS²）。首先,选取CPU资源充足且可用的工作节点并各分配一个进程,消除节点内进程间通信开销,优化进程部署;然后,分析拓扑结构,找出拓扑中度最大的组件,优先分配该组件的线程;最后,在满足节点可承载最大线程数的条件下,尽可能将关联任务部署到同一个节点来减少节点间通信开销,改善集群负载均衡,优化线程部署。实验结果表明：在系统延迟方面,与Storm默认调度策略和离线调度策略相比,TS²的平均优化率分别为16.91%和5.69%,有效提高了系统的实时性;在节点间通信开销方面,TS²相比于Storm默认调度策略平均降低了15.75%;在平均吞吐量方面,TS²相比于Storm默认调度策略平均提升了14.21%。     

融合评论分析和隐语义模型的视频推荐算法

针对网络视频元数据信息缺失严重和多媒体数据本身特征难以提取等问题,提出了融合评论分析和隐语义模型的网络视频推荐算法.从视频评论入手,通过分析用户对不同视频的评论内容以判断其情感倾向并加以量化,继而构建用户对项目的虚拟评分矩阵,弥补了显式评分数据稀疏性问题.考虑到网络视频的多元性和高维度特性,为了深度挖掘用户对网络视频的潜在兴趣,针对虚拟评分矩阵采用隐语义模型(LFM)对网络视频分类,在传统的用户—项目二元推荐系统基础之上添加虚拟类目信息以进一步发掘用户—类目—项目关联关系.实验在多重标准下进行,对YouTube评论集的实验表明,所提推荐方法获得了较高的推荐精度.     

基于可靠性的云工作流调度策略

经过对已有云工作流调度算法中可靠性问题进行分析研究,针对一些算法在任务调度过程中只考虑提高整个工作流的可靠性而牺牲了时间或增加花费的问题,结合云计算的特点,提出一种基于可靠性的工作流调度策略。该策略结合了工作流中任务的可靠性,充分考虑任务的优先顺序并结合复制的思想,在减少传输过程失败率的同时降低传输时间,使整个工作流在降低完成时间的同时,提高整体可靠性。通过实验和分析表明,通过该策略云工作流在不同任务数和通信运算比（CCR）的可靠性比异态最早结束时间算法（HEFT）算法及其改进算法--SHEFTEX都有所提升,完成时间比HEFT算法有所减少。