基于分布式文件系统HDFS的节能算法

与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高.     

小波卷积增强的对比学习推荐算法

推荐算法是一种用于解决信息过载问题的方法,序列化推荐通过建模用户购买的物品序列预测下一个物品。现有的序列化推荐算法通常忽视用户行为序列中的噪声、跨序列信息和物品间的组合依赖等问题,导致推荐性能受限。为此,提出一种小波卷积增强的对比学习推荐算法WCLR。利用数据的内在相关性获得自监督信号,并根据预训练的方法来增强数据表示。给出3个辅助的自监督学习任务,利用信息最大化原理学习属性、物品、序列与邻居序列的相关性,通过互信息最大化提供一种统一的方式描述不同类型数据间的相关性。由于小波卷积网络能提取物品的组合依赖,降低用户交互序列中的噪声,设计一个多核小波卷积模块,通过多尺寸用户序列多方面捕获用户的潜在兴趣,将自监督学习和小波卷积融入到推荐算法模型中,降低序列数据稀疏性和噪声,提高推荐精度。在LastFM、Beauty和Toys 3个数据集上的实验结果表明,与8个序列化推荐模型相比,WCLR算法的命中率、归一化折损累计增益和平均倒数秩分别提升了3.30%、1.47%和2.17%。     

基于最小化传输和完成时间的多DAG调度

针对云计算环境下多个有向无环图(DAG)工作流的调度问题,提出一种基于最小化数据传输时间和任务完成时间(LTCT)的算法,用于处理具有相同优先级的多个DAG工作流之间的调度问题。在多个DAG优先级各不相同时的情况下,给出多优先级多DAG的混合调度算法。实验结果表明,LTCT算法较E-Fairness算法在保证多DAG调度公平性的基础上,能避免额外的数据传输开销,有利于缩短整个工作流的执行Makespan,提高资源的利用率。     

P2P下基于RSA密码机制和门限秘密共享的信誉管理方案

在P2P网络环境下,利用RSA密码机制和门限秘密共享进行信誉管理是一个非常有效的方案。利用秘密共享原理将信誉信息分成n个秘密份额,其中的任意t （t＜n ）个合法的秘密共享参与者均可以重新构造信誉信息。为了有效地防止网络中的恶意实体进行欺诈,方案中还配备了与每个秘密份额相对应的验证份额分发给相应的参与实体,任何非法参与实体冒称拥有秘密份额或者参与实体提供虚假的秘密份额,只有攻破了RSA密码才能不被识别出来,因此方案是安全有效的。     

考虑项目属性的协同过滤推荐模型

针对传统的基于用户的协同过滤(UCF)模型在相似性度量过程中没有充分考虑项目属性的问题,提出了两种考虑项目属性的协同过滤推荐模型。模型首先对用户评分相似性进行优化;然后从项目属性的角度统计用户关于不同项目的评价次数,获得优化的基于项目属性的用户相似性;最后通过自适应平衡因子协调处理两方面的相似性结果进行项目预测与推荐。实验结果表明,在不同的数据集中,新提出的模型不仅时间花费较为合理,而且评分预测准确性明显提高,平均提高了5%,从而证明了模型在改进用户相似性度量精度方面的有效性。     

基于P2P的分布式文件系统下载效率优化

对分布式文件系统(HDFS)集群内部数据块存储机制与下载流程进行分析研究,结合P2P多点与多线程下载思想,从数据块、文件、集群三个方面提出了数据下载效率优化算法。考虑到集群内部可能因多线程下载出现的负载均衡问题,提出下载点选择算法以优化下载点的选择。实验结果表明,三种优化算法都能提高下载效率,下载点选择算法能够很好地实现集群内部DataNode负载均衡。     

云计算环境下能量感知的任务调度算法

云计算环境下传统独立任务调度算法容易导致较高资源能耗或较大任务时间跨度.针对该问题,文中提出了两种能量感知的任务调度算法,并利用遗传算法并行化搜索合理调度方案.两种算法在搜索过程中,分别通过能耗时间归一和能耗时间双适应度方法定义适应度函数并进行个体选择.仿真结果表明,与单独考虑时间或能耗相比,这两种算法能够更有效地缩短任务执行时间跨度,降低资源能耗.     

评分可信度条件下的协同过滤模型

通过对用户信任度进行量化,再从项目的角度进行调整,最终获得了较为准确的评分可信度度量。在此基础上,建立了评分可信度矩阵,并对提出的四种可信度相似性模型进行了优化。实验比较结果表明,基于不同的数据集,新提出的相似性模型在合理的时间开销下,相对于传统模型在项目预测准确性方面拥有出色的表现。     

综合用户和项目预测的协同过滤模型

针对基于用户和基于项目的协同过滤模型存在推荐质量不高等问题,提出一种综合用户和项目预测的协同过滤模型。该模型同时考虑用户和项目两方面,首先对性能优秀的相似性模型进行自适应的优化;然后根据相似性值分别选取相似用户和相似项目为目标对象构造近邻集合,并利用预测函数得到基于用户和基于项目的预测结果;最后通过自适应平衡因子的协调处理获得最终预测结果。比较实验在不同的评估标准下进行,结果表明,与目前典型的模型如RSCF、HCFR和UNCF相比,新提出的协同过滤模型不仅在项目预测准确性方面拥有出色的表现,而且在推荐准确性和全面性方面同样表现优秀。     

基于聚类层次模型的视频推荐算法

目前推荐系统存在评论数据稀疏、冷启动和用户体验度低等问题,为了提高推荐系统的性能和进一步改善用户体验,提出基于聚类层次模型的视频推荐算法。首先,从相关用户方面着手,通过近邻传播（AP）聚类分析得到相似用户,从而收集相似用户中的历史网络视频数据,进而形成视频推荐集合;其次,利用用户行为的历史数据计算出用户对视频的喜好值,再把视频的喜好值转换成视频的标签权重;最后,通过层次分析模型算出视频推荐集合中用户喜好视频的排序,产生推荐列表。基于MovieLens Latest Dataset和YouTube视频评论文本数据集,实验结果表明所提算法在均方根误差和决策精度方面均表现出良好的性能。