一种Hadoop Yarn的资源调度方法研究

针对Hadoop Yarn资源调度问题,为提高集群作业执行效率,提出一种基于蚁群算法与粒子群算法的自适应Hadoop资源调度算法SRSAPH.SRSAPH中,通过Hadoop Yarn跳通信机制获取负载、内存、CPU速度等属性信息初始化信息素矩阵;同时,将粒子群算法的自我认知能力与社会认知能力引入到蚁群算法,提高算法的收敛速度;此外,根据蚁群算法全局最优解的波动趋势动态调整信息素挥发系数,提高解的精度.实验表明,采用SRSAPH进行资源调度,集群的作业执行时间缩短至少10%.     

一种基于动态资源采集的Hadoop作业调度算法

为了克服Hadoop中基于槽的资源模型对集群资源的浪费,提高Hadoop集群的资源利用率,提出了一种基于动态资源采集的Hadoop作业调度算法.通过在作业运行过程中动态采集部分任务的CPU,内存和IO的资源利用率来评估同一作业中其他任务的资源需求,然后根据任务的实际资源需求以及TaskTracker节点的负载情况进行任务调度,以充分利用各TaskTracker节点的计算资源.通过对比实验表明该调度算法能明显提高集群的资源利用率,缩短作业的完成时间.     

基于Hadoop的在线问卷结果处理方法

Hadoop提供分布式文件系统HDFS以及完善的MapReduce框架,以其开源、易用、低成本的特点得到了广泛的研究和使用.在线问卷调查是一项热门的Web应用,其特点是短时间内产生大量体积近似且结构相近的小文件.基于此种应用场景,文中试图利用Hadoop的分布式处理能力,针对问卷调查的结果处理提出更有效率的SSFM算法,并用实验验证SSFM算法在处理海量小文本时相对Hadoop默认处理策略更有优势.     

基于Hadoop的在线问卷结果处理方法

Hadoop提供分布式文件系统HDFS以及完善的MapReduce框架,以其开源、易用、低成本的特点得到了广泛的研究和使用。在线问卷调查是一项热门的Web应用,其特点是短时间内产生大量体积近似且结构相近的小文件。基于此种应用场景,文中试图利用Hadoop的分布式处理能力,针对问卷调查的结果处理提出更有效率的SSFM算法,并用实验验证SSFM算法在处理海量小文本时相对Hadoop默认处理策略更有优势。     

基于蚂蚁算法的网格作业调度研究

网格环境下的作业调度是一个NP难问题,蚂蚁算法内在的并行性和可扩充性使其非常适合网格作业调度。将蚂蚁算法应用于网格环境作业调度,提出一种通过作业代理的移动进行网格作业调度的方案,该蚂蚁算法不仅在分配网格计算资源时进行信息素的局部更新,还在网格计算资源完成作业后进行信息素的整体更新。通过模拟实验测试和选取蚂蚁算法的各种影响参数,取得了比较理想的实验结果。实验证明该算法能够有效地实现作业的合理调度和网格系统的负载平衡。     

基于云计算与大数据的Apriori算法的分析研究

互联网+时代,信息交流和社交方式都发生了极大的变化,自媒体的数据产生方式让大数据时代加速到来。Hadoop云计算实现框架是大数据管理中最优的解决方案,使用最为广泛,效果最为明显。文中针对运用云计算和云平台Hadoop的知识,对现有数据挖掘技术中的关联规则进行分析,对经典Apriori算法进行梳理并提出了一种基于MapReduce的改进Apriori数据挖掘算法。最后,通过Hadoop平台进行仿真实验,算法用Java实现,通过对训练数据迸行挖掘,结果表明改进算法在处理大数据时空间复杂度更低,且挖掘时间随着数据规模的增大呈线性增长。实验结果表明,改进算法在进行大数据挖掘比经典算法有了性能的提升。     

基于子集的Apriori算法在MapReduce下的研究

文中在频繁项目集挖掘研究的基础上,针对Hadoop分布式计算框架,提出了一种基于子集的Apriori并行改进算法Sub Apr。该算法扫描数据库两次,将分块数据分配给不同的Hadoop计算节点进行处理,利用Apriori特性并结合MapReduce框架自身特点进行剪枝。该算法与同类算法比较,可以减少各个计算节点的存储数据,达到减少候选项集输出,有效减少了大数据集挖掘过程中产生的大量数据通信,从而提高并行挖掘的效率。实验结果表明,该算法是有效且可行的。     

基于多源数据融合的网络安全态势评估方法研究

针对层次分析法进行网络安全态势评估存在主观性过强的问题,文中提出了一种基于Hadoop的网络安全态势评估算法。该算法采用Hadoop作为并行数据融合平台,使用LSTM作为多数据特征提取算法。为了弥补分类功能的缺陷,通过随机森林模型增强算法的分类性能,最后将LSTM随机森林算法部署在Hadoop集群中,完成多源数据的融合。实验结果表明,相较于其他算法,所提算法的预测性能更强、误差更小,从而进一步提升了网络安全态势评估的精度。     

基于CloudSim的作业调度算法评价模型设计与实现

针对云计算作业调度算法评价问题,引入经济学中的消费者均衡理论和帕累托最优理论,在Cloud Sim仿真框架中,构建一个云计算作业调度评价模型,为选择最优的作业调度算法提供决策支持。同时,针对Cloud Sim在用户交互上的不足,进行可视化扩展,使研究者能够直观地观测仿真结果。最后,在Cloud Sim上进行仿真实验,仿真结果表明,对于模拟的云计算服务,Cloud Sim自身提供的作业调度算法不是最优算法。     

基于特征串的网页文本并行去重算法

针对海量网页文本去重效率不高问题,提出了一种高效的并行网页去重算法.该算法利用Hadoop框架的Map/Reduce机制,通过对网页文本提取特征串,使用Google的Simhash算法对提取的特征串进行哈希映射得到相应的哈希码,然后对产生的哈希码进行海明距离比较,从而得到重复的网页数据.实验表明,与相关去重算法相比,所提算法有效地提高了文本去重计算效率.