一种基于动态调度的数据挖掘并行算法

相比其他分类算法,朴素贝叶斯算法最大的优点就是适合被并行化改造。由于单机分类算法不适应大规模数据的处理,而云计算动态调度的出现为大数据处理带来了希望,运用并行计算的思想改进算法能提高分类速度。结合朴素贝叶斯算法易于并行化的特点对算法进行相应的改进。在单机串行、Hadoop、Spark以及CUDA平台上进行了性能对比实验,最终证明了分类算法并行化后具有较好的加速比。     

基于Hadoop平台的Spark快数据推荐算法分析与应用

Hadoop大数据平台上可以搭建Yarn,Mahout,Storm,Graph Lab等框架,其提供了大数据的各种处理能力。但它们各自按自己的机制工作,整合度极低。虽然在Mahout框架中,对机器学习的算法支持较为完善,但是数据必需是离线的。在大数据时代,要求不仅具有处理能力,还强调了数据的时效性,以前的框架都显得有点力不从心。Spark是Hadoop平台上的新型利器,它的各个部分几乎能替代以前的分散的框架,且采用统一的处理机制,整合度很好,速度比传统处理方式快几十倍甚至几百倍。基于Hadoop平台的Spark快数据推荐算法分析与应用是在Hadoop平台上用Yarn作资源管理,Spark作快数据的处理,这极大地提高了大数据的处理效率。该文以专业推荐系统为应用基础,采用Yarn作资源管理,及Spark ALS算法做推荐,Spark Page Rank算法做专业排名,实验结果表明,Spark框架对大数据的处理机制能够满足日益增值的大数据应用对速度的要求。     

基于云计算系统的数据节能算法

在云计算海量数据存储和数据中心节能算法的综合应用中,更加注重云计算系统数据能耗问题的有效解决。云计算系统中数据能耗问题的产生,不仅增加了二氧化碳的排放量,同时也带来了较为严重的环境问题。结合云计算的定义特点,对云计算系统数据的高能耗问题进行研究分析。通过分析数据节能算法的分类,对DVFS(动态电压频率调整)数据节能算法以及虚拟化节能算法进行分析,并对比其他算法优缺点,同时对应用场景进行描述,最后对云计算系统的数据能耗管理过程做了具体的总结。     

基于云计算的海量网络流量数据分析处理及关键算法研究

为了应对日益增长的网络流量数据量和对网络安全的需求,提高网络流量数据的处理效率和准确性,文中从云计算架构出发,设计并搭建了一个能承载大规模网络流量数据处理的云计算平台。基于该平台,采用了分布式存储、并行计算和机器学习等技术,对海量网络流量数据的预处理、聚类分析、异常检测等关键环节进行了研究。结果表明,基于云计算的海量网络流量数据分析处理的关键算法取得了显著成果。通过分布式存储和并行计算技术,实现了对海量网络流量数据的高效读写和处理。在预处理阶段,针对流量数据进行采样和滤波,减少了数据量,并保留了关键特征。在聚类分析方面,利用机器学习算法实现了对网络流量的分类和统计,通过构建模型、训练和优化算法,实现了对网络攻击和异常行为的准确识别和及时报警。     

改进随机森林算法在Spark+Kudu平台的并行化运用

多种因素可能对学生成绩造成影响,利用数据挖掘工具对学生的学习课程成绩进行预测分析,进而利用预测分析结果及时指正学生出现的不良学习行为,同时检查老师的教学效果。首先将改进随机森林算法在大数据平台上进行并行化改进后进行实践。然后通过将提出的改进随机森林算法进行并行化,将其运用到Spark+Kudu大数据平台上进行仿真实验。最后算法并行化主要根据随机森林算法中的决策树划分策略以及模拟退火算法构建多种群策略来进行。实验结果证明并行化策略能够有效提升数据集的分类效率,大幅度缩短算法执行时间。     

基于大数据的虚实融合教学服务平台设计

文章探究了基于大数据的虚实融合教学服务平台设计,阐述了平台的总体设计方式,详解了教育平台功能。为提高平台大数据系统的应用能力,文章研究了云计算资源算法,描述了云计算中的问题,提高了云计算的合并应用效率,并且厘清了虚拟机的动态调度步骤,提高了教学平台系统的运行效率。实验结果表明,基于大数据的虚实融合教学服务平台设计能够有效提高学生的学习成绩。     

企业级安全大数据分析平台

介绍安全大数据分析平台的系统架构,对数据标签化流程进行分析,介绍基础特征选择算法、高阶特征生成算法和分类算法,并搭建实验环境对Spark和Mapreduce方法进行对比分析.     

基于Spark的改进随机森林算法

针对基于单机的经典随机森林算法无法满足海量数据处理需求的问题,文中采用Spark分布式存储计算技术设计并实现了改进的随机森林算法。首先计算特征的重要程度,将特征分为公共特征、独有特征和非重要特征;然后按顺序和比例分别在各个特征子空间中随机选择特征;最后通过Spark集群进行实验,分析改进的随机森林算法分类性能、加速比和效率。结果证实改进的算法提高了随机森林构建效率,可以用来解决海量数据挖掘问题,具有良好的可扩展性。     

基于Spark的分层子空间权重树随机森林算法

高维数据的很多特征与类别的相关性弱,影响了随机森林的分类正确率。针对原始随机森林算法在高维数据上的分类问题,提出了一种分层子空间权重树随机森林算法。同时,传统的单机模式无法满足高维数据计算效率的需求,因此利用开源集群计算框架Spark在内存缓存和迭代计算上的优势,将所提算法在Spark上实现。所提算法采用以决策树为单位的分层抽样来生成特征子空间,在提高单棵决策树性能的同时,保证决策树之间的多样性;并且采用权重树的集成策略,使分类能力强的树在集成过程中影响力更大。通过在Mnist和Gisette数据集上的实验结果表明,相比原始随机森林算法、TWRF算法以及分层子空间随机森林算法,所提算法具有更好的正确率,提高了泛化误差性能,可扩展性良好,能够有效分类高维数据。      

基于云计算与大数据的Apriori算法的分析研究

互联网+时代,信息交流和社交方式都发生了极大的变化,自媒体的数据产生方式让大数据时代加速到来。Hadoop云计算实现框架是大数据管理中最优的解决方案,使用最为广泛,效果最为明显。文中针对运用云计算和云平台Hadoop的知识,对现有数据挖掘技术中的关联规则进行分析,对经典Apriori算法进行梳理并提出了一种基于MapReduce的改进Apriori数据挖掘算法。最后,通过Hadoop平台进行仿真实验,算法用Java实现,通过对训练数据迸行挖掘,结果表明改进算法在处理大数据时空间复杂度更低,且挖掘时间随着数据规模的增大呈线性增长。实验结果表明,改进算法在进行大数据挖掘比经典算法有了性能的提升。     

基于改进混合遗传算法的云资源调度算法

在云计算中,系统规模和虚拟机迁移数量都是十分庞大的,需要高效的调度策略对其进行优化。将云计算的任务分配抽象为背包求解问题,可通过遗传算法进行求解。传统的遗传算法具有局部搜索能力差以及早熟现象的缺点,本文采用遗传和贪婪相结合的混合遗传算法。针对混合遗传算法在资源利用率与能源消耗的收敛速度较慢问题,本文通过改进适应度函数,改变了适应度函数在不同染色体间的差异度,从而提高了染色体在选择算子中的择优性能。仿真结果表明,该方法能够有效提高混合遗传算法在云计算资源优化中的收敛速度。     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

基于改进遗传算法的云教学平台研究

云计算技术迅猛发展,云计算辅助教学平台应运而生,具有网络化的海量教学数据资源存储与计算功能和瘦客户端等显著优点,云辅助教学平台数据量和用户量巨大的特点决定了其作业类型的多样性和数据密集性,云辅助教学平台的设计重点在高效率的资源管理和调度。文中设计云计算辅助教学平台的体系结构,并对云平台作业调度的原有自适应遗传算法做出改进,以传统遗传算法做基础,综合数据公平和本地性选择遗传基因,相比较传统算法,在响应用户需求上更高效。仿真实验结果显示改进后算法更能体现公平性、并提高了效率,更适于云计算机环境。     

一种支持解密外包的KP-ABE方案

针对现有密钥策略基于属性加密KP-ABE（Key-Policy Attribute-Based Encryption）方案在解密时存在用户端计算开销大、解密时间长等问题,一些方案提出将解密外包给云服务器,但这些方案并未给出外包解密的并行化方法,存在解密效率低的问题.本文提出一种支持解密外包的KP-ABE方案.在该方案中,把大部分解密计算外包给Spark平台;并根据KP-ABE的解密特点设计并行化解密算法,完成对叶子节点和根节点的并行化解密.性能分析表明,用户端仅需进行一次指数运算即可解密出共享数据,同时并行化设计能有效提高云端解密速率.     

Spark平台下教育资源个性化推荐研究

在面对海量教育数据处理情况时,传统的协同过滤算法在单机上训练和测试效率低下,针对该问题,提出了基于Hadoop分布式平台和Spark并行计算模型的无中间结果输出改进型教育资源推荐策略,该策略较好地发挥了Spark的迭代计算能力优势,在应用于教育资源推荐时,比较了传统算法与改进算法在分布式情况和非分布式情况下的推荐效率和推荐质量的情况.实验结果表明,利用Spark计算模型实现协同过滤算法能够有效地提高教育资源个性化推荐的推荐质量以及推荐效率.     

云模型优化的QPSO算法在大数据云存储平台业务调度中的应用

QPSO算法作为最优秀的群体智能算法之一,有着较强的寻优能力,将QPSO算法用于云计算平台资源调度策略的寻优,有着明显的优势。通过对QPSO算法在云计算中的应用研究,为云计算平台效率的提升提供有效方法。文章对云模型优化的QPSO算法在大数据云存储平台业务调度中的应用进行分析与研究。     

云计算环境下大规模数据处理技术的研究

随着技术的发展，云计算技术越来越多地被运用到了各个领域。在大规模数据处理技术中引入云计算技术，能够有效推进大规模计算平台的构建，并建立起具有动态变化、可扩展性和高性价比的系统，从而形成一个以云计算环境为基础的大规模数据处理与分析系统的结构实体建模。文中论述了在这种情况下，如何进行大规模的数据处理，并建立了相应的计算机平台，最终验证了计算机体系结构的可行性。     

一种引入索引结构的Apriori并行化改进算法

针对传统的Apriori算法在执行过程中存在着需要扫描多次数据库,执行效率低和需要大量的内存来存储候选项集的缺点,有人已经提出了引入索引结构的Apriori改进算法,但是该算法还是传统的Apriori算法都不适合应用到云计算平台。因此,在本文中我们提出了将引入索引结构的Apriori算法的设计思想应用到Apriori算法MapReduce并行化改进的过程中。该算法的核心思想:将数据进行MapReduce并行化分块,并在每个分块中采用索引的执行模式。该算法结合了索引结构的优点和算法并行化的优点,不仅大大提高了算法的执行速度,而且实现了在云环境下的应用。     

云计算及LLF算法的光纤数据差异化调度策略

现有光纤数据差异化调度策略忽视数据节点的排序,导致构建的调度模型效率较低,影响数据调度速度,为提高光纤数据差异化调度能力,提出基于云计算及LLF算法制定光纤数据差异化调度策略。排列LLF算法下松弛度队列顺序,确保松弛度较大任务能够率先完成,基于LLF算法设计数据调度模型,求出光纤数据调度范围,制定云计算环境下数据差异化调度策略,提升队列排序的处理能力,提高光纤数据调度效率。实验结果可知,该调度策略的数据平均计算时间约为263s,数据平均调度时间为186s,验证了所提方法能够有效提升数据计算及调度效率。     

云计算模式下的继电保护定值优化算法

由于电力系统网络规模的不断扩大,继电保护整定对计算机计算及存储能力的要求也随之升高。为此,将云计算引入到电力系统继电保护整定计算中来,论述了云计算在电力系统数据中心中的应用,并提出了基于云计算的整定计算平台架构;接着,对云计算模式下的继电保护定值优化方法进行研究,建立了继电保护定值优化模型,基于并行遗传算法对其进行优化;最后,通过算例分析证明了所提算法可以有效满足保护定值中的灵敏度和选择性要求,充分证明该方法的优越性与合理性。