Hadoop平台分布式SVM算法分类研究

随着大数据的发展,分布式支持向量机（SVM）成为该领域研究热点.传统层级分布式SVM算法（Cascade SVM）,在Hadoop平台下寻找全局最优支持向量的过程十分缓慢.本文提出了一种改进方法,先将传统的网格法与粒子群（PSO）算法结合,改进了单机PSO算法,再将单机PSO算法与Hadoop平台结合实现了一种新型卫星并行PSO算法（NPP-PSO）.实验结果表明,相比于单机SVM算法,本文的分布式SVM算法,在保证了准确率的前提下大幅提高了计算速度;而使用NPP-PSO参数寻优后的分布式SVM,分类准确率相比于分布式SVM算法又有了明显提高.     

基于MCS的SVM参数优化研究

由于优化杜鹃算法是利用了鸟类特殊的利维飞行模式的群体智能算法,并且增加了粒子间的信息交流,故将该算法引入支持向量机惩罚系数和核参数的自动寻优中。给出了实现方式,并讨论了概率参数的设置对收敛性的影响。通过与传统的GA/PSO-SVM对比验证,MCS-SVM方法使得分类精确率平均提高2.28%,既能显著提高分类效率,又表现出很好的泛化性能。     

基于自适应遗传算法的SVM参数优化

针对基于遗传算法支持向量机(SVM)训练时间较长以及分类精度较网格搜索法有所降低等问题,通过重新定义遗传算法参数的寻优范围,提出一种自适应遗传算法;该算法根据网格搜索法得到遗传算法参数的最佳寻优范围,然后遗传算法在这个范围内进行参数的精确寻优,最后得到分类的结果;这样不仅可以有效缩短训练时间,而且拥有更高的分类正确率;通过UCI中的10组经典数据集的实验结果可知,自适应遗传算法较之网格搜索法、 常规遗传算法、粒子群算法在训练时间上有较大的提升,并且拥有较高的分类准确率。     

五种SVM参数寻优识别运动想象脑电比较研究

支持向量机(SVM)在脑电(EEG)分类中效果较好,其参数寻优方法直接关系着分类的准确率和所需时间.为了探索参数寻优对分类效果的影响,本文采用了固定参数寻优、直接寻优、网格寻优、遗传算法(GA)寻优和粒子群优化算法(PSO)寻优五种参数寻优方法,以BCI Competition Ⅳ data 2b数据集进行实验测试,对带通滤波后的数据进行瞬时能量特征的提取,利用五种寻优的参数分类器,得到了9名被试者4～7s时间内数据的分类准确率和分类所需时间.在用网格寻优和粒子群寻优的分类下,被试S4和被试S8的准确率分别高达96.875％和88.125％,用时最短为3.059 s.直接寻优和固定参数方法的准确率虽低,但分类用时仅为0.002 s和1.305 s,实时性上,更加适合于应用到在线系统中.     

基于Hadoop的海量教学资源存储平台的设计与研究

随着教学资源的飞速增长,海量数据的存储已经成为高校研究的一个新难题。针对传统存储架构已突显管理数据资源效率不高和存储能力不足的问题。本文提出基于Hadoop的海量数据存储模型,并在此模型的基础上设计并实现了基于Hadoop的大规模分布式存储管理平台。事实证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据处理的效率。     

基于混沌更新策略的蜂群算法在SVM参数优化中的应用

针对支持向量机的参数寻优缺乏数学理论指导,传统人工蜂群算法易陷入长期停滞的不足,而混沌搜索算法具有很好的随机性和遍历性,提出了基于混沌更新策略人工蜂群支持向量机参数选择模型(IABC-SVM)。该模型利用混沌搜索对侦察蜂搜索方式进行改进,有效提高蜂群算法搜索效率。以UCI标准数据库中的数据进行数值实验,采用ACO-SVM、PSO-SVM、ABC-SVM作为对比模型,实验表明了IABC在SVM参数优化中的可行性和有效性,具有较高的预测准确率和较好的算法稳定性。     

基于Hadoop云计算平台的资源搜索系统

针对当前用户难以快速准确地获取到自己需要的网络信息,设计了基于Hadoop云计算平台的资源搜索系统,并对该搜索系统进行了实验验证,结果表明,随着数据量的不断增大,Hadoop版本系统节约的时间越多,优势越明显。     

基于Hadoop云计算平台的资源搜索系统

针对当前用户难以快速准确地获取到自己需要的网络信息,设计了基于Hadoop云计算平台的资源搜索系统,并对该搜索系统进行了实验验证,结果表明,随着数据量的不断增大,Hadoop版本系统节约的时间越多,优势越明显。     

基于Hadoop云计算平台的分布式转码方案

在新媒体视频业务快速发展的今天,传统单机视频转码能力已经出现瓶颈. 在Hadoop云计算平台的研究基础上,结合当前主流的音视频处理工具FFmpeg,提出了一种新的视频转码方案. 该方案通过使用Hadoop两大核心：HDFS（Hadoop Distributed File System）和MapReduce编程思想,进行分布式转码. 同时,还详细地介绍和设计了分布式转码的具体流程. 最后实验结果表明,该分布式转码方案在效率上有较大提高. 在实验中,视频的分段大小也影响着视频转码的时间. 随着分段大小从小到大,同样的视频转码时间变化却是由高降低再升高. 从实验数据来看,相对于其他的分段,分段大小为32M的时候,转码时间最佳.     

基于Hadoop框架的MapReduce计算模式的优化设计

对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为Hadoop框架下的MapReduce分布式处理模式。MapReduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题。通过分析Hadoop源码的使用,认真研究MapReduce对海量数据处理作业流程分析,提出了MapReduce分布式作业计算的优化策略,从而更好地提高了海量数据的处理效率。     

基于Hadoop MapReduce模型的应用研究

MapReduce是一种简化并行计算的分布式编程模型,是Google的一项重要技术,通常被用于数据密集型的分布式并行计算.探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法.     

基于均匀设计的支持向量机参数优化方法

在实际应用中,支持向量机的性能依赖于参数的选择。针对支持向量机的参数选择问题进行了研究和分析,提出了基于均匀设计的支持向量机参数优化方法。与基于网格搜索、粒子群算法、遗传算法等支持向量机参数优化方法进行了比较与分析,采用多个不同规模的标准的分类数据集进行测试,比较了四种方法的分类正确率和运行时间。仿真实验表明,四种方法都能找到最优参数,使支持向量机的分类正确率接近或超过分类数据集的理论精度,本文方法具有寻参时间短的特点。     

Hadoop下基于统计最优的资源调度算法

云计算集群中的资源存在异构和节点稳定性问题.异构资源的计算能力不同会导致较突出的作业任务同步问题,而某个节点的不稳定状态会使运行于该节点的任务大量备份或重新计算.针对上述两问题将严重影响集群作业的执行进度,在Hadoop平台下利用统计方法,提出一种资源调度算法,对计算资源较少的节点和不稳定状态的节点进行标志并降权,让集群尽可能调度资源较好的稳定节点.实验结果表明,该算法能够在一定程度上减少作业的周转时间,提高集群的效率和吞吐量.     

基于Hadoop的Apriori算法研究与优化

为解决传统数据挖掘算法在大量数据处理时面临的内存占用、计算性能等方面的问题,基于Hadoop平台,应用HBase文件存储系统对海量数据分布式存储以及Map Reduce框架进行分布式计算,实现Apriori经典数据挖掘算法。通过对已实现的Apriori算法进行优化,引入FIS-IS算法思想,从数据库扫描次数和容量消减方向进行改进。提出针对数据本身进行频繁预选项生成方法与对于频繁预选项剪枝步骤进行分组检索的优化方法。实验结果验证了改进算法对算法运行具有良好的优化效果。     

基于微操作的Hadoop参数自动调优方法

Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用，针对手动和经验调优方法中参数空间庞大和运行流程复杂的问题，提出了一种Hadoop参数自动优化的方法和分析框架。首先，对作业运行流程进行解耦，从可变参数直接影响的更细粒度的角度定义微操作，从而分析参数和单次微操作执行时间的关系；然后，利用微操作对作业运行流程进行重构，建立参数和作业运行时间关系的模型；最后，在此模型上应用各类搜索优化算法高效快速得出优化后的系统参数。在terasort和wordcount两个作业类型上进行了实验，实验结果表明，相对于默认参数情况，该方法使作业执行时间分别缩短了至少41%和30%。该方法能够有效提高Hadoop作业执行效率，缩短作业执行时间。     

SVM参数优化的AFMC算法

支持向量机的参数选择仍未有系统的理论指导,其优化选择一直是支持向量机的一个重要研究方向。考虑到人工鱼群算法优化支持向量机参数往往易陷入最优参数组合微小邻域的问题,构造了用于支持向量机参数优化的AFMC算法。该算法前期利用鱼群算法较好的并行寻优性能,能快速寻得问题的近似最优解,而后利用MonteCarlo法进行局部寻优,以实现快速、有效地获取强近优解。数值实验结果表明,该算法具有较好的分类性能和较快的寻优速度,验证了在支持向量机参数寻优中的有效性和可行性。     

人工鱼群算法在SVM参数优化选择中的应用

针对支持向量机的参数优化缺乏理论支持,而SVM交叉检验法选取又较为费时的情况下,提出了基于人工鱼群算法的支持向量机参数优化选取算法,并以SVM分类预测准确率最大为优化原则,利用人工鱼群算法的较好并行性和较强的全局寻优能力,以实现最优目标并得到SVM的最优参数组合。数值实验结果表明：人工鱼群算法在SVM参数优化选取中具有更快的寻优性能,同时具有较高的分类准确率。该方法具有较好的并行性和较强的全局寻优能力。     

基于SVM的并行网络流量分类方法

针对SVM (support vector machine)算法应用到大规模网络流量分类中存在计算复杂度高、训练速度慢等问题,提出一种基于云计算平台进行并行网络流量分类的SVM方法,以提高对大数据集的分类训练速度.该方法是一种采用云计算平台构建多级SVM和映射规约(MapReduce)模型的方法.它将训练数据集划分为多个子训练数据集,通过对所有子训练数据集进行并行训练,得到支持向量集,进而训练出流量分类模型.实验结果表明,与传统的SVM方法相比,并行SVM网络流量分类方法在保持较高分类精度的前提下,有效地减少了训练时间,提高了大规模网络流量分类的速度.