基于迭代式MapReduce的误差反向传播算法

针对误差反向传播(BP)算法计算迭代的特点,给出了迭代式MapReduce框架实现BP算法的方法。迭代式MapReduce框架在传统MapReduce框架上添加了传送模块,避免了传统框架运用在迭代程序时需要多次任务提交的缺陷。通过对K/TGR146对空台射电开关控制系统进行仿真得到BP算法训练样本,并在Hadoop云计算环境下,分别在基于传统框架和迭代式框架的BP算法中进行训练。实验结果表明,基于迭代式MapReduce框架的BP算法训练速度达到了基于传统MapReduce框架的BP算法训练速度的10倍以上,正确率提升了10%~13%,能有效解决算法训练时间过长和迭代计算中多次任务提交的问题。     

基于迭代式MapReduce的FCM算法实现

针对模糊C均值聚类(Fuzzy c-Means Clustering, FCM)算法聚类过程迭代的特点,采用迭代式MapReduce模型对FCM算法进行了优化实现。Map函数计算每个样本到聚类中心的隶属度,Reduce函数接收Map函数的中间输出计算新的聚类中心,传递模块将最新聚类中心传送给原Map任务所在节点,供新一轮MapReduce job使用。迭代式MapReduce模型在MapReduce基本模型上添加了传递模块,有效解决了基本模型在处理迭代问题上存在的不足。在Hadoop平台中,分别使用基于迭代式MapReduce和MapReduce基本模型的FCM算法对变压器进行故障诊断。实验结果表明,基于迭代式MapReduce的FCM算法诊断速度达到了基于MapReduce基本模型算法诊断速度的12倍以上,误判率降低了12%~15%,有效提升了FCM算法的诊断效率。     

适于进化算法的迭代式MapReduce框架

MapReduce模块化的编程大大降低了分布式算法的实现难度,但同时也限制了它的应用范围。介绍了MapReduce的基本结构及其实现迭代算法的缺陷,并针对基于MapReduce进化算法效率低下的问题,在对MapReduce的计算框架进行研究的基础上提出了一种适用于进化算法的迭代式MapReduce计算框架。描述了迭代式MapReduce计算框架的实现需求及其具体实现,提出并证明了异常机制的可行性,且在公有的Hadoop云计算平台上对提出的框架进行了验证。实验结果表明,基于迭代式MapReduce计算框架的并行遗传算法在算法的加速比上与基于MapReduce的并行遗传算法相比有较大的提高。     

面向海量数据的K-means聚类优化算法

针对集中式系统框架难以进行海量数据聚类分析的问题,提出基于MapReduce的K-means聚类优化算法。该算法运用MapReduce并行编程框架,引入Canopy聚类,优化K-means算法初始中心的选取,改进迭代过程中通信和计算模式。实验结果表明该算法能够有效地改善聚类质量,具有较高的执行效率以及优良的扩展性,适合用于海量数据的聚类分析。     

基于MapReduce的蚁群优化算法实现方法

探讨了蚁群算法的几种并行方式与适用场景以及结合云计算编程框架MapReduce的可行性,并将局部搜索类蚁群优化算法抽象为几个组件,分别与MapReduce框架的几个接口对应实现,从而为该类蚁群优化算法在MapReduce框架下实现并行化提供了一种灵活、扩展性好的解决方案。最后通过旅行商问题的仿真实验验证了所提方法的有效性。     

基于蝙蝠算法的系统级故障诊断研究

首次将蝙蝠算法用于解决系统级故障诊断问题,从而提出了一种高效的诊断算法——蝙蝠故障诊断算法。在初始化阶段,种群被分成大、小两类,并采用不同的处理方式;根据系统级故障模型的特点,设计出了具有方程约束的适应度函数;为了平衡全局搜索与局部搜索,在速度更新公式中增加一个变系数;为实现寻址的离散化,对蝙蝠速度进行了二进制映射。仿真实验结果表明,蝙蝠故障诊断算法在迭代次数、诊断正确率和最优解的适应度等方面明显优于现有的具有代表性群智能诊断算法——FAFD算法。     

基于MapReduce模型的并行单词贡献度算法的设计与实现

Google在2004年提出了MapReduce框架,MapReduce支持海量数据的并行计算[1].单词贡献度算法是文本挖掘中一种比较新颖的用于非监督聚类的特征词提取算法.本文基于MapReduce框架设计并实现了一种并行的单词贡献度算法.通过对比试验可以得出结论,本文所提出的并行算法较普通的单词贡献度算法性能有大幅度提升.     

基于MapReduce的混合蚁群算法研究

传统的蚁群算法在收敛速度上较慢且容易导致局部最优解,本文提出一种基于双模式的混合蚁群算法,即在算法的每次迭代中有比例地选择其中一种模式来获得蚂蚁的最优路径,可以实现在相对较少的时间内寻找出最优路径,且避免陷入局部最优解。由于蚁群算法天然具有并行化的特性,本文将混合蚁群算法与MapReduce结合,大大缩短了算法的执行时间。实验结果表明,基于MapReduce的混合蚁群算法可以实现在相对较少的时间内寻找出较优的路径。     

迭代式MapReduce研究进展

迭代计算普遍存在于大数据处理中,而传统的MapReduce不能显式地支持迭代计算。近几年,研究者扩展和改进原始MapReduce,已开发了若干迭代式MapReduce以更好地为大数据处理而支持迭代计算。对迭代式MapReduce编程框架进行综合评述,较详细地阐述了这些研究成果,给出了它们各自的基本思想,并分析了它们各自的特点、优势和不足,且对比了它们所采用的一些技术。对迭代式MapReduce未来的发展趋势进行了展望。     

云平台下图数据处理技术

针对Hadoop云平台下MapReduce计算模型在处理图数据时效率低下的问题,提出了一种类似谷歌Pregel的图数据处理计算框架--MyBSP.首先,分析了MapReduce的运行机制及不足之处;其次,阐述了MyBSP框架的结构、工作流程及主要接口;最后,在分析PageRank图处理算法原理的基础上,设计并实现了基于MyBSP框架的PageRank算法.实验结果表明,基于MyBSP框架的图数据处理算法与基于MapReduce的算法相比,迭代处理的性能提升了1.9~3倍.MyBSP算法的执行时间减少了67%,能够满足图数据高效处理的应用前景.     

奇偶直方图负载均衡超立方对等云MapReduce模型*

针对传统MapReduce算法结构在处理大数据时,负载均衡性能不理想的缺点,设计了一种具有负载均衡机制的层次MapReduce模型。该模型利用超立方拓扑结构对MapReduce的映射操作进行改进,通过特定算法将八个结构化的数据中心链接到一个对等的云环境结构中,并使用奇偶直方图组合采样方式的均衡划分方法,实现在用户请求下的节点工作负荷指数均衡。最后,基于Hadoop框架对所提算法进行仿真实验,结果显示本文所提算法结构相对于原始MapReduce结构,具有更高的并行计算的资源利用率,以及更佳的容错和负载均衡性能,综合性能得到有效提升。     

Hadoop系统map阶段的排序性能分析与优化

MapReduce计算框架已被广泛用于大规模数据分析的应用。虽然它具有弹性的可扩展性和细粒度的容错系统,然而性能却并不令人满意。MapReduce可以通过分配更多的计算节点来实现更好的性能,但是,这种做法并不符合成本效益。用户渴望MapReduce在提供弹性的可扩展性和细密度容错的同时,可以具有更高的计算效率。该文提出了一种动态优化map阶段排序性能的方法,并进行了测试,测试结果表明,该方法能够提升MapReduce的基准测试性能。     

基于排队网络的多优先级MapReduce作业调度算法

MapReduce是一个能够对大规模数据进行分布式处理的框架,目前被各个领域广泛应用。在提供MapReduce服务的集群中,如何保证不同优先级用户的截止时间限定是MapReduce作业调度问题的一个挑战。针对这一问题,提出了一个基于排队网络的多优先级作业调度算法（MPSA）。首先分析和归纳了基于MapReduce模型的算法,提出了三种常见模式,采用Jackson排队网络对基于MapReduce模型的算法建立了数学模型,应用该网络模型可以求出不同优先级队列对资源的需求;随后使用AR(1)模型进行预测,使算法可以动态地适应不同的用户访问量;利用二分查找算法,分步计算出不同优先级在map阶段和reduce阶段分配的槽位数;最后实现了在MapReduce模型中应用的实时调度算法。实验结果表明,与传统的FIFO和公平调度算法相比,本文提出的算法在用户到达率和任务规模变化的情况下,可以更加有效地满足不同优先级用户的截止时间限定。     

一种基于后缀项表的并行闭频繁项集挖掘算法

对现有的基于MapReduce的并行频繁项集挖掘算法进行了研究, 提出一种基于后缀项表的并行闭频繁项集挖掘算法, 通过后缀项表的引入及以闭频繁项集挖掘的形式, 减少组分间的数据传送量, 提高挖掘效率。实验表明, 该算法可以有效缩短平均挖掘时间, 对于高维大数据具有较好的性能。     

基于MapReduce和改进密度峰值的划分聚类算法

对于基于划分的聚类算法随机选取初始聚类中心导致初始中心敏感,聚类结果不稳定、集群效率低等问题,提出一种基于MapReduce框架和改进的密度峰值的划分聚类算法(based on MapReduce framework and im-proved density peak partition clustering algorithm,MR-IDPACA).首先,通过自然最近邻定义新的局部密度计算方式,将搜索样本密度峰值点作为划分聚类算法的初始聚类中心;其次针对算法在大规模数据下运行时间复杂,提出基于E2LSH(exact Euclidean locality sensitive hashing)的一种分区方法,即KLSH(K of locality sensitive hashing).通过该方法对数据分区后结合MapReduce框架并行搜寻初始聚类中心,有效减少了算法在搜索初始聚类中心时的运行时间;对于MapReduce框架中的数据倾斜问题,提出ME(multistage equilibrium)策略对中间数据进行多段均衡分区,以提升算法运行效率;在MapReduce框架下并行聚类,得到最终聚类结果.实验得出MR-IDPACA算法在单机环境下有着较高的准确率和较强的稳定性,集群性能上也有着较好的加速比和运行时间,聚类效果有所提升.     

基于Spark的蚁群优化算法

为应对大数据时代中组合优化问题的求解,基于云计算框架Spark,借助其基于内存、分布式的特定,提出一种并行蚁群优化算法。其思路是通过将蚂蚁构造为弹性分布式数据集,由此给出相应的一系列转换算子,实现了蚂蚁构造解过程的并行化。通过在旅行商问题(TSP)求解的仿真实验结果说明了所提出的并行算法的可行性;并在同等实验环境下对比基于MapReduce的蚁群优化算法,优化速度提升达10倍以上。