异构资源环境下Hadoop节点能力自适应调度算法

为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足,提出了一种基于节点能力的自适应调度算法NCAS（node capacity adaptive scheduling）。首先,NCAS算法根据节点性能、任务特征计算得到调度因子;然后,由调度因子确定各节点应分得的数据量与任务槽数;最后,将数据和任务多分给快节点同时少分给慢节点。实验结果表明,与传统的调度算法相比,NCAS算法大幅度减少了备份任务的启动数量,明显减少了作业完成时间,提升了任务执行效率。     

基于MapReduce的并行异常检测算法

为了提高数据挖掘中异常检测算法在数据量增大时的准确度、灵敏度和执行效率,本文提出了一种基于MapReduce框架和Local Outlier Factor （LOF）算法的并行异常检测算法（MR-DLOF）。首先,将存放在Hadoop分布式文件系统（HDFS）上的数据集逻辑地切分为多个数据块。然后,利用MapReduce原理将各个数据块中的数据并行处理,使得每个数据点的k-邻近距离和LOF值的计算仅在单个块中执行,从而提高了算法的执行效率;同时重新定义了k-邻近距离的概念,避免了数据集中存在大于或等于k个重复点而导致局部密度为无穷大的情况。最后,将LOF值较大的数据点合并重新计算其LOF值,从而提高算法准确度和灵敏度。通过真实数据集验证了MR-DLOF算法的有效性、高效性和可扩展性。     

大数据环境下基于关联规则的多标签学习算法

传统单标签挖掘技术研究中,每个样本只属于一个标签且标签之间两两互斥。而在多标签学习问题中,一个样本可能对应多个标签,并且各标签之间往往具有关联性。目前,标签间关联性研究逐渐成为多标签学习研究的热门问题。首先为适应大数据环境,对传统关联规则挖掘算法Apriori进行并行化改进,提出基于Hadoop的并行化算法Apriori_ING,实现各节点独立完成候选项集的生成、剪枝与支持数统计,充分发挥并行化的优势;通过Apriori_ING算法得到的频繁项集和关联规则生成标签集合,提出基于推理机的标签集合生成算法IETG。然后,将标签集合应用到多标签学习中,提出多标签学习算法FreLP。FreLP利用关联规则生成标签集合,将原始标签集分解为多个子集,再使用LP算法训练分类器。通过实验将FreLP与现有的多标签学习算法进行对比,结果表明在不同评价指标下所提算法可以取得更好的结果。     

基于Hadoop环境下蛋白质与配体分子对接模拟实验研究

蛋白质种类和小分子的数量过多,对于药物的模拟开发运算量巨大。而分子对接是研究新药的重要手段,因此提高分子对接实验系统的工作效率十分重要。分子对接主要目的是研究蛋白质受体和配体小分子之间的作用与联系。本文通过模拟实验,搭建了一个Hadoop平台,并利用Hadoop强大的并行计算能力对蛋白质(1ppe与1uy6)与多组数量不同的配体小分子进行对接,最后对工作过程进行了相应的比较与优化。实验结果表明,该系统可以有效提高对接效率,并且具有较好的稳定性和便利性。     

适用于Hadoop云平台的洪水淹没分析并行算法

数字高程模型(Digital Elevation Model, DEM)特殊的数据结构有利于数据在计算机中进行计算,但其数据量大,受计算机性能的限制,无法满足大规模洪水淹没分析的需要。针对单机计算能力有限以及有源淹没分析递归算法占用计算机资源较多的问题,提出了一种利用Hadoop云平台进行洪水淹没分析的并行算法。该算法对研究区域DEM按规则格网的思想进行划分,将大规模的研究区分割成多个规则的小区域。在指定水位下,对每个小区域进行数据压缩,计算每个栅格单元的淹没值,并将同一行中相连的淹没栅格序列记为淹没块,每个淹没块包含该栅格序列所属的区块号、行号、起始列号、终止列号以及淹没标记;当不同行或不同区域中的淹没块相互连通时,需对其淹没标记进行一致性设计。最终,根据淹没点所在淹没块的淹没标记提取出淹没点所在的淹没区,即为实际的淹没范围。实验结果表明,在指定淹没水位下,通过该算法可以快速提取淹没范围以及实现淹没水深的计算。     

Analyzing spatial analytics systems based on Hadoop and Spark: A user perspective

Spatial analytics systems (SASs) represent a technology capable of managing huge volumes of spatial data using frameworks such as Apache Hadoop and Apache Spark. An increasing number of SASs have been proposed, requiring a comparison among them. However, existing comparisons in the literature provide a system-centric view based on performance evaluations. Thus, there is a lack of comparisons based on the user-centric view, that is, comparisons that help users to understand how the characteristics of SASs are useful to meet the specific requirements of their spatial applications. In this article, we provide a user-centric comparison of the following SASs based on Hadoop and Spark: Hadoop-GIS, SpatialHadoop, SpatialSpark, GeoSpark, GeoMesa Spark, SIMBA, LocationSpark, STARK, Magellan, SparkGIS, and Elcano. This comparison employs an extensive set of criteria related to the general characteristics of these systems, to the aspects of spatial data handling, and to the aspects inherent to distributed systems. Based on this comparison, we introduce guidelines to help users to choose an appropriate SAS. We also describe two case studies based on real-world applications to illustrate the use of these guidelines. Finally, we discuss chronological tendencies related to SASs and identify limitations that SASs should address to improve user experience.     

自适应布谷鸟搜索的并行K-means聚类算法*

针对K-means聚类算法受初始类中心影响,聚类结果容易陷入局部最优导致聚类准确率较低的问题,提出了一种基于自适应布谷鸟搜索的K-means 聚类改进算法,并利用MapReduce编程模型实现了改进算法的并行化。通过搭建的Hadoop分布式计算平台对不同样本数据集分别进行10次准确性实验和效率实验,结果表明：(1)聚类的平均准确率在实验所采用的4种UCI标准数据集上,相比原始K-means聚类算法和基于粒子群优化算法改进的K-means聚类算法都有所提高;(2) 聚类的平均运行效率在实验所采用的5种大小递增的随机数据集上,当数据量较大时,显著优于原始K-means串行算法,稍好于粒子群优化算法改进的并行K-means聚类算法。可以得出结论,在大数据情景下,应用该算法的聚类效果较好。     

云计算环境下混合协同过滤优化技术研究

作为使用最广泛的个性化推荐算法之一,协同过滤有着其他推荐算法无法比拟的优势,但在实际的应用中也面临着一些亟待解决的问题。针对冷启动问题,通过K-means聚类与改进的遗传算法相结合的混合算法实现协同过滤算法中聚类模型的构建,自适应地获取聚类算法中的K值及初始聚类中心集,由新用户或新项目自身属性信息计算熵值,来对其进行归类及近邻搜索,最终实现新用户和新项目的最优推荐。针对扩展性问题,利用基于云计算平台MapReduce分布式框架,完成相关算法的并行化计算。最后,在UCI数据集上验证了用户或项目聚类模型构建的有效性,在MovieLens数据集上,分别进行单机环境和Hadoop平台上的实验,验证了改进算法的有效性及推荐质量。     

基于Hadoop的Apriori算法研究与优化

为解决传统数据挖掘算法在大量数据处理时面临的内存占用、计算性能等方面的问题,基于Hadoop平台,应用HBase文件存储系统对海量数据分布式存储以及Map Reduce框架进行分布式计算,实现Apriori经典数据挖掘算法。通过对已实现的Apriori算法进行优化,引入FIS-IS算法思想,从数据库扫描次数和容量消减方向进行改进。提出针对数据本身进行频繁预选项生成方法与对于频繁预选项剪枝步骤进行分组检索的优化方法。实验结果验证了改进算法对算法运行具有良好的优化效果。     

Hadoop云平台下基于HOG特征和Adaboost分类器的快速行人检测算法

行人检测在安保领域、无人驾驶领域、机器视觉领域以及多媒体分析领域等具有广泛的应用。针对目前行人检测技术运算量大、实时性差等不足, 提出了一种Hadoop云平台下基于梯度直方图(HOG)特征和Adaboost算法的快速行人检测方法。该方法首先利用云计算模式提取图片的HOG特征, 然后利用PCA方法对提取特征降维, 最后使用Adaboost算法构建分类器对降维特征进行分类。利用不同场景照片对本文方法进行实验, 仿真结果表明, 在保持较高检测准确度前提下, 采用Hadoop云计算的检测速度比传统的基于HOG特征行人检测算法提高将近五倍, 有效提高检测算法的实时性。