基于Spark优化的协同过滤推荐算法研究

推荐算法是数据挖掘中较为重要的算法之一,在如今的互联网发展中被广泛使用。而基于Spark Mllib平台上使用的ALS协同过滤算法在个性化推荐系统中发挥着重要作用,但由于Spark复杂的内核架构与其基于内存计算的特点,想通过Spark实现高性能的推荐系统,还存在着诸多问题需要研究。针对基于ALS模型的协同过滤算法及用来实现该算法的Spark计算技术进行分析与优化,经过资源优化后,缩短了推荐所用的时间,其性能提升了33.3%;在资源优化的基础上再经过Spark Shuffle优化,优化后的性能与无优化时相比,其性能提升了54.8%。