| 基于Spark SQL结构化数据文件的推荐系统性能优化研究 |
| |
| 引用本文： | 胡晶. 基于Spark SQL结构化数据文件的推荐系统性能优化研究[J]. 电脑与信息技术, 2021, 29(5): 61-63. DOI: 10.3969/j.issn.1005-1228.2021.05.018 |
| |
| 作者姓名： | 胡晶 |
| |
| 作者单位： | 福建船政交通职业学院,福建 福州 350007 |
| |
| 摘 要： | Spark SQL是Spark技术的一个模块,在不使用Scala语言的前提下,可以对结构化数据进行处理和优化.本文重点研究Spark SQL的架构、DateFrame数据抽象、基于数据分类的改进交替最小二乘算法(ALS)等几个方面,研究在推荐系统中处理结构化数据面临的性能优化问题研究.提出最小二乘算法对Spark SQL的Dateset进行优化,在操作Hive数据集和HBase分布式数据的过程中,整合二者的优点,改进了数据读写速度,优化了数据组织框架.在推荐系统进行结构化文件处理的问题上,具有一定的指导意义.
|
| 关 键 词： | Spark SQL DateFrame数据抽象 最小二乘算法 |
Performance Optimization of Recommendation System Based on Spark SQL Structuralized Data Files |
| |
| HU Jing. Performance Optimization of Recommendation System Based on Spark SQL Structuralized Data Files[J]. Computer and Information Technology, 2021, 29(5): 61-63. DOI: 10.3969/j.issn.1005-1228.2021.05.018 |
| |
| Authors: | HU Jing |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
