| 基于数据湖的高校大数据管理体系和处理机制研究 |
| |
| 引用本文： | 谷洪彬,杨希,魏孔鹏. 基于数据湖的高校大数据管理体系和处理机制研究[J]. 计算机时代, 2020, 0(5): 109-111,115 |
| |
| 作者姓名： | 谷洪彬 杨希 魏孔鹏 |
| |
| 作者单位： | 盘锦职业技术学院,辽宁 盘锦 124000;盘锦职业技术学院,辽宁 盘锦 124000;盘锦职业技术学院,辽宁 盘锦 124000 |
| |
| 基金项目： | 辽宁省教育厅科学研究经费项目;辽宁省现代远程教育学会"十三五"规划课题 |
| |
| 摘 要： | 针对高校本身业务系统带来的不同结构海量数据的存储管理和高效利用问题,通过比较新兴的数据湖技术和传统的数据仓库的区别,构建了基于数据湖的高校数据管理体系和数据处理机制,为高校的数据治理提供了数据层的存储支持,为使用机器学习方法进行大数据分析提供了非结构化数据来源。
|
| 关 键 词： | 高校大数据 数据湖 数据管理体系 数据处理机制 机器学习 |
Research on Data Lake based university big data management system and processing mechanism |
| |
| Gu Hongbin,Yang Xi,Wei Kongpeng. Research on Data Lake based university big data management system and processing mechanism[J]. Computer Era, 2020, 0(5): 109-111,115 |
| |
| Authors: | Gu Hongbin Yang Xi Wei Kongpeng |
| |
| Affiliation: | (Panjin Vocational&Technical College,Panjin,Liaoning 124000,China) |
| |
| Abstract: | Aiming at the problems of storage management and efficient utilization of massive data of different structures brought by the university’s own business system, after comparing the emerging Data Lake technology with the traditional data warehouse, this paper constructs a Data Lake based university data management system and data processing mechanism. The data management system and data processing mechanism provide university’s data governance with data layer storage support, and provide unstructured data sources for big data analysis using machine learning method. |
| |
| Keywords: | university big data Data Lake data management system data processing mechanism machine learning |
| 本文献已被 维普 万方数据 等数据库收录！ |
|
