| 面向多表数据连接投影和连接顺序的优化方法 |
| |
| 引用本文： | 宗枫博,赵宇海,王国仁,季航旭.面向多表数据连接投影和连接顺序的优化方法[J].计算机科学与探索,2022,16(1):106-119. |
| |
| 作者姓名： | 宗枫博 赵宇海 王国仁 季航旭 |
| |
| 作者单位： | 东北大学 计算机科学与工程学院,沈阳 110169,北京理工大学 计算机学院,北京 100081 |
| |
| 基金项目： | 科技部国家重点研发计划(2018YFB1004402);国家自然科学基金(61772124)。 |
| |
| 摘 要： | 多表连接运算是大数据处理中常见的运算。类似于数据库运算中常见的连接操作,多表连接运算的顺序会对计算资源和传输资源的消耗产生巨大影响。对多表连接顺序的优化是一个经典的优化问题,同时每次连接中表的投影结果大小也会影响节点间传输的数据体积,因此整体连接的顺序和每次连接的投影关系都会对连接效率产生显著的影响,而在传统的优化策略中,往往不会考虑到中间投影关系的取舍问题,以及基于中间投影关系而对最优连接策略产生的影响。针对这个问题,建立了一种连接关系索引,能够在构建优化连接策略中调整每次连接的投影关系,及时删除冗余列,减少对传输资源的消耗,同时基于投影关系的优化调整连接顺序的优化策略,从全局考量上尽可能地同时减少对传输资源和计算资源的消耗。该优化策略在Flink系统实现后进行了实验,结果表明有显著的优化效果。
|
| 关 键 词： | 大数据 连接优化 投影优化 |
Optimization Method of Projection and Order for Multiple Tables Join |
| |
| ZONG Fengbo,ZHAO Yuhai,WANG Guoren,JI Hangxu.Optimization Method of Projection and Order for Multiple Tables Join[J].Journal of Frontier of Computer Science and Technology,2022,16(1):106-119. |
| |
| Authors: | ZONG Fengbo ZHAO Yuhai WANG Guoren JI Hangxu |
| |
| Affiliation: | (School of Computer Science and Engineering,Northeastern University,Shenyang 110169,China;School of Computer Science and Technology,Beijing Institute of Technology,Beijing 100081,China) |
| |
| Abstract: | |
| |
| Keywords: | big data join optimization project optimization |
| 本文献已被 维普 万方数据 等数据库收录！ |
|
