基于决策树和由均匀分布改进Q学习的虚拟机整合算法

随着云数据中心规模的不断扩大，次优虚拟机整合算法所引起的高能耗、低资源利用率和用户服务质量下降等问题逐渐凸显。为此，提出了一种基于决策树和由均匀分布改进Q学习的虚拟机整合算法(DTQL-UD)。该算法采用决策树实现状态表征，并在评估下一时刻状态-动作价值时采用均匀分布选取下一时刻动作，可直接从云数据中心状态到虚拟机迁移的过程中通过实时反馈来不断优化决策。此外，针对强化学习中模拟器与真实场景中的差异问题，基于大量真实云数据中心负载跟踪数据，使用监督学习模型训练模拟器以增加模拟器的仿真度。仿真实验结果表明，DTQL-UD在能耗、资源利用率、用户服务质量、虚拟机迁移次数和剩余活跃主机数量方面分别优化了14%,12%,21%,40%和10%。同时，得益于决策树在表格型数据上更强的特征提取能力，DTQL-UD相比其他现有的深度强化学习方法可学到更优的整合策略，并且在本实验中随着云数据中心规模的增大，可将传统强化学习模型的训练耗时逐步减少60%～92%。