面向数据共享的模型训练服务系统

数据驱动的人工智能应用需要大数据支持，然而现实中因隐私保护等原因,数据往往互不流通,而以孤岛形式存在。如何实现数据安全可用是当前亟待解决的问题。设计和实现了面向数据共享的模型训练服务系统，通过向用户提供数据功能服务接口而非数据本身，实现数据可用不可见。重点针对资源受限的数据共享平台，设计了高效的资源分配和作业调度方法，特别是通过自动资源缩放来应对多变的工作负载，达到优化用户体验和提高资源利用的目的。实验表明，相较于常规的作业调度方法，本系统在各种工作负载下都具有响应服务请求快、作业完成时间短的优点。