Serverless MapReduce框架

任务提速25.6%

针对Serverless环境的资源调度、Shuffle索引读取与云存储I/O尾延迟问题提出三项优化策略,平均缩短作业时间25.6%,降低成本17.3%。

Xu, Huang · 顾荣 · 黄宜华

Big Data Mining and Analytics 2025

参数信息

作业执行时间缩短
25.6 %
作业执行成本降低
17.3 %

技术优势

调度更充分利用资源

针对Serverless环境的调度策略能够更充分地利用可用资源,减少作业等待时间。

降低Shuffle索引读取开销

优化Shuffle索引数据的读取方式,避免从云存储反复拉取造成的低效和高成本。

缓解I/O长尾延迟

针对云存储I/O请求的长尾效应进行优化,减少偶发高延迟对整体作业进度的拖累。

应用场景