Volume 2,Issue 9
基于动态资源感知的Spark 流处理作业弹性调度策略研究
本文聚焦基于动态资源感知的Spark流处理作业弹性调度策略，介绍Spark流处理架构特性及动态资源感知核心技术，阐述弹性调度实现需设计监测指标、提取特征及构建动态调度框架。通过模拟实验验证该策略在吞吐量、容错、资源利用率等方面优势，最后提出借助Kubernetes 增强调度灵活性的展望。
[1] 邱圆圆. 基于用户作业流程的Spark资源调度策略研究[D]. 浙江: 浙江工业大学,2021.
[2] 吴寅超. 基于Spark的用户批作业调度优化策略研究[D]. 浙江: 浙江工业大学,2021.
[3] 郑云红. 基于Flink的受限状态下弹性调度策略研究与实现[D]. 电子科技大学, 2022.
[4] 李鑫. 基于博弈的综合能源用户弹性负荷调度研究[D]. 华北电力大学( 北京), 2022.
[5] 郭晓勇. 基于资源感知的动态云任务调度算法研究[D]. 内蒙古大学, 2021.
[6] 王萌, 刘旋律, 高峰, 等. 基于资源紧迫度的实时ETL弹性调度机制[J]. 计算机应用研究,2021,38(7):2118-2124.
[7]吴仁彪, 刘备, 贾云飞. 异构环境下Spark动态资源调度策略研究[J]. 中国民航大学学报,2021,39(6):14-19,27.
[8] 李丽娜, 刘世龙, 马钰博, 等. 基于Storm的自适应弹性资源分配策略组件实现[J]. 吉林大学学报（理学版）,2023,61(2):384-392.
[9] 刘旋律, 顾进广. 基于稳定匹配的实时ETL弹性调度机制[J]. 计算机应用与软件,2022,39(2):266-273.
[10] 向晓婷. 基于kubernetes的计算资源的抢占式调度[J]. 黑龙江科学,2023,14(8):22-26.