面向Dataflow的异构集群混合式资源调度框架研究
2022-12-06 15:16:42   来源：    点击：

摘要: Dataflow 模型的使用，使得大数据计算的批处理和流处理融合为一体，但是现有的针对大数据计算的集群资源调度框架，要么面向流处理，要么面向批处理，不适合批处理与流处理作业共享集群资源的需求。另外GPU 用于大数据分析计算时，由于缺乏有效的 CPU-GPU 资源解方式。降低了资源使用效率在分析现有的集群资源调度框架的基础上，设计并实现了一种可以感知批处理/流处理应用的混合式资源调度框架 HIRM.它以共享状态架构为基础。采用乐观封锁协议和悲观封锁协议相结合的方式。确保流处理作业和批处理作业的不同资源要求，在计算节点上。提供 CPU-GPU 资源的灵活绑定，采用队列堆叠技术，不但满足流处理作业的实时性需求也减少了反馈延迟并实现了GPU资源的共享. 通过模拟大规模作业的调度，结果显示,HRM的调度延迟只有集中式调度框架的 75%左右: 使用实际负载测试。批处理与流处理共享集群时，使用 HRM调度框架CPU 资源利用率提高 25%以上: 而使用细粒度作业调度方法，不 GPU 利用率提高 2 倍以上，作业的完成时间也能够减少 50%左右.