24-云原生中间件之道-高磊的资源处于闲置状态,造成资源的浪 费和成本的提升。在离线混部集群,通过动态调度削峰填谷,当在线集群的使用率处于波谷时段,将离线任务调度到 在线集群,可以显著的提高资源的利用率。然而,Hadoop Yarn目前只能通过NodeManager上报的静态资源情况进行分配, 无法基于动态资源调度,无法很好的支持在线、离线业务混部的场景。 • 操作系统镜像及部署复杂性拖慢应用发布:虚拟机或裸金属设备所依赖的 迁移风险高 组织架构造成额外的成本 主要体现在Yarn的复杂性 主要体现在领域专业性上 应用改造成本高:将运行在Hadoop平台的大数据应用迁移到云原生平台,一方面需要大数据团队将业务应用进行 容器化改造,如系统任务的启动方式、基础设施的适配(环境变量、配置文件获取方式的变更等),这些都需要 大数据团队来做适配,在资源管理的方式,则从适配Yarn修改为适配Kubernetes,总体改造成本比较高;另一方面, 依赖于社 区的努力。 迁移风险高:一次变更引入的改动越多,引发故障的几率也越多。在Hadoop领域,大数据应用的资源,由 Hadoop Yarn负责管理和调度,具体来说,大数据应用运行在Yarn提供的Container之中,这里的Container,是Yarn中资源的抽 象,并非Linux Container,将其迁移至以容器为技术的云原生架构,跨越了底层基础架构,改动面比较大,风险相 对也更高。0 码力 | 22 页 | 4.39 MB | 6 月前3
Volcano加速金融行业大数据分析平台云原生化改造的应用实践用户收益: • 大数据作业从Yarn平滑迁移至K8s; • 云原生DAP平台服务于17个国家/地区,1100用户,年增长率8.1%; • DAP平台运行项目450+ Volcano大幅度提高大数据平台资源利用率 Kubernetes + YARN Kubernetes + Volcano 静态划分资源池 统一资源池 Kubernetes + YARN Kubernetes + Volcano0 码力 | 18 页 | 1.82 MB | 1 年前3
共 2 条
- 1













