 Volcano加速金融行业大数据分析平台云原生化改造的应用实践领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化,异构硬件支持x86, Arm, GPU 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资 源配额 资源共享:Queue • 集群级别资源对象,与用户/namespace解耦 • 可用于租户/资源池之间共享资源 • 支持每个队列独立配置Policy,如 FIFO, fair share, priority, SLA等 K8S CLUSTER0 码力 | 18 页 | 1.82 MB | 1 年前3 Volcano加速金融行业大数据分析平台云原生化改造的应用实践领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化,异构硬件支持x86, Arm, GPU 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资 源配额 资源共享:Queue • 集群级别资源对象,与用户/namespace解耦 • 可用于租户/资源池之间共享资源 • 支持每个队列独立配置Policy,如 FIFO, fair share, priority, SLA等 K8S CLUSTER0 码力 | 18 页 | 1.82 MB | 1 年前3
 24-云原生中间件之道-高磊异步和削峰的能力,在云原生体系 架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云原生倡导面向性能设计,基于消息队 列的异步调用能够显著降低前端业务的响应时间,提高吞吐量;基于消息队列还能实现削峰填谷,把慢服务分离到 后置链路,提升整个业务链路的性能。 高SLA 云原生应用将对消息这种云原生BaaS服务有更高的SLA要求,应用将假设其依赖的云原生服务具备跟云一样的可用性,从而不需要去建设备份链 通需求,真正成为应用层的通信基础设施。 多样性 云原生消息服务将致力于建设大而全的消息生态,来涵盖丰富的业务场景,提供各式各样的解决方案,从而满足不同用户的多样性需求。云原生 消息队列要求建设多个子产品线来支撑丰富的业务需求,比如消息队列RocketMQ,Kafka,微消息队列等。 标准化 容器镜像这项云原生的核心技术轻易地实现了不可变基础设施,不可变的镜像消除了IaaS层的差异,让云原生应用可以在不同的云厂商之间随意 迁移 是无法完成真正的按需迁移,所以只能称为某朵云上的原生应用,无法称为真正的云原生应用。因此,消息服务需要做到标准化,消除用户关于 厂商锁定的担忧,云原生消息队列必须采纳很多社区标准,支持了多种开源的API协议,同时也在打造自己标准化接口。 总结一下,传统的消息队列将从高SLA、低成本、易用性、多样性和标准化几个方向持续进化为云原生的消息服务。 具体要求 高级能力-云原生中间件-应用的基石-MQ为例-2-Serverless化0 码力 | 22 页 | 4.39 MB | 6 月前3 24-云原生中间件之道-高磊异步和削峰的能力,在云原生体系 架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云原生倡导面向性能设计,基于消息队 列的异步调用能够显著降低前端业务的响应时间,提高吞吐量;基于消息队列还能实现削峰填谷,把慢服务分离到 后置链路,提升整个业务链路的性能。 高SLA 云原生应用将对消息这种云原生BaaS服务有更高的SLA要求,应用将假设其依赖的云原生服务具备跟云一样的可用性,从而不需要去建设备份链 通需求,真正成为应用层的通信基础设施。 多样性 云原生消息服务将致力于建设大而全的消息生态,来涵盖丰富的业务场景,提供各式各样的解决方案,从而满足不同用户的多样性需求。云原生 消息队列要求建设多个子产品线来支撑丰富的业务需求,比如消息队列RocketMQ,Kafka,微消息队列等。 标准化 容器镜像这项云原生的核心技术轻易地实现了不可变基础设施,不可变的镜像消除了IaaS层的差异,让云原生应用可以在不同的云厂商之间随意 迁移 是无法完成真正的按需迁移,所以只能称为某朵云上的原生应用,无法称为真正的云原生应用。因此,消息服务需要做到标准化,消除用户关于 厂商锁定的担忧,云原生消息队列必须采纳很多社区标准,支持了多种开源的API协议,同时也在打造自己标准化接口。 总结一下,传统的消息队列将从高SLA、低成本、易用性、多样性和标准化几个方向持续进化为云原生的消息服务。 具体要求 高级能力-云原生中间件-应用的基石-MQ为例-2-Serverless化0 码力 | 22 页 | 4.39 MB | 6 月前3
 36-云原生监控体系建设-秦晓辉controller-manager 在 Kubernetes 架构中,是负责监听 对象状态,并与期望状态做对比,如果状态不一致则进行 调谐,重点关注的是各个controller的运行情况,比如任 务数量,队列深度 • controller-manager出问题的概率相对较小,进程层面没 问题大概率就没问题 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml,大盘可以参考 的耗时分布,histogram类型,按 照 url + verb 统计 • workqueue_adds_total 各个 controller 已处理的任务总数 • workqueue_depth 各个 controller 的队列深度,表示一个 controller 中的任务的数量,值越大表示越繁忙 • process_cpu_seconds_total 进程使用的CPU时间的总量,rate 之后就是 CPU 使用率 Kubernetes控制面0 码力 | 32 页 | 3.27 MB | 6 月前3 36-云原生监控体系建设-秦晓辉controller-manager 在 Kubernetes 架构中,是负责监听 对象状态,并与期望状态做对比,如果状态不一致则进行 调谐,重点关注的是各个controller的运行情况,比如任 务数量,队列深度 • controller-manager出问题的概率相对较小,进程层面没 问题大概率就没问题 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml,大盘可以参考 的耗时分布,histogram类型,按 照 url + verb 统计 • workqueue_adds_total 各个 controller 已处理的任务总数 • workqueue_depth 各个 controller 的队列深度,表示一个 controller 中的任务的数量,值越大表示越繁忙 • process_cpu_seconds_total 进程使用的CPU时间的总量,rate 之后就是 CPU 使用率 Kubernetes控制面0 码力 | 32 页 | 3.27 MB | 6 月前3
 云原生微服务最佳实践库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS 服务注册发现 配置中心 RPC HTTP HTTP HTTP HTTP 调度分配 斯凯奇 云原生网关最佳实践0 码力 | 20 页 | 6.76 MB | 1 年前3 云原生微服务最佳实践库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS 服务注册发现 配置中心 RPC HTTP HTTP HTTP HTTP 调度分配 斯凯奇 云原生网关最佳实践0 码力 | 20 页 | 6.76 MB | 1 年前3
 1.3 MOSN 在云原生的探索及实践extension for Envoy Application Runtime — Layotto 背景 Service Mesh 解决了微服务治理的痛点,但在实际业务开发 中,缓存、数据库、消息队列、配置管理等, 我们仍然需 要维护一套重量级的 SDK 并且侵入应用代码。 方案 提供 API 抽象层,应用程序中只针对这套标准的 API 编程, 无需考虑实际运行时的后端服务形态。 优点 •0 码力 | 36 页 | 35.61 MB | 1 年前3 1.3 MOSN 在云原生的探索及实践extension for Envoy Application Runtime — Layotto 背景 Service Mesh 解决了微服务治理的痛点,但在实际业务开发 中,缓存、数据库、消息队列、配置管理等, 我们仍然需 要维护一套重量级的 SDK 并且侵入应用代码。 方案 提供 API 抽象层,应用程序中只针对这套标准的 API 编程, 无需考虑实际运行时的后端服务形态。 优点 •0 码力 | 36 页 | 35.61 MB | 1 年前3
 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊生实践。 与2019年全面云化相比,2020年全面云原生化革命性重构了双11“技术引擎”。从产品和技术两方面来看,产品侧,阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技术能力向业务 价值成果转变的样本:0 码力 | 42 页 | 11.17 MB | 6 月前3 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊生实践。 与2019年全面云化相比,2020年全面云原生化革命性重构了双11“技术引擎”。从产品和技术两方面来看,产品侧,阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技术能力向业务 价值成果转变的样本:0 码力 | 42 页 | 11.17 MB | 6 月前3
共 6 条
- 1













