 Volcano加速金融行业大数据分析平台云原生化改造的应用实践提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 资源共享:Queue • 集群级别资源对象,与用户/namespace解耦 • 可用于租户/资源池之间共享资源 • 支持每个队列独立配置Policy,如 FIFO, fair share, priority, SLA等 K8S CLUSTER Submit job nodes Resources nodes Resources Queues Jobs run and finish Jobs wait 业务场景: • 金融投资公司,业务场景主要为策略研究开发、AI 训练与推理、 大数据ETL和离线批处理任务 客户诉求: • 要求调度系统提供公平机制,满足公司内多团队资源共享,保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题 • 要求调度系统统一支持AI、大数据、Batch Job 解决方案: • Volcano 统一支持AI、数据ETL和离线Batch0 码力 | 18 页 | 1.82 MB | 1 年前3 Volcano加速金融行业大数据分析平台云原生化改造的应用实践提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 资源共享:Queue • 集群级别资源对象,与用户/namespace解耦 • 可用于租户/资源池之间共享资源 • 支持每个队列独立配置Policy,如 FIFO, fair share, priority, SLA等 K8S CLUSTER Submit job nodes Resources nodes Resources Queues Jobs run and finish Jobs wait 业务场景: • 金融投资公司,业务场景主要为策略研究开发、AI 训练与推理、 大数据ETL和离线批处理任务 客户诉求: • 要求调度系统提供公平机制,满足公司内多团队资源共享,保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题 • 要求调度系统统一支持AI、大数据、Batch Job 解决方案: • Volcano 统一支持AI、数据ETL和离线Batch0 码力 | 18 页 | 1.82 MB | 1 年前3
 24-云原生中间件之道-高磊导面向性能设计,基于消息队 列的异步调用能够显著降低前端业务的响应时间,提高吞吐量;基于消息队列还能实现削峰填谷,把慢服务分离到 后置链路,提升整个业务链路的性能。 高SLA 云原生应用将对消息这种云原生BaaS服务有更高的SLA要求,应用将假设其依赖的云原生服务具备跟云一样的可用性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性,云在服务就在,才能称为真正的云原生服务。 云原生应用。因此,消息服务需要做到标准化,消除用户关于 厂商锁定的担忧,云原生消息队列必须采纳很多社区标准,支持了多种开源的API协议,同时也在打造自己标准化接口。 总结一下,传统的消息队列将从高SLA、低成本、易用性、多样性和标准化几个方向持续进化为云原生的消息服务。 具体要求 高级能力-云原生中间件-应用的基石-MQ为例-2-Serverless化 Serverless最核心的理念是“按0 码力 | 22 页 | 4.39 MB | 6 月前3 24-云原生中间件之道-高磊导面向性能设计,基于消息队 列的异步调用能够显著降低前端业务的响应时间,提高吞吐量;基于消息队列还能实现削峰填谷,把慢服务分离到 后置链路,提升整个业务链路的性能。 高SLA 云原生应用将对消息这种云原生BaaS服务有更高的SLA要求,应用将假设其依赖的云原生服务具备跟云一样的可用性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性,云在服务就在,才能称为真正的云原生服务。 云原生应用。因此,消息服务需要做到标准化,消除用户关于 厂商锁定的担忧,云原生消息队列必须采纳很多社区标准,支持了多种开源的API协议,同时也在打造自己标准化接口。 总结一下,传统的消息队列将从高SLA、低成本、易用性、多样性和标准化几个方向持续进化为云原生的消息服务。 具体要求 高级能力-云原生中间件-应用的基石-MQ为例-2-Serverless化 Serverless最核心的理念是“按0 码力 | 22 页 | 4.39 MB | 6 月前3
 Apache Pulsar,云原生时代的消息平台 - 翟佳
2) streamnative.io 企业级流存储层: 读写⾼可⽤性(容错) streamnative.io 企业级流存储层: 稳定的 IO 质量 ⾼性能、强⼀致性、读写隔离、灵活SLA • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper streamnative.io 基础决定上层0 码力 | 39 页 | 12.71 MB | 6 月前0.03 Apache Pulsar,云原生时代的消息平台 - 翟佳
2) streamnative.io 企业级流存储层: 读写⾼可⽤性(容错) streamnative.io 企业级流存储层: 稳定的 IO 质量 ⾼性能、强⼀致性、读写隔离、灵活SLA • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper streamnative.io 基础决定上层0 码力 | 39 页 | 12.71 MB | 6 月前0.03
 2.2.7 云原生技术在2B交付中的实践⾯向企业⽤户交付软件价值的过程 (1)产品研发流程管理 (2)产品版本管理 (3)概念验证,POC 管理 (4)客户个性化定制(价值最⼤化的关键) (5)客户应⽤的持续交付 (6)客户应⽤⽣产稳定性保障 (SLA) 追求价值最⼤化 A. ⾼效的产品交付模式; B. ⾼效的产品定制开发模式; 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 14% 8% 14% 64% SpringCloud0 码力 | 31 页 | 6.38 MB | 1 年前3 2.2.7 云原生技术在2B交付中的实践⾯向企业⽤户交付软件价值的过程 (1)产品研发流程管理 (2)产品版本管理 (3)概念验证,POC 管理 (4)客户个性化定制(价值最⼤化的关键) (5)客户应⽤的持续交付 (6)客户应⽤⽣产稳定性保障 (SLA) 追求价值最⼤化 A. ⾼效的产品交付模式; B. ⾼效的产品定制开发模式; 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 14% 8% 14% 64% SpringCloud0 码力 | 31 页 | 6.38 MB | 1 年前3
共 4 条
- 1













