Kafka 1.3.7. Redis 1.3.8. MQTT 1.3.9. Cassandra 1.3.10. MongoDB 1.3.11. Network socket 1.4. SLA (Service Level Agreement) 1.4.1. Checker 1.4.2. Alerters 2. Developer Guide 2.1. Architecture Collector 2.2.1. Event Driven Collector 2.2.2. Polled Collector 2.3. Custom Appender 2.4. Custom SLA Alerter 1. User Guide 1.1. Introduction Apache Karaf Decanter is monitoring solution running in given backend. Decanter provides appenders depending of the backend storage that you want to use. • SLA is a special kind of appender. It receives all harvested data and checks on it. If a check fails,

提供完善作业生命周期管理，统一支持几乎所有主流的计算框架，如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列，队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化，并结合 Kubernetes 资源共享：Queue • 集群级别资源对象，与用户/namespace解耦 • 可用于租户/资源池之间共享资源 • 支持每个队列独立配置Policy，如 FIFO, fair share, priority, SLA等 K8S CLUSTER Submit job nodes Resources nodes Resources Queues Jobs run and finish Jobs wait 业务场景： • 金融投资公司，业务场景主要为策略研究开发、AI 训练与推理、 大数据ETL和离线批处理任务 客户诉求： • 要求调度系统提供公平机制，满足公司内多团队资源共享，保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题 • 要求调度系统统一支持AI、大数据、Batch Job 解决方案： • Volcano 统一支持AI、数据ETL和离线Batch

Proxy Service Data Plane Protocol Canary deployment Chaos testing User Subscription & SLA Control Plane Programmable API APP ...... Data Plane Control Layer Application Layer通过Service Subscription and SLA Management HW Adapter Proxy Service Proxy Service Proxy Service Control Plane Subscription & SLA User User Subscription & SLA 1. APP converts user subscription & SLA to operation Metrics 收集产品化增强-支持多网络平面 电信系统一般会有多个网络平面的，主要原因包括：避免不同功能的网络之间的 相互影响； 网络设计冗余，增强系统网络的健壮性； 为不同的网络提供不同的 SLA ；通过网络隔离提高安全性；通过叠加多个网络增加系统带宽 上图中的Kubernets集群使用了Knitter网络插件，部署了四个网络平面产品化增强-支持多网络平面 Istio1.0中不支持多网络

Platform 4.14 电 电源 源监 监控 控 2 第 1 章 RED HAT OPENSHIFT 发行注记 重要 重要 电源监控只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议（SLA）支 持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使 用户提早试用新的功能，并有机会在开发阶段提供反馈意见。 有关红帽技术预览功能支持范围的更多信息，请参阅技术预览功能支持范围。 第 第 1 章 章 RED HAT OPENSHIFT 发 发行注 行注记 记 3 第 2 章 电源监控概述 重要 重要 电源监控只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议（SLA）支 持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使 用户提早试用新的功能，并有机会在开发阶段提供反馈意见。 有关红帽技术预览功能支持范围的更多信息，请参阅技术预览功能支持范围。 章 电 电源 源监 监控概述 控概述 5 第 3 章 为 RED HAT OPENSHIFT 安装电源监控 重要 重要 电源监控只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议（SLA）支 持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使 用户提早试用新的功能，并有机会在开发阶段提供反馈意见。 有关红帽技术预览功能支持范围的更多信息，请参阅技术预览功能支持范围。

(Tempo) 重要 重要 Red Hat OpenShift distributed tracing Platform (Tempo)只是一个技术预览功能。技术预 览功能不受红帽产品服务等级协议（SLA）支持，且功能可能并不完整。红帽不推荐在生 产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能，并有机会在开发阶 段提供反馈意见。 有关红帽技术预览功能支持范围的更多信息，请参阅技术预览功能支持范围。 e 第 第 1 章 章 分布式追踪 分布式追踪发 发行注 行注记 记 7 重要 重要 红帽构建的 OpenTelemetry 只是一个技术预览功能。技术预览功能不受红帽产品服务等级 协议（SLA）支持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术 预览功能可以使用户提早试用新的功能，并有机会在开发阶段提供反馈意见。 有关红帽技术预览功能支持范围的更多信息，请参阅技术预览功能支持范围。 (Tempo) 重要 重要 Red Hat OpenShift distributed tracing Platform (Tempo)只是一个技术预览功能。技术预 览功能不受红帽产品服务等级协议（SLA）支持，且功能可能并不完整。红帽不推荐在生 产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能，并有机会在开发阶 段提供反馈意见。 有关红帽技术预览功能支持范围的更多信息，请参阅技术预览功能支持范围。

系统守护进程间共享。Pod 可以通过 EmptyDir 卷、容器日志、镜像层和容器可写层 来消耗这个分区。kubelet 管理这个分区的共享访问和隔离。这个分区是临时的，应用程序无法预期这个 分区中的任何性能 SLA（如磁盘 IOPS）。 Runtime 这是一个可选分区，可用于 overlay 文件系统。OpenShift Container Platform 会尝试识别并提供共享访 问以及这个分区的隔离。容器镜像层和可写入层存储在此处。如果 卷插件 卷插件 手 手动 动置 置备 备 动态 动态置 置备 备 完全支持 完全支持 注意 注意 可手动置备但未提供完全支持的块卷作为技术预览功能提供。技术预览功能不被红帽产品 服务等级协议 (SLA) 支持，且可能在功能方面有缺陷。红帽不推荐在生产环境中使用它 们。这些技术预览功能可以使用户提早试用新的功能，并有机会在开发阶段提供反馈意 见。有关红帽技术预览功能支持范围的详情，请参阅 https://access 部署过程中不提供动态置 备（如使用裸机、VMware 或带有附加设备的 AWS 存储实例）时简化安装。 重要 重要 自动发现和置备只是一个技术预览功能。技术预览功能不被红帽产品服务等级协议 (SLA) 支持，且可能在功能方面有缺陷。红帽不推荐在生产环境中使用它们。这些技术预览功能 可以使用户提早试用新的功能，并有机会在开发阶段提供反馈意见。 有关红帽技术预览功能支持范围的详情，请参阅 https://access

分布式 消息 DMS 分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 调用链 SLA指标 日志关联分析 异常预警 故障回溯 软件开发服 务 DevCloud 云性能测试 CPTS PaaS IaaS 开发测试 统一编排 自动化部署、微服务注册发现与治理、中间件运行环境 案例：企业级云容器服务，助力上海蓝鲸传媒容器化上云，提高SLA，降低人力成本 WEB 服务 媒资 APP CCE 云容器引擎集群 媒资 APP Redis服务 RDS服务 Mongo服务 User NAT 网关 internet ELB 负载均衡 客户问题： •自建 kubernetes技术门槛高，无法满足业务SLA要求 •原生版本产品化能力弱，系统集成问题多（网络、存储， 储， 监控等），解决成本高 •业务快速迭代，高峰期一周3~5个版本更新，运维压力大 •其他厂商的容器服务成熟度低，达不到商用要求 华为方案价值： •企业级容器服务经过2+年商用实践，SLA有保障 •提供一站式网络、存储、数据库、监控告警和健康检查解 决方案，降低系统集成风险，持续保障业务稳定运行 •支持原生 kubernetes API，原有容器化业务无缝迁移上云 蓝鲸传媒是证券时报

系统守护进程间共享。Pod 可以通过 EmptyDir 卷、容器日志、镜像层和容器可写层 来消耗这个分区。kubelet 管理这个分区的共享访问和隔离。这个分区是临时的，应用程序无法预期这个 分区中的任何性能 SLA（如磁盘 IOPS）。 Runtime 这是一个可选分区，可用于 overlay 文件系统。OpenShift Container Platform 会尝试识别并提供共享访 问以及这个分区的隔离。容器镜像层和可写入层存储在此处。如果 ReadWriteOncePod 访问模式是一个技术预览功能。 重要 重要 持久性卷的 ReadWriteOncePod 访问模式只是一个技术预览功能。技术预览功能不受红帽 产品服务等级协议（SLA）支持，且功能可能并不完整。红帽不推荐在生产环境中使用它 们。这些技术预览功能可以使用户提早试用新的功能，并有机会在开发阶段提供反馈意 见。 有关红帽技术预览功能支持范围的更多信息，请参阅技术预览功能支持范围。 卷插件 卷插件 手 手动 动置 置备 备 动态 动态置 置备 备 完全支持 完全支持 重要 重要 可手动置备但未提供完全支持的块卷作为技术预览功能提供。技术预览功能不受红帽产品 服务等级协议（SLA）支持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。 这些技术预览功能可以使用户提早试用新的功能，并有机会在开发阶段提供反馈意见。 有关红帽技术预览功能支持范围的更多信息，请参阅技术预览功能支持范围。

SLO …… Punishment SLA SLI defines an indicator, which can represent user experience. SLO is the object that try to meets all SLIs in a period of time. SLA = SLO + Punishment. SLA/SLO/SLI What we concern

堆积消息峰值：千亿条 消息中间件核心链路 1.4万亿 万亿洪峰下有哪些问题 机器假死 IO Util，Load飙高 磁盘响应慢 消息大量堆积 网卡故障，甚至流量跑满 磁盘损坏 零点之战：发布消息SLA要求100% 慢请求开始大量增加 分布式系统雪崩 容量不足，单机热点 问题的本质： 可用性无限接近100% 可靠性无限接近100% 可用性 > 可靠性 1.4万亿 双十一当天高可用要求 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起） 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估 SLA=99.999% 1.4万亿 在线熔断机制 ①消息服务器 ②消息服务器 ③消息服务器 ④消息服务器 应用 规则 1. 最多只能隔离 30%的机器。 2. 响应时间过长， 开始隔离1分钟 如果隔离的服 务器超过30%， 则有部分调用 会进入隔离列 表中最早隔离 的机器 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估 SLA=99.999% 1.4万亿 双十一当天交易集群线上可用性 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望