40000 P100 (1GPU) P100 (32GPU) V100 (8GPU) V100 (32GPU) RestNet50 模型训练速度（images/second） 分布式训练/GPU硬件升级加速明显 模拟数据训练时间 108 15.12 4.62 3.39 1 0 20 40 60 80 100 120 P100 (1GPU) P100 (8GPU) 强大的算力需要匹配的I/O吞吐 2.计算存储分离导致I/O延迟 3.单机缓存无法满足海量数据加速 9993.6 3189.6 0 2000 4000 6000 8000 10000 12000 Synthetic ESSD云盘 PL2 RestNet50 模型训练速度 （images/second） 云盘 Alluxio - 分布式缓存的领导者 开源项目由李浩源博士(Alluxio公司CEO)在加州大学Berkeley分校 Driver Web Driver Alibaba Cloud OSS Alluxio 服务器 Alluxio 服务器 大数据查询 大数据ETL 模型训练 Alluxio核心功能一：分布式数据缓存 Alluxio 服务器 A B /path1/file1 /path2/file2 C A B C A Alluxio 服务器 Alluxio 服务器 大数据查询 大数据ETL

如何继续以有效协作为重点，不断突破界限，在一个更加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践，例如实时结对编程或集体编程、 分布式工作坊（例如 远程事件风暴）以及异步和同步沟通。远程工作提供了许多好处（包括更多样化的人才储 备），但面对面交流的价值是显而易见的。团队不应中断重要的反馈循环，并且需要意识到在转向远程工作时所 做的取舍。 Orca 提供了从开发到生产的安全状态的统一视图，因此我们将其放入试验阶段。 31. Trino 试验 Trino 以前被称之为 PrestoSQL，是一个专为面向大数据交互式分析查询而设计的开源分布式 SQL 查询引擎。经 过优化后，它可以在本地或者云上环境运行，并支持对 Hive、Cassandra、关系型数据库、甚至专有数据存储 等多种不同的数据源进行查询。它支持基于密码的认证、LDAP 可能。 66. Thanos 试验 尽管 Prometheus 一直是自维护可观察性工具链中的一个可靠选择，但当监测指标在基数和总量上增长，以 及开始需要高可用性设置时，许多管理现代云原生分布式系统的团队都会碰到其单节点的限制。Thanos 通 过添加一些适用于大规模、长期和高可用性监控的功能来扩展 Prometheus。例如，它引入了一些组件将从 Prometheus 实例中读取的

网络（VPC/EIP） 开源原生 商业增强：控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS 分布式 消息 DMS 分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 调用链 SLA指标 更好的隔离效果和性能。 • 轻松地跨不同的环境共享应用程序、协同 工作和测试应用程序。 主流DL框架 13 iCAN容器网络：实现高性能容器网络和大规模高效部署 14 Fuxi容器存储：实现有状态应用和分布式中间件容器化部署 15 全球首发云容器实例服务CCI ：更快的弹性，更高的资源利用率 持续发布： 小时级->分钟级 弹性伸缩： 分钟级->秒级 应用交互性能提 升1~2倍 资源利用率提 ：更快的弹性，更高的资源利用率；国内首发windows容器、帮助企业实现海量Windows应用轻松容器化上云 自研iCAN容器网络：实现高性能容器网络和大规模高效部署；自研Fuxi容器存储：实现有状态应用和分布式中间件容器化部署 华为CCE产品成熟度高，容器化经验丰富，在大企业、游戏、生物基因、科学计算、金融、媒资、能源、旅游等领域有2+年成熟商用实践 内部实践：流程IT系统、网管系统、消费者云VMAL

自由切换，到处运行 Sealos API Sealos CLI Desktop 裸金属 AWS 阿里云 更多······ boot 集群镜像 租户管理 应用管理 函数计算 消息队列 数据库 缓存 计算驱动 网络驱动 存储驱动 自由组装 内聚解耦 化整为零 大道至简 sealos 的能力 • 10 秒上线一个自带域名和 https 的 nginx 应用 • 其它应用同理如博客系统 Mysql/pgsql/mongo CNI CRI CSI DNS Backup Restore 交付类场景 01 整个集群或者分布式应用整 体打包，一键交付 标准化交付产物，而不是靠 操作文档协作 交付者无需关心业务逻辑，一条命令 完成任意分布式高可用应用交付 支持完全离线场景，小白操 作 20min 自动化完成 全国多个 02 交付环境： 各大公有云 不同版本liux发行版 terraform 某些底层 driver 写的不好 云驱动层 01 对接 firecracker cilium openebs 等技术 无性能损失的网络层计量 与隔离 rust 自研分布式文件系统 sealfs 直接对接 rustvmm 绕 开 fuse 02 client manger manger metadata data data metadata metadata

Google Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 的级别。 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes 5 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6 不部署源代码，并且不构建应⽤。持续集成（ Pod中的应 ⽤程序之间共享。 Pod的使⽤ Pods可⽤于托管垂直集成的应⽤栈（例如LAMP），但其主要动机是⽀持共同协作、共同管理的⼯作程序，例如： 内容管理系统，⽂件和数据加载器，本地缓存管理等 ⽇志和检查点备份，压缩，旋转，快照等 数据更改观察者，⽇志分配器，⽇志记录和监视适配器，事件发布者等 代理，桥接器和适配器 控制器，管理器，配置器和更新器 ⼀般来说，单个Pod不会运⾏同⼀应⽤的多个实例。

涉及的模块：全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 衡、路径改写、超时配置、重试机制、请求头/响应头重写、WebSocket、本地限流、 健康检查等，同时保障原生 API 的能力不受影响。 ➢ 插件管理：提供丰富的插件功能，支持安全、流量管控、缓存等插件，支持一键开启/ 停用插件。 ➢ 监控告警：微服务网关在部署时会自动配置监控、告警等功能。每个网关都自带完善 的资源监控和网关业务监控。 服务网格 服务网格是基于 Istio 开 MinIO 对象存储：非常热门的轻量对象存储方案 ➢ MySQL 数据库：简单易用、性能更高的开源关系型数据库 ➢ RabbitMQ 消息队列：常用于交易数据的传输管道 ➢ Redis 缓存服务：高性能的开源内存数据库 ➢ PostgreSQL 数据库：功能更丰富、扩展性更强的开源关系型数据库 ➢ MongoDB 数据库：面向文档的 NoSQL 数据库管理系统 镜像仓库

曾在新浪和⾦金金⼭山云负责镜像流量量分析项⽬目 纲要 Kafka 在知乎的应⽤用 为什什么做基于 Kubernetes 的 Kafka 平台 基于 Kubernetes 的 Kafka 平台实践 Apache Kafka 分布式的流式数据平台 ⾼高吞吐 容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer Consumer 平台 和⽹网络 内存 和 CPU • 依照集群类型测试基准数据 容器器⽹网络 • 容器器采⽤用独⽴立的内⽹网 IP ⽅方案 存储 容器器挂载服务本地⽬目录 Kafka ⾼高性能 • ⽂文件系统缓存 Kafka ⽇日志落盘 集群概览 如何调度 Kafka 容器器 磁盘是容器器的调度单元 ⽬目标 • Broker 在节点分散 • 节点存储使⽤用均匀 磁盘调度⽅方法 根据服务器器磁盘状态计算分数，分数⾼高者被调度

控信息写入存储 通过grafna连接不 同的数据源展示不 同的监控界面 方案1 方案2 kube-apiserver Metrics-Server metrics-server通过对 api重定向缓存监控进 入内存 pull opentsdb remote_storage_ adapter test-1 test-2 test-3 dev-1 dev-2 dev-3 dev-mysql-1 dev-redis-2 test-mq-2 test-mysql-3 dev-redis-3 test-mq-3 多套环境快速交付 关注 ServiceMesher 微信公众号 获取社区最新信息 关注 金融级分布式架构 微信公众号 获取 SOFAStack 最新信息 ServiceMesher 社区是由一群拥有相同价值观和理念的志愿者们共同发起， 于 2018 年 4 月正式成立，致力于成为 Service

工程化运作成为平台产品，平台产品随着组织变化而演进，其各个 组件可根据实际使用情况来升级扩展。这类集成产品通常被称为内 部开发者平台，是工程团队已经部署的技术和工具之上的全新一层。 演进路线方面，容器云平台为开发者构建和运行分布式应用带来了 便利，但同时将复杂资源暴露给了开发者，知识门槛高，并且开发 者难以从众多资源中定位业务故障。而容器云平台及传统 PaaS 等经 过平台工程化，可演进为面向开发者的一站式平台，灵活组合 赋能用云企业，满足企业多样性场景需求，提升企业云管理与优化 治理成效。 稳定性层面，云上系统稳定性挑战持续存在，系统稳定性保障 云计算白皮书（2023 年） 20 体系不断完善、技术不断创新。云上系统自带“分布式”属性，各 模块之间依赖关系错综复杂，给服务性能分析、故障定位、根因分 析等带来了诸多困难；云上系统故障率随设备数量的增加而呈指数 级增长，单一节点问题可能会被无限放大，日常运行过程中一定会 应用的感知、判断和执行。 （一）数字应用方式与算力资源供给的变革，推动云计 算作用转变 人工智能大模型的快速发展，引发数字应用使用方式和算力资 源供给的双向变革，加速了云计算向面向大体量分布式应用体系化、 工程化创新的操作系统演进。 云计算白皮书（2023 年） 27 向下来看，算力资源呈现出计算异构、算网融合的特点。以 GPT-4 为例，其模型训练借助公有云能力在通用 CPU