深入 Kubernetes 的“无人区” —— 蚂蚁金服双十一的调度系统 曹寅2/19 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 目 录 contents 目录3/19 一、蚂蚁金服的Kubernetes现状 Part 1：4/19 发展历程与落地规模 Part 1：蚂蚁金服的Kubernetes现状 平台研发 灰度验证 单集群规模 90%+ 应用服务 数十万 应用 Pods业务 6/19 统一资源调度架构 Part 1：蚂蚁金服的Kubernetes现状 非云 资源 云化 资源 基础 服务 蚂蚁 k8s 核心 CRI Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化 服务 Cluster Control Panel 在线应用 资源分时调度 Part 2：双十一 Kubernetes 实践 快速腾挪的问题 1.实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性技术风险 9/19 资源分时链路切换 Part 2：资源分时调度 Kubernetes Node 分时调度 Agent Pod 资源 Node 分时调度 Agent Pod 资源 Node 分时调度 Agent

经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 提纲 5 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 外卖订单智能调度系统发展历程 6 人工派单模式 • 调度员根据订单地址和骑士 位置来进行订单分配 • 人力调度派单峰值为每人 800单/天 调度 系统 3 整体最优分配 调度 系统 4.0 深度学习智能模式 • 出餐时间估算更准，缩短 骑士到店等待时间，节省 运力，提升用户等餐体验 出餐时间预估 深度学习智能 调度 系统 2.0 系统派单模式 • 系统综合考虑配送距离、 骑士运力、期望送达时间 等因素来自动派单 配送距离 期望送达时间 骑士运力 订单相似度 调度 系统 1.0 外卖订单智能调度要解决的核心问题 7 调度系统算法

other trademarks are the property of their respective owners. 摘要 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1. OPENSHIFT CONTAINER PLATFORM 存储的常见术语表 1.2. 存储类型 1.3. CONTAINER STORAGE INTERFACE (CSI) 1.4. 动态置备 第 第 2 章 章 了解 了解临时 临时存 存储 储 2.1. 概述 2.2. 临时存储的类型 2.3. 临时存储管理 2.4. 监控临时存储 第 第 3 章 章 了解持久性存 了解持久性存储 使用支持的驱动程序扩展 FLEXVOLUME 7.4. 扩展本地卷 7.5. 使用文件系统扩展持久性卷声明（PVC） 7.6. 在扩展卷失败时进行恢复 第 第 8 章 章 动态 动态置 置备 备 8.1. 关于动态置备 8.2. 可用的动态置备插件 8.3. 定义存储类 8.4. 更改默认存储类 176 177 179 182 185 196 196 196 196 197 197

上创建 WINDOWS 机器集 5.3. 在 VSPHERE 上创建 WINDOWS 机器集 第 第 6 章 章 调 调度 度 WINDOWS 容器工作 容器工作负载 负载 先决条件 6.1. WINDOWS POD 放置 6.2. 创建 RUNTIMECLASS 对象来封装调度机制 6.3. WINDOWS 容器工作负载部署示例 6.4. 手动扩展机器集 第 第 7 章 章 WINDOWS 节 机器集和相关的机器，以便将支持 的 Windows 工作负载移到新的 Windows 机器。您可以在多个平台上创建 Windows MachineSet 对象。 您可以将 Windows 工作负载调度到 Windows 计算节点。 您可以执行 Windows Machine Config Operator 升级 以确保 Windows 节点有最新的更新。 您可以通过删除特定机器来删除 Windows Linux 节点可用的 Windows 节点提供大多数 相同的监控功能。但是，目前无法监控 Windows 节点上运行的 pod 的工作负载图形。 将 Windows 工作负载调度到 Windows 节点可使用典型的 pod 调度实践，如污点、容限和节点选择器。或 者，您也可以使用 RuntimeClass 对象来把 Windows 工作负载与 Linux 工作负载和其他 Windows 版本工 作负载进行区分。

21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 27-Ingress Resources 28-动态⽔平扩容 29-实战：使⽤K8s编排Wordpress博客 2 简介 Kubernetes开源书。不啰嗦了，JUST READ IT. GitHub地址：https://github.co 3 什么是kubernetes Kubernetes是⼀个旨在⾃动部署、扩展和运⾏应⽤容器的开源平台 。 使⽤Kubernetes，您可以快速有效地回应客户需求： 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统，提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes 5 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。 为什么我需要Kubernetes，它能⼲啥？ 最基本的功能：Kubernetes可在物理机或虚拟机集群上调度和运⾏应⽤容器。然⽽，Kubernetes还允许开发⼈员将物理

CoreOS 项目 简介 工具 快速搭建 CoreOS 集群 Kubernetes 项目 简介 快速上手 基本概念 kubectl 使用 架构设计 Mesos - 优秀的集群资源调度平台 Mesos 简介 安装与使用 原理与架构 Mesos 配置项解析 日志与监控 常见应用框架 本章小结 容器与云计算 简介 亚马逊云 腾讯云 阿里云 小结 5 1.24 系统。 Docker 镜像是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文 件外，还包含了一些为运行时准备的一些配置参数（如匿名卷、环境变量、用户等）。镜像 不包含任何动态数据，其内容在构建之后也不会被改变。 分层存储 因为镜像包含操作系统完整的 root 文件系统，其体积往往是庞大的，因此在 Docker 设计 时，就充分利用 Union FS 的技术，将 "<路径2>"...] VOLUME <路径> 之前我们说过，容器运行时应该尽量保持容器存储层不发生写操作，对于数据库类需要保存 动态数据的应用，其数据库文件应该保存于卷(volume)中，后面的章节我们会进一步介绍 Docker 卷的概念。为了防止运行时用户忘记将动态文件所保存目录挂载为卷，在 Dockerfile 中，我们可以事先指定某些目录挂载为匿名卷，这样在运行时如果用户不指定挂

MachineSet 对象的 YAML 示例 5.2.3. 创建机器集 5.2.4. 其他资源 第 第 6 章 章 调 调度 度 WINDOWS 容器工作 容器工作负载 负载 先决条件 6.1. WINDOWS POD 放置 其他资源 6.2. 创建 RUNTIMECLASS 对象来封装调度机制 6.3. WINDOWS 容器工作负载部署示例 6.4. 手动扩展机器集 第 第 7 章 章 WINDOWS 机器集和相关的机器，以便将支持 的 Windows 工作负载移到新的 Windows 机器。您可以在多个平台上创建 Windows MachineSet 对象。 您可以将 Windows 工作负载调度到 Windows 计算节点。 您可以执行 Windows Machine Config Operator 升级 以确保 Windows 节点有最新的更新。 您可以通过删除特定机器来删除 Windows Container Platform Web 控制台不提供 Windows 节点的节点图形和工作负载 图。目前 Windows 节点没有可用的指标。 将 Windows 工作负载调度到 Windows 节点可使用典型的 pod 调度实践，如污点、容限和节点选择器。或 者，您也可以使用 RuntimeClass 对象来把 Windows 工作负载与 Linux 工作负载和其他 Windows 版本工 作负载进行区分。

other trademarks are the property of their respective owners. 摘要 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . MODULES/OPENSHIFT-STORAGE-COMMON-TERMS.ADOC 1.2. 存储类型 1.3. CONTAINER STORAGE INTERFACE (CSI) 1.4. 动态置备 第 第 2 章 章 了解 了解临时 临时存 存储 储 2.1. 概述 2.2. 临时存储的类型 2.3. 临时存储管理 2.4. 监控临时存储 第 第 3 章 章 了解持久性存 了解持久性存储 . . . . . . . . . . . . . 6.4. 使用文件系统扩展持久性卷声明（PVC） 6.5. 在扩展卷失败时进行恢复 第 第 7 章 章 动态 动态置 置备 备 7.1. 关于动态置备 7.2. 可用的动态置备插件 7.3. 定义存储类 7.4. 更改默认存储类 104 105 106 106 106 107 113 OpenShift Container

大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation，backfill scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列，队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化，并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化，异构硬件支持x86

由于云原生托管的应用是碎片化的，环境变化也是碎片化的，而且其业务类型越来越多，比如已经延展到边 缘计算盒子，此时攻击面被放大，在云原生环境下安全是一个核心价值，需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力，导致传统安全实施方法、角色、流程、技术 都发生了很多变化，适应这些变化是落地云原生安全的关键！ 标准化能力-承载无忧-E2E云原生纵深安全保障-2-商业价值 腾讯安全战略研究部联 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术 说明 优点 缺点 SAST(静态应用程序 安全测试) 进行静态扫描，尽可能前置，在IDE编写代码或者提交代码时进行，将极 大优化整体效率和成本 可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以