应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 • 标准不统⼀ • 重复录⼊ • 数据不⼀致… 技术平台 • 规范不⼀致 • 组件不复⽤ • 集成共享难… 应⽤ • 功能单⼀ • 管理型居多 • 适应性不⾜… 系统建设 • 建设周期⻓ • 存在重复建设 • 投资回报低 • 系统维护成本⾼… 系统应⽤ • 数据分散，到处找 • 应⽤独⽴，难协同 • ⼀体化应⽤，不⽀持 在迭代阶段包含1.需求分析、2.应 ⽤设计、3.开发、4.测试、5.发布、 6.运维、7、迭代回顾7个阶段 u 每个迭代时间固定，⼀般为2-4周 整体过程框架 整体过程框架 开发 单次迭代开发交付过程 单次迭代开发交付过程 需求分析 工程活动 子过程 DevOps整体流程框架 生命周期 概念 迭代0 持续部署 每日站会 可视化管理 需求收集和分析 产品Backlog （Story验收用 交付内容关联开发任务 ü 交付内容管理变更范围 ü 使⽤⾃动化测试⼯具快速 校验交付质量，加速测试 效率 ü 按照编写好的测试case进 ⾏⼿⼯测试 ü 版本发布⾯板，跟踪版 本发布进度 创建发版⼯单 测试环境部署 测试 ü 平台容器化快速部署 ü 保证测试环境和开发环境 ⼀致 上线运维场景 上线完成 ü 交付内容标准化规范化 ü 交付内容版本可追踪 ü 交付内容关联需求 ü 交付内容关联开发任务

Kafka 集群 监控 服务 注册 Kafka 客户端 平台 API • 多集群 • ⾼高可⽤用 为什什么采⽤用 Kubernetes 问题驱动 • Kafka 资源规划不不合理理 • 单⼀一集群造成系统单点 • 不不区分集群和 Topic 等级，影响重要业务 • 业务与 Kafka 深度耦合 多 Kafka 集群⽅方式 根据 Topic 类型划分集群 同⼀一类型 Topic 多集群问题 磁盘是不不得不不考虑的问题 • ⽇日志落盘，⽇日志失效 ⽅方案 • Broker 之间物理理磁盘隔离 磁盘是个⼤大问题 服务器器选型 ⾼高密度存储服务器器 • 多磁盘, 单盘 RAID • 服务器器使⽤用率⾼高 如何管理理集群 集群数增加，导致 Broker 扩张 • 如何调度它们 • 如何管理理它们 服务器器如何管理理 Kubernetes 集群资源管理理和调度 监控服务器器存储状态 • 磁盘容量量资源回收 • 磁盘故障处理理 容器器挂载磁盘⽬目录的软连接 本地⽬目录设计 磁盘容错 • 磁盘故障不不可避免 • 快速恢复 服务器器预留留备⽤用磁盘 单盘故障启⽤用备⽤用盘 容错 主机容错 • 优化磁盘调度算法 • 运⽤用 Kafka 机架感知特性 服务注册和客户端 注册 Topic 的集群信息 • Broker, Zookeeper

背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读 • 单 Key 读，提供线性一致性 • Range 扫描读，支持快照读，支持分页  写 • K8s 乐观锁 resource version • 单 Key CAS  Watch • Kubernetes list-watch 的底层依赖 K8s 元信息存储的需求 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 的 Committed Index，与 快照 读有关 逻辑层 – 单 Key 读 逻辑层 – Range 读 逻辑层 – Range 读一致性 • Range 从 Leader 获取滑动窗 口当前 Committed Index 序 号 • 根据当前序号进行快照读

构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库

Scope、Redmine 等管理理⼯工具；提供深度学习AI 应⽤用，⽐比如 TensorFlow。 KubeOperator 企业版⽀支持服务内容 ⽀支持服务 7×24 ⼯工单及电话⽀支持服务，1 个⼩小时内响应客户⼯工单；接到故障申报后，⼯工程师通过电话⽀支持、远程接 ⼊入等⽅方式协助客户及时排除软件故障。 安装及培训服务 合计 5 ⼈人天的原⼚厂专业服务，可提供现场安装、现场紧急救助、软件故障排查、培训等专业⽀支持服务；并且

ld --go-test_out=pkg=main,paths=source_relative:. helloworld.proto • 业务代码中不要有框架、组件代码，减少单侧用例 • 业务代码做好接口级别单测，简单，快速 • protobuf工具的插件，拿到gRPC服务的描述信息，生成单元测试用例 • 业务人员只需要填写红框内容的断言内容，就可以完成单元测试 微服务的测试阶段 测试类型

Thanos 试验 尽管 Prometheus 一直是自维护可观察性工具链中的一个可靠选择，但当监测指标在基数和总量上增长，以 及开始需要高可用性设置时，许多管理现代云原生分布式系统的团队都会碰到其单节点的限制。Thanos 通 过添加一些适用于大规模、长期和高可用性监控的功能来扩展 Prometheus。例如，它引入了一些组件将从 Prometheus 实例中读取的数据存储到对象存储系统中 的早期倡导者，并看到该模式在无数系统上取得了成功，但我们也看到微 服务被误用和滥用，这通常是 microservice-envy（microservice envy）导致的。与其从头开始构建一个由单 独部署的进程组成的新系统，我们通常建议从一个精心设计的单体应用开始，并且仅当应用程序达到一定规模 时，才将其分解为可单独部署的单元，此时微服务的好处才能超越分布式系统所固有的额外复杂性。最近，我们

2 node5 Ready node 2m v1.11.2 每个node都是ready的，说明OK。 验证2：部署⼀个NGINX # 启动⼀个单节点nginx ]# kubectl run nginx --image=nginx:1.7.9 --port=80 # 为“nginx”服务暴露端⼝ ]# kubectl expose deployment Pod是Kubernetes中可以创建和管理的最⼩部署单元。是K8s种最⼩的调度单位 可以认为是⼀个“虚拟机” 是⼀个逻辑概念 拓展与提问：如果没有Pod，⽽把容器作为最⼩的调度单位，由于容器是“单进程模型”，会出现什么问题？ 举个例⼦：rsyslogd包括三个模块（进程）：imklog、imuxsock、rsyslogd。三个进程必须运⾏在⼀台机器上， 否则基于Socket的通信和⽂件交换 Datadog Agent ，New Relic Agent或Ganglia gmond 。 在简单的情况下，⼀个DaemonSet，覆盖所有Node，将⽤于每种类型的daemon。 更复杂的设置可能对单⼀类型的 daemon使⽤多个DaemonSet，但对不同硬件类型使⽤不同标志和/或不同内存和cpu最⼩需求。 Writing a DaemonSet Spec（编写DaemonSet Spec）

客户的需求不仅仅是更多的计算能力 Ø 安全性：更小的Attack Surface Ø 易于提供有状态服务 Ø 传统应用容易迁移 Ø Windows应用容易迁移 Ø 易于部署单体应用 Ø 用于桌面云 Ø 多服务单服务器部署 云平台技术的选择 云平台技术选型 容器编排系统的选择 ——Kubernetes的优势 vs. Mesos and Swarm Ø 来自Google的简单一致的设计理念

、metrics链路），降低ECI管控压力。 Elastic Scalling ECI ASK-Scheduler K8S API Server • Pod（N） : Node（1） • 单集群支持1万Pod • 大量Pod场景中的Kube-proxy风暴问题 ECI ECI ECI ECI ECI Controllers - service discovery, ingress