载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6 不部署源代码，并且不 proxy/#!/overview? namespace=default 参考： https://kubernetes.io/docs/tasks/access-application-cluster/web-ui-dashboard/ 02-安装单机版Kubernetes 9 使⽤Kubespray部署⽣产可⽤的Kubernetes集群 （1.11.2） 前提：科学上⽹，或⾃⾏将gcr 部署⽅案 优点 缺点 Kubeadm 官⽅出品 部署较麻烦、不够透明 Kubespray 官⽅出品、部署较简单、懂Ansible就能上⼿ 不够透明 RKE 部署较简单、需要花⼀些时间了解RKE的cluster.yml配置 ⽂件 不够透明 ⼿动部署 第三⽅操作⽂ 档 完全透明、可配置、便于理解K8s各组件之间的关系 部署⾮常麻烦，容易出 错 其他诸如Kops之类的⽅案，由于⽆法跨平台，或者其他因素，被我pass了。

Extensibility/Integration • CI/CD examples • Future plan Overall Architecture Kubernetes Cluster Kubernetes Cluster Node Node Node Node Job Job Job Job Pod Pod Pod Pod ElasticSearch ElasticSearch Logging customization Cluster Resource Auto Scaling kubelet can do image GC DevOps Service DevOps Operator DevOps Operator DevOps Service DevOps Manager CronJob k8s API MySQL k8s API MySQL MySQL • Pipeline Pipeline configuration and history in MySQL • Logging in central logging service - ElasticSearch • Metric data in monitoring system - prometheus • Alertmanager to invoke various alert and related actions

StorageClass、Namespace 和 pvc 资源 �. 部署MySQL容器组 �. 部署WordPress容器组 �. 配置 Haproxy 负载均衡 �. 访问 WordPress ⽅法⼆：Ingress 外⽹访问 WordPress 配置⽅法 �. 创建 Namespace 和 PVC 资源 �. 部署MySQL容器组 �. 部署WordPress容器组 �. 创建 Service 然后单击⻚⾯右上⻆的创建。 应⽤场景 说明 稳定的持久化存储 基于PVC实现数据的持久化存储，即Pod重新调度后还是能访问到相同的持久化数 据 稳定的⽹络标志 基于Headless Service（即没有Cluster IP的Service）来实现，即Pod重新调度后 其PodName和HostName不变 有序部署，有序扩 展 即Pod是有顺序的，在部署或者扩展的时候要依据定义的顺序依次依次进⾏（即从 设置应⽤名称、集群 、命名空间、副本数量（即应⽤包含的 Pod 数量）、标签和注解。然后单击 下⼀步进⼊容器配置⻚⾯ c) 设置容器配置 i. 基本配置 镜像名称：填写所⽤镜像名称，本例中为mysql。格式为domain/imagename。 镜像版本：填写所需镜像版本，本例中为5.7。如不指定，默认为latest。 最⼩申请：为该应⽤所需最⼩资源额度，包括 CPU 和内存两种资源。该资源由容器独占，以

haproxy将流量转发至 apiserver 每个控制平面节点创建一个本 地etcd成员，该etcd成员仅与 kube-apiserver该节点通信 kubernetes cluster HA etcd cluster load balancer-vip apiserver controller-manager scheduler etcd master haproxy keeplived ipvs-eth ipvs-eth L4 k8s-svc网络-LVS 由kube-proxy管理 core-dns 解析域名 访问过程 1.core-dns解析来集群内部域名kubernetes.cluster.svc.local; 2.流量达到ipvs-eth; 3.lvs负载均衡对流量进行轮寻，寻找目的pod下一跳; 4.流量达到node1,node2的eth0,经过内部路由进行传输; 5. 0 netmask 255.252.0.0 gw 172.16.0.2 && 172.16.0.3 windows linux app1.ai-test.svc.cluster.local app2.ai-test.svc.cluster.local jnlp-slave-1 pod jnlp-slave-2 pod jnlp-slave-* pod maven node helm kubectl

Console Front End Console Back End Registry Dev/Ops/Admin End User Builder 12 Service Name K8S Cluster IP app01.xpaas.lenovo.com 172.19.228.1 app02.xpaas.lenovo.com 172.19.228.2 … … 2017 Lenovo Internal Upload Web Hook 15 2017 Lenovo Internal. All rights reserved. 容器云设计– 存储方案 • 存储方案选择，主要给服务组件提供服务，如MySQL，Redis等 数据持久化 数据共享 K8S Dynamic Provisioning StorageClass 需求 存储技术 使用方案 RBD 对象存储 S3/FastDFS/TFS DaemonSet logspout K8S DaemonSet stdout stderr K8S Pod LogMinion Kibana Kafka Cluster Log Parser ES Cluster log tail log tail stdout stderr Console 21 2017 Lenovo Internal. All rights reserved

一期方案存在的问题与挑战 ‣ 如何实现线下多环境 • 一键拉起环境 注意点 • 数据建设依赖于规划 • 数据如何切分 原理 • 所有镜像自动生成 • 一键master镜像部署 1. 注册中心 2. Mysql Redis ES 3. 全链路微服务 4. 自动数据同步 • 一期多环境平台架构图 CDN / LB / WAF / NG K8S集群 namespace1 namespace… namespaceN 基础服务数据库 … … … • 多环境资源互不影响 微服务 • 全链路服务全部属 • 注册中心独立部署 流量隔离 • 多域名，泛域名解析匹配 数据 • 全量同步线上脱敏数据 • Mysql redis ES 全搭建 • 数据全部物理隔离 发布平台 • 按需分支发布 • 多环境完全并行 • 一期方案的问题与挑战 1 2 3 多环境资源“假”隔离 Namespace隔离，共享资源 负载均衡 Ribbon Gateway 负载均衡 Ribbon 负载均衡 Ribbon Axxx Hxxx Eureka Eureka 注册 注册 Redis ES Mysql • 多云多K8S多环境的挑战 挑战 多云发布一致性 1 跨云数据同步保证 2 多环境一套模板适配性 3 多K8S的监控 4 • 基于Istio的智能路由 Istio层 IstioIngressGateway

Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 基于 K8s 的多云、混合云DBPaaS管理平台 ，支持MySQL、 PostgreSQL、Redis、MongoDB、Kafka等开源数据库的自动化 运维。 云猿生于2022年5月份成立，总部坐落于杭州，并同期设立 北京分公司。公司是云原生计算基金会（CNCF）会员企业， Capability Levels Installation of the workload • Operator deploys an Operand or configures off- cluster resources • Operator waits for managed resources to reach a healthy state • Operator conveys readiness 如下图所示，某个版本为3（gen=3）的集群（Cluster）中有一个 stale 对象，即 StatefulSet (gen=2)。 Controller-runtime 的 Reconcile 过程是一个 EDA 模型，当该 stale 对象的更新到达 cache 时，controller-runtime 会发送一个事件（Event）给到 owner controller（也就是我们的 cluster controller）。这时该对象处于

kubernetes cluster in large scale Patrickxie ( 谢谆志） Background Cloud has been the general trend. How to manage so many clusters ,resources and businesses How to ensure load balancing of cluster nodes resources and businesses Cluster1 Cluster2 Cluster2 … Region N … Cluster1 Cluster2 … Cluster2 Business 1 Business 2 Business 3 Business N … How to ensure load balancing of cluster nodes ？ Dynamic-Scheduler Controller of native K8S use only one goroutine to handle the scaling of all businesses in the cluster, and personalization configuration is not supported. Worker HPA1 HPA2 … HPAn HPA1 HPAPlus-controller

Wanted: Container Orchestrator! Kubernetes in 5 min https://youtu.be/PH-2FfFD2PU Kubernetes Cluster ​Docker ​Run One Container at a Time What is Kubernetes? 12 OS App 1 Bins/Libs App 2 Bins/Libs ContainerImage2 Replicas: 2 Kubernetes 101 at the Highest Level • Container Cluster = “Desired State Management” – Kubernetes Cluster Services (w/API) • Node = Container Host w/agent called “Kubelet” • Application Leader based clustering • Can be clustered across Master Nodes • Contains all state known about cluster • Kubernetes Front-end Control Plane • Provides RESTful interface • Returns state objects as JSON

Methods to achieve high SLOs on a large scale Kubernetes cluster Kang FAN, Jinghua YAO Why SLO? SLO (Service-Level Objective). Within service-level agreements (SLAs), SLOs are the objectives that must What we concern about Large k8s Cluster What happened about the cluster 1 Is there something unexpected happened in the cluster 2 What end users did in the cluster How to locate failure 1 Which component of the pod to failure Is the cluster healthy 1 Are all software components working fine 2 How many failures occurred on the cluster SLIs on Large k8s Cluster 1. Cluster health state A combination value