#取消所有swap挂载 ⑥NTP服务需要开启，使用集群内的ntp server，确保集群时间的一致性 # yum install chrony -y # systemctl enable chronyd # systemctl start chronyd # cat > /etc/chrony.conf <server 10.99.1.1 iburst prefer dri�file kubeadm init --kubernetes- version=v1.19.4 \ --apiserver-adver�se- address=10.99.1.51 \ # api server地址 --pod-network-cidr=10.244.0.0/16 \ # pod容器网段 --service-cidr=10.7.0.0/16 \ # service网段，即cluster kubeadm init --kubernetes- version=v1.28.2 \ --apiserver-adver�se- address=10.99.1.51 \ # api server地址 --pod-network-cidr=10.244.0.0/16 \ # pod容器网段 --service-cidr=10.7.0.0/16 \ # service网段，即cluster

Operator 于 API server 交互，Watch 全部的 Namespace 或者特 定Namespace中对CR的创建、更更新、删除事件 • Operator 处理理这些事件，可以使⽤用 k8s 中的pod、deployment、 statefulset 对象构建应⽤用 Operator⼯工作原理理 Operator Kubernetes API Server Informer CRD Manage Think in Cloud . 北北京 KUN中使⽤用Operator • Operator Server • redis-operator（⾃自研，考虑开源） Operator管理理有状态的服务 Kubernetes API Server redis cluster redis cluster redis cluster Manage Redis Operator Delete Operator Server 为⽤用户提供可视化 Web 操作⻚页⾯面，简化对各类⾃自 定义资源的管理理操作。 ⽤用户不不需要详细理理解具体的 CRD 结构，就可以在 Web ⻚页⾯面上快速 创建⼀一个 Redis 集群，并且可以看到集群⼀一步步创建的过程。同时 还可以对集群进⾏行行配置更更新、删除等操作。 Operator Server Think in Cloud

application-aware scaling of the Operand Monitoring • Operator exposing metrics about its health • Operator exposes health and performance metrics about the Operand Alerting and Events • Operand sends useful heal unhealthy Operands based on Operand metrics/alerts/logs • Operator can prevent the Operand from transitioning into an unhealthy state based on Operand metrics Auto-tuning • Operator is able to automatically 全量 objects。list 可以简单理解为一个 HTTP GET 请求，watch 为一 个 HTTP/2 长连接 Cache 如何保持与 API Server 一致性 list & watch 机制中，list 获取 API Server 中数据的一份快照，并记 录 ResourceVersion 版本信息，watch 从 ResourceVersion 开始，获取后 续的增量数据。 watch

Kubernetes Master etcd API-Server Scheduler NSX Container Plugin (NCP) NSX Infra NSX Manager API Client Kubernetes Adapter Kubernetes Master etcd API-Server Scheduler Architecture • NSX-T ‘watch’ on K8s API for any Namespace events 2. A user creates a new K8s Namespace 3. The K8s API Server notifies NCP of the change (addition) of Namespaces 4. NCP creates the network topology for the CVEs kubectl apply RBAC Project Project Project Replic ation Developer Structured Data Metrics Alerts Events VMware vRealize Operations Capacity, Performance and Configuration Management

Master通常会部署在⼀个独⽴的服务器或虚拟机上，它是整个集群的⾸脑，如果Master宕机或不可⽤，那么我们所有的 控制命令都将会失效。 Master节点上运⾏着如下的关键进程： API Server：K8s⾥所有资源增删改查等操作的对外⼊⼝，也是集群控制的⼊⼝进程，它提供了HTTP RESTful API 接⼝给客户端以及其他组件调⽤。 Controller Manager：Controller 有Pod对象从apiserver中删除，并释放其名称。 Kubernetes 1.8引⼊了⼀个⾃动创建代表condition的 taints 功能（⽬前处于Alpha状态）。要启⽤此特性，请向API server、controller manager和scheduler传递标志 --feature-gates=...,TaintNodesByCondition=true 。⼀旦启⽤ TaintNodesByCondition 试向API server注册⾃⼰。这是⼤多数版本所使⽤ 的⾸选模式。 13-Node 38 对于⾃注册，kubelet会使⽤如下的选项启动： --kubeconfig ：凭证向apiserver进⾏身份验证的路径。 --cloud-provider ：如何与云提供商进⾏会话，从⽽获取⾃身的元数据。 --register-node ：⾃动向API server注册。 -

Zone ASK-Scheduler K8S API Server Metrics API CloudMonitor, Prometheus HPA Controller Cloud Controller Manager Serverless Scheduler ECI ASK-Scheduler K8S API Server • Nodeless：最佳弹性和扩展性，无传统调度器的复杂调度逻辑，最优的调度效率。 支持批量调度。 • AZ亲和性和反亲和性。 • ECI Pod生命周期管理：直通ECI Pod（Pod状态查询、logs、exec、metrics链路），降低ECI管控压力。 Elastic Scalling ECI ASK-Scheduler K8S API Server • Pod（N） : Node（1） • 单集群支持1万Pod • 大量Pod场景中的Kube-proxy风暴问题 ECI ECI ECI ECI ECI ECI Controllers - service discovery, ingress ECI ASK-Scheduler K8S API Server • 基于云产品控制器降低Kubernetes集群的复杂度 • 使用PrivateZone代替coredns服务发现 • 使用SLB layer-7（ALB）作为默认Ingress Private

k8s平台接入流程 k8s环境空间和应用名规范 k8s-namespace k8s-service k8s-app-name app-name ai-test ai-dc-server ai-dc-server ai-dc-servedr ai-preview ai-dc-web ai-dc-web ai-dc-web ai-prod ai-dc-api ai-dc-api ai-dc-api 关联。 k8s-app-name 容器host应用名称，deployment 名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 规范 范例 应用名称 ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范，开发提交合并master代码，git版本库和业务版本进行关联，出了问题好定位问题。 采用do 实例kube-apiserver，kube- scheduler和kube-controller- manager 其中三个控制平台节点运行 keeplived和haproxy,node节点 和api-server通讯通过vip对 接,haproxy将流量转发至 apiserver 每个控制平面节点创建一个本 地etcd成员，该etcd成员仅与 kube-apiserver该节点通信 kubernetes

Cluster DNS record: pod1.clusterdomain pod2.clusterdomain ... Service�Endpoints�� Service ���� API Server Services etcd Pods Endpoints Controller Manager Node Node … Load Balancer Endpoints Iptables��Service���� ��iptables������� IPVS��Service���� Iptables vs. IPVS ���IPVS�IP Virtual Server� • Linux�����L4 LB�LVS������� • ��netfilter, hash table • ��TCP, UDP�SCTP���IPV4�IPV6 • ���������� ifconfig eth0:1 192.168.2.2 netmask 255.255.255.255 up • IPVS Virtual Server # ipvsadm -A -t 192.168.60.200:80 -s rr -p 600 • IPVS Real Server # ipvsadm -a -t 192.168.60.200:80 -r 172.17.1.2:80 –m # ipvsadm

Background: K8s Secrets • Encryption Keys stored on API Server • Secrets encrypted prior to storage in etcd • Secrets decrypted on API Server prior to use • Encryption keys stored in a remote KMS write • LivenessProbe for health check • Configurations • kms-plugin • apiserver • Caching • API server • Set up Encrypted(DEK) => DEK mapping • KMS plugin • Set up SecretKeyName:SecretKeyVersion => SecretKeyData /storage-transform-disable= • Emergency management • High Availability guarantee • KMS • API server & kms-plugin • Cron job backup for KEKs (from KMS) • Static key configuration support in kms-plugin

数据分析 API 海尔工业互联网 - 微服务之框架支持 Netflix Config Server （git based） spring boot spring boot Kubernetes Eureka Ribbon Hystrix Zuul Feign Apidoc Metrics Trace Zuul Feign Springcloud： • 相对封闭 • 技术栈比较重 PromQL Local Storage Web UI（Pod） Grafana（Pod） API Push Gateway Jobs / Exporters Prometheus Server Short-lived jobs pod host Node pod host Endpoints Targets Data 监控维度: • 宿主机 • 容器 • 应用 Devop App to NS or Endpoint Server Compass K8S Cluster K8S Cluster K8S Cluster Endpoint-admin Architecture Web console • 为用户提供资源展示和 UI 交互界面 Endpoint-admin Server • 为 Console-web 提供 Rest API 服务