Node Operator: Kubernetes Node Management Made Simple 陈俊(Joe), Ant Financial Agenda • Background and Motivation • Introduction of Operators • Node-Operator • Advanced Topic: Topic: Kube-on-Kube-Operator • Achievement • Q&A Background: DC/OS From Sigma 2.0(Swarm) to Sigma 3.1(Kubernetes) Background: Cluster Scale • Production environment: • Dozens of Cluster • 5k+ Nodes / Cluster architecture Work order deployment system can not meet the requirements of resource management. Operator Observe Action Analyze • Observe: watch desired resource and actual resource • Analyze: difference

Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 从被收购到卷王（si） 回到初（qi）心（dian） KubeBlocks Maintainer & 研发总监 free6om 什么是 Operator 第一部分 Operator 前世今生 TPR Operator CRD Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 beta 阶段并正式取代 TPR； controller-runtime

Kubernetes Capabilities/Advantages to Build DevOps Solution • Architecture and Features • CRD and operator design • Pipeline / Stage/ Task / Task Template / Version Control • Logging, monitoring, autoscaling Kubernetes Capabilities and Advantages to Build DevOps Solution • Architecture and Features • CRD and operator design • Pipeline/Stage/Task/Task Template/Version Control/UI generation/Volume... • Logging customization Cluster Resource Auto Scaling kubelet can do image GC DevOps Service DevOps Operator DevOps Operator DevOps Service DevOps Manager CronJob k8s API MySQL k8s API MySQL MySQL • Pipeline

1/manifests/�gera- operator.yaml # wget h�ps://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/custom- resources.yaml #创建控制器 Install the Tigera Calico operator and custom resource defini�ons # kubectl create -f �gera-operator.yaml #如果需要更改镜像，可编辑此 文件 # more �gera-operator.yaml | grep -i image: image: quay.io/�gera/operator:v1.30.4 #修改pod网段 # sed -i #查看calico节点状态，状态全部为Running则为启动成功 # kubectl get pods -n �gera-operator NAME READY STATUS RESTARTS AGE �gera-operator-59b69c49dc-t6crt 1/1 Running 1 (10m ago) 51m

推荐。这一方法让我们减少了新人上手 时间，推动了讨论的进行，并帮助拉通共用同一个设计系统的多个开发团队。 18. GitOps 评估 GitOps 是一项通过控制回路模式进行应用部署的技术。Operator 能够将已部署的应用和配置（通常是 Git 仓 库）保持同步。当我们上次写到 GitOps 的时候，社区对此术语的定义未能形成共识。当时，我们对该技术的常 技术 © Thoughtworks 供商通常以不同形式支持它们，这阻 碍了跨平台和基础架构的互操作性。CloudEvents 是一个描述事件数据的通用格式的规范，旨在提供服务、平 台和系统之间的互操作性。它提供了多种编程语言的 SDK，因此您可以将规范嵌入到应用程序或工具链中。我 们的团队不仅将其用于跨云平台的目的，还用于领域事件规范等其他场景。CloudEvents 由云原生计算基金会 （CNCF）托管，现在作为孵化项目运行，已经获得了越来越多的行业关注。 伴随对生成式 AI 的巨大关注，许多访问主流模型的解决方案应运而生。如果正在考虑或正在使用 Azure，那么 我们推荐评估 Azure OpenAI 服务。它通过 REST API 、Python SDK 以及基于 Web 的界面提供对 OpenAI 的 GPT-4、GPT-35-Turbo 和嵌入模型的访问。这些模型可以适应如内容生成、汇总、语义搜索和自然语言到代码 的转换的任务，也可以通过少量学习和超参数的定制进行微调。与

• 业务高可用、多可用区部署 • 同城/异地容灾，业务多活 • 微服务需要更安全、更可信 成本 稳定 效率 • 白天流量高峰期发布 • 云边端一体化开发部署联调 • 服务治理体系强依赖SDK升级 • K8s下应用IP的不确定、导致服务治理规则的失效 • 应用迁移上云成本很高 • 极致、灵活的弹性 微服务在云原生下的挑战 后端服务BaaS化 DB，MQ, Redis, 注册中心、配置中心、服务治理中心 部署形态多云、混合云化 本地云端混部、多云混部、公私混部 云原生下微服务趋势 自研微 服务 Fat-SDK Pandora One Agent One Mesh • 基于隔离容器 • 运维治理效率 大幅提升 • 无侵入 • 0升级成本 • 全面兼容开源 • 无侵入 • 多语言 • 依赖冲突难管理 • SDK升级成本高 微服务治理演进路线 • 服务元信息 • 服务契约管理 • 服务测试

更轻量的客户端FileBeat  容器退出后延迟回收  日志目录规范+自发现  行检索的挑战 免密安全登录 基于服务树节点授权 每登录认证凭据 动态服务安全 仅需Server端嵌入SDK和配置 数据库，DB-Proxy简化接入 IP+JOBNAME共同生效，防 御ZK故障 监控 Push采集，与动态 环境更亲和 促成自动发现能力 监控  节点内增加主机或容器

•服务数量暴涨 •资源需求暴涨 •部署效率急需提高 •研发期望独占资源 服务治理现状 •Homebrew microservice •配置手工管理 •L7划分不清，耦合业务逻辑 •SDK能发现grpc发现不了http 部署环境现状 •复杂的环境管理和大量的AB服 务产生了复杂的部署系统 •AB服务是中短期资源消耗型服 务，要求交付快释放快 上云前的现状 •大量物理机部署

Keepalived 支撑超大规模 完全横向扩展 Sealos 绝大多数能力通过 CRD 扩展，以保持与 kubernetes API 完全兼容。 可以复用 k8s API 的强大能力， 而且生态的各种 SDK 可以直 接使用。 推荐使用 kubebuilder 框架去生 成很多代码。 权限限制 禁止掉所有用户越权操作，如查看主机 namespace 共享主机端口，共享主机文件系统等操作 以保障多租户之间相互共享一个集群是安全的

本，可节省290人日/ 月，节约成本约237万元 /年 237万/年 节约成本 COST 290人日/月 测试成本降低 运维效率提升6倍 建立CI/CD流程，将开 发、测试、运维有机串 联，SDK版本升级由30分 钟缩至5分钟 Efficiency 6 倍 提升 30 时间缩短 弹性伸缩应高峰 容器配置与数量根据业 务量秒级扩缩容，轻松 应对热点业务高峰浪涌 应业务量弹性扩缩容