Best practices for building Kubernetes Operators Patryk WasielewskiAbout me ● DevOps Consultant at Amazon Web Services (AWS) ● 6 years professional experience as DevOps / SRE / Developer ● Cloud-native json-patch/merge-patch support ○ Finalizers ○ Built-in Authz/AuthnControllers https://able8.medium.com/kubernetes-controllers-overview-b6ec086c1fbControllers ● Controller tracks at least one resource type ● backup, failover, recovery, etc.), for a software running within the Kubernetes cluster, https://www.cncf.io/blog/2022/06/15/kubernetes-operators-what-are-they-some-examples/Framework - Kubebuilder/Operator-sdkCapability

on Post-Kubernetes 郑伟 ⽯墨⽂档 Background in Shimo Language • Go • Node • Rust Background in Shimo Framework • Gin • Echo • gRPC • … Background in Shimo Platform • All in Kubernetes • Ingress IDL Debug IDL Mock ... API Gateway Framework（Ego） Auth Interceptor Metrics IDL Docs Kubernetes Redis CMP DB CMP Log Interceptor Err Interceptor Metric Interceptor MQ CMP Mongo Debugging • How to debugging service with dependencies? • Use VPN to connect develop kubernetes cluster. • With Kubernetes API server Resolver, we can resolve dependent services. IDL Tool Chain - gRPC Local

Solver，聚焦中间件，容器，Kubernetes，PaaS平台… • OAM社区成员 开局一张图 规模化应用交付效率对比去年 每万笔峰值交易的IT成本对比4年前 提升1倍 下降80% 云原生 技术 稳定 成本 效率 云原生-程序员视角 基础设施 K8s 云原生生态（CNCF） 云原生应用 云原生是以容器技术为基础围绕着Kubernetes进行的一场技术标准化演进。通过标准可扩展的调度，网络， 诊断 组件管理 服务治理 … 权限 K8s Istio Envoy Tekton Argo KEDA ES InfluxDB Promethues Knative Ingress Rook Kube eventer … 策略 机制 Jaeger 实例 调度策略 链路 K8s及云原生生态给 开发者提供的是机制 开发者直接使用K8s的失败故事 • 认

AddFilter(bfe_module.HandleFoundProduct, m.productBlockHandler) ... } 未来计划 • BFE管理控制台对外开源 • BFE ingress controller对外开源 BFE开源项目公众号 欢迎广大Gopher使用或参与共建！ 谢谢

language, such as Go. “Kubernetes Operator 是一种特定于应用的控制器，可扩展 Kubernetes API 的功能，来代表 Kubernetes 用 户创建、配置和管理复杂应用的实例。” https://www.redhat.com/zh/topics/containers/what-is-a-kubernetes-operator https://developers com/articles/2021/06/22/kubernetes-operators-101-part-2-how-operators-work 为什么使用Operator? • Kubernetes生态系统 比如监控、日志、Dashboard等 • Kubernetes集群基础能力 比如自动化安装、配置、更新等。 • Kubernetes API 避免了重复开发资源的增删改查等框架代码 informer-gen: 生成informer，提供事件机制 (AddFunc,UpdateFunc,DeleteFunc)来响应 kubernetes的event lister-gen: 为get和list方法提供只读缓存层 https://github.com/kubernetes/code-generator 根据定义的结构，利用code-generator生成对应 的operator代码 CR

oduction Now we show how to deploy Casdoor on Kubernetes using Helm for easy and scalable management. Pr Prer erequisit equisites es • A running Kubernetes cluster • Helm v3 installed Installation St Accessing Casdoor Once installed, Casdoor can be accessed at the provided service URL by your Kubernetes cluster. helm install casdoor oci://registry-1.docker.io/casbin/casdoor- helm-charts --version and Kubernetes documentation. Conclusion Conclusion Using Helm to deploy Casdoor on Kubernetes simplifies the management and scalability of your authentication services within your Kubernetes environment

项目中的实践落地。 目录 1. Chaos Mesh 介绍 2. 问题与解决方案 3. 设计思路与实现 4. 后续的工作 Chaos Mesh 介绍 Chaos Mesh 是什么 ● Kubernetes 上的云原生混沌工程平台 ● 最初目标是作为 TiDB 的内部测试平台 ● 提供对 Pod 或者具体容器的错误注入, 包括网络、系统 IO、内核以及一些应用层注入 chaos-mesh 在实际混沌实验过程中，可能会出现注入的错误不符合预期，甚至完全没有效果的情况。能否高效 地获取各种状态则决定了故障诊断的效率。 集群状态大致可以分为两类，主要分类依据是能否通过 kubernetes API 直接查询。 k8s 可直接查询的状态 Kubernetes 和 Chaos Mesh 组件运行的状态均可直接通过 k8s API 查询。 cluster status Components Controller cluster status Target Pods Mounts Processes ipset iptables Pid Command Fds 状态查询的障碍1 对于可通过 kubernetes API 直接查询的状态，使用过程存在的一大障碍是噪音 过多。很多情况下 需要配合文本查询工具一起使用才能找到想要的信息。 当然，kubectl 提供了 json path 功能以对查询

Python and R ○ Machine Learning Libraries ○ Spark Streaming TiDB on K8S TiDB with Kubernetes 1/3 ● Kubernetes 是容器编排的最佳方案 ● 难点 ○ Stateless is Easy, Stateful is Hard ○ Application domain knowledge (Inspired by etcd-operator) TiDB with Kubernetes 2/3 kubectl tidb-operator PD TiKV Cluster Delete a tikv node Delete a tikv node Data Movement TiDB with Kubernetes 3/3 ● Create ● Rolling update update ● Scale out ● Failover ● Backup Kubernetes TPR Operator TiDB-Operator One more thing … ... Document Store is coming ● Document store for TiDB ○ MySQL 5.7.12 Document Store ○ Json Type ○ Index

00
qps
的情况下，P99
甚⾄
P90
都已经到了
1s
的超时阈值了，服务基本已经开始不可⽤了。 3.6
跟
Kubernetes
HPA
的协同
当我们在使⽤
Kubernetes
并设置了
HPA
根据
CPU
使⽤率⾃动伸缩的时候，Kubernetes
默认会在
4
个连续的
15
秒探测周期探测到
CPU
使⽤率超标（有
0.9
-
1.1
的容忍幅度）时，启动增加
pod
来应对 系统容量不⾜，但这需要分钟级扩容，且当系统资源不够或者
pod
数达到最⼤设置时不⽣效。此时， 过载保护可以在
Kubernetes
未来得及扩容或者集群容量不⾜时保护我们的系统不被打到卡死。
但这⾥有个点需要注意，go-zero
默认设置的过载保护触发的
CPU
阈值是
90%，Kubernetes
HPA
⾃ 动扩容默认
CPU
阈值是
80%，当你在设置这两个参数的时候，不要让
HPA
的
CPU
阈值⼤于
go-zero

Runtime API 28 如何解决厂商绑定的 ABC 问题? 遥想谷歌当年,如何推广 Kubernetes ? • 联盟。联合众多厂商成立、参与 CNCF，让企业用户相信 Kubernetes 完全可 信且『不受 Google 控制』 • 中立 API。让用户在各种环境中用 Kubernetes，这样更便于迁移到云上 Runtime API 29 中立的 Runtime API spec