Kubernetes平台比較：Red Hat OpenShift、SUSE Rancher及 Canonical Kubernetes 如何為貴企業選擇合適的Kubernetes發行版本 2022年7月 執行摘要 採用容器優先方法的企業，將能享有無可比擬的機會，協助提升效率及資源使用 率、加強安全性、導入自動化及加速創新；因此Gartner預測將有75%的全球組 織，在2022年之前於正 本白皮書的目標是因應這項挑戰，提供撰寫本文時Kubernetes版圖的當下狀態， 並比較三種企業級的Kubernetes發行版本，分別是Canonical Kubernetes、 Red Hat OpenShift及SUSE Rancher，範圍涵蓋19項關鍵功能，並於報告最後 以表格提供總結分數。Canonical Kubernetes證明成為最具彈性、優勢及成本 效益的發行版本。 1. https://www 助企業保證 產品的適應性、可預測性及互通性，此外也能避免受到廠商限制，並可提供彈性， 依據功能和需求的演進發展改用替代解決方案。 Canonical Kubernetes、Red Hat Openshift及SUSE Rancher都已獲得CNCF認證。 2. 生命週期作業 開始踏上Kubernetes的旅程時，如果沒有思考要如何長期維護叢集，很容易就會 在開發和部署期間遭遇困難。許多以Ku

不提供/授权⼀个全⾯的应⽤配置语⾔/系统（例如 jsonnet ）。 不提供/不采⽤任何综合的机器配置、维护、管理或⾃愈系统。 另⼀⽅⾯，⼀些PaaS系统可运⾏在 Kubernetes上，例如 Openshift 、 Deis 、Eldarion 等。 您也可实现⾃⼰的定制 PaaS，与您选择的CI系统集成，或者仅使⽤Kubernetes部署容器。 由于Kubernetes在应⽤层⾯⽽⾮硬件层⾯上 proxy/#!/overview? namespace=default 参考： https://kubernetes.io/docs/tasks/access-application-cluster/web-ui-dashboard/ 02-安装单机版Kubernetes 9 使⽤Kubespray部署⽣产可⽤的Kubernetes集群 （1.11.2） 前提：科学上⽹，或⾃⾏将gcr 部署⽅案 优点 缺点 Kubeadm 官⽅出品 部署较麻烦、不够透明 Kubespray 官⽅出品、部署较简单、懂Ansible就能上⼿ 不够透明 RKE 部署较简单、需要花⼀些时间了解RKE的cluster.yml配置 ⽂件 不够透明 ⼿动部署 第三⽅操作⽂ 档 完全透明、可配置、便于理解K8s各组件之间的关系 部署⾮常麻烦，容易出 错 其他诸如Kops之类的⽅案，由于⽆法跨平台，或者其他因素，被我pass了。

副本 Pod 的访问入口 节点 自定义对象 声明式 API 对象 基础设施层能力 业务运维 平台工程师 业务研发 扩容策略 发布策略 分批策略 访问控制 流量配置 应用管理平台 （Openshift、Cloudfoundry、阿里内部、腾讯内部 …） 应用 CI/CD 流水线 K8s PaaS K8s 但是，K8s PaaS 正面临着“能力困境” 研发与运维人员日益增长的应用管理诉求 绑定运维特征 3. 应用部署成功 示例：手动扩容策略 示例：容器化工作负载 查看完整演示 Scale: - 10,000 nodes/cluster - 100,000 apps/cluster - 1,000,000 containers/cluster Velocity: - 100,000 deploys/day - 500~1000 replicas/app Gateway Route Serverless C 案例：过去的阿里巴巴应用管理平台 Traits/Scopes Scale: - 10,000 nodes/cluster - 100,000 apps/cluster - 1,000,000 containers/cluster Applications: - 100,000 deploys/day - 500~1000 replicas/app Function

CipherTrust Transparent Encrypton 的擴展，資料保護可以在每個容器的基礎上應用，兼具保 護容器的內部資料，以及經過容器存取的外部儲存資料， 都統一經由 CipherTrust Manager 集中管理。 優勢 CipherTrust Transparent Encryption for Kubernetes 效益有 : • 合規性 - CipherTrust Transparent 項擴充，解決了保護機敏資料的合規要求與法規命令， 例如支付卡、健康照護紀錄或者其他機敏資產。 • 防止受到特權用戶的威脅 - 該解決方案提供資料存取控 制的加密，讓特權用戶如 Docker 或 OpenShift等群組 管理員，能夠像一般用戶執行操作，不會獲得未經授權 的機敏資料存取。 • 實現強大的安全性 - 無論容器在資料中心、虛擬環 境、甚至是雲端，任何地方儲存或使用，CipherTrust 資安解決方案，企業能依據特定用戶、程 序以及容器內的資源組來建立細粒度存取政策。最後， 該解決方案能夠在容器之間建立隔離，所以只有經過授 權的容器才可以存取機敏資料。 CipherTrust Manager CipherTrust Manager 是 CipherTrust Data Security Platform 的核心，包括 CipherTrust 透明加密，可集中管 理平台上所有產品模組的金鑰、安全策略以及日誌管理。

Wanted: Container Orchestrator! Kubernetes in 5 min https://youtu.be/PH-2FfFD2PU Kubernetes Cluster ​Docker ​Run One Container at a Time What is Kubernetes? 12 OS App 1 Bins/Libs App 2 Bins/Libs ContainerImage2 Replicas: 2 Kubernetes 101 at the Highest Level • Container Cluster = “Desired State Management” – Kubernetes Cluster Services (w/API) • Node = Container Host w/agent called “Kubelet” • Application kube-apiserver kube-controller-manager kube-scheduler • Key/Value Store • Leader based clustering • Can be clustered across Master Nodes • Contains all state known about cluster • Kubernetes Front-end Control

Head of distributed system Self driving infrastructure Topics ● Cluster management systems ● Today’s problems with operating cluster management systems ● A self-driving approach Motivation: microservices a lot of components ○ dynamic dependencies ○ fast deployment iteration ● Solution: automation Cluster management system ● Automation ○ Scheduling ○ Deployment ○ Healing ○ Discovery/load balancing ○ yellow.mycluster Select color = yellow Load balancing Controller manager 5 Healing Controller manager 5 Healing Controller manager 5 Healing People love automation! I hate Kubernetes! I hate to

Server • redis-operator（⾃自研，考虑开源） Operator管理理有状态的服务 Kubernetes API Server redis cluster redis cluster redis cluster Manage Redis Operator service statefulset pvc deployment Create Update helloworld-v1 helloworld-v2 pod listener router gateway: proxy virtualservice: proxy cluster destinationrule:
 proxy-helloworld 10 90 Think in Cloud . 北北京 监控系统 Kube-State-Metrics Kubernetes Node-Exporter KUN-Agent Grafana Blackbox Exporter Prometheus Monitor Manager 微信/邮件 外部探测 Probe Exporter AZ 2 (Local File) Alert Manager gossip Kubernetes 互相监控 AZ 1 Kube-State-Metrics Kubernetes APIServer

Extensibility/Integration • CI/CD examples • Future plan Overall Architecture Kubernetes Cluster Kubernetes Cluster Node Node Node Node Job Job Job Job Pod Pod Pod Pod ElasticSearch ElasticSearch Logging applications Scheduling customization Cluster Resource Auto Scaling kubelet can do image GC DevOps Service DevOps Operator DevOps Operator DevOps Service DevOps Manager CronJob k8s API MySQL k8s Kubernetes Cluster Kubernetes Cluster CRD and Operator Design BuildJob DevOps Operator Job Job Job Job BuildJob BuildJob BuildJob MySQL MySQL MySQL DevOps Service DevOps Service DevOps Manager Create

#查看k8s其他组件的docker镜像名，默认用 k8s.gcr.io/的镜像源地址 k8s.gcr.io/kube-apiserver:v1.19.4 k8s.gcr.io/kube-controller-manager:v1.19.4 k8s.gcr.io/kube-scheduler:v1.19.4 k8s.gcr.io/kube-proxy:v1.19.4 k8s.gcr.io/pause:3.2 k8s server地址 --pod-network-cidr=10.244.0.0/16 \ # pod容器网段 --service-cidr=10.7.0.0/16 \ # service网段，即cluster ip网段 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 --image-repository="cof- lee.com:5443/k8s" cof-lee.com:5443/k8s kind: ClusterConfigura�on kubernetesVersion: v1.19.4 networking: dnsDomain: cluster.local serviceSubnet: 10.7.0.0/16 podSubnet: 10.244.0.0/16 scheduler: {} --- apiVersion: kubelet

scheduler和kube-controller- manager 其中三个控制平台节点运行 keeplived和haproxy,node节点 和api-server通讯通过vip对 接,haproxy将流量转发至 apiserver 每个控制平面节点创建一个本 地etcd成员，该etcd成员仅与 kube-apiserver该节点通信 kubernetes cluster HA etcd cluster load balancer-vip apiserver controller-manager scheduler etcd master haproxy keeplived apiserver controller-manager scheduler etcd master haproxy keeplived apiserver controller-manager scheduler etcd master ipvs-eth ipvs-eth L4 k8s-svc网络-LVS 由kube-proxy管理 core-dns 解析域名 访问过程 1.core-dns解析来集群内部域名kubernetes.cluster.svc.local; 2.流量达到ipvs-eth; 3.lvs负载均衡对流量进行轮寻，寻找目的pod下一跳; 4.流量达到node1,node2的eth0,经过内部路由进行传输; 5.