& Plan K8s Secrets: Overview Background: K8s Secrets Cluster • What they are? • Sensitive information • Passwords • OAuth tokens • ssh keys etc. • Stored in etcd • distributed Key-Value data store Background: K8s Secrets • Encryption Keys stored on API Server • Secrets encrypted prior to storage in etcd • Secrets decrypted on API Server prior to use • Encryption keys stored in a remote KMS write • LivenessProbe for health check • Configurations • kms-plugin • apiserver • Caching • API server • Set up Encrypted(DEK) => DEK mapping • KMS plugin • Set up SecretKeyName:SecretKeyVersion => SecretKeyData

Master通常会部署在⼀个独⽴的服务器或虚拟机上，它是整个集群的⾸脑，如果Master宕机或不可⽤，那么我们所有的 控制命令都将会失效。 Master节点上运⾏着如下的关键进程： API Server：K8s⾥所有资源增删改查等操作的对外⼊⼝，也是集群控制的⼊⼝进程，它提供了HTTP RESTful API 接⼝给客户端以及其他组件调⽤。 Controller Manager：Controller 有Pod对象从apiserver中删除，并释放其名称。 Kubernetes 1.8引⼊了⼀个⾃动创建代表condition的 taints 功能（⽬前处于Alpha状态）。要启⽤此特性，请向API server、controller manager和scheduler传递标志 --feature-gates=...,TaintNodesByCondition=true 。⼀旦启⽤ TaintNodesByCondition 试向API server注册⾃⼰。这是⼤多数版本所使⽤ 的⾸选模式。 13-Node 38 对于⾃注册，kubelet会使⽤如下的选项启动： --kubeconfig ：凭证向apiserver进⾏身份验证的路径。 --cloud-provider ：如何与云提供商进⾏会话，从⽽获取⾃身的元数据。 --register-node ：⾃动向API server注册。 -

Protecting secrets What’s a secret? Credentials, configurations, API keys, and other small bits of information needed by applications at build or run time Why protect secrets? ● Attractive target ○ Controls Dec 12 - Jan 11 Jan 11 - Feb 10 KEKv1 KEKv2 KEKv3 KMS plugin: threat model and concerns ● KMS server is compromised ● KMS plugin is compromised ● Auth token for KMS - offline attack against K8S with

Confidential ALB Ingress controller AWS Resources Kubernetes Cluster Node Node Kubernetes API Server ALB Ingress Controller Node HTTP Listener HTTPS Listener Rule: /cheeses Rule: /charcuterie non-separated access (dev has cleartext password) { • business core data • Personal Identifiable Information (PII) • gotchas: leaks, GDPR (in Europe) { host container dependencies code config user

fense initiatives. The company is delivering technology solutions that give warfight- ers the information edge on the battlefield. Booz Allen is transforming military opera- tions in complex and remote Department of Defense, Booz Allen Hamilton delivers technology solutions that give warfighters the information edge on the battlefield. Capitalizing on open source solutions like K3s, Booz Allen’s SmartEdge fac- tors. This drives better outcomes.” Historically, to confirm a team has received the same information, a soldier would have to relay a question via radio and wait for a response from each operative

kubelet Installation - master - SSH - Install scheduler - Install controller manager - Install API server - Config them correctly - Start them Installation - etcd - SSH - Install etcd - Config them correctly etcd Kubelet Bootkube API Server Scheduler Controller Manager etcd Kubelet Bootkube API Server Scheduler Controller Manager etcd Kubelet Bootkube API Server Scheduler Controller Manager Bootkube API Server Scheduler Controller Manager etcd Kubelet Create: Deployment Daemonset Service Secret Bootkube API Server Scheduler Controller Manager etcd Kubelet Pods API Server Scheduler

k8s平台接入流程 k8s环境空间和应用名规范 k8s-namespace k8s-service k8s-app-name app-name ai-test ai-dc-server ai-dc-server ai-dc-servedr ai-preview ai-dc-web ai-dc-web ai-dc-web ai-prod ai-dc-api ai-dc-api ai-dc-api 关联。 k8s-app-name 容器host应用名称，deployment 名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 规范 范例 应用名称 ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范，开发提交合并master代码，git版本库和业务版本进行关联，出了问题好定位问题。 采用do 实例kube-apiserver，kube- scheduler和kube-controller- manager 其中三个控制平台节点运行 keeplived和haproxy,node节点 和api-server通讯通过vip对 接,haproxy将流量转发至 apiserver 每个控制平面节点创建一个本 地etcd成员，该etcd成员仅与 kube-apiserver该节点通信 kubernetes

#取消所有swap挂载 ⑥NTP服务需要开启，使用集群内的ntp server，确保集群时间的一致性 # yum install chrony -y # systemctl enable chronyd # systemctl start chronyd # cat > /etc/chrony.conf <server 10.99.1.1 iburst prefer dri�file kubeadm init --kubernetes- version=v1.19.4 \ --apiserver-adver�se- address=10.99.1.51 \ # api server地址 --pod-network-cidr=10.244.0.0/16 \ # pod容器网段 --service-cidr=10.7.0.0/16 \ # service网段，即cluster kubeadm init --kubernetes- version=v1.28.2 \ --apiserver-adver�se- address=10.99.1.51 \ # api server地址 --pod-network-cidr=10.244.0.0/16 \ # pod容器网段 --service-cidr=10.7.0.0/16 \ # service网段，即cluster

的Cupertino，同时在亚利桑那州的Phoenix和 中国设立研发中心 • 核心团队曾创立Cloud.com，并推出了 CloudStack，历经从VM到容器的完整技术演 进过程 • Rancher Server和Agent镜像在Docker Hub上 的下载次数已经超过4000万次，全球Rancher 的活动部署超过10,000个 GA March 2016 >20 million downloads extend managed resource into a current Kubernetes cluster • Auto-generated API in Kubernetes API server • Customized resource controller to implement your business logic of managed resource • Natural Resource Item my-crontab.yaml © 2017 Rancher Labs, Inc. How Does The Controller Work ETCD API Server Kubernetes Core controllers added creating running stoped deleted Resource Item Resource

节点来维护整个集群的管理和控制，几乎所有的控制命 令都是发给它，它负责执行具体的动作。它很重要，如果它不可用，那么我们所有的控制命令都会失效。 Master节点上运行一组关键进程： API Server API服务器（kube-apiserver）：提供HTTP Rest接口的关键服务，是k8s集群里所有资源的增删查改等操 作的唯一入口，也是集群控制的入口进程。并提供认证、授权、访问控制、API注册和发现等机制 来实现的，在K8s中查看pod状态的命令如下： /opt/bin/kubectl --server=127.0.0.1:8888 get pod 这里能看到Pod的NAME、状态、重启的次数、启动时间等，查看node、service等方法类似，前面需要加上 /opt/bin/kubectl –server=127.0.0.1:8888 43 www.h3c.com Confidential 系列alias别名，比如pod就相当于=‘/opt/bin/kubectl --server=127.0.0.1:8888 get --all-namespaces pod -o wide，让我们能方便快速的执行命令 #!/bin/bash alias pod='/opt/bin/kubectl --server=127.0.0.1:8888 get --all-namespaces pod -o