registry.k8s.io/etcd:3.5.9-0 registry.k8s.io/coredns/coredns:v1.10.1 #可以先下载以上7个镜像，传到每台k8s服务器上，再ctr -n k8s.io images import导入；或者使用内部registry仓库（内部registry镜像仓库里要有以上7个镜 像） ★直接使用命令行方式初始化集群 （以下是非HA模式 # kubeadm config images pull --image-repository="cof-lee.com:5443/k8s" #提前 下载需要的镜像 # ctr -n k8s.io image ls #查看下载的镜像，k8s默认使用k8s.io的命名 空间 # kubeadm init --config /etc/kubeadm-init #查看crictl版本 crictl version v1.28.0 # crictl images #查看底层镜像，同ctr -n k8s.io images ls WARN[0000] image connect using default endpoints: [unix:///var/run/dockershim

标识和稳定的存储。 身份会绑定到Pod（具有粘 性），不管Pod被调度到哪个Node上。 Ordinal Index（有序的索引） 对于⼀个有N个副本的StatefulSet，StatefulSet中的每个Pod将被分配⼀个整数序号，范围[0，N），并且唯⼀。 Stable Network ID（稳定的⽹络ID） StatefulSet中的每个Pod，从StatefulSet的名称和Pod的序数派⽣其主机名。 default/web nginx.default.svc.cluster.local web-{0..N- 1}.nginx.default.svc.cluster.local cluster.local foo/nginx foo/web nginx.foo.svc.cluster.local web-{0..N- 1}.nginx.foo.svc.cluster.local kube.local foo/nginx foo/nginx foo/web nginx.foo.svc.kube.local web-{0..N- 1}.nginx.foo.svc.kube.local 请注意，除⾮ otherwise configured ，Cluster Domain将被设为 cluster.local 。 Stable Storage（稳定的存储） Kubernetes为每个VolumeClaimTemplate创建⼀个

IP的Service）来实现，即Pod重新调度后 其PodName和HostName不变 有序部署，有序扩 展 即Pod是有顺序的，在部署或者扩展的时候要依据定义的顺序依次依次进⾏（即从 0到N-1，在下⼀个Pod运⾏之前所有之前的Pod必须都是Running和Ready状 态），基于init containers来实现 33 b) 设置应⽤名称、集群 、命名空间、副本数量（即应⽤包含的 可查看或者编辑 当前应⽤的yaml⽂件 在节点列表进⼊master控制台可查看 1. 输⼊命令 kubectl get pods -n test 2. 输⼊命令 kubectl --namespace=test exec -it nginx-6b9966bb86-p6n82 sh 进⼊容器 72 可以看到容器内成功创建hello⽬录 创建 StorageClass 创建命令 1 $ create secret generic mysql-pass --from-literal=password= -n 检查创建结果 1 $ kubectl get secret -n wordpress 2 NAME TYPE DATA

NodePort – LoadBalancer • 服务发现 – DNS – 环境变量 25 Worker Node Service Pod 1 Pod 2 Pod N Node IP: 192.168.10.10 IP: 10.2.3.14 DNS: service1.cluster.local Port: 9443 NodePort: 31233 Kafka N Pod service zookeeper0 Pod service ZookeeperN Pod service SACC2017 37 整体架构 SACC2017 • 在K8s集群外能访问到Fabric中的各个服务 • CA、peer和Orderer的service类型定义为NodePort， • 端口映射规则如下(N和M的范围分别为N>=1 端口映射规则如下(N和M的范围分别为N>=1,M>=0): – 组织orgN端口范围：30000+(N-1)*100 ~ 30000+(N)*100-1 – CA服务的映射关系：ca.orgN:7054 -> worker:30000+(N-1)*100 – 每个peer需要映射7051和7052两个端口，映射关系如下: peerM.orgN:7051 -> worker:30000+(N-1)*100

fdisk /dev/sdb 依法选择 n,p,1,t,l,8e,w fdisk –l pvcreate /dev/sdb1 vgdisplay vgextend centos /dev/sdb1 vgdisplay lvcreate -l 100%free -n docker centos lvdisplay mkfs.xfs -n ftype=1 /dev/mapper/centos-docker kubectl apply –f nodeport.yaml Step3: 获取 k8s dashboard 的登录 token kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}') es/ceph/cluster.yaml kubectl apply -f common.yaml kubectl apply -f operator.yaml kubectl -n rook-ceph get all vi cluster.yaml mon: count: 3 allowMultiplePerNode: false

IPVS��Service���� Iptables vs. IPVS Kubernetes�Service ����onl��a�o� - ��������������t� - ���������� - �����IP�n������� - �������� - ��������� Kubernetes Service�Endpoints Label Selector Label: app=backend IP: IPVS Iptables�������� • �B������ KUBE-SERVICES������KUBE-SVC-*������service��������� ��������O(N) • �B���� ���� • ���� �������iptables�������/�������kernel lock Another app is currently holding Usage 1000 386 MB 1.1 G 5000 N/A 1.9 G 10000 542 MB 2.3 G 15000 N/A OOM 50000 1272 MB OOM CPU Usage 1000 0% N/A 5000 50% - 85% 10000 50%-100% 15000 N/A 50000 N/A Iptables vs. IPVS • Iptables

CLB, etc.) 0 n-1 … StatefulSetPlus ordinal Service (Kube-proxy, CLB, etc.) 0 n-1 … ordinal 1/2 Service (Kube-proxy, CLB, etc.) 0 n-1 … ordinal Service (Kube-proxy, CLB, etc.) 0 n-1 … StatefulSetPlus

Broker 25 API PKS Controller #pks create-cluster K8s-1 n=3 #pks create-cluster K8s-2 n=3 #pks create-cluster K8s-3 n=3 #pks resize K8s-3 n=5 Architecture NSX-T Bosh PKS Admin Network NCP POD

产品名称 厂商 发布日期 Kubernetes API支持 Hyper.sh 2016.11 Y(2018.5支持) Azure Container Instances 2017.7 N AWS Fargate 2017.11 计划2018年支持 Huawei CCI 2018.2 Y Alibaba Cloud Serverless Kubernetes 2018 Pod … Elastic Container Instance (ECI) Pod Pod Node-2 Pod Pod Node-1 Pod Pod Node-N ECI Provider 虚拟节点 • 无限弹性，敏捷扩容 • 支持pod之间互联互通 无需管理服务器 Without managing servers 用户只需关注容器应用 Spark-Master Serverless Kubernetes集群 Demo: 基于Serverless Kubernetes的Spark数据处理 Worker-1 Worker-2 Worker-N Pod Pod Pod Pod Client spark-submit 开始使用 Get Started • 现开放区域：杭州、上海、美西，公测期间免费，欢迎试用 •

chain • Pros • Iptables is widely adopted in popular Linux distributions • Cons • O(N^2) in control plane / O(N) in data plane • Poor in scheduling algorithm • Iptables rules are difficult to debug SNAT in TC egress • Do reverse SNAT in TC ingress Tc egress Hit eBPF map? Does SNAT nic nic Y N • How IPVS talks with eBPF program? • eBPF map id is passed to IPVS module • Ip_vs_new_conn() inserts