title: Kubernetes 管理 Docker 容器 date: 2020-12-18 tags: Kubernetes description: MacOS 平台 Kubernetes 管理 Docker 容器 图⽚来源于 Install Kubernetes: The Ultimate Guide Kubernetes 简介 Kubernetes 是容器集群管理系统，是⼀ VirtualBox brew install docker-machine-driver-hyperkit ~/.kube/config ⽂件中查看所有可⽤的环境 启动 # 可添加参数 # --vm-driver=hyperkit minikube start minikube dashboard Minikube Dashboard Docker Desktop Dashboard（MasOC） Dashboard（MasOC） minikube start 回启动⼀个 Docker 容器： 打包 Nodejs 应⽤镜像 创建 Nodejs 应⽤程序 创建 hello-node ⽂件夹，添加以下⽂件以及代码： server.js var http = require('http'); var handleRequest = function(request, response) {

Senior Software Engineer, ZTE li.guangxu@zte.com.cn Container and VM Ecosystem Kubernetes Docker Swarm Marathon Nomad Container OpenStack Others Why We Run VM on Kubernetes? • Traditional Applications k8s + docker + kata not easy kubernetes(dockershim) does not support to choose OCI runtime k8s + docker + kata not easy kata container network hotplug (support now) Dockershim / Docker Containerd pause container and app container b.create net resources in netns kubernetes k8s + docker + kata create pod k8s + docker + runc create pod How ZTE Uses kata container in NFV ZTE OpenPalette kubernetes

�����������������! ����������! • �����������! • ����������! • ���! ������! • Kubernetes! • Docker Swarm! • Mesos & Marathon! �����: Kubernetes! • �� Google Borg ���������! • ������������������� Operator ����! Operator �����TiDB-Operator! TiDB-Operator ��! TiDB-Operator ��! kubernetes ����! • Docker volume: �������Dockerfile��volume! • k8s �����(PV): EBS, NFS, Ceph, Glusterfs…! • k8s ����: emptyDir

Node-Operator • Advanced Topic: Kube-on-Kube-Operator • Achievement • Q&A Background: DC/OS From Sigma 2.0(Swarm) to Sigma 3.1(Kubernetes) Background: Cluster Scale • Production environment: • Dozens of Cluster Order • Upgrade Nodes Versions • Upgrade Node 10.10.10.1 • Upgrade docker • Upgrade kubelet • Upgrade Node 10.10.10.2 • Upgrade docker • Upgrade kubelet …. Motivation: Work Order Deployment Disadvantages

易于部署单体应用 Ø 用于桌面云 Ø 多服务单服务器部署 云平台技术的选择 云平台技术选型 容器编排系统的选择 ——Kubernetes的优势 vs. Mesos and Swarm Ø 来自Google的简单一致的设计理念 Ø 原生为容器集群打造 Ø 原生服务发现 Ø 统一的资源模型 Ø 支持丰富的标签Label发现机制 Ø 原生负载均衡，高可用方案 Ø 原生的Rolling 利用端口映射节省IP 多用户共享Kubernetes集群 通过二级域名发布服务 覆盖网络（Overlay） Flannel 利用路由协议的SDN 方案——calico Kuryr 一个Docker远程驱动 网络集成方案比较 可以排除的组合 网络集成方案比较 可行方案 IaaS层网络 PaaS层网络 适用场景 Calico Kuryr 不需要多租户隔离，大量使用容器技术，对性能 Neutron网络做隧道封装时，占用了包头， 导致上层网络的最大允许MTU比默认要小， 造成虚拟机网络时通时不通 Ø 给Linux虚拟机造成问题 Ø 给Windows虚拟机造成问题 Ø 给虚拟机内的Docker造成问题 Ø 解决方案 Ø 手动改小虚拟机MTU Ø 用CloudInit脚本更改MTU，集成到云平 台中 HTTPS的负载均衡 Ø 问题 Ø如何用HAProxy给HTTPS服务做负载均

• ����������������! AI�����! ����K8S! AI�������! ��K8S�AI��! ������! ������! ���! • Docker Swarm���������! • Rancher��������! • Mesos or Kubernetes�! ����! ����! GPU���! • GPU��! • K8

阅读/链接/打印/转载/引用/分发/再创作 本文档，则说明接受以上2个条 款。 作者：李茂福 更新日期：2023-12-29 ★第0章、K8S集群搭建准备工作 相关单词原义： docker 码头工人 pod 集装箱 kubernetes 舵手，领航员 helm 舵轮，驾驶盘 chart #检查是否已加载ip_vs模块 ★最后重启操作系统 # reboot ★第1章、部署k8s版本<=1.23 k8s在1.23及之前版本默认是调用docker作为底层的容器运行时，从1.24版本开 始移除了dockerShim组件，不再支持docker，从而默认使用containerd作为底层 的容器运行时。 k8s 1.23及之前版本： kubelet→dockerShim→dockerd→containerd→runC containerd→runC 默认调用的cri-socket： unix:///var/run/dockershim.sock 要求docker<=20.10 k8s 1.24及之后版本： kubelet→cri-containerd→containerd→runC 后来cri-containerd重构进containerd中（CRI Plugin），合为一个containerd进程 默认调用的cri-socket：

com/GoogleContainerTools/jib Dockerfile best practices github.com/GoogleContainerTools/jib docs.docker.com/develop/develop-images/dockerfile_best-practices github.com/GoogleContainerTools/jib ** !target/petclinic-* dockerignore 6. Improve incremental speed 7. Switch to use a Maven plugin Download and install Docker github.com/GoogleContainerTools/jib What did we do? 1. Write first Dockerfile 2. Reduce image dockerignore 6. Improve incremental speed 7. Switch to use a Maven plugin Download and install Docker Order of layers to optimize for cache hits github.com/GoogleContainerTools/jib What did we do

gitlab jenkins helm ceph nfs prometheus filebeat elastsearch flanneld calico openstack kvm docker 镜 像 管 理 弹性伸缩 智能调度 配置管理 健康检查 服务发现 动态dns 负载均衡 容器监控 日志采集 应用监控 节点监控 动态存储 本地存储 网络存储 静态存储 代码检查 代码编译 制定git版本规范，开发提交合并master代码，git版本库和业务版本进行关联，出了问题好定位问题。 采用docker容器化之后，ci-cd由运维平台集中控制，git版本和容器镜像必需保持一致关联性，方便问题回溯。 git master dev checkout v20 dev docker build harbor app-name:2019-0510-1033_v20 push keeplived kube-proxy kubelet docker flannel kube-proxy kubelet docker flannel kube-proxy kubelet docker flannel kube-proxy kubelet docker flannel kube-proxy kubelet docker flannel node K8S-flanneld网络分析

内存：8GB, 系统盘：40GB, docker 数据盘：80GB 3 台作为 k8s node CPU：2 核, 内存：16GB, 系统盘：40GB, docker 数据盘：40GB, ceph 数据盘：1TB *下面是 vSphere 上创建虚拟机的步骤： A1. 创建 k8s-master CPU：2 核, 内存：8GB，系统盘：40GB，docker 数据盘：80GB step1 100%free -n docker centos lvdisplay mkfs.xfs -n ftype=1 /dev/mapper/centos-docker mkdir -p /var/lib/docker mount /dev/mapper/centos-docker /var/lib/docker echo "/dev/mapper/centos-docker /var/lib/docker /var/lib/docker xfs defaults 0 0" >> /etc/fstab xfs_growfs /dev/mapper/centos-docker df –Th A2. 创建 k8s-node1, k8s-node2, k8s-node3 内存：16GB, 系统盘：40GB，docker 数据盘：40GB，ceph 数据盘：200GB 【注】所有节点(k8s-master