Kubernetes VM Solutions for Multi-Tenant Applications Guangxu Li, Senior Software Engineer, ZTE li.guangxu@zte.com.cn Container and VM Ecosystem Kubernetes Docker Swarm Marathon Nomad Container Container OpenStack Others Why We Run VM on Kubernetes? • Traditional Applications • No linux based Applications • Functions provided by host kernel are not satisfied • OpenStack is too complex • Unified Unified infrastructure • Better isolation VM related Projects Virtlet KubeVirt RancherVM Kata Container Focus : deploy REAL vm (traditional vm app) Focus : container security Virtlet Virtlet is

-R $(whoami) /usr/local/lib/pkgconfig ## VM 驱动程序 VirtualBox brew install docker-machine-driver-hyperkit ~/.kube/config ⽂件中查看所有可⽤的环境 启动 # 可添加参数 # --vm-driver=hyperkit minikube start minikube

12 Why should you care about NUMA? Memory intensive workloads Nearly all database servers (e.g. Oracle, MongoDB), present a workload which will attempt to detect and consume as much of the system’s Group – please join in • See Issue #49964 14 Using a NUMA aware hypervisor to solve issues now VM composition guidelines • Assuming you workload fits with the footprint of a single node, compose to what is needed to meet requirements • Don’t assign an odd number of vCPUs • Never compose a VM larger than the number of physical cores A NUMA aware hypervisor can have IO benefits too For

12 Why should you care about NUMA? Memory intensive workloads Nearly all database servers (e.g. Oracle, MongoDB), present a workload which will attempt to detect and consume as much of the system’s Group – please join in • See Issue #49964 14 Using a NUMA aware hypervisor to solve issues now VM composition guidelines • Assuming you workload fits with the footprint of a single node, compose count to what is needed to meet requirements • Don’t assign an odd number of vCPUs • Never compose a VM larger than the number of physical cores A NUMA aware hypervisor can have IO benefits too For

Application Application Repackaging Application Refactoring Application Journey App packaged in VM App packaged in Container Platform Evolution 11 Confidential │ ©2018 VMware, Inc. 11 Confidential yaml ContainerImage1 Replicas: 1 ContainerImage2 Replicas: 2 https://youtu.be/PH-2FfFD2PU 14 VM VM VM VM Kubernetes Trend Worker Node The Kubernetes Master Node Basic Components Master Node ETCD Switch Cluster Management Nodes – Logical Switch Master ‘VM’ etcd NCP API Srv Worker ‘VM’ Pod 1 Pod 2 Worker ‘VM’ Pod 3 Pod 4 Worker ‘VM’ Pod 5 Pod 6 T1 T1 T1 T1 VMware vSphere NSX

成本 GPU使用方式 实现 VCUDA 在vm中构建wrapper library以拦截GPU调用并将这些调用重定向 到宿主机执行 Amazon 将设备直接挂在到vm中 GPUvm 在Zen的hypervisor层实现了全虚拟化。为了隔离运行在物理 GPU上的多个VM，GPUvm将物理GPU分成几个部分，并将每个 部分分配给单个VM。 NVIDIA GRID 在硬件层面实现GPU虚拟化，每个容器可以绑定一个虚拟GPU

Think in Cloud . 北北京 UK8S客户案例例 - B UHost UK8S 反向代理理 注册中⼼心 APP APP APP APP VM VM pod pod 平滑迁移 Pod具有与VM等同的⽹网络待遇，让VM与容器器混合部署成为可能， 业务迁移到K8S也更更简单 Think in Cloud . 北北京 Think in Cloud . 北北京

和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离：它们有 ⾃⼰的⽂件系统，看不到对⽅的进程，并且它们的计算资源使⽤可以被界定。它们⽐VM更容易构建，并且由于它们与 底层基础架构和宿主机⽂件系统解耦了，可实现跨云、跨操作系统的移植。 进程的⽣命周期由基础架构管理⽽⾮容器内隐藏的进 程监控程序管理时。 最后，通过在每个容器中使⽤单个应⽤程序的⽅式，管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 灵活的应⽤创建和部署 ：与VM映像相⽐，容器镜像的创建更加容易、有效率。 持续开发，集成和部署 ：通过快速轻松的回滚（由于镜像的不可变性）提供可靠且频繁的容器镜像构建和部署。 Dev和Ops分离问题 ：在构建/发布期间⽽⾮部 replicas 不够时，启动⼀个新的Pod）。 Master可在集群中的任意节点上运⾏。然⽽，简单起⻅，设置脚本通常在同⼀个VM上启动所有Master组件，并且不会 在该VM上运⾏⽤户的容器。请阅读 Building High-Availability Clusters 以实现多主机VM配置。 kube-apiserver kube-apiserver 暴露Kubernetes的API。它是Kube

tree，网络，user IDs 和挂载的文件 系统 。 Container 框架 通过在 Kernel 层面提供的 API 来达到上层可以容器化应 用程序。 Container VS VM (Virtual Machine) 由于采用系统当前的内核，Container会启动加载更快，更 轻量，并且更省资源。 Container Image 用来将需要容器化的应用程序及其环境进行打包后存储的镜像。 在企业环境中 Node 很有可能需要进行不同类别的区分，而每 一类 Node 上的环境都有可能会不同。 关键点回顾 • Kubernetes 是什么：容器编排工具 • Container 与 VM 比较的优势：更轻量化，更快，更易部署 • Container Image 的管理 • Container 运行与 Image 的标准：OCI • Kubernetes 的基本架构：Master

"s/^SELINUX=.*/SELINUX=disabled/g" /etc/sysconfig/selinux Step5. 关闭 swap 分区 swapoff -a && sysctl -w vm.swappiness=0 //设置 swap 开机不启动 vi /etc/fstab #/dev/mapper/centos-swap swap swap bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 vm.swappiness=0 EOF sysctl -p C. 安装 ipvs 【注】ipvs 将作为 kube-proxy 的代理模式 Step1: 安装 yum