OpenStack + Kubernetes: 搭建容器虚拟机组合云平台 qingyuanos 王昕 2016-4-21 提供虚拟机服务的意义 Ø 客户的需求不仅仅是更多的计算能力 Ø 安全性：更小的Attack Surface Ø 易于提供有状态服务 Ø 传统应用容易迁移 Ø Windows应用容易迁移 Ø 易于部署单体应用 Ø 用于桌面云 Ø 多服务单服务器部署 云平台技术的选择 Compute Node Compute Node Controller Nodes Compute Node Compute Node Storage Nodes 多租户隔离的容器和 虚拟机组合网络 kube-proxy的负载均衡原理 对外发布服务——浮动IP模式 对外发布应用服务 利用端口映射节省IP 多用户共享Kubernetes集群 通过二级域名发布服务 覆盖网络（Overlay） 不需要多租户隔离，大量使用容器技术，对性能 要求很高 Overlay Kuryr 需要多租户隔离，需要统一管理容器网络和虚拟 机网络，将容器用作轻量级虚拟机，对性能要求 较高 Overlay Calico 需要多租户隔离，对容器网络的管理独立于虚拟 机网络 Overlay Overlay 需要多租户隔离，对容器网络的管理独立于虚拟 机网络，对性能要求不高；快速集成，用于测试 Kubernetes网络方案 曾经遇到的坑和解决方案

部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离：它们有 ⾃⼰的⽂件系统，看不到对⽅的进程，并且它们的计算资源使⽤可以被界定。它们⽐VM更容易构建，并且由于它们与 使⽤容器，可以在构建/发布期间（⽽⾮部署期间）创建不可变的容器镜像，因为每个应⽤程序⽆需与其余的应⽤程序 栈组合，也⽆需与⽣产基础架构环境结合。 在构建/发布期间⽣成容器镜像使得从开发到⽣产都能够保持⼀致的环境。 同样，容器⽐虚拟机更加透明、便于监控和管理——特别是当容器进程的⽣命周期由基础架构管理⽽⾮容器内隐藏的进 程监控程序管理时。 最后，通过在每个容器中使⽤单个应⽤程序的⽅式，管理容器⽆异于管理应⽤程序的部署。 容器好处概要： ：在笔记本电脑运⾏与云中⼀样。 云和操作系统可移植性 ：可运⾏在Ubuntu、RHEL、CoreOS、内部部署，Google Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 的级别。 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。

应用现代化架构图...........................................................................................16 表 目 录 表 1 2022-2023 年中国部分省市云计算相关政策..................................................11 云计算白皮书（2023 年） Units，云 基础设施处理器），其是一套全新的计算架构体系，能够在通用计算、 大数据、人工智能等场景中展现更好的性能。2022 年 12 月，AWS 云计算白皮书（2023 年） 7 发布第五代虚拟化芯片 Amazon Nitro v5 为云服务提供底层支持，应 用程序可获得与运行在裸金属服务器上相近的性能。三是更注重跨 域融合，创新发展。传统业务模式不断创新，需要先进数字技术持 续交织 例如，北京、上海、深圳等地企业购买云服务后，政府按合同金额 或上云费用进行一定比例的消费券或资金补贴；浙江、四川等则采 用对优秀上云企业直接发放不同级别资金的方式进行奖励。 云计算白皮书（2023 年） 11 表 1 2022-2023 年中国部分省市云计算相关政策 省市 时间 相关政策 重点内容 北京 2023.3 《2023 年北京市支持中小企业发 展资金实施指南》 对“专精特新”中小企业上云上平

舵轮，驾驶盘 chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 ★第4章、K8S高可用集群搭建 前面几章只装了一台master结点，如果它出故障了，则整个k8s集群都不可用 了，需要部署至少3台master结点，准备工作一样都同第0章，只是还要规划一 个vip（虚拟ip）在master的集群初始化这步需要指定control-plane-endpoint地址 为规划的vip，前端的vip可以使用任何负载工具软件，反向代理到后端的每台 master结点的6443/tcp端口即可。 #安装网桥命令工具 [root@k8s-node01 ~]# brctl show #查看网桥（虚拟交换机） bridge name bridge id STP enabled interfaces cni0 8000.9e3551d62fed

基于kubernetes的微服务实践 涂小刚 2019.8.11 Service Mesh Meetup #6 广州站 物理机 虚拟机 容器集群管理 私有云 容器 服 务 治 理 基 础 设 施 自动恢复 监 控 报 警 harbor 容 器 引 擎 存 储 管 理 编 译 发 布 软件定义网络跨节点通讯 统 一 集 中 运 营 管 理 gitlab jenkins 日志采集 应用监控 节点监控 动态存储 本地存储 网络存储 静态存储 代码检查 代码编译 镜像编译 服务发布 镜像同步 镜像上传 镜像下载 镜像安全 k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx nginx 流 量 入 口 k8s平台组件 k8s平台接入流程 k8s环境空间和应用名规范 k8s-namespace k8s-service 工作原理： Flannel负责在容器集群中的多个节点之间提供第3层IPv4网 络。 工作模式： 1.vxlan 通过封装协议解包收发包mtu1450，vxlan可以在分 布多个网段的主机间构建2层虚拟网络 。 2.host-gw 通过宿主机路由同步收发包，必需工作在二层。 1.系统启动，flanneld下发docker子网配置，docker启动获 取子网配置生成docker0 生成gateway网卡;

是一个专有的云安全平台，用于识别、优先级排序和修复安全风险和合规问题。它支持主流的云提供商和 混合设置。Orca 拥有广泛的安全查询和规则，以持续监控已部署的工作负载，检测配置错误、漏洞和合规性问 题。它支持云虚拟机、无服务器函数、容器以及已部署工作负载的 Kubernetes 上部署的应用。这些内置的安 全规则会定期更新，以跟上不断演进的合规标准和威胁向量。由于 Orca 无需代理，因此提供了良好的开发者 Wiz 是日渐成熟的云安全平台领域里又一竞争者，它能让用户在一个平台上预防、检测和应对安全风险和威胁。 Wiz 能对尚未部署到生产环境的构建产物（容器镜像、基础设施代码）以及生产工作负载（容器、虚拟机和云 服务）的错误配置、漏洞和泄漏的机密数据进行检测并发出警报。 它还能将发现的问题置于特定客户的云环境 的上下文中，使响应团队能够更好地了解问题并确定修复优先级。我们的团队在使用 Wiz 时获得了良好的体验。 等流行源代码存储库中得到原生支持，从而可以在 Markdown 文档中嵌入并轻松更新 Mermaid 图表。 我们的许多团队都倾向于使用 Mermaid 作为他们的图表即代码工具，因为它易于使用、集成广泛，且支持的图 表类型不断增多。 44. Ruff 采纳 Ruff 是一个新的 Python linter。使用 linter 是毋庸置疑的，只需要考虑具体要使用哪一个。Ruff 能够脱颖而 出有两个原因：开箱即用的体验，以及性能。其中内置了

KubeOperator 开源容器器平台的技术优势 KubeOperator 开源容器器平台企业版 云原⽣生（Cloud Native）正在吞噬世界 云原⽣生的三个维度 企业本地部署 公有云 + 物理理资源 虚拟化资源 容器器化资源 瀑布模型 敏敏捷开发 DevOps 统⼀一架构 多层级架构 微服务架构 1. 基础设施 2. 开发模式 3. 应⽤用架构 vs. 云原⽣生能⼒力力建设的两个选择 Kubernetes 集群； • ⽀支持 Kubernetes 集群按需伸缩和按需修补。 X-Pack 增强包 + 原⼚厂企业级⽀支持服务 KubeOperator 开源容器器平台功能列列表 Day 0 规划 集群模式 1 个 Master 节点 n 个 Worker 节点模式：适合开发测试⽤用途；3 个 Master 节点 n 个 Worker 节点模式：适合⽣生产⽤用途； 计算⽅方案

Pod的概念 • Pod是K8s中一个或多个容器组成的部署单位 • 容器共享一个IP地址和端口空间，互相之间用 localhost访问 • 容器间还共享数据卷Volumes • 有点类似虚拟机中的多个进程 22 SACC2017 Pod部署在K8s中 23 Pod 1 Container 1 Tools, Libs, SW Container 2 K8s的PV和PVC可以确保每个Fabric的节点只能看到所需要的文件。 33 架构 – 共享存储 SACC2017 • Peer Pod：包括Fabric peer，couchDB（可选）， 代 表每个组织的peer节点 • CA Server Pod： Fabric CA Server • CLI Pod：（可选）提供命令行工具的环境，方便操作本 组织的节点 • Orderer Pod：运行Orderer节点

(CNCF)并把Kubernetes作为种子技术来提供。目前最新的 版本是1.16版本。（https://github.com/kubernetes/kubernetes） Kubernetes 的目标旨在消除编排物理/虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放 在以容器为中心的业务上进行自助运营。Kubernetes 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 了他们之间文件共享的问题。 k8s为每一个pod都分配唯一的IP地址，称之为pod ip，一个pod中的多个容器共享 pod ip地址。k8s要求底层网络支持集群内任意两个pod之间网络通信，采用虚拟二 层技术实现，比如flanne、calico、ovs。k8s中，一个pod的容器与另外主机上的pod 容器能够直接通信。 13 www.h3c.com Confidential 秘密 13 13 rvice的请求转发到后端的某个 Pod实例上，并在内部实现服务的负载均衡与会话保持机制。 但是Service不是共用一个负载均衡器的IP地址，而是每个Service分配了一个全局唯一的虚拟IP地址，这个虚拟IP地 址成为Cluster IP。这样一来，每个服务就变成了具备唯一IP地址的“通信节点”，服务调用就变成了最基础的TCP/IP网 络通信问题。Service一旦创建，k8s就会自动为期分配一个可用的Cluster

A. 准备主机/虚拟机 安装 k8s 集群需要至少 4 台主机/虚拟机，下面是参考配置： 1 台作为 k8s master CPU：2 核, 内存：8GB, 系统盘：40GB, docker 数据盘：80GB 3 台作为 k8s node CPU：2 核, 内存：16GB, 系统盘：40GB, docker 数据盘：40GB, ceph 数据盘：1TB *下面是 vSphere vSphere 上创建虚拟机的步骤： A1. 创建 k8s-master CPU：2 核, 内存：8GB，系统盘：40GB，docker 数据盘：80GB step1. 从模板上新建虚拟机 Step2. 配置虚拟机网络 打开虚拟机的控制台： 设置主机名： hostnamectl set-hostname k8s-master 设置网络： cd /etc/s NETMASK=255.255.255.0 DNS1=202.114.200.254 DNS2=114.114.114.114 IPV6INIT=no 打开虚机网络： Step3. 虚拟机磁盘 2 分区&格式化 fdisk -l fdisk /dev/sdb 依法选择 n,p,1,t,l,8e,w fdisk –l pvcreate /dev/sdb1 vgdisplay