doc 中描述了API的总体规范。 API Reference 中描述了API端点、资源类型和样本。 access doc 讨论了API的远程访问。 Kubernetes API也是系统声明式配置模式的基础。 Kubectl 命令⾏⼯具可⽤于创建、更新、删除以及获取API对象。 Kubernetes也会存储其API资源⽅⾯的序列化状态（⽬前存在 etcd 中）。 Kubernetes本身被分解成了多个组件，通过其API进⾏交互。 详细描述了每个级别的标准。概括如 下： Alpha级别: 版本名称包含 alpha （例如 v1alpha1 ） 05-Kubernetes API 18 可能有⼀些bug，启⽤该功能可能会显示错误。 默认禁⽤ ⼀些功能可能随时会被废弃，恕不另⾏通知 API可能会以不兼容的⽅式更改，恕不另⾏通知 建议仅在短期测试集群中使⽤，因为增加了bug带来的⻛险，⽽且缺乏⻓期⽀持 Beta级别: （以 JSON格式）。 最常⻅的，可在⼀个.yaml⽂件中向kubectl提供信息。 在进⾏API请求时， kubectl 会将信息转换为 JSON。 如下是⼀个示例 .yaml ⽂件，显示Kubernetes Deployment所需的字段和对象spec： apiVersion: apps/v1beta1 kind: Deployment metadata: name: nginx-deployment

党的二十大报告提出，要构建新一代信息技术等一批新的增长 引擎，打造具有国际竞争力的数字产业集群。云计算是信息技术发 展和服务模式创新的集中体现，是信息化发展的重大变革和必然趋 势，是信息时代国际竞争的制高点和经济发展新动能的助燃剂。云 计算引发了软件开发部署模式的创新，成为承载各类应用的关键基 础设施，并为大数据、物联网、人工智能等新兴领域的发展提供基 础支撑。加快推动云计算创新发展，顺应新一轮科技革命和产业变 .................... 32 （二）功能方面，云计算持续驱动算力服务创新发展.................................. 34 （三）模式方面，云计算重构算力服务供需新模式...................................... 35 五、总结与展望......................................... 亿日元预算用于 与云有关的研究和推进活动。 云计算白皮书（2023 年） 3 （二）云市场进入稳定增长阶段，行业巨头进一步扩大 领先优势 从整体来看，全球云计算市场规模增速放缓。Gartner 数据显示 1，2022 年以 IaaS、PaaS、SaaS 为代表的全球云计算市场规模为 4,910 亿美元，增速 19%，较 2021 年同比下降 13.5%。虽然受通胀压力和 宏观经济下行的双重影响，2022

可以⽤去的选择要和容器集群所在区域⼀致，不同区域的集群和存储间不能挂载和访问 创建挂载点 新创建的NAS盘，需要挂载后才能使⽤ 在挂载窗⼝中，请选择需要挂载的集群，此处的集群仅显示和该NAS所在区域相同的容 器集群 挂载成功后，会显示私⽹IP 挂载过程可能⽤时较⻓，3-5分钟 14 挂载NAS盘到本地机器 对于已经挂载好的NAS盘，该集群内的任何⼀台计算资源（master和worker）均可访 archived-原pv使⽤⽬录名称-时间戳 ； 如果为 false ，则直接删除该pv所使⽤的数据 17 删除存储类 查看存储类 在存储类列表中，点击详情，可以查看存储类相应信息 可以在基本信息和yaml⽂件中切换不同的显示⽅式 18 查看存储卷列表 点击存储->存储卷，然后从集群选择下拉列表中，可以查看所选的集群中所有的存储卷（PV） 创建存储卷 19 点击集群->存储卷->新建存储存储卷，可以在弹出的对话框中新建⼀个使⽤NAS盘的存储卷 存储卷名称：配置该存储类的名称，当创建pvc时，需要引⽤该名称 容量：所要创建存储卷的⼤⼩，单位GB 访问模式：ReadWirteMany：可以多个节点同时读写，ReadWriteOnce：仅单个节点读写 标签：可以添加⾃定义的标签 查看存储卷详情 点击单个存储卷的详情，即可查看该存储卷的详细信息 可以在基本信息和yaml⽂件中切换不同的显示⽅式 20 删除存储卷 21 ⾸云⽀持创建⽆状态（Deployment

Reserved. 12 技术 1. 设计系统 采纳 随着应用开发变得越来越动态和复杂，交付风格一致且好用的产品成为了一项挑战，尤其是在有多个团队参与 不同产品开发的大型组织中。设计系统定义了一系列的设计模式、组件库以及良好的设计和工程实践，以确保 数字产品的一致性。设计系统从过去的企业风格指南演变而来，提供易于查找和使用的共享组件库和文档。通 常，设计系统的风格指南以代码的形式记录并进行版本控制， 用这种方法来设计和评估预防故障所需的控制措施。该方法源自故障模式与影响分析（FMEA）的实践。FMEA 是一种诞生于上世纪 40 年代的风险评分技术，成功运用于航空航天和汽车等建造复杂物理系统的行业中。与这 些行业一样，软件故障也可能产生严重后果，例如危及人类健康和隐私。这就是为什么我们越来越需要对系统 进行严格分析的原因。该方法首先识别可能的故障模式，然后对根本原因进行分析，并根据故障发生的可能性、 。结构化输入，如 JSON 文档， 清晰而精确，为模型提供了所寻求响应类型的指示。以这种方式限制响应有助于缩小问题空间，并且可以产生 更准确的响应，特别是当结构符合领域特定语言（DSL）的语法或模式情况下。我们还发现，将结构化输入与 自然语言注释或标记结合使用，比仅使用自然语言或结构化输入产生更好的响应。通常，在构建提示时，自然 语言会与结构化内容简单地交织在一起。与许多大语言模型行为一样，我们不知道为什么这样做有效，但我们

#可以先下载以上7个镜像，传到每台k8s服务器上，再docker load导入；或者使 用内部registry仓库（内部registry镜像仓库里要有以上7个镜像） ★直接使用命令行方式初始化集群 （以下是非HA模式的master初始化，如果要部署高可用集群，则参考第4章） kubeadm init --kubernetes- version=v1.19.4 \ --apiserver-adver�se- -n k8s.io images import导入；或者使用内部registry仓库（内部registry镜像仓库里要有以上7个镜 像） ★直接使用命令行方式初始化集群 （以下是非HA模式的master初始化，如果要部署高可用集群，则参考第4章） kubeadm init --kubernetes- version=v1.28.2 \ --apiserver-adver�se- 如果有2个coredns的pod未启动就绪，因为pod网络组件还未部署，部署后再查 看；如果部署网络组件之后还未启动，则可能是网络不通，防火墙要放通pod 容器网段入站。 ⑤service使用ipvs模式 # kubectl edit cm kube-proxy -n kube-system #编辑configMap 找到kind: KubeProxyConfigura�on这行往下第2行的mode:

架构演进 单体应用时期 垂直应用时期 微服务时期 快速、简单 耦合强 隔离、稳定 复制多 隔离、稳定 复用高 架构演进 组件增多 架构复杂 维护困难 架构演进 传统模式 K8S模式 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 标准统一 运维简单 框架简单 编译 部署 应用开发 启动方式 日志采集 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 问题：每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 问题：gRPC未设置连接错误，阻塞模式报错不正确 Redis、MySQL连接数配置未设置？超时未设置？ 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC 行行号） • 响应数据结构是否正确 • 响应是否有错误 微服务的开发阶段 • 遵循Fail Fast理念，核心错误尽早panic • Panic的错误码，组件、配置名、错误信息 • 高亮显示 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 微服务的测试阶段 测试类型

国内首发Windows容器服务：帮助企业实现海量Windows应用轻松容器 化上云 根据第三方咨询公司统计，大约有80%以上的企业现有系统仍是通 过Windows Server部署运维在服务器上，统计显示Windows Server在x86伺服器中的市占率高达6成。 CCE推出基于Kubernetes的Windows Server容器管理服务 • 完美兼容Kubernetes能力，支持容器CPU/内存资源编排，无状态/ Equipment 节约成本 530 万 中移动咕互娱运维平台承担所有业务APP用户鉴权、计费前端和广告推送，高峰并发请求25000次/秒、1.2亿次/小时。 客户问题： •资源利用率低：虚拟化模式弹性能力差，平台容量按最高业务峰值设计（300VM，4C8G），日常负荷下平台利用率<30%（一半时间利用 率<10%），造成资源极大浪费 •升级耗时长、易出错：APP迭代需求快，如新游戏上线、

www.h3c.com Confidential 秘密 18 18 K8s基本概念和术语介绍（Deployment） Deployment（部署）： 部署是一个比RS（Replica Set）应用模式更广的API对象，可以是创建一个新的服务，更新一个新的服务，也可以是 滚动升级一个服务。滚动升级一个服务，实际是创建一个新的RS，然后逐渐将新RS中副本数增加到理想状态，将旧RS中 的副本数减小到0 Kubectl命令行的公共启动参数： 40 www.h3c.com Confidential 秘密 40 40 Kubernetes常见命令介绍 Kubectl输出格式，kubectl可以用多种格式对结果进行显示，输出格式通过-o参数指定： Kubectl [command] [TYPE] [NAME] –o=

41 www.h3c.com Confidential 秘密 41

Nodes Compute Node Compute Node Storage Nodes 多租户隔离的容器和 虚拟机组合网络 kube-proxy的负载均衡原理 对外发布服务——浮动IP模式 对外发布应用服务 利用端口映射节省IP 多用户共享Kubernetes集群 通过二级域名发布服务 覆盖网络（Overlay） Flannel 利用路由协议的SDN 方案——calico 台中 HTTPS的负载均衡 Ø 问题 Ø如何用HAProxy给HTTPS服务做负载均 衡 Ø 解决方案 ØTCP透传模式 Ø不要用HTTP模式，而要用TCP模式做负载均 衡，TCP可以透传TLS连接 Ø后端服务器都要有服务器证书 ØHAProxy认证模式 ØTLS服务器终点为HAProxy，后端连接为明文 TCP Ø要把服务器证书配置到HAProxy上 OpenStack里MySQL OpenStack里MySQL Galera 集群高可用 Ø问题 Ø异步多主多活情况下会出现数据 不一致 Ø同步多活情况下容易出现死锁 Ø解决方案 Ø改成同步一主两备模式 Kubernetes的PVC绑定问题 Ø问题 ØPVC每次申请PV都会占用所有 PV容量 Ø解决方案 Ø对Kubernetes的PV起初理解偏 差，PVC的设计就是占用整个PV Ø要对每个用户PVC单独开辟PV Magnum创建baymodel失败

云原⽣生的三个维度 企业本地部署 公有云 + 物理理资源 虚拟化资源 容器器化资源 瀑布模型 敏敏捷开发 DevOps 统⼀一架构 多层级架构 微服务架构 1. 基础设施 2. 开发模式 3. 应⽤用架构 vs. 云原⽣生能⼒力力建设的两个选择 ALL IN ONE 解耦⽅方式 采纳⼀一站式 PaaS 平台，⽐比如 OpenShift 容器器平台、DevOps、微服务：三者分开建设 ⼀一键部署 可视化安装 管理理 备份 伸缩 监控 ⽇日志 Day 0 Day 1 Day 2 规 划 部 署 运 营 升级 在线 / 离线 KubeOperator 的开发团队和运作模式 • 由 Jumpserver 开源明星团队打造； • 遵循 Apache 2.0 开源许可协议 (github.com/kubeoperator)； • 通过云原⽣生计算基⾦金金会（CNCF）的 X-Pack 增强包 + 原⼚厂企业级⽀支持服务 KubeOperator 开源容器器平台功能列列表 Day 0 规划 集群模式 1 个 Master 节点 n 个 Worker 节点模式：适合开发测试⽤用途；3 个 Master 节点 n 个 Worker 节点模式：适合⽣生产⽤用途； 计算⽅方案 独⽴立主机：⽀支持⾃自⾏行行准备的虚机、公有云主机和物理理机；vSphere 平台：⽀支持⾃自动创建主机（使⽤用