k8s操作手册 前言： 1.蓝色字体表示命令行命令，正式执行时不要复制前面的#号，#号只是提示应 该使用root权限操作 2.绿色字体表示注释，有时注释太多就不用绿色表示了 3.注意：本文档的所有操作请先在测环境进行实践，请不要直接在真实的服务 器中操作！ 版权声明： 本文档以开源的形式发布，所有条款如下： （1）无担保：作者不保证文档内容的准确无误，亦不承担由于使用此文档所导致的任何后果 30000-32768 LoadBalancer k8s创建NodePort与Cluster-ip；云服务商云上的负载均衡器 去监测此k8s集群当发现有创建LoadBalancer时，就自动添加 相应的监听器（将用户的请求流量转发到pod所处node结点 上的目标service Port或node port，目标node上的ipvs规则是 直接将此node port/servce port转发到此node上的pod里） #securityContext: #安全上下文 # runAsNonRoot: true # runAsUser: 1000 #指定容器里面的运行服务的用户id # allowPrivilegeEscala�on: false livenessProbe: #pod存活性探测，对应STATUS，失败后根据

Copilot、Tabnine 和 Codeium。我们兴奋于 open-source LLMs for coding 在工具领域可能带来的变革，并且我们看到了在编码之外的辅助领域中工具和能力的爆炸式增 长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 中，因此推荐 OIDC for GitHub Actions。通过这种方式，可以避免存储长期的访问令牌来访问云资源，同时确保流水线无法直接访问机密信息。 然而，请务必谨慎地限制访问权限，以确保操作以最低权限运行。 8. 使用 Terraform 创建监控和告警 试验 基础设施及代码（IaC） 已经是一种被广泛采纳用于定义和创建托管环境的方法。尽管这个领域的工具和技术不 断发展，但 Terraform 外，还应使用 Terraform 创建监控和告 警。这将实现更模块化的 IaC，更易于理解和维护。与所有 IaC 一样，同时使用多种方式进行配置变更，会带来 不一致的风险。所以，我们建议禁用通过用户界面和 API 的方式处理配置变更，确保 Terraform 代码始终是唯 一的真实生效的版本。 9. ReAct 提示工程 试验 ReAct 提示工程是一种用于提示大语言模型的方法，相较于思维链（CoT）等竞争方法，ReAct

云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 模块化搭建 所包含的各个模块可以像乐高积木一样灵活搭建。 模块名称 功能和作用 安装器 基于 Kubean 自动化安装所需模块 容器管理 管理集群/节点/负载等基础设施 全局管理 设置登录、访问权限、外观 可观测性 一站式图形化仪表盘 应用工作台 CI/CD 流水线实现 GitOps 和 DevOps 工作流 多云编排 基于 Karmada 构建多云实例/负载/策略管理 微服务引擎 定义不同的隔离级 别。 全局管理 全局管理是以用户为中心的综合性服务板块，包含用户与访问控制、企业空 间、审计日志、平台设置等基础服务模块。 ➢ 用户与访问控制：帮助用户安全管理资源的访问权限。您可以通过用户与访问控制创 建、管理、删除用户/用户组，并灵活配置用户/用户组权限，来完成用户职能权限的 划分。 ➢ 企业空间：具有层级结构和访问权限控制的资源隔离单元。您可以按照企业开发环 境、

式轻松开发并部署应⽤用程序。KUN底层基 于 Kubernetes ，提供⾼高可⽤用，在线升 级，⾃自动扩缩，负载均衡，⽇日志查看，资 源监控，等多种功能。 KUN 运维管理理 监控 ⽇日志 权限 分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 Think in Cloud . 北北京 • K8S提供了了多种身份认证策略略，具体如何实施？ • K8S的有两种⽤用户：服务账号(SA)和普通⽤用户(User)，但K8S不不会管理理User，如何管理理User？ • K8S有⼀一套完整的权限系统，但如何处理理User与权限的绑定？ • 对于多集群，如何实现User跨集群的管理理？ 基于RBAC实现账号管理理隔离 Think in Cloud 基于RBAC实现账号管理理隔离 • 选择Token认证⽅方式 • 通过服务账号SA模拟普通⽤用户User，即User与SA⼀一⼀一对应 • 所有模拟账号SA放置同⼀一个NS，统⼀一管理理 • 定制权限组ClusterRole • 通过授予模拟账号SA的不不同权限组，来控制不不同User在NS中的不不同权限 NS ServiceAccount： 1、U1 2、U2

节约 资源 8 2017 Lenovo Internal. All rights reserved. 企业级容器云设计与思考 • 设计思路 从需求出发 需求驱动，勿求大而全，没有银弹 从用户的角度思考 简单，学习成本低，改变成本小 从技术的角度评估 从成本方面衡量 资源利用率，人力成本，投入产出比 从长远技术方向考虑 未来方向，新技术潮流，公司战略 高效，稳定，可扩展 9 Lenovo Internal. All rights reserved. 企业级容器云设计与思考 • 技术的抉择 Console 前端 Console 后端 Router Builder 用户界面 后端Restful API 路由 API Gateway 镜像构建 10 2017 Lenovo Internal. All rights reserved. 容器云设计--多集群支持的容器云 多个K8S容器云集群统一管理 • Why？ 技术和管理难度大 跨数据中心 2 物理机，VMWare，OpenStack，AWS，Azure 混合基础架构 多集群统一管理，无需切换平台系统 统一用户体验 11 2017 Lenovo Internal. All rights reserved. 容器云设计--多集群支持的容器云 • 多集群，一平台 Router1 Router2 K8S-2

在企业级架构中，Kubernetes 更多是作为一个核心组件进行部 署。在这个核心组件的外围，我们还有其他的功能需要提供。 用户管理 • 按资源组和层级用户的区分 用户访问权限管理 根据用户功能组进行访问验证 用户操作日志 • 对用户的操作进行记录 • 对用户的资源使用状况进行统计 • 对多用户的资源使用状况进行统计 监控 • 实时的集群及 Containers 信 息监控（包括CPU，Memory， Volume 按照业务类型提供统一的管理 • 用户在进行Volume操作的时候 根据业务进行中间层处理，包括 但不限于访问权限，大小申请， 读写操作等 • 根据用户不同的角色进行集群不同的环境选择 • 在业务层面让用户感知为统一的环境 多集群管理 云提供服务形式 • 企业级架构 • 用户管理 • 用户访问权限管理 • 用户操作日志 • 硬件监控 • 存储管理 模型训练会耗费巨大的资源并且长时间占用 • 多个用户在模型训练时需要通过队列的方式来解决资源短缺 问题 • 需要对不同用户进行资源池划分 模型管理与发布 • 模型发布： • 模型服务的负载均衡 • 硬件资源的规划 • 模型管理： • 模型的版本 • 模型的类型 研发环境与生产环境隔离 • 硬件资源互相隔离 • 网络资源相互连通 资源监控及分配策略 • 用户资源的限制 •

产品架构 Alauda Kubernetes (AKS) 主要由 Alauda Kubernetes Engine (AKE) 、系统运维管理（管 理平台、监控、日志）、权限管理、账号体系管理等多个业务模块组成，可以根据用户使用 场景提供最佳网络、存储技术及解决方案。产品本身更好的发挥了 Kubernetes 产品特性， 让开发者更关注业务本身，让整个平台可以像管理产品一样管理应用，更好的提高资源利用 高可用和非 高可用集群，简化了 Kubernetes 集群安装和部署，有效地实现快速安装部署，从而节 约时间和人力成本。 ² 系统运维管理 通过系统运维视角，配合标准的日志、监控平台，为用户提供了一整套可视化的产品， 让业务、监控等复杂行为变成可视化的业务形态，确保平台的高可用，同时为容器化应 用提供资源调度、部署运行、服务发现、扩容缩容等一整套功能，更好的突出业务本 身，从根本上解决运维难的问题。 及使用帮助 ² 权限管理 将用户划分成角色组，将权限赋予角色，角色赋予人，配合 Kubernetes 本身支持的细 粒度权限管理体系，让权限管理不再复杂。 ² 账号体系管理 无缝集成企业内部账号体系，支持对接 LDAP、OAuth 2.0、OIDC、SAML 等协议的企 业内部用户系统，满足企业内部分公司、部门等多级管理方式的需求，实现统一登录与 权限管理。 ²

应用快速上线、扩容、升级，秒级弹性扩缩容 • 基于容器更细粒度共享，提升资源利用率 16 支持多租隔离、租户内部各用户之间的权限隔离，基于组织提供 镜像的访问权限管理 安全保障 组织级别隔离及镜像粒度权限控制，共同保障镜像安全 权限控制简单便捷 提供界面，分配镜像的访问权限 对接DevCloud、GitHub、GitLab，一键式完成从代码下载到 镜像构建的完整流程，并支持对接CCE完成镜像部署 像部署 高性能 支持大规模并发构建业务 自动化 代码更新时自动触发镜像构建 容器镜像服务SWR ：支持镜像自动化构建，实现源码到镜像的自动化流程 第三方代码库对接 多租户、多用户权限隔离 17 案例：高性能容器服务，助力图灵生物Pipeline灵活编排和复用，自定义基因测序SaaS 服务效率提升60% 陕西图灵生物主要面向医院、研究机构等提供基因测 序，人体健康监测，大数据分析等生物健康产品及解决 助力成都某互联网公司 提升业务发放速度和运维效率 Node Node Node 集群 CCE 云容器引擎 部署 SWR容器 镜像仓库 研发交付 容器镜像 Node 客户问题： •用户流量存在明显波峰波谷，传统部署方式伸缩效率低 •服务器开服频繁，传统部署耗时长 •特性迭代快速，升级频繁，传统方式效率低，断服时间长 •公司遗留内部运维（CI/CD）系统，需要对接公有云 •

DEVOPS⼯具 DEVOPS体系构成 企业级DEVOPS全景图 调度 ⺴络 存储 K8S 基础设施 租户管理与申请 ⼈员初始化 ⾓⾊权限职责 企业场景建设 配额管理 应⽤⺫录 DevOps⼯具链 其他⼯ 具 DevOps ⼯具 初始化 ⼈员⾓⾊权限 初始化 配额管理 ⼯具链⽀撑体系 事务 跟踪 ⼯具 知识 库 代码托 管 制品仓 库 镜像仓 库 测试管 理平台 识别过程资源浪费 加速需求响应时间 团队效率的整体提升 加快开发迭代速度 DEVOPS平台成果 价值 ⼯具 流程 规范指南 认证体系 成熟度 ⾓⾊职责 14x8x5 14个⾓⾊ 8个职责 5个权限组 16x15x18 16个指南 15个规范 18个阶段性汇报 10操作⼿册 6x14x3 6⼤主流程 14 ⼦流程 3个标准管道 13x7x5 13个开源⼯ 具 7个插件 04-01-DevOps_Detail_Task_list 3. 04-02-DevOps_Tools_Template_DevOps 4. 04-04-DEVOPS详细操作过程 5. 04-05-DEVOPS⼯具权限设计 6. 04-06-DEVOPS成熟度标准 7. 04-07-DevOps-⾓⾊和流程设计 8. 04-08-DevOps研发实例 9. 04-09-产品各⽣命周期交付物 10. 04-10-团队成员评估与测试