在企业级架构中，Kubernetes 更多是作为一个核心组件进行部 署。在这个核心组件的外围，我们还有其他的功能需要提供。 用户管理 • 按资源组和层级用户的区分 用户访问权限管理 根据用户功能组进行访问验证 用户操作日志 • 对用户的操作进行记录 • 对用户的资源使用状况进行统计 • 对多用户的资源使用状况进行统计 监控 • 实时的集群及 Containers 信 息监控（包括CPU，Memory， Volume 按照业务类型提供统一的管理 • 用户在进行Volume操作的时候 根据业务进行中间层处理，包括 但不限于访问权限，大小申请， 读写操作等 • 根据用户不同的角色进行集群不同的环境选择 • 在业务层面让用户感知为统一的环境 多集群管理 云提供服务形式 • 企业级架构 • 用户管理 • 用户访问权限管理 • 用户操作日志 • 硬件监控 • 存储管理 模型训练会耗费巨大的资源并且长时间占用 • 多个用户在模型训练时需要通过队列的方式来解决资源短缺 问题 • 需要对不同用户进行资源池划分 模型管理与发布 • 模型发布： • 模型服务的负载均衡 • 硬件资源的规划 • 模型管理： • 模型的版本 • 模型的类型 研发环境与生产环境隔离 • 硬件资源互相隔离 • 网络资源相互连通 资源监控及分配策略 • 用户资源的限制 •

云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 模块化搭建 略，为 Pod 定义不同的隔离级 别。 全局管理 全局管理是以用户为中心的综合性服务板块，包含用户与访问控制、企业空 间、审计日志、平台设置等基础服务模块。 ➢ 用户与访问控制：帮助用户安全管理资源的访问权限。您可以通过用户与访问控制创 建、管理、删除用户/用户组，并灵活配置用户/用户组权限，来完成用户职能权限的 划分。 ➢ 企业空间：具有层级结构和访问权限控制的资源隔离单元。您可以按照企业开发环 境、部门结构等设置层级结构，并控制哪些人对哪些资源具有访问权限。 ➢ 审计日志：提供资源的操作记录。通过操作记录您可以快速实现安全分析、资源变 更、问题定位等。 ➢ 平台设置：通过平台安全策略、邮件服务器、外观定制等，实现用户信息的安全性和 平台的个性化。 可观测性 可观测模块 (Insight) 是以应用为中心、开箱即用的新一代云原生可观测性平 台。 能够实时监控应用及资源，采集各项指标、日志及事件等数据用来分析应

Copilot、Tabnine 和 Codeium。我们兴奋于 open-source LLMs for coding 在工具领域可能带来的变革，并且我们看到了在编码之外的辅助领域中工具和能力的爆炸式增 长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 外，还应使用 Terraform 创建监控和告 警。这将实现更模块化的 IaC，更易于理解和维护。与所有 IaC 一样，同时使用多种方式进行配置变更，会带来 不一致的风险。所以，我们建议禁用通过用户界面和 API 的方式处理配置变更，确保 Terraform 代码始终是唯 一的真实生效的版本。 9. ReAct 提示工程 试验 ReAct 提示工程是一种用于提示大语言模型的方法，相较于思维链（CoT）等竞争方法，ReAct 流水线和基础设施引入零信任安全机制——尽可能少地信赖它们。这项机制 包含一系列技术：如果可行，使用云供应商提供的联合身份校验机制，如 OIDC，来验证流水线，而不是赋予它 们直接访问机密数据的权限。实行最小权限原则去最小化个人用户和执行器账户的权限，而不是使用具有无限 访问权限的万能账户。使用一次性执行器替代重复使用执行器，来减少暴露先前任务的机密数据或在受到攻击 的运行器上运行任务的风险。将执行代理和执行器上的软件更新

热点领域和热点方向，试图在市场上抢得先机。 四是云计算技术不断推陈出新，助力产业高质量发展。随着上 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 年）》 之后第 9 次发布云计算白皮书。本白皮书聚焦过去一年多来云计算 服务能力方面，效率和性能成为云服务商竞争的新手段。随着 用云程度持续加深，用户对云服务的要求从能用转变为好用，促使 云服务商更加关注优质云能力的供给。一是更注重敏捷迭代，提升 效率。用户对加速创新，缩短研发周期，提高迭代效率的需求日益 增大，以 Serverless（服务器无感知）、低/无代码为代表的技术能够 屏蔽复杂的底层基础设施，让用户以最低学习成本、最小使用代价 最大化释放云的生产力，实现快速创新。AWS Nitro v5 为云服务提供底层支持，应 用程序可获得与运行在裸金属服务器上相近的性能。三是更注重跨 域融合，创新发展。传统业务模式不断创新，需要先进数字技术持 续交织发展放大赋能效用，以满足多样化用户群体的个性需求。云 计算充分发挥数字基础设施作用，全球厂商正积极基于云底座提供 全新的大数据、区块链、人工智能服务。2022 年谷歌提出开放、可 扩展的“数据云”愿景，构建信息统一化的“数据云”平台。百度

30000-32768 LoadBalancer k8s创建NodePort与Cluster-ip；云服务商云上的负载均衡器 去监测此k8s集群当发现有创建LoadBalancer时，就自动添加 相应的监听器（将用户的请求流量转发到pod所处node结点 上的目标service Port或node port，目标node上的ipvs规则是 直接将此node port/servce port转发到此node上的pod里） #securityContext: #安全上下文 # runAsNonRoot: true # runAsUser: 1000 #指定容器里面的运行服务的用户id # allowPrivilegeEscala�on: false livenessProbe: #pod存活性探测，对应STATUS，失败后根据 ★要求所有node结点上安装nfs客户端 # yum install rpcbind nfs-u�ls -y #安装nfs客户端 ③PVC PV是要用户了解所用到的网络存储系统的具体细节才可使用相关存储卷，而pvc 使得用户可以以抽象的方式去使用k8s集群的PV资源，pvc是pv的消费者 PVC（PersistentVolumeClaim）向PV申请特定大小的空间，从而创建出pvc存储

Operator管理理有 状态的服务 03 监控 04 Think in Cloud . 北北京 • K8S提供了了多种身份认证策略略，具体如何实施？ • K8S的有两种⽤用户：服务账号(SA)和普通⽤用户(User)，但K8S不不会管理理User，如何管理理User？ • K8S有⼀一套完整的权限系统，但如何处理理User与权限的绑定？ • 对于多集群，如何实现User跨集群的管理理？ 对于多集群，如何实现User跨集群的管理理？ 基于RBAC实现账号管理理隔离 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 • 选择Token认证⽅方式 • 通过服务账号SA模拟普通⽤用户User，即User与SA⼀一⼀一对应 • 所有模拟账号SA放置同⼀一个NS，统⼀一管理理 • 定制权限组ClusterRole • 通过授予模拟账号SA的不不同权限组，来控制不不同User在NS中的不不同权限 RoleBingding： U1<->cr-ns U2<->cr-get ……. ClusterRole: 1. cr-ns 2. cr-get Kubertnetes集群 ⽤用户管理理 ⽤用户：U1、U2 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 • 抽象Project对象给User使⽤用 • Project与每个集群的NS⼀一⼀一对应

我们是如何构建的？ PaaS Serverless Operator Platform 基于 Kubernetes 我们构建了多种多样的应用管理平台： 电商 PaaS Kubernetes 用户 ( 应用开发者和运维人员 ) 我所在的团队 为什么 我们需要在 Kubernetes 上构建这些平台呢？ 8 Kubernests 官方说： “The metadata is organized CNI CSI 为了更好的用户体验： 用户 期望： K8s 提供： 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 把 K8s 变成面向开发者的平台 构建一个具备“以应用为中心的 API 抽象”、“用户友好” 且“高度可扩展”的 且“高度可扩展”的 K8s！ 以应用为中心的 API 抽象 • 应用的工作负载和运维能力的抽象程度越高，用户体验越好 抽象程度 学习曲线 高 低 低 高 Deployment Pod Service Node … PodTemplate Configuration Revision Route $ heroku apps $ heroku domains $ heroku releases $

训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源，提高 GPU 利用率 – Job 调度 （部门 （部门 quota 限制 + 优先级） • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架（镜像）：支持官方，亦可自制 （提供 dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 服务，只需用户指定模型，即可提供 grpc 和 rest 服务，同时使用 GPU 复用 +HPA 提高 GPU 利用率 创建 Serving 与训练集成 • 用户只需要简单选择机房和 镜像填写模型名即可完成 Serving 服务创建 自有模型 • 用户只需要填写模型地址即 可 GPU 监控 • 容器监控服务，自适 应 GPU 容器，可根据 容器 IP 查询记录 , 便 于用户查看服务状态

节约 资源 8 2017 Lenovo Internal. All rights reserved. 企业级容器云设计与思考 • 设计思路 从需求出发 需求驱动，勿求大而全，没有银弹 从用户的角度思考 简单，学习成本低，改变成本小 从技术的角度评估 从成本方面衡量 资源利用率，人力成本，投入产出比 从长远技术方向考虑 未来方向，新技术潮流，公司战略 高效，稳定，可扩展 9 Lenovo Internal. All rights reserved. 企业级容器云设计与思考 • 技术的抉择 Console 前端 Console 后端 Router Builder 用户界面 后端Restful API 路由 API Gateway 镜像构建 10 2017 Lenovo Internal. All rights reserved. 容器云设计--多集群支持的容器云 多个K8S容器云集群统一管理 • Why？ 技术和管理难度大 跨数据中心 2 物理机，VMWare，OpenStack，AWS，Azure 混合基础架构 多集群统一管理，无需切换平台系统 统一用户体验 11 2017 Lenovo Internal. All rights reserved. 容器云设计--多集群支持的容器云 • 多集群，一平台 Router1 Router2 K8S-2