KubeVela：以应用为中心的 渐进式发布最佳实践 孙健波 阿里云-云原生应用平台团队 技术专家 关于我 • 孙健波 • 阿里云 (@天元) • 云原生应用平台团队--应用管理和应用交付 • Github(@wonderflow) • OAM - Open Application Model (https://oam.dev/) • KubeVela (http://kubevela 云原生时代的应用与发布挑战 01 KubeVela 简介 02 KubeVela 中的渐进式发布实践 03 云原生时代，应用是怎 么样的？ 以 K8s 资源组合为核心 kubernetes/StatefulSet Kubernetes/Deployment K8s 的原生资源组合 1. 复杂、难懂、门槛高 2. 能力局限，不同场景各不相同 3. 不统一，每一个模式需要重新编 写发布对接 K8s-sigs 只描述了应用产品元数据， 研发、运维无从入手。 2. 无人维护、缺乏活跃度。 3. 信息不足以对接发布。 kubernetes-sigs/application 几乎成为事实标准的应用打包工具 helm 1. 黑盒，不明确内部有哪些 资源。 2. 无法使用/对接云资源。 3. 发布能力缺失，使用 helm upgrade 没有灰度 能力。 Helm Chart 基于 CRD 自定义实现

事云原生及其安全技术的研 究，致力于推动云原生在通信行业落地实践，全面落实好“大安全”主责主业， 以实际行动践行“国家队、主力军、排头兵”的责任担当。2022 年，我们在“联 通合作伙伴大会”发布了《中国联通云原生安全实践白皮书》，该书系统阐述了 云计算所面临的新型安全问题，介绍了云原生安全防护体系，并给出了云原生安 全防护体系建设实践。 过去一年来，我们持续深耕云原生安全领域，联合多家单位共同编写了《云 DevOps、微服务、容器和持续集成，如图 1、图 2 所示。 图 1 云原生四要素 云原生安全威胁分析与能力建设白皮书 11 图 2 云原生四要素的基本含义 2020 年，云原生产业联盟发布《云原生发展白皮书》[1]，指出云原生是面 向云应用设计的一种思想理念，充分发挥云效能的最佳实践路径，帮助企业构建 弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维复杂度， 代 支持持续迭代和运维 自动化，利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术，旨在解决云原生技术面临的安全问题， 其作为一种新兴的安全理念，强调以原生的思维实现云上安全并推动安全与云计 算深度融合。我们在 2022 年发布的中国联通云原生安全实践白皮书中[2]，对比 分析了不同的

心价值，需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力，导致传统安全实施方法、角色、流程、技术 都发生了很多变化，适应这些变化是落地云原生安全的关键！ 标准化能力-承载无忧-E2E云原生纵深安全保障-2-商业价值 腾讯安全战略研究部联合腾讯安全联合实验室近日共同发布《产业互联网安全十大趋势(2021)》(下简称《趋势》)，基于2020年的产业实践和行业风向， 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术 说明 优点 缺点 SAST(静态应用程序 安全测试) 进行静态扫描，尽可能前置，在IDE编写代码或者提交代码时进行，将极 大优化整体效率和成本 可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以

服务治理最佳实践 • 服务元信息 运行态Ops 开发态Dev 安全态Sec 发布态 高可用 测试态Test • 服务契约管理 • 服务调试 • 服务Mock • 端云互联 • 开发环境隔离 • 服务压测 • 自动化回归 • 流量录制 • 流量回放 • 无损上下线 • 服务预热 • 金丝雀发布 • A/B Test • 全链路灰度 • 服务鉴权 • 漏洞防护 • 调度分配 斯凯奇 云原生网关最佳实践 配置管理最佳实践 服务和路由规则 预案 限流 开关 动态UI 机房切流 文案、公告 前后端独立发布 布局、氛围调整 高可用平台配置 降级 开关 特性 开关 紧急预 案 提前预 案 白名单 日志级别 、采样率 超时、重试 流量调度 动态数据源 故障自动切库 DB大促预建联 密码定期修改 流量控 制 线程控 制 微服务生态

生态融合，在实践的道路上一步步的走向云原生。 2018年3月 MOSN 诞生 支持 Service Mesh 核心支付链路覆 盖 MOSN 宣布独立运营 CNCF landscape V0.13.0 发布， 进行云原生组 件生态融合 Istio 官方推荐 数据面 MOSN 和 Envoy、 Dapr、WASM 开始展开生态合作 商业化落地 江西农信 Mesh 阿里云 CDN 2019年双11 Debug log • GoLang runtime 指标 CGO 断点调试支持 MOE 方案介绍 — 方案总结 研发 效能 双模 支持 生态 丰富 • 将 MOSN 作为 Envoy 动态 so， 提升编译速度 • 增强 Envoy 扩展能力，复用 MOSN 现有的 filter 能力 • 同时具备云原生 xDS 、 REST API服务元数据管理 通道能力 • 复用 Envoy

实施云原生。 攘外必先安内 项目 说明 全托管K8S 全托管K8S服务带来了发布和扩容效率的提升、更稳定的容器运行时、节点自愈能力，结合发 布自动化、资源管理自动化等能力可以实现应用与基础设施层的全面解耦 统一化ServiceMesh 将应用的分布式复杂性问题托付给Mesh层的数据面和控制面组件，实现全链路精准流量控制、 资源动态隔离以及零信任的安全能力，保证应用架构的稳定性目标的实现。 Serverless化

私有云市场规模 645.2亿 投 入 技 术 运 维 纳 管 规 模 9%客户投入占总IT投 入的一半以上 成为主要支出方向 中心集群规模为主 部署形态多元化、多云/混合云架构成为主流 自动化 用户软件发布方 式正在向自动化 转变 容器 60%以上用户已 经在生产环境应 用容器技术 微服务 微服务架构成为 主流，八成用户 已经使用或者计 划使用微服务 Serverless Serverless技术显 著升温，近三成 云原生底座=控制器+调度器的组合+Docker=根据环境的变化而动+基于封装 一致性的大规模分发 服务编排基本原理： • 以度量为基础，以NodeSelector算法来 决定在哪儿部署容器服务 • 运行时以期望与实际的差别进行动态调 整到期望的状态 标准化能力-分布式操作系统核心-容器服务-基本技术原理 事实标准的K8S容器服务设计 成应用与物理资源（IaaS，虚 拟机、物理，多云）的中间抽 象层，因为应用很复杂，很容

基于云原生打造一站式DevSecOps平台，致力于解决企业在数字化转型中的研发效能提升问题，提供从 “需求-开发-测试-发布-运维-运营”端到端的协同服务和研发工具支撑。助力企业产品快速创新迭代，进行 数智化化转型、实现业务价值。 • 端到端自动化交付流水线 • 开发过程自主可控 • 一键发布上磐基，实现“乘舟上云，稳如磐基” • 沉淀IT软件资产，核心代码掌控 • 提升开发交付效率 一键 上磐基 环境变量中的密码等敏感 信息进行发现，防止敏感 信息泄露。 构建历史命令审计 对镜像文件构建的历史命 令进行审计扫描，对高危 操作进行标记并告警。 镜像发布管控 镜像在被发布之前，依据 安全策略对镜像进行检测 ， 或者依据检测结果对镜像 发布流程进行放行或者阻 断、忽略操作，防止危险 镜像通过发版。 安全测试-APP扫描 移动应用安全检测和个人信息合规检测能力，基于磐舟平台，容器化部署，紧邻租户业务系统，支持浏览器 UI测试 功能系统测 试 测试报告输出 镜像库 性能/容量 测试 功能验收测 试 验收报告输出 镜像库 生产部署验 证 生产 发布 上线申请 提测 申请 生产 运营 单元 测试 需求安全分析 源代码审计 镜像安全扫描 服务 发布 冒烟 测试 基础镜像安全加固 代码 仓库 第三方开源 组件安全扫描 灰盒审计 手工渗透测试 镜像扫描 基线合规 实时监测

1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况： • 业界首个云原生批量计算平台 Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列，队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化，并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化，异构硬件支持x86, Arm, GPU, 昇腾，昆仑等。 Volcano 支持业界主流计算框架，如Spark、TensorFlow等； • 多用户公平分配资源，快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载； • Queue动态资源共享，DRF、优先级抢占 用户收益： • 大数据作业从Yarn平滑迁移至K8s； • 云原生DAP平台服务于17个国家/地区，1100用户，年增长率8.1%； • DAP平台运行项目450+

2018-11-09 � 部署Istio 打开容器器服务控制台，在左侧导航栏中选中集群，右侧点击更更多，在弹出的菜单中选中 部署Istio。 在打开的⻚页⾯面中可以看到Istio默认安装的命名空间、发布名称； 通过勾选来确认是否安装相应的模块，注意勾选下Kiali Kiali； 点击 部署Istio 按钮，⼏几⼗十秒钟之后即可完成部署。 ⾃自动 Sidecar 注⼊入 查看namespace： 对应的集群和命名空间，在列列表中找到istio-ingressgateway的外部端点地址。 打开浏览器器，访问http://{GATEWAY-IP}/productpage 部署v2 - 灰度发布 运⾏行行以下命令部署v2： 1 kubectl apply -f addedvalues-v2.yaml 部署DestionationRule： 1 kubectl apply -f destination-v2 virtualservice-v1-v2.yaml 当前v1和v2的流量量分别为50%. 然后，通过以下命令v2接管所有流量量： 1 kubectl apply -f virtualservice-v2.yaml 完成灰度发布，切换到v2。 请求路路由 接下来会把特定⽤用户(登录名称以yunqi开头的)的请求发送给 v3 版本，其他⽤用户则不不受影响。 运⾏行行以下命令部署v2： 1 kubectl apply -f