云原生社区Meetup 第三期·杭州站 使用 Chaos Mesh 来保障云原生系统的健壮性 演讲人：周强 GitHub 地址：https://github.com/zhouqiang-cl PingCAP 工程效率负责人，ChaosMesh 负责人 云原生社区Meetup 第三期·杭州站 The incident in the production environment

开发过程自主可控 • 一键发布上磐基，实现“乘舟上云，稳如磐基” • 沉淀IT软件资产，核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 统一 镜像库 云原生 验证环境 磐基 原生使用模式，开发组件一键部署 云原生CI持续集成 使用Dockerfile进行云原生方式的CI构建， 拓展形成ARM、x86双架构流水线，底层 安全漏洞统一修复 全面云原生安全 支持代码安全扫描、镜像安全扫描、开源 协议扫描、依赖漏洞扫描。并可给出修复 建议。支持开源风险持续治理。 108 48 78 6 84 1 1 16 14 0 50 100 150 200 研发类 新业务开发 87055条/个 平台管理的需求、任务、缺陷、文档、镜像等数字资产 10.43亿 平台管理的业务或应用代码行数 215.87万 平台进行代码质量扫描、代码安全扫描、镜像安全扫描、整体安全扫描量 183.81万 提交代码、构建、部署总次数，其中x86构建16.42万次，arm构建1.59万次 企业级超大规模实践—推动中移数字化转型 中国移动集团范围内推广使用磐

究，致力于推动云原生在通信行业落地实践，全面落实好“大安全”主责主业， 以实际行动践行“国家队、主力军、排头兵”的责任担当。2022 年，我们在“联 通合作伙伴大会”发布了《中国联通云原生安全实践白皮书》，该书系统阐述了 云计算所面临的新型安全问题，介绍了云原生安全防护体系，并给出了云原生安 全防护体系建设实践。 过去一年来，我们持续深耕云原生安全领域，联合多家单位共同编写了《云 原生安全威胁分析与能 云原生四要素的基本含义 2020 年，云原生产业联盟发布《云原生发展白皮书》[1]，指出云原生是面 向云应用设计的一种思想理念，充分发挥云效能的最佳实践路径，帮助企业构建 弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维复杂度， 代表技术包括不可变基础设施、服务网格、声明式 API 及 Serverless 等。云 原生技术架构的典型特征包括：极致的弹性能力，不同于虚拟机分钟级的弹性响 图 3 所示。其中，横轴是开发运营安全的维度，涉及需求设计（Plan）、开发（Dev）、 运营（Ops）,细分为需求、设计、编码、测试、集成、交付、防护、检测和响 应阶段；而纵轴则是按照云原生系统和技术的层次划分，包括容器基础设施安全、 容器编排平台安全、微服务安全、服务网格安全、无服务计算安全五个部分，二 维象限中列举安全机制（蓝色标注部分）已经基本覆盖全生命周期的云原生安全 能力。此外，DevSecOps

开场：云原生与制品管理 - 初识Harbor：云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [1] 云原生(cloud-n 机器人账户 Webhooks 项目配置 项目1 项目标签管理 项目扫描器设置 项目级日志 系统设置（鉴权模式等） 内容复制 垃圾回收(GC) 配额管理 扫描管理 用户管理 系统标签管理 P2P预热管理 Harbor 系统 系统级日志 搭建Harbor仓库服务 离线安装包 • 通过Docker-compose编 pull/push ... Project operation & management Settings 提供以项目为单位的逻辑隔离，存储共享 不同角色具有不同的访问权限，可以与其它用户系统集成 配额管理 制品的高效分发-复制 [1] 基于策略的内容复制机制：支持多种过滤器(镜像库、tag和标签）与多种触 发模式（手动，基于时间以及定时）且实现对推送和拉取模式的支持 初始全量复制

Web通用漏洞 SQL注入、命令执行、XXE、XSS等OWASP TOP10 业务逻辑漏洞 水平/垂直越权、短信轰炸、批量注册、验 证码绕过等 合规需求、安全配置 未能满足安全合规、未建立安全基线、敏 感数据泄漏 开源组件/闭源组件 CNNVD、CNVD、CVE等 开源许可风险 自研代码 容器环境镜像风险 软件漏洞、恶意程序、敏感信息泄漏、不安全配 置、仓库漏洞、不可信镜像 A、RASP、漏洞情报）； • 在云原生应用的开发端及运营端均发挥作用。 实践现状 SBOM的应用现状 • 根据《Anchore 2022 软件供应链安全报告》，尽管 SBOM 在提供对云原生应用可见性方面 发挥着基础性作用，但只有三分之一的组织遵循 SBOM 最佳实践。 SBOM的应用现状 云原生基于“责任自负”的开源世界 云原生开源应用漏洞 OpenSCA扫描结果 h********r-main 链攻击，比2021年增长三倍”——Gartner 云原生时代下的软件供应链攻击 软件供应链安全事件频发，“核弹级”第三方组件漏洞的影响面和危害大 2020 年12月，美国企业和政府网络突遭“太阳风 暴”攻击。黑客利用太阳风公司（SolarWinds） 的网管软件漏洞，攻陷了多个美国联邦机构及财富 500 强企业网络。2020 年 12 月 13 日，美国政府 确认国务院、五角大楼、国土安全部、商务部、财

云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环境变化也是碎片化的，而且其业务类型越来越多，比如已经延展到边 缘计算盒子，此时攻击面被放大，在云原生环境下安 和降低成本 默认安全策略，可以天然的规避大部分 安全问题，使得人员配置和沟通工作大 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 技术 说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试，通过污点跟踪对源代码或者二进制程序（也包括Docker镜像等） 进行静态扫描，尽可能前置，在IDE编写代码或者提交代码时进行，将极 大优化整体效率和成本 可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟

阿里微服务产品解法和优势 云原生和微服务简介 微服务的价值和挑战 图片源自：http://www.zyiz.net/ 价值 效率（人越来越贵，算力越来越便宜） • 研发超过 10 人在 1 个代码冲突多 • 系统超过 5 个测试&上线协同代价大 • 数字化升级需要快速迭代 性能 • 单机成为性能瓶颈 可用性 • 单机成为可用性瓶颈 挑战 • 技术复杂度上升 • 运维成本上升 • 可定位性变差 • 开发环境隔离 • 服务压测 • 自动化回归 • 流量录制 • 流量回放 • 无损上下线 • 服务预热 • 金丝雀发布 • A/B Test • 全链路灰度 • 服务鉴权 • 漏洞防护 • 配置鉴权 • 离群实例摘除 • 限流降级 • 同AZ优先路由 • 就近容灾路由 • 服务巡检 • 标签路由 • 服务超时和重试 基础治理能力 高阶治理能力 日常环境隔离最佳实践

OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT：安全、稳定、性能 敏态IT：敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 机构 内部员工 移动 接入 内部员工/合作伙伴 OA CRM HRM …… BPM MES 稳态IT WEB APP 移动用户 采购 平台 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加

高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题，计算量属于窄带范畴， 所以计算算力重点在于云端，云端计算体系架构成熟， 成本较低，在业务上本地的设备根据模式信号反馈一些 动作，比如下雨关窗帘，是自动化范畴，上传云端的数 据都是属性数据，比如谁什么时候干了什么，后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 根据个人喜好数据为用户提供比如按照个人喜好调节温 度、或者提送广告内容等 自动化特征 智能家居 智能办公室 智能信号灯... 远端控制 云端分析系统 设备端 (现场)边缘计算BOX 业务场景复杂，对算力、通信要求很高，计算放置于 云端时效性差，另外无法现场就对业务进行处理，比 如计算路口交通事故预警，给予司机及时提示等，所 以将算力卸载在距离业务现场、设备最近的地方，就 是边缘计算的场景，它的价值空间远超AIoT，可以更 高级能力-业务双引擎循环驱动-业务数据化、数据业务化 互联网业务、万物互联业务等等造就了海量数据，而海量数据应该也必须能够提炼出价值为业务反向赋能，形成正向业务价值循环 云原生平台(PaaS+Caas+IaaS) 业务系统连接一组人，或者说企业业务实际能力提供者，通过双中台可 以将最上层业务产品诉求直接下沉到能力端，比如我们需要快速搭建一 个电商下单APP，只需要利用中台提供的能力要素，并在APP端组织业务 流程或者

scope」的Metrics 例如：响应Request A的实例在一段时间内做了多少次GC？ ① 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ② 应用、系统、网络的Metrics之间 例如：某个Service的Pod的QPS、IOPS、BPS分别是多少？ 例如：Pod所在的KVM宿主机的CPU、内存指标？ ② 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ④应用、系统、网络的Log之间 例如：应用日志ERROR与Ingress日志有什么关联吗？ ④ 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ⑤「非Request scope」的Log与Trace之间 例如：系统日志异常与Request时延增大是否有关联 ⑤ 看云网更清晰 Simplify Simplify the growing complexity. 数据打通并不简单 ⑥ 应用、系统、网络的Trace之间 例如：访问一个服务的耗时究竟有哪些部分组成？ App，Sidecar，Node，KVM，NFVGW？ ⑥ 看云网更清晰 Simplify the growing complexity. 我们需要哪些Tag？OpenTelemetry的答案 服务属性 代码属性 实例属性