云原生社区Meetup 第三期·杭州站 使用 Chaos Mesh 来保障云原生系统的健壮性 演讲人：周强 GitHub 地址：https://github.com/zhouqiang-cl PingCAP 工程效率负责人，ChaosMesh 负责人 云原生社区Meetup 第三期·杭州站 The incident in the production environment

究，致力于推动云原生在通信行业落地实践，全面落实好“大安全”主责主业， 以实际行动践行“国家队、主力军、排头兵”的责任担当。2022 年，我们在“联 通合作伙伴大会”发布了《中国联通云原生安全实践白皮书》，该书系统阐述了 云计算所面临的新型安全问题，介绍了云原生安全防护体系，并给出了云原生安 全防护体系建设实践。 过去一年来，我们持续深耕云原生安全领域，联合多家单位共同编写了《云 原生安全威胁分析与能 云原生四要素的基本含义 2020 年，云原生产业联盟发布《云原生发展白皮书》[1]，指出云原生是面 向云应用设计的一种思想理念，充分发挥云效能的最佳实践路径，帮助企业构建 弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维复杂度， 代表技术包括不可变基础设施、服务网格、声明式 API 及 Serverless 等。云 原生技术架构的典型特征包括：极致的弹性能力，不同于虚拟机分钟级的弹性响 图 3 所示。其中，横轴是开发运营安全的维度，涉及需求设计（Plan）、开发（Dev）、 运营（Ops）,细分为需求、设计、编码、测试、集成、交付、防护、检测和响 应阶段；而纵轴则是按照云原生系统和技术的层次划分，包括容器基础设施安全、 容器编排平台安全、微服务安全、服务网格安全、无服务计算安全五个部分，二 维象限中列举安全机制（蓝色标注部分）已经基本覆盖全生命周期的云原生安全 能力。此外，DevSecOps

Load 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环境变化也是碎片化的，而且其业务类型越来越多，比如已经延展到边 缘计算盒子，此时攻击面被放大，在云原生环境下安全是一个核心价值，需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力，导致传统安全实施方法、角色、流程、技术 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术 说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试，通过污点跟 白盒测试，通过污点跟踪对源代码或者二进制程序（也包括Docker镜像等） 进行静态扫描，尽可能前置，在IDE编写代码或者提交代码时进行，将极 大优化整体效率和成本 可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。

•原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交 •老一代监控系统更多的是关注机器、交换机、中间件的监控，每个监控对象一个标识即可，没有维度的设计 •新一代监控系统更加关注应用侧的监控，没有维度标签玩不转，每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系庞大，组件众多，涉及underlay、overlay两层网络，容器内容器外两个namespace，搞懂需要花些时间 •Kubernetes的监控，缺少体系化的文档指导，关键指标是哪些？最佳实践是什么？不是随便搜索几个yaml文件能搞定的 • kubelet_running_pods：运行的Pod的数量，gauge类型 • kubelet_running_containers：运行的容器的数量，gauge类型， container_state标签来区分容器状态 • volume_manager_total_volumes：volume的数量，gauge类型，state标签用 于区分是actual还是desired • kubelet

OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT：安全、稳定、性能 敏态IT：敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 机构 内部员工 移动 接入 内部员工/合作伙伴 OA CRM HRM …… BPM MES 稳态IT WEB APP 移动用户 采购 平台 互联网 平台 数字 营销 敏态IT 互联网/物联网应用 创新应用 PC用户 物联网 物联终端 互联网、 大数据 AI、 IoT 数字化转型  应用价值提升  应用数量增长  应用类型丰富  应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加

DevOps解决方案最高等 级先进级的现场认证 ü 2021年通信行业云计算领域风云团队奖 ü 创新解决方案证书 最高等级认证 优秀案例 专业认证 获奖情况 人 1，00000000000 系统 国家 稳定 发展 健康 财富 安全 创新 安全的重要性 01 磐舟DevSecOps平台概况 02 磐舟DevSecOps平台安全能力 03 磐舟DevSecOps实践总结 目 录 "#$%&'( !"#$)*+,- !"#$%&' 安全开发-代码扫描SAST 源代码审计针对源代码缺陷进行静态分析检测。它在对目标软件代码进行语法、语义分析的技术上，辅以数据流 分析、控制流分析和特有的缺陷分析算法等高级静态分析手段，能够高效的检测出软件源代码中的可能导致严重 缺陷漏洞和系统运行异常的安全问题和程序缺陷，并准确定位告警，从而有效的帮助开发人员消除代码中的缺陷、 培养安全开发意识 或者依据检测结果对镜像 发布流程进行放行或者阻 断、忽略操作，防止危险 镜像通过发版。 安全测试-APP扫描 移动应用安全检测和个人信息合规检测能力，基于磐舟平台，容器化部署，紧邻租户业务系统，支持浏览器 访问及API。已对接磐舟CI/CD流程，资源可弹性管理，可满足高可用、高扩展、高容错等特征。 待检测APP APP自动化检测 APP安全检测报告 APP安全检测 个人信息保护专项检测

Kubernetes + YARN Kubernetes + Volcano 静态划分资源池 统一资源池 Kubernetes + YARN Kubernetes + Volcano 集群低负载场景 K8s资源池空闲，大数据业务无法使用 大数据业务可以使用集群整体空闲资源， 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资 金融投资公司，业务场景主要为策略研究开发、AI 训练与推理、 大数据ETL和离线批处理任务 客户诉求： • 要求调度系统提供公平机制，满足公司内多团队资源共享，保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题 • 要求调度系统统一支持AI、大数据、Batch Job 解决方案： • Volcano 统一支持AI、数据ETL和离线Batch job

测试集群 生产集群 https://myapp.io Running Instances 注册 工作负载类型 运维特征 发布/部署 CRD 注册中心 KubeVela 的 Application 对象 镜像与启动参数 多组件 如何扩容 扩容指标，实例数范围 组件类型 可灵活扩展的其 他能力 • 一个完整的应用描述文件（以 应用为中心） • 灵活的“schema”（参数由 通过 vela 的命令行工具可以查看。 3. 用户也可以自己基于 json schema 去 渲染集成进自己的前端。 KubeVela 的能力模板 – 组件类型 抽象封装方式 K8s 对象模板 CUE 模板 工作负载类型 Helm chart 封装 其他封装 使用方式(json schema) KubeVela 的能力模板 – 运维能力 抽象封装方式 可作用的工作负载 metrics.yaml 用户： ● 立刻就可以在 Application 中定义一个新的字段 metrics ● 无需系统更新或重启 Platform Builder 模型层能力注册 KubeVela 为什么能对不同 Workload 做统一发布？ 工作负载类型 ① 统一 类型注册和识别 健康检查 ② 统一 状态检查和回流 发布模式 ③ 统一 发布方式 资源模板 ④ 统一 抽象方式 KubeVela

配置文件”部分。可以 次指定此选项以加载多个配置文件。如果多次指定，则稍后加载的配置文件将与先前加载的配置文件 并。在配置合并期间，单值键（string，int，bool）将简单地替换它们的值，而列表类型将被附加在 起。 ● -config-dir：要加载的配置文件的目录。Consul将使用后缀“.json”或“.hcl”加载此目录中的所 文件。加载顺序是按字母顺序排列的，并且使用与上述config-file选项相同的合并例程 data-dir：此标志为代理程序存储状态提供数据目录。这是所有代理商都需要的。该目录在重新启 后应该是持久的。这对于在服务器模式下运行的代理尤其重要，因为它们必须能够持久化群集状态。 外，该目录必须支持使用文件系统锁定，这意味着某些类型的已安装文件夹（例如VirtualBox共享文 夹）可能不适合。注意：服务器代理和非服务器代理都可以在此目录中的状态中存储ACL令牌，因此 访问可以授予对服务器上的任何令牌以及非服务器上的 com/shirou/gopsutil/tree/master/host生成基于主机的ID ，这是 HashiCorp的Nomad共享的 ，因此如果您选择使用基于主机的ID，那么Consul和Nomad将使用信 在主机上自动在两个系统中分配相同的ID。 ● disable-keyring-file：如果设置，密钥环将不会持久保存到文件中。关机时任何已安装的密钥都将 失，-encrypt启动时只有给定的 密钥可用。默认为false。

scope」的Metrics 例如：响应Request A的实例在一段时间内做了多少次GC？ ① 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ② 应用、系统、网络的Metrics之间 例如：某个Service的Pod的QPS、IOPS、BPS分别是多少？ 例如：Pod所在的KVM宿主机的CPU、内存指标？ ② 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ④应用、系统、网络的Log之间 例如：应用日志ERROR与Ingress日志有什么关联吗？ ④ 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ⑤「非Request scope」的Log与Trace之间 例如：系统日志异常与Request时延增大是否有关联 ⑤ 看云网更清晰 Simplify Simplify the growing complexity. 数据打通并不简单 ⑥ 应用、系统、网络的Trace之间 例如：访问一个服务的耗时究竟有哪些部分组成？ App，Sidecar，Node，KVM，NFVGW？ ⑥ 看云网更清晰 Simplify the growing complexity. 我们需要哪些Tag？OpenTelemetry的答案 服务属性 代码属性 实例属性