Chaos Mesh 在网易伏羲私有云自动化故障注入实践 Speaker Name：张慧 网易伏羲 Speaker Title：网易伏羲私有云质量保障负责人、Chaos Mesh 布道师、云原生社区 Stability SIG 发起人 Email：zhangui05@corp.netease.com 云 原 生 学 院 目录  网易伏羲私有云简介  为什么混沌测试  什么是混沌测试 识别出来。通过主动制 造故障，测试系统在各种压力下的行为，识别并修复故障问题，避免造成严重后果。 混沌工程将预想的事情和实际发生的事情进行对比，通过“有意识搞破坏”来提升系统稳定性。 鲁棒性 故障注入 如何选择混沌测试工具 混沌工具 混沌工具 为什么是 Chaos Mesh 为什么是 Chaos Mesh ● PodChaos: kill / fail

5：Serverless 攻击...........................................................................33 2.6.1 事件注入攻击........................................................................................34 2.6.2 年上半年云安全态势报告》显示[7]，在云环境中容器 资产占比达到 45.06%，攻击者通过攻击容器，就可以进一步获取宿主机系统权 限，威胁宿主机上的其他容器和内网安全。另外，随着各个企业云上业务的快速 发展，越来越多的应用开发深度依赖 API 之间的相互调用。根据 2023 上半年的 攻击数据显示，攻击者利用 API Key、敏感文件执行、敏感信息读取等手段发起 的攻击次数呈明显上升趋势，占总攻击事件的 1.69%。API 滥用已成为导致企 发起攻击，无服务器架构颠覆性的变化，给应用 服务开发商和拥有者带来了全新的安全挑战。路径 5 显示了攻击者利用 Serverless 存在的安全风险进行攻击的路径，可能存在的攻击手段包括：事件 注入攻击、敏感数据泄露攻击、身份认证攻击、权限滥用攻击、拒绝服务攻击和 针对函数供应链的攻击。 云原生安全威胁分析与能力建设白皮书 21 下面我们对威胁全景中攻击路径 1 至路径 5 的具体攻击手段，进行详细的

组件的清单。 • SBOM能够列出管理这些组件的许可证，代码库中使用的组件的版本及其补丁程序状态。 云原生应用安全风险面 第三方组件 开源组件 应用安全 风险面 Web通用漏洞 SQL注入、命令执行、XXE、XSS等OWASP TOP10 业务逻辑漏洞 水平/垂直越权、短信轰炸、批量注册、验 证码绕过等 合规需求、安全配置 未能满足安全合规、未建立安全基线、敏 感数据泄漏 现 ： 闭 源 > 开 源 > 混 源 服 务 器 ： 物 理 机 > 虚 拟 化 > 容 器 化 聚焦到应用系 统风险源头 API安全性 失效的用户认证、安全性、错误配置、注入等 闭源组件 软件物料清单的描述 软件物料清单（SBOM, Software Bill Of Material）是云原生时代应用风险治理的基础设施。 特点： • 是治理第三方组件风险（开源+闭源）的必备工具； 软件生产商使用SBOM来协助构建和维护他们提供的软件； 〇 软件采购商使用SBOM来进行采购前参考、协商折扣和制定采购策略； 〇 软件运营商使用SBOM为漏洞管理和资产管理提供信息，管理许可和 合规性，并快速识别软件和组件依赖关系以及供应链风险。 2）从企业角色类型来看，对SBOM有不同的使用需求： 〇 开发团队：用于管理软件资产，在开发早期即可评估安全风险，筛选 适合的组件/软件，并持续更新SBOM； 〇 安全

LB 的时候，需要申请的是内网 IP，而不是公网 IP 迭代2-ServiceMesh 需求： • 使用 OpenKruise 的 SidecarSet 注入/更新 Sidecar（MOSN） • Controller 兼容自动注入逻辑 迭代3-Multi Runtime 需求： • 使用 Containerd 之后、根据不同业务场景使用不同的 Runtime • 兼容 EKS 和 最好能兼容现在的逻辑（Helm 发布） • 方便扩展 • 高级特性 …… 社区的力量 https://github.com/clusternet/clusternet • 轻量化部署，不依赖额外的存储和端口 • 兼容所有k8s 资源，包括helm chart以及各种CRD • 分发策略，差异化策略灵活搭配实现复杂场景 …… 实践

可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以 建议在业务低峰时进行。 IAST(交互式应用程序 安全测试) 结合 式，IAST可以像SAST一样精准的发现问题点 SCA（软件成分分析） 有大量的重复组件或者三方库的依赖，导致安全漏洞被传递或者扩散， SCA就是解决此类问题的办法，通过自动化分析组件版本并与漏洞库相 比较，快速发现问题组件，借助积累的供应链资产，可以在快速定位的 同时，推动业务快速修复。 安全左移的一种，在上线前发现依赖组件的安全 问题，快速借助供应链资产库，帮助业务修复问 题。 需要进行大量的安全特征以及资产库的建设或者 数据的安全生命周期返程三种不同状态：存储中、传输中、使用中，但 是对第三种场景，一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE（比如IntelSGX，蚂蚁的KubeTEE等）可以保护运行中的数据和 代码，完成了安全闭环。 依赖于硬件和更高阶密码学，可以彻底阻断物理 设备以及软件的攻击，是高级的安全保障技术。 TEE是运行态主动防护的高级手段，对高安全生产 环境建议使用。 成本较高，所以要视业务场景要求取舍。 Mesh零信任

Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用 labelmap，即：通过这种方式采集的数据，我们无法得到 node 上的 label 数据。node 上的 label 数据最核心的就是 标识了 node 的 IP • 我们可以通过环境变量为抓取器注入NODEIP，比如用 Categraf 的话，就会自动把本机 IP 作为标签带上去，设置 config.toml 中的 hostname=“$ip” 即可 完整配置可以参考： https://github ETCD 也是直接暴露 /metrics 接口，可以直接抓取 • ETCD 可以考虑使用 sidecar 模式来抓，对于运维比较简 单一些，不需要先部署 ETCD 再去配置抓取规则 • ETCD 强依赖硬盘做持久化，所以要特别关注硬盘相关的 指标，尽量用 SSD 或 NVME 的盘 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml，如果是 sidecar 模式，就直接使

depoyment中标记丰富label • * 服务注册时，向服务注册中心中注册丰富的信息 • * 处理请求时，在标准协议的Header中增加标签 • 逐步减少需要直接在观测数据中注入的标签 • 减少重复的、不标准的标准注入 • 让每个标签只在一个地方注入 • 让尽量多的标签自动化注入 100+维度的云原生服务访问全景图：MTL关联、切分、下钻 THE FORCE，原力 看云网更清晰 Simplify the growing

安装配置：在硬件上安装软件，不乏 针对硬件特性的适配、还需要安装OS 等，最后还要在OS上安装应用，并且 还要保证应用软件依赖拓扑结构不会 出错。 3. 集成点：包括新环境的硬件、软件和 应用与遗留系统的集成，比如，监控、 服务注册中心、文件传输、消息集成、 ITSM等系统的部署集成。 4. 由于上层所依赖的底层环境在不同交 付环境中是不同的，而传统交付方式 缺乏脚本能“理解”的方式来表达这些 差异，此外由于事后更新OS、三方库 客户环境交付 制品 • 云应用交付最难的还不是RT的 碎片化，最难的是环境依赖的 碎片化，比如，硬件环境、网 络环境、运维规范等的碎片化。 尤其是运维方面的差异化，必 然导致私有Paas的出现！ • 虽然服务网格、虚拟化等正在 努力解决交付困难的问题，但 是依然对除RT外的环境依赖碎 片化无能为力。 • 背后的原因在于特定环境依赖或者运维规范问题渗透到了PaaS本身， 或者大家常说的定制化场 把研发和运维的描述放在了一起；其二是Operator（CRD），我们不得不为不同 客户开发很多不同特质的Operator，交付成本依然很高。 定制Operator这种解决方案，看似 比较合理,但是强烈依赖于K8S这种 容器调度系统，无法做到通用化， 所以客户必须要求先做针对K8S的 应用改造。 K8S没有应用概念，用户面对的是Workload和Pod这样的概念，以及对应的运维概念（比如 HPA),在

behind 50亿$ 200亿$ 500亿$ 问题：依赖于eBPF，仅支持Kernel 4.15+ simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 业界动向 —— 云厂商监控 阿里云ARMS 问题：依赖于eBPF，仅支持Kernel 4.15+、仅阿里云（K8s需托管） 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 业界动向 —— 开源APM Skywalking 问题：eBPF的内核依赖问题 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved 获得原力的挑战 SLB / APIGW/ … KVM switch VM iptables POD envoy 服务 KVM switch VM iptables POD envoy 服务 端点：eBPF内核依赖 路径：全链路数据关联 © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力

低成本支撑企业创新以及数字疆域规 模扩张 1 技术架构变化：因商业或者演化而 变带来不稳定因素 2 制品变化：代码因商业而变带来新 的功能缺陷 3 配置变化：因环境而变带来的不稳 定性因素 6 外部依赖变化：ERP可用性变化 带来的不稳定因素 5 人员变化：没有知识沉淀导致的 不稳定因素 4 环境变化：因安全、流量、故障、环境崩 溃、底层IT变更而变带来的不稳定因素 非云原生：无法对应变 化=稳定性无法保证 从支持应用不同维度发展，最终走在了一起 2010年WSO2提出 类云原生的概念 云原生应用相比传统应用的优势 低成本 高敏捷 高弹性 云原生应用 传统应用 部署可预测性 可预测性 不可预测 抽象性 操作系统抽象 依赖操作系统 弹性能力 弹性调度 资源冗余多 缺乏扩展能力 开发运维模式 DevOps 瀑布式开发 部门孤立 服务架构 微服务解耦架构 单体耦合架构 恢复能力 自动化运维 快速恢复 手工运维 恢复缓慢 算、存储和网络进行超融 合，提供极其简单的底层 运维能力，进一步简化云 原生+资源层整体运维和 提升资源利用质量。 标准化能力-按需调度-Serverless 业务价值 架构 • 彻底消除传统服务端基础设施依赖，降低研发复杂性和运维难度 • 按实际调用量进行自动的容量扩缩 • 专注业务逻辑开发，无须关心基础设施 • 只需要将视频存入存储，接入极其简单，达到极致业务体验 • 按需加载资源，使用时调度，不使用时自动回收，达到极致