云原生社区Meetup 第三期·杭州站 使用 Chaos Mesh 来保障云原生系统的健壮性 演讲人：周强 GitHub 地址：https://github.com/zhouqiang-cl PingCAP 工程效率负责人，ChaosMesh 负责人 云原生社区Meetup 第三期·杭州站 The incident in the production environment

中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院，并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的， 应注明“来源：中国联通研究院”。违反上述声明者，本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 1 目 录 一、云原生安全概述......... 7 前 言 在数字化转型的大潮中，云计算作为实现创新和提高运营效率的关键技术， 成为了新一代信息技术的核心引擎。随着云计算的飞速发展和广泛应用，以及万 千企业数字化转型换挡提速，企业对云计算的使用效能提出新的需求。云原生以 其独特的技术特点，很好地契合了云计算发展的本质需求，正在成为驱动云计算 质变的技术内核。 云原生作为云计算深入发展的产物，已经开始在 5G、人工智能、大数据等 各 示云原生应用关键技术面临的安全威胁。 图 5 云原生关键技术威胁全景 路径 1：攻击者通过攻击镜像层，改变云原生应用的不可变基础设施，引导 云原生安全威胁分析与能力建设白皮书 20 受害者使用该镜像创建容器，进而实现入侵容器、宿主机的目的。路径 1 显示 针对镜像层可能存在的攻击手段，包括：镜像投毒攻击、镜像仓库攻击、中间人 攻击、敏感信息泄露攻击和针对镜像不安全配置的攻击。 路径

0及更高版本中，可以将其设置为 go-sockaddr 模板。 ● -advertise-wan：广告WAN地址用于将我们通告的地址更改为通过WAN加入的服务器节点。当与t anslate_wan_addrs配置选项结合使用时，也可以在客户端代理上设置此选项。默认情况下，-adverti e通告地址。但是，在某些情况下，所有数据中心的所有成员都不能位于同一物理或虚拟网络上，尤 是混合云和私有数据中心的混合设置。此标志使 否则，无法保证一致性，因为多个节点能够自我选择。在引导群集后，建议不 使用此标志。 ● -bootstrap-expect：此标志提供数据中心中预期的服务器数。不应提供此值，或者该值必须与群 中的其他服务器一致。提供后，Consul将等待指定数量的服务器可用，然后引导群集。这允许自动选 初始领导者。这不能与传统-bootstrap标志一起使用。此标志需要-server模式。 ● -bind：应绑定到内 ul将在启动时退出并显示错误。Consul同时使用TCP和UDP以及相同的端口。如果您有防火墙，请务 同时允许这两种协议。在Consul 1.0及更高版本中，可以将其设置为需要解析为单个地址的go-socka dr模板。 ● -serf-wan-bind ：应该绑定到Serf WAN八卦通信的地址。默认情况下，该值遵循与-bind命令行 志相同的规则，如果未指定，-bind则使用该选项。这可以在Consul 0

Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发 Categraf Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 com/flashcatcloud/categraf/blo b/main/k8s/daemonset.yaml Kubernetes Node - 容器负载监控 关键指标 CPU使用率，分子是每秒内容器用了多少CPU 时间，分母是每秒内被限制使用多少CPU时间 sum( irate(container_cpu_usage_seconds_total[3m]) ) by (pod,id,namespace,container

软件物料清单 • 软件物料清单（SBOM, Software Bill Of Material）是代码库中所有开放源代码和第三方组件的清单。 • SBOM能够列出管理这些组件的许可证，代码库中使用的组件的版本及其补丁程序状态。 云原生应用安全风险面 第三方组件 开源组件 应用安全 风险面 Web通用漏洞 SQL注入、命令执行、XXE、XSS等OWASP TOP10 业务逻辑漏洞 2021年8月，中国台湾芯片厂商Realtek 发布安全 公告称在其软件开发套件和WiFi模块中发现了4个 安全漏洞。、攻击者可利用该漏洞绕过身份验证， 并以最高权限运行恶意代码，有效接管设备。本次 暴出漏洞的芯片至少有65家供应商在使用，生产出 的设备数量超过十万台。 Realtek 的WiFi SDK漏洞 2021年12月，Apache开源组件Log4j被发现两个 相关漏洞，分别为任意代码执行漏洞和拒绝服务攻 击漏洞，攻击者可以通过构造特殊的请求进行任意 为 “核弹级”漏洞。使用 JDK9 及以上版本皆有可能 受到影响。 Spring 框架漏洞 软件下载投毒、SDK/恶意代码污染、基础开源组件漏洞、商业许可证限制 Equifax信息泄露事件 SBOM概述 SBOM的作用 实施 SBOM 有助于揭示整个软件供应链中的漏洞与弱点，提高软件供应链的透明度，减轻软件供 应链攻击的威胁，驱动云原生应用的安全。 通过使用 SBOM 可以帮助

数据的安全生命周期返程三种不同状态：存储中、传输中、使用中，但 是对第三种场景，一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE（比如IntelSGX，蚂蚁的KubeTEE等）可以保护运行中的数据和 代码，完成了安全闭环。 依赖于硬件和更高阶密码学，可以彻底阻断物理 设备以及软件的攻击，是高级的安全保障技术。 TEE是运行态主动防护的高级手段，对高安全生产 环境建议使用。 成本较高，所以要视业务场景要求取舍。 ETL或者DTC等工具迁移数据是非常方便的 • 应用程序只需要修改JDBC的依赖即可以在 新环境中运行，迁移成本低。 • 或者由于云原生数据库支持多协议能力， 比如原生APP使用MYSQL协议访问传统数 据库，可以不加修改的，还是使用老的 MYSQL协议驱动，依然可以和云原生数据 库进行连接。 高级能力-云原生存储-应用的基石-1-云原生化需求（从应用角 度） 我们从云原生数据库那里基本可以嗅出 储系统的云原生存储方案，意图实现一键 式部署、管理方案，且和容器服务生态深 度融合，提供适配云原生应用的各种能力。 从实现上，可以认为 Rook 是一个提供了 Ceph 集群管理能力的 Operator。其使用 CRD 方式来对 Ceph、Minio 等存储资源进 行部署和管理。 Ceph文件存储 MiniO对象存储 • Operator：实现自动启动存储集群，并监控存储守护进程，并确保存储 集群的健康；

没有出现，Docker公司还差点死了 1 9 9 6 年 戴 尔 提 出 云 计 算 理 念 2006年亚马逊率先推出 了弹性计算云（EC2） 分水岭 云原生 Docker： 抽象云资源，使 得更容易使用 微服务： 加快业务迭代更新 从支持应用不同维度发展，最终走在了一起 2010年WSO2提出 类云原生的概念 云原生应用相比传统应用的优势 低成本 高敏捷 高弹性 云原生应用 传统应用 部署可预测性 中心集群规模为主 部署形态多元化、多云/混合云架构成为主流 自动化 用户软件发布方 式正在向自动化 转变 容器 60%以上用户已 经在生产环境应 用容器技术 微服务 微服务架构成为 主流，八成用户 已经使用或者计 划使用微服务 Serverless Serverless技术显 著升温，近三成 用户已在生产环 境中应用 云原生对业务的支撑实例(数据来源于阿里云) 4982亿，2020年天猫双11再创消费新纪录。58 彻底消除传统服务端基础设施依赖，降低研发复杂性和运维难度 • 按实际调用量进行自动的容量扩缩 • 专注业务逻辑开发，无须关心基础设施 • 只需要将视频存入存储，接入极其简单，达到极致业务体验 • 按需加载资源，使用时调度，不使用时自动回收，达到极致 成本的体验。 • 并行执行，可以同时出产不同维度业务结果，达到极致性能 体验。比如上图，同时从不同维度进行业务处理。 • 减少了传统微服务体系中容量规划和服务治理的负担，专注

高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题，计算量属于窄带范畴， 所以计算算力重点在于云端，云端计算体系架构成熟， 成本较低，在业务上本地的设备根据模式信号反馈一些 动作，比如下雨关窗帘，是自动化范畴，上传云端的数 据都是属性数据，比如谁什么时候干了什么，后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 敏捷 标准化、自动化、快速响 应 低成本 按需伸缩、按需使用付费 弹性 可弹性无限拓展 弹性工作负载 公有云 ETCD ETCD Image Image Data X • 企业可以在业务高峰时使用混合云补充 算力，并在低谷时从公有云撤回算力， 经济性和业务支撑两不误 • 可以结合私有云和公有各自的优势，尤 其是数据安全方面，这是客户使用公有 云的最大顾虑 • 在云原生产生之前，混合云架构就存在 理提供基础，同步镜像，为同一服务拓 展算力提供基础，同步Data，为隔离底 层云分布，在业务上的一致性上提供基 础。 • SLB会根据算力资源需要进行切流。 • 混合云本质是一种资源运用形式，资源 使用地位不对等，以私有云为主体。 控制台 控制台 高级能力-多云（资源角度） 调研机构Gartner公司指出，80％的内部部署开发软件现在支持云计算或云原生，不断发展的云计算生态系统使企业能够更快、

• 多集群 • 多分组 • 多种公有云（腾讯云、微软 云等） 核心组件-Symphony CI/CD 业务方使用 对外提供统一API 运行情况展示 应用在多集群运 行状态收集 应用维护，日志 查看，故障排查 应用发布 Operator API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能 • 结合监控，可以查看每个实例的运行情况 • • 支持离线日志查看，减少对容器的理解 迭代历程 2017～2019 • 基于Helm包管理 • K8S java 客户端 • CI/CD流程耦合 2019～2020 • 使用 Go 重构 CD 流程 • 多云环境适配 • Service Mesh 落地 • Multi runtime 支持 2021～ • 多商家私有云适配 • HPA 支持 • …… https://github 需求： • 使用 OpenKruise 的 SidecarSet 注入/更新 Sidecar（MOSN） • Controller 兼容自动注入逻辑 迭代3-Multi Runtime 需求： • 使用 Containerd 之后、根据不同业务场景使用不同的 Runtime • 兼容 EKS 和 IDC（Kata） 迭代4-HPA 需求： • 根据 CPU 使用情况来自动扩缩容量

数据库框架技术：在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级，不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性； 2、对于复杂的SQL，可能不支持； 3、对于跨库和跨分片的数据，需要额外机制保障一致性； 4、缺乏较好的数据平滑迁移和过渡方案； 5、Java Only（或其他）。 数据库框架使用的约束： 2.数据库中间件 2 作为中间件，独立部署，对业 务端透明。 任何语言平台的系统都可以接 入，可以使用mysql命令或者 IDE操作。 对业务系统侵入性小。 透明化的引入中间件，像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题； 2、需要单独的资源部署，以及维护； 3、接入端需要实现数据库协议，对非开源数据库无法支持。 数据库中间件使用的约束： 3.分布式数据库 3.分布式数据库 类库/框架 1）引入框架，研发人员 2）引入中间件，研发人员+运维人员=》研发团队 3）引入数据库，研发+运维+DBA=》研发中心、CTO/公司管理层 3、一般场景下，不解决性能问题（特别是延迟）。 分布式数据库使用的约束： 4.数据库网格 4.数据库网格 Service Mesh 是一个基础设施层，用于处理服务间通信。云原生应用有着复杂的服 务拓扑，Service Mesh 保证请求可以在这些拓扑中可靠地穿梭。在实际应用当中，